Některé technologie za SAM 3D, na které se obzvlášť těším: 1⃣ Existující 3D datové sady (Objaverse-XL, ProcTHOR atd.) jsou skvělé pro výuku "3D předností" (základní tvar a vzhled). Ale nestačí to k tomu, aby se úplně spojilo s reálným světem, kde jsou scény přeplněné, předměty zakryté, malé a obecně nepořádné. 2⃣Vstupujeme do našeho 3D datového enginu s modelem v smyčce: model ➜ předpovídá 3D z reálných obrázků ➜ lidé rychle prověřují dobré kandidáty (pouze ano/ne) ➜ ověřené 3D se vrací do tréninku ➜ vylepšený model se vrací do smyčky. Ctnostný cyklus, který zvyšuje kvalitu 3D anotací, rychlost označování a výkon modelu, aniž by vyžadoval 3D nástroje nebo odborné znalosti návrhu. 3⃣3D objektivy jsou složité: žádná uzavřená diferencovatelná ztráta plně nezachycuje "dobrou 3D" (symetrie, plynulost, úplnost). Takže si půjčujeme z LLM playbooku a po tréninku používáme data o lidských preferencích. Toto zarovnání se v metrikách téměř neprojevuje (které zdědí stejná omezení jako ztráty), ale výrazně zlepšuje vnímanou kvalitu 3D výstupů. Více podrobností v novinách.

3Dfy cokoli z jednoho obrázku! S velkým potěšením oznamujeme SAM 3D. Z vstupního obrázku vyberte jakýkoli objekt, který chcete, a 3Dfy na něm! Blog: Demoverze: