Meta har nettopp droppet SAM 3D, men enda mer interessant er det at de i praksis har knekket flaskehalsen i 3D-data som har holdt feltet tilbake i årevis. Å manuelt lage eller skanne 3D-grunnfakta for den rotete virkelige verden er i praksis umulig i stor skala. Men hva om du bare har utdata fra menneskelige rangmodeller? Send de rare kanttilfellene til faktiske 3D-kunstnere for modellering, og koble det inn igjen. Plutselig kan du annotere omtrent en million bilder. Det er i bunn og grunn RLHF for 3D-rekonstruksjon. Syntetiske data er fortrening, reell verdensrangering er justering. De lånte hele forbaska playbooken, og den fungerer faktisk. To modeller – én for objekter/scener, én for mennesker. De sender den allerede på FB Marketplace, så du kan se om lampen eller stolen ser bra ut på rommet ditt før du kjøper. De slipper også alt – modeller, kode, sin menneskekropp-rigg under kommersiell lisens. Og de bygde et evalueringssett med faktisk rotete bilder fra virkeligheten for å hjelpe til med å bygge bro mellom simulering og virkelighet. Datamotor-greia er derimot den mest interessante. 3D har vært flaskehalset av bakkesannhet for alltid. Hvis verifiseringen skalerer lettere enn opprettelsen, endrer plutselig hele spillet seg.