Nový výzkum od Mety a spolupracovníků. Toto je dobrý článek, který ukazuje, co je možné s vhodnými modely světů. Světové modely potřebují akce, aby předpověděly důsledky. Výchozí přístup dnes vyžaduje označená akční data, která jsou nákladná na získání a omezená na úzké oblasti jako videohry nebo robotická manipulace. Ale drtivá většina video dat online nemá žádné označení akcí. Tento nový výzkum se zabývá učením latentních modelů akčních světů přímo z videí z přírody, rozšiřuje se za kontrolovaná nastavení předchozích prací a zachycuje plnou rozmanitost skutečných akcí. Výzva je značná. Videa z divočiny obsahují akce daleko přesahující jednoduchou navigaci nebo manipulaci: lidé vstupují do snímků, objekty se objevují a mizí, tanečníci se pohybují, prsty tvořící kytarové akordy. Také zde není konzistentní ztělesnění napříč videi, na rozdíl od robotických datových sad, kde se stejná paže objevuje všude. Jak tedy autoři tuto situaci řeší? Kontinuální, ale omezené latentní akce, využívající řídkou nebo šumovou regularizaci, efektivně zachycují tuto složitost akcí. Diskrétní kvantizace, běžný přístup v předchozích pracích, se snaží přizpůsobit. Bez sdíleného ztělesnění se model učí prostorově lokalizované, kamerou relativní transformace. Výsledky ukazují skutečný přenos akcí. Pohyb chodícího člověka lze aplikovat na létající míč. Akce jako "někdo vstoupí do záběru" se přenášejí na úplně jiná videa. Trénováním malého řadiče k mapování známých akcí na latentní může světový model trénovaný čistě na přirozených videích řešit robotické manipulace a navigační úkoly s výkonem blízkým modelům trénovaným na doménově specifických, akcí označených datech. Latentní akční prostory naučené z neoznačených internetových videí mohou sloužit jako univerzální rozhraní pro plánování a odstraňovat úzké hrdlo anotace akcí. Článek: Naučte se vytvářet efektivní AI agenty v naší akademii: