Robots kunnen complexe vaardigheden leren alleen door menselijke video's te bekijken. Onderzoekers van Tsinghua, MIT en Astribot presenteren CLAP. Hun nieuwe methode stemt videokaders af op robotbewegingsgegevens, waardoor een gedectioneerd "actie woordenboek" ontstaat dat menselijke acties vertaalt naar uitvoerbare robotcommando's. Het presteert beter dan bestaande modellen in het overdragen van vaardigheden van menselijke video's naar robots, waardoor betere instructievolging en nauwkeurige manipulatie mogelijk zijn. CLAP: Contrastive Latent Action Pretraining voor het Leren van Visie-Taal-Actie Modellen uit Menselijke Video's Paper: Project: Ons rapport: 📬 #PapersAccepted door Jiqizhixin