Tänään kanssamme on @rdn_nikita, @FlexionRobotics:n perustaja ja toimitusjohtaja, keskustelemassa nykyisten robotiikkakykyjen ja täysin autonomisten robottien käyttöönoton todellisen maailman vaatimusten välisestä kuilusta. Nikita selittää, miten vahvistusoppiminen ja simulaatio ovat edistäneet robottien liikkumisen nopeaa kehitystä – ja miksi liikkuminen on yhä kaukana "ratkaistua". Sukellamme sim2realin aukkoon ja siihen, miten visuaalisten syötteiden lisääminen aiheuttaa kohinaa ja monimutkaistaa sim-todenvälistä siirtoa merkittävästi. Tutkimme myös keskustelua päästä päähän -mallien ja modulaaristen lähestymistapojen välillä sekä miksi liikkumisen, suunnittelun ja semantiikan erottaminen on edelleen pragmaattinen lähestymistapa. Nikita esittelee myös käsitteen "real-to-sim", joka hyödyntää reaalimaailman dataa simulaatioparametrien hiomiseen korkeamman tarkkuuden koulutukseen, käsittelee, miten vahvistusoppiminen, jäljittelyoppiminen ja teleoperaatiodata yhdistetään kouluttamaan kestäviä politiikoita sekä nelijalkaisille että humanoidiroboteille, ja esittelee Flexionin hierarkkisen lähestymistavan, joka hyödyntää esikoulutettuja näkö-kielimalleja (VLM) korkean tason tehtävien orkestroinnissa Vision-Language-Action (VLA) -mallien ja matalan tason mallien avulla Koko kehon seurantalaitteet. Lopuksi Nikita jakaa kulissien takaisia kulisseja humanoidirobottidemoissa, näkemyksensä vahvistusoppimisesta simulaatiossa verrattuna todelliseen maailmaan, palkitsemisen hienovaraisuuksista ja tarjoaa käytännön neuvoja tutkijoille ja ammattilaisille, jotka haluavat aloittaa robotiikan parissa nykyään. 🗒️ Tämän jakson täydellisen resurssilistan löydät ohjelman muistiinpanosivulta: 📖 LUVUT =============================== 00:00 - Johdanto 04:07 - Onko robotin liikkuminen ratkaistu? 06:04 - Simulaattorin ja todellisen väli 08:58 - Semantiikan lisääminen politiikkoihin 09:42 - Modulaariset vs päästä päähän -arkkitehtuurit 10:29 - Suunnittelijamalli 12:21 - RL-tekniikoiden soveltaminen nelijalkaisista humanoideihin 15:39 - Robottidemojen takana 18:09 - Humanoidirobotit kotiympäristöissä 22:03 - Harjoituslähestymistapa 23:56 - VLA-mallit 27:59 - Simulaattorin ja todellisen eron kaventaminen 32:55 - Tehtävien orkestrointi VLM:ien avulla 36:38 - Työkalujen käyttö 38:10 - Mallihierarkia 43:37 - Simulaattori vastaan simulaatioympäristö 44:57 - Jäljittelyoppimisen ja vahvistusoppimisen yhdistäminen 46:42 - RL todellisessa maailmassa vs. RL simulaatiossa 52:58 - Palkkioviritys- ja arvofunktiot robotiikassa 56:38 - Ennusteet 1:00:10 - Humanoidit, quadroped-olennot ja pyörälliset alustat 1:02:45 - Neuvoja, suositellut robottipaketit ja yhteisön PLA

Tänään seuraamme liittyy @oliver_wang2, @GoogleDeepMind:n johtava tutkija ja Gemini 2.5 Flash Imagen tekninen johtaja – joka tunnetaan paremmin koodinimellä "Nano Banana". Sukellamme tämän äskettäin julkaistun rajanäkökielimallin kehitykseen ja ominaisuuksiin alkaen laajemmasta siirtymisestä erikoistuneista kuvageneraattoreista yleiskäyttöisiin multimodaalisiin agentteihin, jotka voivat käyttää sekä visuaalista että tekstimuotoista dataa erilaisiin tehtäviin. Oliver selittää, kuinka Nano Banana voi luoda ja iteratiivisesti muokata kuvia säilyttäen samalla johdonmukaisuuden, ja kuinka sen integrointi Kaksosten maailmantuntemukseen laajentaa luovia ja käytännöllisiä käyttötapauksia. Keskustelemme estetiikan ja tarkkuuden välisestä jännitteestä, kuvamallien suhteellisesta kypsyydestä verrattuna tekstipohjaisiin LLM-laitteisiin ja skaalautumisesta edistyksen ajurina. Oliver kertoo myös yllättävistä esiin nousevista käyttäytymismalleista, näkökielimallien arvioinnin haasteista ja tekoälyn tuottaman datan harjoittelun riskeistä. Lopuksi katsomme eteenpäin interaktiivisiin maailmanmalleihin ja VLM:iin, jotka saattavat jonain päivänä "ajatella" ja "järkeillä" kuvissa. Täydellinen luettelo tämän jakson resursseista on ohjelman muistiinpanosivulla: 📖 LUKUA =============================== 00:00 - Johdanto 4:39 - Nanobanaani 5:35 – Nanobanaani vs. Imagen ja kuvan luontimallien kehityskaari 7:01 - Nanobanaanin integrointi Geminiin 9:52 – Nanobanaani – yleiskäyttöinen malli 13:42 – Mallin yhdenmukaisuus ja muokkausominaisuudet 15:41 – Tietojen laatu ja malliarkkitehtuuri 18:13 – Käyttötapaukset 24:10 – Kertamallit vs. solmupohjaiset käyttöliittymät 28:33 – Hienosäätö 30:32 – Jännittäviä trendejä kuvien luomisessa ja VLM:issä 32:40 - Mallin laadun haasteiden voittaminen 34:36 – Mallin arvioinnin haasteet 36:32 - Nanobanaanien plussat ja miinukset 38:58 – Nopea uudelleenkirjoitus 40:36 - Paperit 41:52 - Tutkimuksen saavutettavuus 46:45 – Todennettavissa olevat toimialueet 49:49 - Tarkkuuden ja estetiikan välinen jännite 52:50 – Suppea tietojen jakelu kuvien luomisessa 55:15 – Tekoälyn luomat kuvat harjoitustietoja varten 57:56 – Mallin mittakaava vs. tietojen kuratointi 58:55 – Tekstin kypsyysaste verrattuna kuva-alueisiin