Google nevnte nettopp «Oppmerksomhet er alt du trenger (V2)» Denne artikkelen kan løse KIs største problem: Katastrofal glemsel. Når AI-modeller lærer noe nytt, har de en tendens til å glemme det de tidligere har lært. Mennesker fungerer ikke slik, og nå har Google Research en løsning. Nested læring. Dette er et nytt maskinlæringsparadigme som behandler modeller som et system av sammenkoblede optimaliseringsproblemer som kjører i ulik hastighet – akkurat som hvordan hjernen vår bearbeider informasjon. Her er grunnen til at dette er viktig: LLM-er lærer ikke av erfaringer; De forblir begrenset til det de lærte under opplæringen. De kan ikke lære eller forbedre seg over tid uten å miste tidligere kunnskap. Nested Learning endrer dette ved å se modellens arkitektur og treningsalgoritme som det samme – bare forskjellige "nivåer" av optimalisering. Artikkelen introduserer Hope, en proof-of-concept-arkitektur som demonstrerer denne tilnærmingen: ↳ Hope overgår moderne rekurrentmodeller på språkmodelleringsoppgaver ↳ Den håndterer langtidsminne bedre enn toppmoderne modeller ↳ Dette oppnås gjennom "kontinuerlige minnesystemer" som oppdateres med ulike frekvenser Dette ligner på hvordan hjernen vår håndterer korttids- og langtidshukommelse samtidig. Vi kan endelig være i ferd med å tette gapet mellom AI og menneskehjernens evne til kontinuerlig å lære. Jeg har delt lenken til artikkelen i neste tweet!