Google ha appena pubblicato "L'attenzione è tutto ciò di cui hai bisogno (V2)" Questo documento potrebbe risolvere il più grande problema dell'AI: Dimenticanza catastrofica. Quando i modelli di AI apprendono qualcosa di nuovo, tendono a dimenticare ciò che hanno appreso in precedenza. Gli esseri umani non funzionano in questo modo, e ora la Ricerca Google ha una soluzione. Apprendimento Nascosto. Questo è un nuovo paradigma di apprendimento automatico che tratta i modelli come un sistema di problemi di ottimizzazione interconnessi che funzionano a velocità diverse - proprio come il nostro cervello elabora le informazioni. Ecco perché questo è importante: I LLM non apprendono dalle esperienze; rimangono limitati a ciò che hanno appreso durante l'addestramento. Non possono apprendere o migliorare nel tempo senza perdere conoscenze precedenti. L'Apprendimento Nascosto cambia questo vedendo l'architettura del modello e l'algoritmo di addestramento come la stessa cosa - solo diversi "livelli" di ottimizzazione. Il documento introduce Hope, un'architettura di prova di concetto che dimostra questo approccio: ↳ Hope supera i modelli ricorrenti moderni nei compiti di modellazione del linguaggio ↳ Gestisce la memoria a lungo termine meglio dei modelli all'avanguardia ↳ Raggiunge questo attraverso "sistemi di memoria continuo" che si aggiornano a frequenze diverse Questo è simile a come il nostro cervello gestisce simultaneamente la memoria a breve e lungo termine. Potremmo finalmente colmare il divario tra l'AI e la capacità del cervello umano di apprendere continuamente. Ho condiviso il link al documento nel tweet successivo!