Google právě zveřejnil "Pozornost je vše, co potřebuješ (V2)" Tento článek by mohl vyřešit největší problém AI: Katastrofální zapomínání. Když se AI modely naučí něco nového, mají tendenci zapomenout, co se dříve naučily. Lidé takto nefungují a nyní má Google Research řešení. Vnořené učení. Jedná se o nový paradigmat strojového učení, které považuje modely za systém propojených optimalizačních problémů běžících různou rychlostí – podobně jako náš mozek zpracovává informace. Zde je důvod, proč je to důležité: LLM se neučí ze zkušeností; Zůstávají omezeni na to, co se naučili během výcviku. Nemohou se učit ani zlepšovat v průběhu času, aniž by ztratili předchozí znalosti. Vnořené učení to mění tím, že architekturu modelu a tréninkový algoritmus vnímá jako totéž – jen jako různé "úrovně" optimalizace. Článek představuje Hope, architekturu proof-of-concept, která demonstruje tento přístup: ↳ Hope překonává moderní rekurentní modely v úlohách jazykového modelování ↳ Lépe zvládá paměť dlouhého kontextu než špičkové modely ↳ Toho dosahuje pomocí "systémů kontinuální paměti", které se aktualizují na různých frekvencích To je podobné tomu, jak náš mozek současně spravuje krátkodobou i dlouhodobou paměť. Možná konečně zmenšujeme propast mezi AI a schopností lidského mozku neustále se učit. Odkaz na článek jsem sdílel v dalším tweetu!