Google 剛剛發布了 "注意力就是你所需要的一切 (V2)" 這篇論文可能解決 AI 最大的問題： 災難性遺忘。 當 AI 模型學習新東西時，它們往往會忘記之前學到的東西。人類並不是這樣運作的，而現在 Google 研究有了解決方案。 嵌套學習。 這是一種新的機器學習範式，將模型視為一個互相連結的優化問題系統，以不同的速度運行——就像我們的大腦處理信息的方式。 這為什麼重要： 大型語言模型（LLMs）並不從經驗中學習；它們僅限於訓練期間學到的東西。它們無法隨著時間的推移學習或改進，而不會失去之前的知識。 嵌套學習通過將模型的架構和訓練算法視為同一事物——只是不同的 "優化層級"，來改變這一點。 這篇論文介紹了 Hope，一個概念驗證架構，展示了這種方法： ↳ Hope 在語言建模任務上超越了現代的遞歸模型 ↳ 它比最先進的模型更好地處理長上下文記憶 ↳ 它通過 "連續記憶系統" 以不同的頻率進行更新來實現這一點 這類似於我們的大腦如何同時管理短期和長期記憶。 我們可能終於在 AI 和人類大腦持續學習的能力之間縮小了差距。 我在下一條推文中分享了論文的鏈接！