Im Rahmen unserer jüngsten Arbeiten zu Architekturen der Speicherschicht habe ich einige meiner Gedanken zum Thema kontinuierliches Lernen im Allgemeinen niedergeschrieben: Blogbeitrag: Einige der Ausführungen gehen über Speicherschichten hinaus, daher dachte ich, es wäre nützlich, dies separat hervorzuheben:

🧠 Wie können wir LLMs mit einem Gedächtnis ausstatten, das es ihnen ermöglicht, kontinuierlich neue Dinge zu lernen? In unserem neuen Papier mit @AIatMeta zeigen wir, wie das spärliche Feintuning von Gedächtnisschichten gezielte Aktualisierungen für kontinuierliches Lernen ermöglicht, mit minimalen Störungen des bestehenden Wissens. Während das vollständige Feintuning und LoRA drastische Rückgänge in der Leistung bei zurückgehaltenen Aufgaben zeigen (📉-89% FT, -71% LoRA bei Faktenlerntasks), lernen Gedächtnisschichten die gleiche Menge mit viel weniger Vergessen (-11%). 🧵: