У рамках нашої нещодавньої роботи над архітектурами шарів пам'яті я записав деякі зі своїх думок щодо проблеми постійного навчання в широкому сенсі: Публікація в блозі: Дещо з експозиції виходить за рамки шарів мемів, тому я подумав, що було б корисно виділити окремо:

🧠 Як ми можемо оснастити LLM пам'яттю, яка дозволить їм постійно вчитися новому? У нашій новій статті з @AIatMeta ми показуємо, як розріджені тонкі шари пам'яті дозволяють цілеспрямовано оновлювати дані для постійного навчання з мінімальним втручанням у наявні знання. У той час як повне тонке налаштування та LoRA спостерігають різке зниження продуктивності відкладених завдань (📉-89% FT, -71% LoRA для завдань на вивчення фактів), шари пам'яті навчаються стільки ж із набагато меншим забуванням (-11%). 🧵: