В рамках нашей недавней работы над архитектурами слоев памяти я изложил некоторые свои мысли по проблеме непрерывного обучения в общем: Запись в блоге: Некоторые из объяснений выходят за рамки слоев памяти, поэтому я подумал, что будет полезно выделить это отдельно:

🧠 Как мы можем оснастить LLM памятью, которая позволяет им постоянно учиться новому? В нашей новой статье с @AIatMeta мы показываем, как разреженная дообучение слоев памяти позволяет целенаправленные обновления для непрерывного обучения с минимальным вмешательством в существующие знания. В то время как полное дообучение и LoRA показывают резкое снижение производительности на удерживаемых задачах (📉-89% FT, -71% LoRA на задачах обучения фактам), слои памяти учатся на том же уровне с гораздо меньшими потерями (-11%). 🧵: