🧠 Jak możemy wyposażyć LLM w pamięć, która pozwala im na ciągłe uczenie się nowych rzeczy? W naszym nowym artykule z @AIatMeta pokazujemy, jak rzadkie dostrajanie warstw pamięci umożliwia celowe aktualizacje dla ciągłego uczenia się, z minimalnym zakłóceniem istniejącej wiedzy. Podczas gdy pełne dostrajanie i LoRA doświadczają drastycznych spadków wydajności w zadaniach trzymanych w rezerwie (📉-89% FT, -71% LoRA w zadaniach związanych z nauką faktów), warstwy pamięci uczą się tej samej ilości z dużo mniejszym zapominaniem (-11%). 🧵: