🧠 Hvordan kan vi utstyre LLM-er med minne som lar dem kontinuerlig lære nye ting? I vår nye artikkel med @AIatMeta viser vi hvordan sparsom finjustering av minnelag muliggjør målrettede oppdateringer for kontinuerlig læring, med minimal forstyrrelse av eksisterende kunnskap. Mens full finjustering og LoRA ser drastiske fall i utholdt oppgaveytelse (📉-89 % FT, -71 % LoRA på faktalæringsoppgaver), lærer minnelag like mye med langt mindre glemsel (-11 %). 🧵: