Som en del av vårt nylige arbeid med minnelagsarkitekturer, skrev jeg opp noen av mine tanker om problemet med kontinuerlig læring bredt: Blogginnlegg: Noe av eksposisjonen går utover mem-lag, så jeg tenkte det ville være nyttig å markere separat:

🧠 Hvordan kan vi utstyre LLM-er med minne som lar dem kontinuerlig lære nye ting? I vår nye artikkel med @AIatMeta viser vi hvordan sparsom finjustering av minnelag muliggjør målrettede oppdateringer for kontinuerlig læring, med minimal forstyrrelse av eksisterende kunnskap. Mens full finjustering og LoRA ser drastiske fall i utholdt oppgaveytelse (📉-89 % FT, -71 % LoRA på faktalæringsoppgaver), lærer minnelag like mye med langt mindre glemsel (-11 %). 🧵: