Come parte del nostro recente lavoro sulle architetture a strati di memoria, ho scritto alcune delle mie riflessioni sul problema dell'apprendimento continuo in generale: Post del blog: Alcune delle spiegazioni vanno oltre i mem layers, quindi ho pensato che sarebbe utile evidenziarle separatamente:

🧠 Come possiamo dotare i LLM di memoria che consenta loro di apprendere continuamente nuove cose? Nel nostro nuovo articolo con @AIatMeta, mostriamo come il fine-tuning sparso dei livelli di memoria consenta aggiornamenti mirati per l'apprendimento continuo, con un'interferenza minima con la conoscenza esistente. Mentre il fine-tuning completo e LoRA vedono drastici cali nelle prestazioni sui compiti riservati (📉-89% FT, -71% LoRA sui compiti di apprendimento dei fatti), i livelli di memoria apprendono la stessa quantità con molta meno dimenticanza (-11%). 🧵: