Dans le cadre de nos travaux récents sur les architectures de couches de mémoire, j'ai rédigé quelques réflexions sur le problème de l'apprentissage continu de manière générale : Article de blog : Une partie de l'exposition va au-delà des couches de mémoire, donc je pensais qu'il serait utile de le souligner séparément :

🧠 Comment pouvons-nous doter les LLMs d'une mémoire leur permettant d'apprendre continuellement de nouvelles choses ? Dans notre nouvel article avec @AIatMeta, nous montrons comment le finetuning sparse des couches de mémoire permet des mises à jour ciblées pour l'apprentissage continu, avec un minimum d'interférence avec les connaissances existantes. Alors que le finetuning complet et LoRA voient des baisses drastiques de performance sur les tâches retenues (📉-89% FT, -71% LoRA sur les tâches d'apprentissage de faits), les couches de mémoire apprennent la même quantité avec beaucoup moins d'oubli (-11%). 🧵: