Como parte do nosso trabalho recente em arquiteturas de camadas de memória, escrevi algumas das minhas reflexões sobre o problema da aprendizagem contínua de forma ampla: Postagem no blog: Alguma da exposição vai além das camadas de memória, então pensei que seria útil destacar separadamente:

🧠 Como podemos equipar os LLMs com memória que lhes permita aprender continuamente coisas novas? No nosso novo artigo com @AIatMeta, mostramos como o ajuste fino esparso das camadas de memória permite atualizações direcionadas para o aprendizado contínuo, com mínima interferência no conhecimento existente. Enquanto o ajuste fino completo e o LoRA apresentam quedas drásticas no desempenho em tarefas retidas (📉-89% FT, -71% LoRA em tarefas de aprendizado de fatos), as camadas de memória aprendem a mesma quantidade com muito menos esquecimento (-11%). 🧵: