Sebagai bagian dari pekerjaan kami baru-baru ini tentang arsitektur lapisan memori, saya menulis beberapa pemikiran saya tentang masalah pembelajaran berkelanjutan secara luas: Posting blog: Beberapa eksposisi melampaui lapisan mem, jadi saya pikir akan berguna untuk menyorot secara terpisah:

🧠 Bagaimana kita bisa melengkapi LLM dengan memori yang memungkinkan mereka untuk terus mempelajari hal-hal baru? Dalam makalah baru kami dengan @AIatMeta, kami menunjukkan bagaimana penyempurnaan lapisan memori yang jarang memungkinkan pembaruan yang ditargetkan untuk pembelajaran berkelanjutan, dengan gangguan minimal dengan pengetahuan yang ada. Sementara penyempurnaan penuh dan LoRA mengalami penurunan drastis dalam kinerja tugas yang ditahan (📉-89% FT, -71% LoRA pada tugas pembelajaran fakta), lapisan memori mempelajari jumlah yang sama dengan jauh lebih sedikit lupa (-11%). 🧵: