كجزء من عملنا الأخير حول معماريات طبقة الذاكرة ، كتبت بعض أفكاري حول مشكلة التعلم المستمر على نطاق واسع: منشور المدونة: يتجاوز بعض العرض طبقات mem ، لذلك اعتقدت أنه سيكون من المفيد تسليط الضوء بشكل منفصل:

🧠 كيف يمكننا تزويد LLMs بالذاكرة التي تسمح لهم بتعلم أشياء جديدة باستمرار؟ في ورقتنا الجديدة مع @AIatMeta ، نوضح كيف يتيح الضبط الدقيق لطبقات الذاكرة بشكل ضئيل تحديثات مستهدفة للتعلم المستمر ، مع الحد الأدنى من التداخل مع المعرفة الحالية. بينما يشهد الضبط الدقيق الكامل و LoRA انخفاضا حادا في أداء المهام المعلقة (📉-89٪ FT, -71٪ LoRA في مهام تعلم الحقائق), تتعلم طبقات الذاكرة نفس المقدار مع نسيان أقل بكثير (-11٪). 🧵: