واو، هل يمكن الذكاء الاصطناعي أن يتعلم من مستند أثناء قراءته؟ يقدم باحثون من معهد أستيرا، وNVIDIA، وآخرين طريقة جديدة تعامل النمذجة طويلة السياق كمشكلة تعلم مستمر. يستخدمون محول قياسي، لكنه "يدرس" النص في الوقت الحقيقي عبر توقع الرمز التالي، ويضغط السياق إلى معلماته الخاصة. يتفوق على نماذج مثل مامبا 2 وGated DeltaNet في التوسع إلى سياقات طويلة، بينما هو أسرع بمقدار 2.7 مرة من الانتباه الكامل عند 128 كيلوبايت. تدريب وقت الاختبار من البداية إلى النهاية للسياق الطويل الورقة: