جوجل أعطت نماذج اللغة ذاكرة طويلة الأمد حقيقية. تتعلم البنية الجديدة أثناء الاستدلال وتحافظ على السياق عبر ملايين الرموز. يحافظ على دقة ~70 بالمئة عند 10 ملايين رمز. تتعلم هذه البنية أثناء تشغيلها يضيف Titans ذاكرة عصبية طويلة الأمد تتجدد أثناء التوليد. ليس الأوزان. ليس إعادة التدريب. التعلم الحي. • شبكة عصبية صغيرة تخزن السياق بعيد المدى • يتم التحديث فقط عندما يظهر شيء غير متوقع • يتم تجاهل الرموز الروتينية للبقاء سريعة هذا يسمح للنموذج بتذكر الحقائق من نص أقدم بكثير دون الحاجة لإعادة فحص كل شيء. يحافظ على السرعة أثناء توسيع السياق الانتباه يبقى محليا. الذاكرة تتعامل مع الماضي. • تكلفة الاستدلال الخطي • لا توجد انفجارات تربيعية للانتباه • دقة مستقرة تتجاوز مليوني رمز يتيح لك بناء أنواع جديدة من التطبيقات يمكنك معالجة الكتب الكاملة أو السجلات أو الجينومات في تمريرة واحدة. يمكنك الحفاظ على الولاية عبر الجلسات الطويلة. يمكنك التوقف عن تقسيم السياق فقط للبقاء على قيد الحياة في الحدود.