هل يمكن لنماذج اللغة تعلم السوابق المفيدة دون رؤية اللغة أبدا؟ نقوم بتدريب المحولات مسبقا على الآلات الخلوية العصبية — صناعية بالكامل، لغة صفرية. هذا يحسن نمذجة اللغة بنسبة تصل إلى 6٪، ويسرع التقارب بنسبة 40٪، ويقوي التفكير اللاحق. من المدهش أنه يتفوق حتى على التدريب المسبق على النصوص الطبيعية! المدونة: (1/n)