ورقة جديدة: النماذج الكبيرة مذهلة في شرح الأمور وسيئة جدا في تنفيذها. اسأل نموذجا عن "كيف" يقارن رقمين عشريين، وسيعطيك خوارزمية مثالية خطوة بخطوة. اطلب منه فعلا "إجراء" المقارنة... وفجأة "9.11 أكبر من 9.9 لأن 90 أكبر من 11." يسمي الباحثون هذا "متلازمة انقسام الدماغ الحاسوبي". تطور نماذج اللغة الكبيرة مسارا واحدا لشرح الإجراء، ومسارا مختلفا تماما لتنفيذه. هاتان المساران يعيشان في أجزاء مختلفة من هندسة النموذج (كما هو موضح في مخططات t-SNE في الصفحات 14–16 من هذه الورقة) ولا يتحدثان مع بعضهما البعض. لهذا السبب يمكن للنموذج أن يعلمك القسمة الطويلة لكنه لا يستطيع القيام بذلك بشكل موثوق. أو لماذا يمكنه صياغة قواعد منطقية لكنه يفشل في الاستدلال الأساسي. أو لماذا ينتج لغة لا تشوبها شائبة وتفكيرا هشا. الشرح هو استرجاع النمط. التنفيذ هو حساب. تتفوق نماذج اللغة الكبيرة في الأول وتكافح بشكل أساسي مع الثانية. في أعماق العمارة، تدمج الفروع معا معاني يفصلها البشر. تقدم الورقة مثالا مضحكا: "9.11" أقرب إلى "11 سبتمبر" منه إلى "تسعة فاصل أحد عشر" لأن التضمين الرمزي يعادل متوسطا عبر كل سياق رأوه. ذلك "التلوث السياقي" يجعل التفكير الرمزي النظيف مستحيلا. علاوة على ذلك... المحولات يمكنها فقط إنتاج "متوسطات موزونة" لما رأوه. لا يمكنهم توليد قيم رمزية جديدة مثل "3354" من "43 × 78" باستخدام الرياضيات الفعلية. ...