اقرأ كتاب وولفرام الممتاز "ماذا يفعل ChatGPT..." (شراكة @danielrock). يكتب أننا تعلمنا الكثير عن كيفية عمل اللغة من حقيقة أن GPT3، الذي يحتوي فقط على 175 مليار وزن، قادر على تقليدها بشكل جيد جدا. وهذا يعني أنه أبسط بكثير من الناحية الحاسوبية مما كنا نظن. لكن ماذا عن الرياضيات؟ عندما كتب هذا (2023)، كان GPT لا يزال سيئا جدا في الرياضيات. أصبحت النماذج جيدة جدا (جدا) في الرياضيات عندما ظهر أول نموذج للاستدلال (o1)، والذي اعتمد أكثر على التعلم المعزز بدلا من التدريب المسبق بالقوة الغاشمة. أتساءل ماذا يقول هذا عن الرياضيات؟ مفهوميا، اللغة أكثر "غموضا" بكثير من الرياضيات: عدة كلمات يمكن أن تبدو "صحيحة" في نفس المكان في الجملة. وهذا ما يجعل بنية نماذج اللغة الكبيرة الاحتمالية تعمل. الرياضيات أقل غموضا. ربما لهذا السبب كانت الخطوة الأكثر "اعتمادا على القواعد" في التعلم الواقعي حاسمة. لكن هذا يعني أيضا أن الرياضيات الرسمية أقل تعقيدا حسابيا مما كنا نظن. الافكار؟ @littmath @alz_zyd_