YENİ MAKALE: LLM'ler işleri açıklamakta inanılmaz, yapmakta ise kötü. Bir modele iki ondalık "nasıl" karşılaştırılacağını sorarsanız, size mükemmel bir adım adım algoritma verir. Karşılaştırmayı gerçekten "yapmasını" iste... ve aniden "9.11 9.9'dan büyük çünkü 90 11'den fazla." Araştırmacılar buna "hesaplamalı bölünmüş beyin sendromu" diyor. LLM'ler bir prosedürü açıklamak için bir yol geliştirir, onu uygulamak için ise tamamen farklı bir yol geliştirir. Bu iki yol, modelin geometrisinin farklı bölümlerinde yaşar (bu makalenin 14–16. sayfalarındaki t-SNE grafiklerinde gösterildiği gibi) ve birbirleriyle konuşmazlar. Bu yüzden bir model size uzun bölmeyi öğretebilir ama bunu güvenilir şekilde yapamaz. Ya da neden mantıksal kuralları ifade edebiliyor ama temel çıkarımda başarısız oluyor. Ya da neden kusursuz dil ve kırılgan akıl yürütme üretiyor. Açıklama desen hatırlamasıdır. Uygulama hesaplamadır. LLM'ler ilkinde başarılıdır ve ikincide temelde zorlanır. Mimarinin derinliklerinde, gömülen yerler insanların ayrı tuttuğu anlamları bulanıklaştırıyor. Makale komik bir örnek veriyor: "9.11" "11 Eylül"e daha yakın çünkü token gömülmeleri gördükleri her bağlamda ortalamaya sahip. Bu "bağlamsal kirlenme" temiz sembolik akıl yürütmeyi imkansız kılıyor. Ayrıca... Transformatörler sadece gördüklerinin "ağırlıklı ortalamalarını" üretebiliyor. Gerçek matematikle "43 × 78"den "3354" gibi yeni sembolik değerler üretemiyorlar. ...