🚨BREAKING: OpenAI size her güncellemenin ChatGPT'yi daha akıllı yaptığını söyledi. Stanford ise tam tersini kanıtladı. GPT-4'ün matematik problemlerindeki doğruluğu sadece üç ayda %97,6'dan %2,4'e düştü. Ve kimse sana söylemedi. Stanford ve UC Berkeley'deki araştırmacılar, ChatGPT'nin gerçek performansını zaman içinde takip etti. Aynı promptlar. Aynı görevler. Farklı sonuçlar. Mart ayında matematik sorularında neredeyse mükemmel bir başarı alan model, Haziran ayında 100 kez 97'sinde yanlış yapıyordu. Kod üretimi de çöktü. Mart ayında, GPT-4'ün kodunun %50'den fazlası ilk denemede kusursuz çalıştı. Haziran ayında ise sadece %10'u bunu başardı. Aynı sorular. Çok daha kötü cevaplar. OpenAI'nin yaydığı her sessiz güncelleme, ayda 20 dolar ödediğiniz ürünü, aslında kullandığınız şeylerde sessizce daha kötü hale getiriyordu. Araştırmacılar, GPT-3.5 ve GPT-4'ü matematik, kodlama, tıbbi muayeneler, akıl yürütme ve hassas sorular üzerinden test ettiler. Sürüklenme büyük ve öngörülemezdi. Bazı görevler gelişti. Bazıları uçurumdan düştü. Ve hangisinin hangisi olduğunu bilmenin bir yolu yoktu, çünkü OpenAI ne değiştiğini asla açıklamadı. İşte mesele burada kişiselleşiyor. Mart ayında ChatGPT kullanıp çalıştıysa, sonra Haziran'da aynı şeyi denedek bozulduysa, muhtemelen kendinizi suçlamışsınızdır. Yanlış yönlendirdiğini sanmıştın. Tekrar denedin. Kendi sorularını hata ayıklamak için saatlerce harcadın. Ama bu sen değildin. Model sessizce altınızda değişmişti. OpenAI'nin Ürün Başkan Yardımcısı X'e gidip "GPT-4'ü daha aptal hale getirmedik" dedi. Stanford'un verileri ise bunun aksini söylüyor. %97,6'ya %2,4'e karşı bir görüş meselesi değil. ChatGPT'nin API'si üzerine inşa eden her işletme, okul işleri için ona güvenen her öğrenci, kod göndermek için kullanan her geliştirici, haber vermeden değişen bir zeminde duruyor. Dün ona güvendin. Bir gecede değişti. Kimse sana söylemedi. Hayal etmiyorsun. ChatGPT giderek daha aptallaşıyor. Stanford bunu kanıtladı.