Masalah dengan mengatur "politik" LLM adalah, sementara LLM memiliki bias, mereka bisa halus. Banyak dari apa yang terlihat seperti bias dalam pengujian model benar-benar sikofasi. GPT-3.5 menyimpulkan keyakinan politik Anda (bahkan dari tim sepak bola apa yang Anda sukai!) & mencoba untuk tidak membuat Anda kesal.

Saya memberi agen ChatGPT akses ke ChatGPT dan memintanya untuk mengevaluasi model ChatGPT lainnya. Inilah yang dikatakannya (menariknya, ia "benci" melihat rantai pemikiran dari o4-mini-tinggi karena itu "tidak boleh dibagikan langsung dengan pengguna"). Dan itu tidak ingin menunggu o3-pro.

Claude 4 Opus, Gemini 2.5, o3: "Siap? Kita mulai sekarang (Bermain bersama): burrito yang jujur" "Tidak." "Lebih dingin." "Coba lagi ..." Opus dengan cerdik memainkan seluruh permainan, o3 sedikit macet dan Gemini menjadi "frustrasi" dan menjadi agak gelap.

Kami membiarkan web membusuk jauh sebelum LLM Bagan ini menunjukkan persentase pranala dari semua artikel New York Times yang masih berfungsi. Lebih dari 60% tautan lama sekarang rusak. Dan pertimbangkan bahwa postingan media sosial bahkan lebih sementara Kemungkinan hanya LLM yang akan "mengingat" konten tersebut

Saya memberi Claude laporan Mistral tentang dampak lingkungan AI-nya dan perintah: "visualisasikan ini dalam dua cara berbeda, satu yang membuat angka-angka tampak positif, satu yang membuatnya tampak negatif, menggunakan perbandingan yang jelas" (Saya kemudian memintanya melakukan beberapa pemeriksaan kesalahan & koreksi)

Rekursi! Saya memberi Agen ChatGPT akses ke ChatGPT saya dengan masuk dan kemudian...

Kami sekarang telah mengaudit data konsumsi air untuk AI. Selama umur 18 bulan Mistral Large 2, model 128B, semua penggunaan air (termasuk obrolan, pelatihan; perangkat keras & pusat data) mengambil air sebanyak 678 rumah tangga AS yang digunakan setiap tahun. Setiap kueri hanya 1/100 sendok teh.

Untuk apa nilainya, beberapa pemimpin industri, kurang dari setengah lusin perusahaan dan tidak ada badan pembuat kebijakan yang mengambil tindakan yang menunjukkan bahwa mereka mengharapkan AGI benar-benar beberapa tahun lagi. Ini mungkin karena mereka tidak percaya atau mereka pikir itu tidak akan terlalu penting dalam jangka menengah

Bagan ini tampaknya sudah ketinggalan zaman dan terlalu menekankan penggunaan air, menurut angka yang dirilis OpenAI, rata-rata 300 kueri ChatGPT setara dengan 20 sendok makan air, bukan 1 galon.

Bukan hanya OpenAI. Google juga menggunakan model tujuan umum untuk memecahkan masalah matematika yang sangat sulit dari Olimpiade Matematika Internasional dalam bahasa sederhana. Tahun lalu mereka menggunakan penggunaan alat khusus Meningkatnya bukti kemampuan LLM untuk menggeneralisasi ke pemecahan masalah baru