Lelah: Meminta video Veo 3 dengan JSON. Kabel: Meminta video Veo 3 dengan PowerPoint.

Faktor mitigasi untuk masalah dengan tolok ukur AI (kesalahan, saturasi, kontaminasi) adalah, meskipun ada masalah, semuanya masih cukup berkorelasi. Jadi jika AI Anda melakukannya dengan baik di GPQA atau MMLU atau HLE, itu juga cenderung melakukannya dengan baik pada tolok ukur lain & pada getaran & pekerjaan nyata.

Ada perlambatan dalam mempekerjakan anak muda di AS dan Inggris, tetapi bukti terus menunjukkan bahwa penyebabnya umumnya bukan AI (setidaknya belum)

Masalah dengan mengatur "politik" LLM adalah, sementara LLM memiliki bias, mereka bisa halus. Banyak dari apa yang terlihat seperti bias dalam pengujian model benar-benar sikofasi. GPT-3.5 menyimpulkan keyakinan politik Anda (bahkan dari tim sepak bola apa yang Anda sukai!) & mencoba untuk tidak membuat Anda kesal.

Saya memberi agen ChatGPT akses ke ChatGPT dan memintanya untuk mengevaluasi model ChatGPT lainnya. Inilah yang dikatakannya (menariknya, ia "benci" melihat rantai pemikiran dari o4-mini-tinggi karena itu "tidak boleh dibagikan langsung dengan pengguna"). Dan itu tidak ingin menunggu o3-pro.

Claude 4 Opus, Gemini 2.5, o3: "Siap? Kita mulai sekarang (Bermain bersama): burrito yang jujur" "Tidak." "Lebih dingin." "Coba lagi ..." Opus dengan cerdik memainkan seluruh permainan, o3 sedikit macet dan Gemini menjadi "frustrasi" dan menjadi agak gelap.

Kami membiarkan web membusuk jauh sebelum LLM Bagan ini menunjukkan persentase pranala dari semua artikel New York Times yang masih berfungsi. Lebih dari 60% tautan lama sekarang rusak. Dan pertimbangkan bahwa postingan media sosial bahkan lebih sementara Kemungkinan hanya LLM yang akan "mengingat" konten tersebut

Saya memberi Claude laporan Mistral tentang dampak lingkungan AI-nya dan perintah: "visualisasikan ini dalam dua cara berbeda, satu yang membuat angka-angka tampak positif, satu yang membuatnya tampak negatif, menggunakan perbandingan yang jelas" (Saya kemudian memintanya melakukan beberapa pemeriksaan kesalahan & koreksi)

Contoh AI yang rapi dalam humaniora. Model Google yang dilatih pada teks Latin mengisi bagian yang hilang dari prasasti Latin dan mengidentifikasi teks terkait Sejarawan meningkatkan akurasi mereka sebesar 44% saat bekerja dengan AI (Meskipun AI saja mengalahkan sejarawan, sejarawan + AI biasanya yang terbaik)

Rekursi! Saya memberi Agen ChatGPT akses ke ChatGPT saya dengan masuk dan kemudian...