Saya pikir salah satu kesimpulan yang harus kita tarik dari keberhasilan luar biasa LLM adalah berapa banyak pengetahuan manusia dan masyarakat yang ada pada tingkat kompleksitas Kolmogorov yang sangat rendah. Kita memasuki era di mana representasi minimal dari artefak budaya manusia... (1/12)

... akan, secara umum, prompt LLM. Dan petunjuk itu akan, secara umum, urutan besarnya lebih kompak daripada artefak itu sendiri. Keberhasilan besar agen pengkodean, misalnya, menunjukkan bahwa kode sumber sebagian besar artefak perangkat lunak adalah pesanan ... (2/12)

... besarnya lebih membengkak daripada representasi algoritmik yang benar-benar minimal yang diperlukan untuk menentukan artefak perangkat lunak itu dengan jelas. Demikian juga untuk sebagian besar penulisan, penelitian, komunikasi manusia. Dengan menjadi dekompresor informasi algoritmik yang efisien, LLM telah... (3/12)

... mengkhianati tingkat yang mengerikan dari kata-kata kita sendiri. Bagian dari verbositas itu tidak diragukan lagi muncul dari keterbatasan bahasa representasi formal kita (seperti bahasa pemrograman). Tetapi sebagian dari itu juga tampak melekat, kemungkinan sebagai sarana koreksi kesalahan manusia. (4/12)

Ketika dekompresor yang dimaksudkan sangat lossy (seperti pikiran manusia), terlalu menentukan representasi dengan banyak sinonim dan gula sintaksis tampaknya bijaksana. Ketika dekompresor yang dimaksudkan mendekati sempurna lossless (karena LLM dengan cepat menjadi), itu kurang masuk akal. (5/12)

Matematika dan fisika mewakili kasus uji yang menarik. Proses aksiomatisasi dalam matematika adalah bentuk kompresi algoritmik: semua teorema sejati selalu "terkandung" dalam representasi aksioma dan aturan inferensi, tetapi proses... (6/12)

... Dekompresi representasi ini bisa menjadi sulit. Namun rincian tentang bagaimana proses dekompresi (pembuktian teorema) dan kompresi (matematika terbalik) terjadi, dalam arti tertentu, adalah objek yang sebenarnya dari minat matematis. Begitu juga dengan fisika. (7/12)

Orang mungkin, jika seseorang cukup naif, mengklaim bahwa fisika adalah tentang menemukan kompresi algoritmik minimal dari alam semesta fisik. Sekali lagi, detail (de)kompresi pada akhirnya adalah yang penting. Hanya menemukan representasi minimal dari alam semesta... (8/12)

... tidak akan "memecahkan fisika", seperti halnya menemukan aksioma ZFC "matematika yang dipecahkan". [Jika seseorang percaya, seperti yang saya lakukan, bahwa alam semesta pada akhirnya dapat dimodelkan dalam istilah komputasi, maka dalam arti tertentu representasi ini sudah ada: itu adalah mesin Turing universal.] (9/12)

LLM adalah dekompresor informasi algoritmik yang sangat efektif, dan keberhasilan mereka dalam pembuktian teorema dan pengembangan perangkat lunak adalah bukti untuk itu. Kemampuan mereka dalam kompresi saat ini tampaknya kurang jelas. Namun menemukan representasi minimal,... (10/12)

... baik itu pepatah jenaka atau bon mots (di mana LLM saat ini secara seragam mengerikan), atau representasi aksiomatik terkompresi yang mencirikan keindahan matematis (di mana LLM saat ini sebagian besar belum diuji), merupakan salah satu ciri kecerdasan manusia yang mendalam. (11/12)

Jadi saya pikir menjadi semakin jelas bahwa efisiensi dan losslessness, baik di kompresi maupun dekompresi, bersama-sama mewakili empat sumbu potensial di mana kita dapat mulai memparameterkan ruang pikiran (cerdas). Tapi apa yang lain? (12/12)