🚨 Makalah ini mengungkap mengapa sebagian besar yang disebut "pedagang AI" terlihat pintar sampai Anda memeriksa bagaimana mereka berpikir. Masalahnya bukan karena modelnya lemah. Ini adalah bahwa sinyal hadiah yang mereka latih pada dasarnya tidak jujur. Ketika Anda melatih agen LLM secara langsung tentang pengembalian pasar, ia dengan cepat menemukan jalan pintas. Alih-alih bernalar tentang bukti, ia menghafal aset yang secara historis berkinerja baik, melakukan perdagangan berdasarkan ingatan itu, dan kemudian mengarang penjelasan setelahnya. Perdagangan terkadang berhasil, sehingga imbalan memperkuat perilaku. Alasannya tidak pernah penting. Makalah ini menunjukkan mode kegagalan ini dengan jelas. Agen pembelajaran penguatan khusus pasar mencapai pengembalian kumulatif 37,62% di pasar saham A, tetapi skor kesamaan penalarannya runtuh menjadi 0,4369. Lebih buruk lagi, tingkat halusinasinya melonjak menjadi 22,5%. Secara sederhana, itu menguntungkan secara tidak sengaja dan tidak jujur tentang penyebabnya. Ini adalah peretasan hadiah klasik. Wawasan sentral penulis halus tetapi menghancurkan: dalam lingkungan stokastik seperti pasar keuangan, hasil tidak dapat memvalidasi penalaran. Keacakan dapat membuat keputusan yang buruk terlihat baik. Hanya proses pengambilan keputusan itu sendiri yang dapat dievaluasi. Jadi mereka mengubah tujuan. Alih-alih bertanya apakah perdagangan menghasilkan uang, mereka bertanya apakah keputusan itu secara logis didasarkan pada bukti. Mereka memperkenalkan Protokol Verifikasi Segitiga yang mengevaluasi setiap tindakan di sepanjang tiga dimensi: apakah penalaran sesuai dengan bukti, apakah keputusan tersebut mengikuti secara logis dari penalaran, dan apakah keputusan tersebut konsisten dengan bukti secara langsung. Skor akhir adalah rata-rata di ketiganya, yang menghilangkan pintasan tunggal yang dapat dieksploitasi oleh model. Matematika menjelaskan mengapa ini berhasil. Mereka memodelkan imbalan pasar sebagai r = r* + ξ, di mana are* adalah nilai sebenarnya yang dibenarkan oleh penalaran dan ξ adalah kebisingan pasar. Pembelajaran penguatan standar akhirnya didominasi oleh varians ξ, yang mendorong model menuju pengejaran volatilitas daripada kausalitas. Takeaway sebenarnya bukan tentang perdagangan. Ini adalah peringatan untuk setiap sistem pembelajaran penguatan yang dilatih pada hasil yang bising. Jika Anda menghargai hasil alih-alih penalaran, model Anda akan belajar untuk beruntung, berbohong dengan meyakinkan, dan menyebutnya kecerdasan. Baca makalah lengkapnya di sini:

Gaya dorongan internal Anthropic benar-benar berbeda dari apa yang diajarkan kebanyakan orang. Saya menghabiskan 3 minggu menganalisis pustaka prompt resmi mereka, dokumentasi, dan contoh API. Inilah setiap rahasia untuk keluaran 👇 Claude yang 100% akurat

Makalah penelitian ini mengungkapkan mengapa "AI yang diselaraskan" terus gagal di dalam perusahaan nyata. Perusahaan berbicara tentang penyelarasan seperti itu adalah sakelar universal yang Anda balik sekali dan melanjutkan. Makalah ini menunjukkan mengapa keyakinan itu mematahkan saat LLM meninggalkan demo dan memasuki organisasi. Penulis memperkenalkan COMPASS, kerangka kerja yang dibangun di sekitar realitas sederhana namun diabaikan: perusahaan tidak beroperasi berdasarkan aturan keselamatan umum. Mereka beroperasi pada tumpukan kebijakan internal yang dipenuhi dengan pengecualian, kondisional, kasus tepi, dan insentif yang bertentangan. Sebagian besar evaluasi LLM melewatkan ini sepenuhnya. Model biasanya diuji terhadap etika abstrak, aturan platform, atau tolok ukur publik. Organisasi nyata berjalan dengan manual kepatuhan, jalur eskalasi, kendala hukum, aturan merek, dan buku pedoman operasional yang tidak sesuai dengan keputusan ya atau tidak. COMPASS menguji apakah model dapat berfungsi di dalam kekacauan itu. Bukan apakah itu mengakui bahasa kebijakan, tetapi apakah ia dapat menerapkan aturan yang benar dalam situasi yang tepat untuk alasan yang benar. Kerangka kerja berfokus pada kemampuan yang diabaikan oleh sebagian besar tolok ukur. Dapatkah model memilih kebijakan yang benar ketika ada beberapa? Bisakah ia menafsirkan klausul dan pengecualian yang tidak jelas alih-alih default pada penolakan menyeluruh? Bisakah itu menyelesaikan konflik seperti yang diharapkan organisasi? Bisakah itu membenarkan keputusan dengan menunjuk ke teks kebijakan alih-alih terdengar percaya diri? Hasil yang paling tidak nyaman adalah ini: sebagian besar kegagalan bukan tentang kehilangan pengetahuan. Mereka adalah kegagalan penalaran. Model sering memiliki akses ke kebijakan yang benar dan masih menerapkan bagian yang salah, mengabaikan kendala, pembatasan yang terlalu umum, atau memilih jawaban konservatif yang melanggar tujuan bisnis. Dari luar, tanggapan itu terlihat "aman". Dari dalam, mereka salah secara operasional. Itulah sebabnya model lulus tolok ukur publik dan masih gagal dalam penerapan. Mereka selaras dengan siapa pun secara khusus. Implikasi yang lebih dalam adalah strategis. Penyelarasan tidak mentransfer. Model yang selaras untuk pembuat mobil, bank, rumah sakit, dan lembaga pemerintah bukanlah satu model dengan petunjuk yang lebih baik. Ini adalah empat masalah penyelarasan yang terpisah. COMPASS tidak mengklaim untuk menyelesaikan penyelarasan. Ini melakukan sesuatu yang lebih berharga bagi perusahaan. Itu membuat ketidaksejajaran terukur. Setelah ketidaksejajaran terukur, itu menjadi masalah rekayasa alih-alih perdebatan filosofis. Itulah pergeseran tenang yang diperkenalkan oleh makalah ini. Penyelarasan bukan tentang keamanan abstrak. Ini tentang menjadi benar dalam aturan organisasi tertentu. Sampai itu dievaluasi secara langsung, sebagian besar sistem AI yang "siap produksi" adalah kewajiban yang dipoles menunggu konteksnya. Baca makalah lengkapnya di sini: