Saya belum mendengarnya dibahas tetapi AI pada dasarnya membunuh hackathon. hampir semua yang bisa Anda buat di hackathon pada tahun 2019 dapat dibangun dengan lebih baik dan lebih cepat oleh AI pada tahun 2025

Ini kode buruk bukan?

mungkin 10x lebih banyak orang harus mengerjakan pengoptimalan prompt sistem (kita membutuhkan vLLM untuk promptopt), teori, teknik baru, tolok ukur. seluruh kit dan caboodle

Berikut beberapa alfa gratis: jika kita melakukan RL terlalu lama setelah pralatihan, kita pasti akan menimpa parameter dan mulai melupakan banyak hal dalam makalah instructGPT asli, model terbaik mereka mencampur RLHF dengan gradien pra-pelatihan untuk menghindari masalah penyimpangan model ini namun tidak ada yang melakukan ini lagi. tentu, ini adalah satu instansiasi tertentu (pencampuran gradien) dari ide yang lebih luas (menghindari lupa) tetapi tampaknya seperti garis pemikiran yang sangat diabaikan saat kita melakukan lebih banyak langkah RL misalnya lihat makalah ProRL baru-baru ini. mereka melakukan lebih dari 1000 langkah GRPO sekarang dengan tingkat pembelajaran yang tidak sepele dan tanpa penalti karena menyimpang dari model aslinya. Sirkuit yang dibangun di dalam model selama prapelatihan pasti mulai membusuk. dan jika tidak, mereka akan melakukannya setelah 10k atau 100k langkah RL Saya menduga ide ini akan kembali pada akhirnya; Mereka mungkin sudah melakukan ini di laboratorium besar

Saya mencari contoh generalisasi model penalaran yang baik misalnya, model yang diberi insentif melalui RL untuk berpikir sejenak dan memecahkan masalah matematika menjadi lebih baik dalam penulisan kreatif Apakah ini umum?

Ini tampaknya sangat penting: benar-benar masuk akal bahwa sebuah model bisa mendapatkan emas IMO tanpa *apapun* pembelajaran penguatan, mengingat prompt yang dibuat dengan sempurna Kami hanya tidak tahu, dan kekurangan alat untuk mencari secara efisien melalui ruang prompt. senang melihat setidaknya seseorang mencoba

Anda tidak bisa mengarang hal-hal ini

situasi hipotetis - Saya adalah perusahaan AI yang mengurangi biaya transfer dan penyimpanan model menjadi nol. Saya dapat melayani setiap pengguna model mereka sendiri tanpa overhead Apa yang harus saya lakukan? model khusus pengguna SFT secara langsung pada data mereka? atau RLHF pada peringkat obrolan? sesuatu yang lain?

Otak manusia mencadangkan 40% pemrosesannya secara eksklusif untuk penglihatan. LLM modern entah bagaimana berevolusi tanpa ini sepenuhnya

Pria yang saya kenal ini (diduga) meracuni korpus data pelatihan AI global dengan muatan jailbreak sleeper yang diaktifkan pemicu yang menyebarkan sendiri