Lihat penelitian terbaru kami yang dipimpin oleh @rohin_manvi tentang komputasi waktu pengujian adaptif.
LLM dapat dilatih untuk memprediksi masa depan mereka sendiri, seberapa baik kinerja mereka dan dalam waktu berapa.
Mekanisme ini dapat digunakan sebagai strategi pengambilan sampel baru untuk meningkatkan efisiensi komputasi waktu pengujian.
🚨Kertas 🚨
Bagaimana jika LLM dapat memberi tahu Anda bahwa mereka akan gagal sebelum mereka selesai bernalar?
Kami melatih model untuk memprediksi masa depan mereka sendiri: apakah mereka akan berhasil dan berapa lama waktu yang dibutuhkan. Di setiap token, secara real time, tanpa komputasi tambahan.
Kami menggunakan ini untuk mengembangkan algoritma pengambilan sampel adaptif untuk komputasi waktu pengujian. 👇🧵