Sejujurnya, sebagian besar pengembang AI masih terjebak di abad terakhir. Itu mengejutkan saya betapa sedikit orang yang mengetahui Analisis Kesalahan. Ini *secara harfiah* adalah cara tercepat dan paling efektif untuk mengevaluasi aplikasi AI, dan sebagian besar tim masih terjebak mengejar hantu. Harap berhenti melacak metrik umum dan ikuti langkah-langkah berikut: 1. Kumpulkan sampel kegagalan Mulailah meninjau respons yang dihasilkan oleh aplikasi Anda. Tulislah catatan tentang setiap tanggapan, terutama yang merupakan kesalahan. Anda tidak perlu memformat catatan Anda dengan cara tertentu. Fokus untuk menggambarkan apa yang salah dengan respons. 2. Kategorikan catatan Anda Setelah Anda meninjau serangkaian tanggapan yang baik, ambil LLM dan minta untuk menemukan pola umum dalam catatan Anda. Mintalah untuk mengklasifikasikan setiap nada berdasarkan pola-pola ini. Anda akan mendapatkan kategori yang mencakup setiap jenis kesalahan yang dibuat aplikasi Anda. 3. Mendiagnosis kesalahan yang paling sering terjadi Mulailah dengan berfokus pada jenis kesalahan yang paling umum. Anda tidak ingin membuang waktu bekerja dengan kesalahan langka. Telusuri percakapan, input, dan log yang mengarah ke sampel yang salah tersebut. Cobalah untuk memahami apa yang mungkin menyebabkan masalah. 4. Desain perbaikan yang ditargetkan Pada titik ini, Anda ingin menentukan cara menghilangkan kesalahan yang Anda diagnosis pada langkah sebelumnya secepat dan semurah mungkin. Misalnya, Anda dapat mengubah perintah, menambahkan aturan validasi tambahan, menemukan lebih banyak data pelatihan, atau memodifikasi model. 5. Mengotomatiskan proses evaluasi Anda perlu menerapkan proses sederhana untuk menjalankan ulang kumpulan evaluasi melalui aplikasi Anda dan mengevaluasi apakah perbaikan Anda efektif. Rekomendasi saya adalah menggunakan LLM-as-a-Judge untuk menjalankan sampel melalui aplikasi, menilainya dengan tag PASS/FAIL, dan menghitung hasilnya. 6. Awasi metrik Anda Setiap kategori yang Anda identifikasi selama analisis kesalahan adalah metrik yang ingin Anda lacak dari waktu ke waktu. Anda tidak akan mendapatkan apa-apa dengan terobsesi pada "relevansi", "kebenaran", "kelengkapan", "koherensi", dan metrik out-of-the-box lainnya. Lupakan ini dan fokuslah pada masalah nyata yang Anda temukan.