Tolok ukur OCR penting, jadi di blog ini @jerryjliu0 menganalisis OlmOCR-Bench, salah satu tolok ukur OCR dokumen yang paling berpengaruh. TLDR: ini adalah langkah penting ke arah yang benar, tetapi tidak cukup mencakup kebutuhan penguraian dokumen dunia nyata. 📊 OlmOCR-Bench mencakup 1400+ PDF dengan tes lulus-gagal biner, tetapi sangat berfokus pada makalah akademik (56%) sementara faktur, formulir, dan laporan keuangan tidak ada 🔍 Pengujian unit tolok ukur terlalu kasar untuk tabel kompleks dan urutan pembacaan, sel gabungan yang hilang, pemahaman bagan, dan struktur dokumen global ⚡ Pencocokan string yang tepat dalam pengujian menciptakan kerapuhan di mana perbedaan pemformatan kecil menyebabkan kegagalan, bahkan ketika ekstraksi secara semantik benar 🏗️ Bias model ada karena tolok ukur menggunakan Sonnet dan Gemini untuk menghasilkan kasus pengujian, memberikan keuntungan pada model yang dilatih pada output serupa Tes awal kami menunjukkan bahwa LlamaParse bersinar dalam penalaran visual yang mendalam atas angka, diagram, dan dokumen bisnis yang kompleks. Baca analisis Jerry's kami tentang tantangan pembandingan OCR dan seperti apa evaluasi penguraian dokumen generasi berikutnya: