Los benchmarks de OCR son importantes, así que en este blog @jerryjliu0 analiza OlmOCR-Bench, uno de los benchmarks de OCR de documentos más influyentes. Resumen: es un paso importante en la dirección correcta, pero no cubre del todo las necesidades de análisis de documentos del mundo real. 📊 OlmOCR-Bench cubre más de 1400 PDFs con pruebas binarias de aprobado y reprobado, pero se centra mucho en artículos académicos (56%) mientras que omite facturas, formularios y estados financieros. 🔍 Las pruebas unitarias del benchmark son demasiado generales para tablas complejas y el orden de lectura, omitiendo celdas combinadas, comprensión de gráficos y la estructura global del documento. ⚡ La coincidencia exacta de cadenas en las pruebas crea fragilidad donde pequeñas diferencias de formato causan fallos, incluso cuando la extracción es semánticamente correcta. 🏗️ Existe sesgo en el modelo ya que el benchmark utiliza Sonnet y Gemini para generar casos de prueba, dando ventajas a los modelos entrenados con salidas similares. Nuestras pruebas preliminares muestran que LlamaParse destaca en razonamiento visual profundo sobre figuras, diagramas y documentos comerciales complejos. Lee el análisis de Jerry sobre los desafíos de la evaluación de OCR y cómo debería ser la evaluación de análisis de documentos de próxima generación: