12 horas pasadas... APIs saliendo por mis orejas... las frustraciones son reales... ¡pero se está acercando! Tal vez... solo tal vez podría funcionar... Estoy deseando comprar un viaje a través de mi $Think Travel Agent... @thinkagents @mikeyanderson @dmcd_nz

Meta Superintelligence Labs acaba de hacer que los LLM manejen 16 veces más contexto y desbloqueen hasta 31 veces más velocidad. 🤯 Su nuevo marco REFRAG repensa RAG desde cero para lograr esto, todo sin pérdida de precisión. Así es como funciona: El problema central con el contexto largo es simple: hacer un documento 2 veces más largo puede hacer que tu IA sea 4 veces más lenta. Esto se debe a que el mecanismo de atención de un LLM es costoso. Su costo y uso de memoria crecen cuadráticamente (N²) con la longitud del texto. REFRAG elude esto. Comprimir: Un pequeño y ligero codificador primero lee los documentos recuperados. Comprime cada fragmento de texto de 16 tokens en un solo vector denso llamado "chunk embedding," que captura la esencia semántica. Acortar: El LLM principal recibe entonces una secuencia de estas incrustaciones en lugar de los tokens en bruto. La entrada que tiene que procesar ahora es 16 veces más corta. Acelerar: Debido a que la secuencia de entrada es tan corta, el cálculo de atención cuadrático es más barato, y la caché KV (el principal consumidor de memoria en los LLM) es más pequeña. Esto es lo que desbloquea la velocidad de 30.85 veces. Seleccionar: Para garantizar la precisión, una política de Aprendizaje por Refuerzo (RL) actúa como supervisor de control de calidad. Identifica los fragmentos más críticos y densos en información y le dice al sistema que no los comprima, asegurando que se conserven los detalles clave. Por qué esto es importante: REFRAG hace que la promesa de RAG de gran contexto sea una realidad en producción. Líderes empresariales: Así es como escalas aplicaciones de IA de manera rentable. Ofrece respuestas más poderosas a los usuarios, analizando informes completos, no solo páginas, todo mientras es más rápido y más barato. Practicantes: Ya no necesitas elegir entre grandes contextos y presupuestos de memoria razonables. REFRAG te permite tener ambos. Es una victoria arquitectónica sin cambios arquitectónicos. Investigadores: Este trabajo muestra que co-diseñar estrategias de decodificación con patrones de datos específicos de la aplicación (como la escasez de atención de RAG) produce resultados más allá de soluciones genéricas y de fuerza bruta.