12 horas para baixo.... APIs saindo dos meus ouvidos... frustrações são reais ... mas está chegando mais perto! Talvez... só talvez pudesse funcionar.... Ansioso para comprar uma viagem através do meu $Think Agente de Viagens... @thinkagents @mikeyanderson @dmcd_nz

O Meta Superintelligence Labs acabou de fazer os LLMs lidarem com 16x mais contexto e desbloqueou uma aceleração de até 31x. 🤯 Sua nova estrutura REFRAG repensa o RAG desde o início para conseguir isso, tudo com zero queda na precisão. Veja como funciona: O principal problema com o contexto longo é simples: tornar um documento 2x mais longo pode tornar sua IA 4x mais lenta. Isso ocorre porque o mecanismo de atenção de um LLM é caro. Seu custo e uso de memória crescem quadraticamente (N²) com o comprimento do texto. REFRAG evita isso. Compactar: Um codificador pequeno e leve lê primeiro os documentos recuperados. Ele compacta cada pedaço de texto de 16 tokens em um único vetor denso chamado "incorporação de blocos", que captura a essência semântica. Encurtar: O LLM principal é então alimentado com uma sequência dessas incorporações em vez dos tokens brutos. A entrada que ele precisa processar agora é 16x mais curta. Acelerar: Como a sequência de entrada é tão curta, o cálculo de atenção quadrática é mais barato e o cache KV (o devorador de memória primária em LLMs) é menor. Isso é o que desbloqueia a aceleração de 30,85x. Selecione: Para garantir a precisão, uma política de RL (Aprendizado por Reforço) atua como um supervisor de controle de qualidade. Ele identifica as partes mais críticas e densas em informações e informa ao sistema para não compactá-las, garantindo que os principais detalhes sejam preservados. Por que isso importa: O REFRAG torna a promessa do RAG de grande contexto uma realidade de produção. Líderes de negócios: é assim que você dimensiona aplicativos de IA de forma lucrativa. Forneça respostas mais poderosas aos usuários, analisando relatórios inteiros, não apenas páginas, tudo isso sendo mais rápido e barato. Praticantes: Você não precisa mais escolher entre grandes contextos e orçamentos de memória razoáveis. O REFRAG permite que você tenha os dois. É uma vitória arquitetônica sem mudanças arquitetônicas. Pesquisadores: Este trabalho mostra que o co-design de estratégias de decodificação com padrões de dados específicos do aplicativo (como a esparsidade de atenção do RAG) produz resultados além das soluções genéricas de força bruta.