12 часов прошло... API повсюду... разочарования реальны... но это становится ближе! Может быть... просто может быть, это сработает... С нетерпением жду возможности купить поездку через моего $Think Travel Agent... @thinkagents @mikeyanderson @dmcd_nz

Лаборатории Meta Superintelligence только что сделали так, чтобы LLM могли обрабатывать в 16 раз больше контекста и разблокировали до 31-кратного ускорения. 🤯 Их новая структура REFRAG переосмысляет RAG с нуля, чтобы достичь этого, при этом не теряя в точности. Вот как это работает: Основная проблема с длинным контекстом проста: удлинение документа в 2 раза может сделать ваш ИИ в 4 раза медленнее. Это связано с тем, что механизм внимания LLM дорогой. Его стоимость и использование памяти растут квадратично (N²) с увеличением длины текста. REFRAG обходит это. Сжать: Небольшой, легкий кодировщик сначала считывает извлеченные документы. Он сжимает каждый фрагмент текста из 16 токенов в один плотный вектор, называемый "встраиванием фрагмента", который захватывает семантическую суть. Сократить: Основной LLM затем получает последовательность этих встраиваний вместо сырых токенов. Входные данные, которые ему нужно обработать, теперь в 16 раз короче. Ускорить: Поскольку входная последовательность так коротка, квадратичные вычисления внимания становятся дешевле, а кеш KV (основной потребитель памяти в LLM) меньше. Это и разблокирует 30.85-кратное ускорение. Выбрать: Чтобы гарантировать точность, политика обучения с подкреплением (RL) действует как контролер качества. Она определяет самые критически важные, насыщенные информацией фрагменты и говорит системе не сжимать их, обеспечивая сохранение ключевых деталей. Почему это важно: REFRAG делает обещание большого контекста RAG реальностью в производстве. Руководители бизнеса: Вот как вы масштабируете AI-приложения с прибылью. Предоставляйте более мощные ответы пользователям, анализируя целые отчеты, а не только страницы, при этом оставаясь быстрее и дешевле. Практики: Вам больше не нужно выбирать между большими контекстами и разумными бюджетами памяти. REFRAG позволяет иметь и то, и другое. Это архитектурная победа без архитектурных изменений. Исследователи: Эта работа показывает, что совместное проектирование стратегий декодирования с учетом специфических данных приложений (таких как разреженность внимания RAG) дает результаты, превосходящие общие, грубые решения.