12 ore passate... API che escono dalle mie orecchie... le frustrazioni sono reali... ma ci stiamo avvicinando! Forse... solo forse potrebbe funzionare... Non vedo l'ora di acquistare un viaggio tramite il mio $Think Travel Agent... @thinkagents @mikeyanderson @dmcd_nz

Meta Superintelligence Labs ha appena fatto in modo che i LLM gestiscano 16 volte più contesto e sbloccassero fino a 31 volte di velocità. 🤯 Il loro nuovo framework REFRAG ripensa il RAG da zero per raggiungere questo obiettivo, il tutto senza alcuna perdita di precisione. Ecco come funziona: Il problema principale con il lungo contesto è semplice: rendere un documento 2 volte più lungo può rendere la tua IA 4 volte più lenta. Questo perché il meccanismo di attenzione di un LLM è costoso. Il suo costo e l'uso della memoria crescono quadraticamente (N²) con la lunghezza del testo. REFRAG evita questo. Comprimere: Un piccolo encoder leggero legge prima i documenti recuperati. Comprimi ogni blocco di testo di 16 token in un singolo vettore denso chiamato "chunk embedding", che cattura l'essenza semantica. Accorciare: Il LLM principale riceve quindi una sequenza di questi embedding invece dei token grezzi. L'input che deve elaborare è ora 16 volte più corto. Accelerare: Poiché la sequenza di input è così corta, il calcolo dell'attenzione quadratica è più economico e la cache KV (il principale consumatore di memoria negli LLM) è più piccola. Questo è ciò che sblocca il 30,85 volte di velocità. Selezionare: Per garantire la precisione, una politica di Reinforcement Learning (RL) funge da supervisore di controllo qualità. Identifica i blocchi più critici e densi di informazioni e dice al sistema di non comprimerli, assicurando che i dettagli chiave siano preservati. Perché questo è importante: REFRAG rende la promessa del RAG a lungo contesto una realtà produttiva. Leader aziendali: Questo è il modo in cui scalate le applicazioni AI in modo redditizio. Fornite risposte più potenti agli utenti, analizzando interi rapporti, non solo pagine, il tutto mentre siete più veloci e più economici. Praticanti: Non dovete più scegliere tra lunghi contesti e budget di memoria ragionevoli. REFRAG vi consente di avere entrambi. È una vittoria architettonica senza cambiamenti architettonici. Ricercatori: Questo lavoro dimostra che co-progettare strategie di decodifica con modelli di dati specifici per l'applicazione (come la scarsità di attenzione del RAG) produce risultati oltre le soluzioni generiche e brute-force.