CERCETARE NOUĂ de la Apple. Dacă te gândești bine, sistemele RAG sunt fundamental defecte. Recuperarea și generarea sunt optimizate separat, recuperarea selectează documentele pe baza similarității la nivel superficial, în timp ce generatoarele produc răspunsuri fără feedback despre ce informații sunt efectiv necesare. Există o nepotrivire arhitecturală. Retrieverii densi clasifică documentele în spațiul de încorporare, în timp ce generatoarele consumă text brut. Aceasta creează spații de reprezentare inconsistente care împiedică optimizarea end-to-end, procesarea redundantă a textului care cauzează depășire de context și codificare duplicată atât pentru recuperare, cât și pentru generare. Această nouă cercetare introduce CLaRa, un cadru unificat care realizează recuperarea și generarea peste reprezentări continue ale documentelor partajate. Ele codifică documentele odinioară în reprezentări compacte de jetoane de memorie care servesc ambelor scopuri. În loc să mențină încorporații separate și text brut, documentele sunt comprimate în vectori densi pe care atât retrieverul, cât și generatorul operează direct. Acest lucru permite ceva anterior imposibil: gradiente care curg din generator înapoi către retriever printr-un selector top-k diferențiabil folosind estimarea Straight-Through. Retriever-ul află care documente îmbunătățesc cu adevărat generarea răspunsurilor, în loc să se bazeze pe similaritatea superficială. Pentru a face compresia să funcționeze, introduc SCP, un cadru de pre-antrenament care sintetizează perechi QA și parafrazează pentru a-l învăța pe compresor ce informații sunt esențiale. QA simplu surprinde fapte atomice, QA complex promovează raționamentul relațional, iar parafrazele păstrează semantica în timp ce modifică forma de suprafață. Rezultate: La compresie de 16x, CLaRa-Mistral-7B depășește DRO-Mistral-7B bazat pe text pe NQ (51.41 vs 51.01 F1) și 2Wiki (47.18 vs 43.65 F1), procesând mult mai puțin context. La compresie de 4x, depășește liniile de bază ale textului necomprimat cu o medie de 2,36% pe Mistral-7B. Cel mai notabil, CLaRa antrenat doar cu o supraveghere slabă din partea predicției next-token depășește retrieverii complet supravegheați cu etichete de relevanță de teren. Pe HotpotQA, obține un Recall@5% de 96,21%, depășind BGE-Reranker (85,93%) cu peste 10 puncte, deși nu folosește date adnotate de relevanță. Compresia soft bine antrenată poate păstra informațiile esențiale de raționament, reducând substanțial lungimea intrării. Reprezentările comprimate filtrează conținutul irelevant și concentrează generatorul pe context relevant pentru raționament, conducând la o generalizare mai bună decât intrările de text brut. Lectură excelentă pentru dezvoltatorii AI. (îl adaugă la favorite) Hârtie: Învață să construiești cu agenți RAG și AI în academia mea: