RAG è rotto e nessuno ne parla 🤯 Stanford ha appena pubblicato un documento su "Semantic Collapse", dimostrando che una volta che la tua base di conoscenza raggiunge ~10.000 documenti, la ricerca semantica diventa un vero e proprio lancio di moneta. Ecco perché il tuo RAG sta fallendo: Superati i 10.000 documenti, la tua elegante ricerca AI diventa fondamentalmente un lancio di moneta. Ogni documento che aggiungi viene trasformato in un embedding ad alta dimensione. Su piccola scala, documenti simili si raggruppano perfettamente. Ma aggiungi abbastanza dati e lo spazio si riempie. Le distanze si comprimono. Tutto sembra "rilevante." È la maledizione della dimensionalità. In uno spazio 1000D, il 99,9% dei tuoi dati vive sulla superficie esterna, quasi equidistante da qualsiasi query. Stanford ha trovato un calo di precisione dell'87% a 50k documenti. Aggiungere più contesto rende effettivamente le allucinazioni peggiori, non migliori. Pensavamo che RAG risolvesse le allucinazioni… le ha solo nascoste dietro la matematica. La soluzione non è il riordino o una migliore suddivisione. È il recupero gerarchico e i database a grafo.