RAG ist kaputt und niemand spricht darüber 🤯 Stanford hat gerade ein Papier über "Semantischen Zusammenbruch" veröffentlicht, das beweist, dass, sobald Ihre Wissensbasis ~10.000 Dokumente erreicht, die semantische Suche zu einem echten Münzwurf wird. Hier ist der Grund, warum Ihr RAG scheitert: Nach 10.000 Dokumenten wird Ihre schicke AI-Suche im Grunde genommen zu einem Münzwurf. Jedes Dokument, das Sie hinzufügen, wird in ein hochdimensionales Embedding umgewandelt. In kleinem Maßstab gruppieren sich ähnliche Dokumente perfekt. Aber fügen Sie genügend Daten hinzu, und der Raum füllt sich. Abstände komprimieren sich. Alles sieht "relevant" aus. Es ist der Fluch der Dimensionalität. In einem 1000D-Raum lebt 99,9% Ihrer Daten auf der äußeren Schale, fast gleich weit von jeder Abfrage entfernt. Stanford fand einen Rückgang der Präzision um 87% bei 50.000 Dokumenten. Mehr Kontext hinzuzufügen macht Halluzinationen tatsächlich schlimmer, nicht besser. Wir dachten, RAG hätte Halluzinationen gelöst… es hat sie nur hinter Mathematik versteckt. Die Lösung ist nicht das Neurangieren oder besseres Chunking. Es ist hierarchische Abfrage und Graphdatenbanken.