Přestaňte plýtvat stovkami gigabajtů na vektorové vyhledávání. Nové nastavení pro vyhledávání snižuje paměť 32x a rychlost ~25x. Dělá to tím, že odděluje vyhledávání kandidátů od skórování. Rozděluje vyhledávání na dva levné kroky Nejprve nahrazuje vložení fp32 binárním indexem. Binární vektory jsou 32krát menší. Pouze tento index zůstává v paměti. To dělá počáteční vyhledávání rychlým a levným. Na konci se vyplácí jen přesnost Po získání znovu ohodnotil malou kandidátní sadu pomocí embeddingů int8. Průběh: • Binární vyhledávání v mnoha dokumentech • Vezměte nejlepší kandidáty • Znovu skórovat ~40 z nich s int8 To obnovuje ~99 % kvality FP32.