Sluta slösa hundratals gigabyte på vektorsökning. En ny återhämtningsuppsättning minskar minnet med 32x och hastigheten med ~25x. Det görs genom att separera kandidatsökning från poängsättning. Den delar upp sökningen i två billiga steg För det första ersätter den fp32-inbäddningar med ett binärt index. Binära vektorer är 32 gånger mindre. Endast detta index stannar kvar i minnet. Det gör den initiala sökningen snabb och billig. Det lönar sig bara för noggrannhet i slutet Efter hämtning poängsatte den en liten kandidatuppsättning med int8-inbäddningar. Flödet: • Binärsökning över många dokument • Ta de främsta kandidaterna • Ompoäng ~40 av dem med int8 Detta återställer ~99 % av fp32-kvaliteten.