Sluta slösa hundratals gigabyte på vektorsökning. En ny återhämtningsuppsättning minskar minnet med 32x och hastigheten med ~25x. Det görs genom att separera kandidatsökning från poängsättning. Den delar upp sökningen i två billiga steg För det första ersätter den fp32-inbäddningar med ett binärt index. Binära vektorer är 32 gånger mindre. Endast detta index stannar kvar i minnet. Det gör den initiala sökningen snabb och billig. Det lönar sig bara för noggrannhet i slutet Efter hämtning poängsatte den en liten kandidatuppsättning med int8-inbäddningar. Flödet: • Binärsökning över många dokument • Ta de främsta kandidaterna • Ompoäng ~40 av dem med int8 Detta återställer ~99 % av fp32-kvaliteten.

Gapet mellan idé och genomförande är där drömmar går för att dö.

Starkt rekommenderad handledning: Introduktion till CUDA-programmering för Python-utvecklare. Omslag: - Hur kärnor mappas till tusentals GPU-trådar - Vad block- och gängstorlekar betyder - Varför warp-divergens är viktig för prestanda