Stop met het verspillen van honderden gigabytes aan vectorzoekopdrachten. Een nieuwe opzet voor ophalen vermindert het geheugen met 32x en de snelheid met ~25x. Dit doet het door de kandidaatzoekopdracht te scheiden van de scoring. 𝗜𝘁 𝘀𝗽𝗹𝗶𝘁𝘀 𝘀𝗲𝗮𝗿𝗰𝗵 𝗶𝗻𝘁𝗼 𝘁𝘄𝗼 𝗰𝗵𝗲𝗮𝗽 𝘀𝘁𝗲𝗽𝘀 Eerst vervangt het fp32-embeddings door een binaire index. Binaire vectoren zijn 32x kleiner. Alleen deze index blijft in het geheugen. Dat maakt de initiële zoekopdracht snel en goedkoop. 𝗜𝘁 𝗼𝗻𝗹𝘆 𝗽𝗮𝘆𝘀 𝗳𝗼𝗿 𝗮𝗰𝗰𝘂𝗿𝗮𝗰𝘆 𝗮𝘁 𝘁𝗵𝗲 𝗲𝗻𝗱 Na het ophalen, herscoort het een kleine set kandidaten met behulp van int8-embeddings. De flow: • Binaire zoekopdracht over veel documenten • Neem de beste kandidaten • Herschalen ~40 van hen met int8 Dit herstelt ~99% van de fp32-kwaliteit.