Przestań marnować setki gigabajtów na wyszukiwanie wektorowe. Nowa konfiguracja wyszukiwania zmniejsza pamięć o 32x i przyspiesza o ~25x. Robi to, oddzielając wyszukiwanie kandydatów od oceniania. 𝗜𝘁 𝘀𝗽𝗹𝗶𝘁𝘀 𝘀𝗲𝗮𝗿𝗰𝗵 𝗶𝗻𝘁𝗼 𝘁𝘄𝗼 𝗰𝗵𝗲𝗮𝗽 𝘀𝘁𝗲𝗽𝘀 Najpierw zastępuje osadzenia fp32 binarnym indeksem. Wektory binarne są 32x mniejsze. Tylko ten indeks pozostaje w pamięci. To sprawia, że początkowe wyszukiwanie jest szybkie i tanie. 𝗜𝘁 𝗼𝗻𝗹𝘆 𝗽𝗮𝘆𝘀 𝗳𝗼𝗿 𝗮𝗰𝗰𝘂𝗿𝗮𝗰𝘆 𝗮𝘁 𝘁𝗵𝗲 𝗲𝗻𝗱 Po wyszukaniu, ponownie ocenia mały zestaw kandydatów, używając osadzeń int8. Przepływ: • Wyszukiwanie binarne w wielu dokumentach • Wybierz najlepszych kandydatów • Ponownie oceniaj ~40 z nich z int8 To odzyskuje ~99% jakości fp32.