Перестаньте тратить сотни гигабайт на векторный поиск. Новая система извлечения сокращает память в 32 раза и скорость примерно в 25 раз. Это достигается за счет разделения поиска кандидатов и оценки. 𝗜𝘁 𝘀𝗽𝗹𝗶𝘁𝘀 𝘀𝗲𝗮𝗿𝗰𝗵 𝗶𝗻𝘁𝗼 𝘁𝘄𝗼 𝗰𝗵𝗲𝗮𝗽 𝘀𝘁𝗲𝗽𝘀 Сначала она заменяет fp32 встраивания на бинарный индекс. Бинарные векторы в 32 раза меньше. Только этот индекс остается в памяти. Это делает начальный поиск быстрым и дешевым. 𝗜𝘁 𝗼𝗻𝗹𝘆 𝗽𝗮𝘆𝘀 𝗳𝗼𝗿 𝗮𝗰𝗰𝘂𝗿𝗮𝗰𝘆 𝗮𝘁 𝘁𝗵𝗲 𝗲𝗻𝗱 После извлечения он переоценивает небольшой набор кандидатов, используя int8 встраивания. Поток: • Бинарный поиск по многим документам • Выбор лучших кандидатов • Переоценка ~40 из них с помощью int8 Это восстанавливает ~99% качества fp32.