Đừng lãng phí hàng trăm gigabyte cho việc tìm kiếm vector. Một thiết lập truy xuất mới giảm bộ nhớ xuống 32 lần và tốc độ khoảng 25 lần. Nó làm điều này bằng cách tách tìm kiếm ứng viên khỏi việc chấm điểm. 𝗜𝘁 𝘀𝗽𝗹𝗶𝘁𝘀 𝘀𝗲𝗮𝗿𝗰𝗵 𝗶𝗻𝘁𝗼 𝘁𝘄𝗼 𝗰𝗵𝗲𝗮𝗽 𝘀𝘁𝗲𝗽𝘀 Đầu tiên, nó thay thế các nhúng fp32 bằng một chỉ mục nhị phân. Các vector nhị phân nhỏ hơn 32 lần. Chỉ chỉ mục này ở lại trong bộ nhớ. Điều đó làm cho việc tìm kiếm ban đầu nhanh và rẻ. 𝗜𝘁 𝗼𝗻𝗹𝘆 𝗽𝗮𝘆𝘀 𝗳𝗼𝗿 𝗮𝗰𝗰𝘂𝗿𝗮𝗰𝘆 𝗮𝘁 𝘁𝗵𝗲 𝗲𝗻𝗱 Sau khi truy xuất, nó chấm điểm lại một tập hợp ứng viên nhỏ bằng cách sử dụng nhúng int8. Quy trình: • Tìm kiếm nhị phân trên nhiều tài liệu • Lấy các ứng viên hàng đầu • Chấm điểm lại khoảng 40 trong số đó với int8 Điều này phục hồi khoảng 99% chất lượng fp32.