ベクターサーチに何百ギガバイトもの無駄遣いをやめましょう。 新しい検索セットアップにより、メモリは32倍短縮され、速度は~25倍短縮されます。 これは候補者検索とスコアリングを分離することで実現しています。 検索を2つの安価なステップに分けています まず、fp32埋め込みをバイナリインデックスに置き換えます。 バイナリベクトルは32倍小さいです。 このインデックスだけがメモリに残ります。 これにより、最初の検索が迅速かつ安価になります。 最終的には正確さだけが支払われます 取得後、int8埋め込みを用いて小さな候補集合を再スコアリングしました。 流れ: • 多くの文書を対象とした二分探索 ・トップ候補者を選ぶ ・40曲をint8で再評価 これによりfp32の品質が~99%回復します。