今では最先端の埋め込み技術をCPU上で実行できます。 新しい蒸留法が、最大15×小さいサイズで教師の質の96%を発送したばかりです。 リーフデュースは損失なく埋め込みコストを軽減します LEAFはMongoDB Researchによるもので、ジェネレーターではなく埋め込みモデルを対象としています。 大きなモデルをコンパクトなモデルに抽出しつつ、同じベクトル空間を保ちます。 非対称回収設計を採用しています 文書は大きなモデルで一度埋め込まれます。 クエリは実行時に小さなものを使って埋め込まれます。 • 数十億件の文書に対してオフラインの作業を1つ • CPUやエッジデバイスでの高速クエリ ・モデル変更時の再インデックスなし 結果は確かな数字です 教師の成績の~96%を保持します。 モデルは5×〜15×小さく、最大24〜×速いです。 BEIRとMTEBでコンパクトサイズでトップランクに入っています。 これにより、低遅延、低メモリ、GPUなしでセマンティックサーチ、RAG、クラスタリングを実行できます。