您現在可以在 CPU 上運行最先進的嵌入。 一種新的蒸餾方法剛剛推出，具有 96% 的教師質量，體積縮小至最多 15 倍。 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF 來自 MongoDB 研究，針對嵌入模型，而非生成器。 它將大型模型蒸餾成一個緊湊的模型，同時保持相同的向量空間。 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 文件使用大型模型嵌入一次。 查詢在運行時使用小型模型嵌入。 • 一個離線作業處理數十億文件 • 在 CPU 或邊緣設備上快速查詢 • 當模型變更時無需重新索引 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 它保持約 96% 的教師性能。 模型縮小至 5 倍至 15 倍，速度提高至最多 24 倍。 在 BEIR 和 MTEB 上的緊湊尺寸中排名靠前。 這使您能夠以低延遲、低內存和無需 GPU 的情況下運行語義搜索、RAG 和聚類。