您现在可以在 CPU 上运行最先进的嵌入。 一种新的蒸馏方法刚刚发布，具有 96% 的教师质量，体积缩小至 15 倍。 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF 来自 MongoDB Research，专注于嵌入模型，而不是生成器。 它将大型模型蒸馏为紧凑型模型，同时保持相同的向量空间。 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 文档使用大型模型嵌入一次。 查询在运行时使用小型模型嵌入。 • 针对数十亿文档的一次离线作业 • 在 CPU 或边缘设备上快速查询 • 当模型更改时无需重新索引 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 它保持 ~96% 的教师性能。 模型小于 5×–15×，速度快于 24×。 在 BEIR 和 MTEB 上的紧凑尺寸中排名靠前。 这使您能够以低延迟、低内存和无 GPU 运行语义搜索、RAG 和聚类。