Vous pouvez exécuter des embeddings à la pointe de la technologie sur des CPU maintenant. Une nouvelle méthode de distillation vient d'être lancée avec 96 % de qualité de l'enseignant pour une taille jusqu'à 15× plus petite. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲 𝗹𝗲𝘀 𝗰𝗼𝘀𝘁𝘀 𝗱'𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗮𝘃𝗲𝗰 𝗻𝗲 𝗹𝗼𝘀𝘀 LEAF provient de MongoDB Research et cible les modèles d'embedding, pas les générateurs. Il distille un grand modèle en un modèle compact tout en conservant le même espace vectoriel. 𝗜𝘁 𝘂𝘀𝗲 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Les documents sont intégrés une fois en utilisant le grand modèle. Les requêtes sont intégrées à l'exécution en utilisant le petit modèle. • Un travail hors ligne pour des milliards de documents • Requêtes rapides sur des CPU ou des appareils en périphérie • Pas de réindexation lorsque les modèles changent 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Il conserve ~96 % de la performance de l'enseignant. Les modèles sont 5×–15× plus petits et jusqu'à 24× plus rapides. Meilleurs classements sur BEIR et MTEB pour des tailles compactes. Cela vous permet d'exécuter des recherches sémantiques, RAG et du clustering avec une faible latence, une faible mémoire et sans GPU.