Ahora puedes ejecutar incrustaciones de última generación en CPUs. Un nuevo método de destilación acaba de ser lanzado con un 96 por ciento de calidad del maestro y hasta 15× menor tamaño. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF proviene de MongoDB Research y se enfoca en modelos de incrustación, no en generadores. Destila un modelo grande en uno compacto mientras mantiene el mismo espacio vectorial. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Los documentos se incrustan una vez usando el modelo grande. Las consultas se incrustan en tiempo de ejecución usando el pequeño. • Un trabajo offline para miles de millones de documentos • Consultas rápidas en CPUs o dispositivos de borde • Sin reindexación cuando cambian los modelos 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Mantiene ~96 por ciento del rendimiento del maestro. Los modelos son 5×–15× más pequeños y hasta 24× más rápidos. Mejores clasificaciones en BEIR y MTEB para tamaños compactos. Esto te permite ejecutar búsqueda semántica, RAG y agrupamiento con baja latencia, bajo consumo de memoria y sin GPU.