Ora puoi eseguire embedding all'avanguardia su CPU. Un nuovo metodo di distillazione è stato appena rilasciato con il 96% della qualità del docente a dimensioni fino a 15× più piccole. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF proviene da MongoDB Research e si concentra sui modelli di embedding, non sui generatori. Distilla un grande modello in uno compatto mantenendo lo stesso spazio vettoriale. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 I documenti vengono incorporati una sola volta utilizzando il grande modello. Le query vengono incorporate in tempo reale utilizzando il piccolo. • Un lavoro offline per miliardi di documenti • Query veloci su CPU o dispositivi edge • Nessun reindicizzazione quando i modelli cambiano 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Mantiene ~96% delle prestazioni del docente. I modelli sono 5×–15× più piccoli e fino a 24× più veloci. Classifiche elevate su BEIR e MTEB per dimensioni compatte. Questo ti consente di eseguire ricerche semantiche, RAG e clustering con bassa latenza, basso utilizzo di memoria e senza GPU.