Możesz teraz uruchamiać nowoczesne osadzenia na CPU. Nowa metoda destylacji właśnie została wprowadzona, oferując 96 procent jakości nauczyciela przy rozmiarze do 15× mniejszym. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF pochodzi z MongoDB Research i koncentruje się na modelach osadzeń, a nie generatorach. Destyluje duży model do kompaktowego, zachowując tę samą przestrzeń wektorową. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Dokumenty są osadzane raz przy użyciu dużego modelu. Zapytania są osadzane w czasie rzeczywistym przy użyciu małego modelu. • Jedna praca offline dla miliardów dokumentów • Szybkie zapytania na CPU lub urządzeniach brzegowych • Brak ponownego indeksowania, gdy modele się zmieniają 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Zachowuje ~96 procent wydajności nauczyciela. Modele są 5×–15× mniejsze i do 24× szybsze. Najwyższe miejsca w rankingach BEIR i MTEB dla kompaktowych rozmiarów. To pozwala na uruchamianie wyszukiwania semantycznego, RAG i klasteryzacji z niskim opóźnieniem, niską pamięcią i bez GPU.