Sie können jetzt hochmoderne Embeddings auf CPUs ausführen. Eine neue Destillationsmethode wurde gerade veröffentlicht, die 96 Prozent der Lehrerqualität bei bis zu 15× kleinerer Größe bietet. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF stammt von MongoDB Research und zielt auf Embedding-Modelle ab, nicht auf Generatoren. Es destilliert ein großes Modell in ein kompaktes, während es denselben Vektorraum beibehält. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Dokumente werden einmal mit dem großen Modell eingebettet. Abfragen werden zur Laufzeit mit dem kleinen Modell eingebettet. • Ein Offline-Job für Milliarden von Dokumenten • Schnelle Abfragen auf CPUs oder Edge-Geräten • Kein Reindexieren, wenn sich Modelle ändern 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Es behält ~96 Prozent der Lehrerleistung bei. Modelle sind 5×–15× kleiner und bis zu 24× schneller. Top-Rankings auf BEIR und MTEB für kompakte Größen. Das ermöglicht Ihnen, semantische Suche, RAG und Clustering mit niedriger Latenz, geringem Speicherbedarf und ohne GPU auszuführen.