Тепер можна запускати найсучасніші вбудовки на процесорах. Новий метод дистиляції щойно з'явився з 96 відсотками якості вчителів у розмірі до 15× меншого розміру. Leafredduces витрати на вбудовування без втрат LEAF походить від MongoDB Research і орієнтований на моделі вбудовування, а не на генератори. Вона перетворює велику модель на компактну, зберігаючи той самий векторний простір. Він використовує асиметричну конструкцію пошуку Документи вбудовуються після використання великої моделі. Запити вбудовуються під час виконання за допомогою маленького пристрою. • Одна офлайн-робота для мільярдів документів • Швидкі запити до процесорів або периферійних пристроїв • Відсутність переіндексації при зміні моделей Результати — це точні цифри. Це зберігає ~96 відсотків результатів роботи вчителів. Моделі на 5×–15× менші та до 24× швидші. Топові позиції на BEIR і MTEB для компактних розмірів. Це дозволяє запускати семантичний пошук, RAG і кластеризацію з низькою затримкою, малою пам'яттю та без GPU.