Теперь вы можете запускать современные встраивания на ЦП. Новый метод дистилляции только что был выпущен с 96 процентами качества учителя при размере до 15× меньше. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF поступает из MongoDB Research и нацелен на модели встраивания, а не генераторы. Он дистиллирует большую модель в компактную, сохраняя то же самое векторное пространство. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Документы встраиваются один раз с использованием большой модели. Запросы встраиваются во время выполнения с использованием маленькой. • Одна оффлайн задача для миллиардов документов • Быстрые запросы на ЦП или устройствах на краю • Нет повторной индексации при изменении моделей 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Он сохраняет ~96 процентов производительности учителя. Модели в 5×–15× меньше и до 24× быстрее. Топовые позиции на BEIR и MTEB для компактных размеров. Это позволяет вам выполнять семантический поиск, RAG и кластеризацию с низкой задержкой, низким потреблением памяти и без GPU.