Bạn có thể chạy các nhúng tiên tiến trên CPU ngay bây giờ. Một phương pháp chưng cất mới vừa được phát hành với 96% chất lượng của giáo viên ở kích thước nhỏ hơn tới 15×. 𝗟𝗲𝗮𝗳𝗿𝗲𝗱𝗱𝘂𝗰𝗲𝘀 𝗲𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴 𝗰𝗼𝘀𝘁𝘀 𝘄𝗶𝘁𝗵𝗼𝘂𝘁 𝗹𝗼𝘀𝘀 LEAF đến từ MongoDB Research và nhắm đến các mô hình nhúng, không phải các trình tạo. Nó chưng cất một mô hình lớn thành một mô hình nhỏ gọn trong khi vẫn giữ nguyên không gian vector. 𝗜𝘁 𝘂𝘀𝗲𝘀 𝗮𝗻 𝗮𝘀𝘆𝗺𝗺𝗲𝘁𝗿𝗶𝗰 𝗿𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗱𝗲𝘀𝗶𝗴𝗻 Tài liệu được nhúng một lần bằng mô hình lớn. Các truy vấn được nhúng trong thời gian thực bằng mô hình nhỏ. • Một công việc ngoại tuyến cho hàng tỷ tài liệu • Truy vấn nhanh trên CPU hoặc thiết bị biên • Không cần tái lập chỉ mục khi các mô hình thay đổi 𝗧𝗵𝗲 𝗿𝗲𝘀𝘂𝗹𝘁𝘀 𝗮𝗿𝗲 𝗵𝗮𝗿𝗱 𝗻𝘂𝗺𝗯𝗲𝗿𝘀 Nó giữ ~96% hiệu suất của giáo viên. Các mô hình nhỏ hơn 5×–15× và nhanh hơn tới 24×. Xếp hạng hàng đầu trên BEIR và MTEB cho kích thước nhỏ gọn. Điều này cho phép bạn chạy tìm kiếm ngữ nghĩa, RAG và phân cụm với độ trễ thấp, bộ nhớ thấp và không cần GPU.