Tôi một lần nữa cảm thấy sốc về việc hiệu suất truy xuất hình ảnh có thể tốt hơn bao nhiêu nếu bạn nhúng những tóm tắt có quan điểm mạnh mẽ về một hình ảnh, một tóm tắt được tạo ra từ một mô hình ngôn ngữ hình ảnh, hơn là sử dụng chính các nhúng CLIP. Nếu bạn nói với LLM rằng tóm tắt sẽ được nhúng và sử dụng để tìm kiếm ở phía dưới. Tôi đã có một hệ thống từ 28% độ hồi tưởng ở mức 5 khi sử dụng CLIP lên 75% độ hồi tưởng ở mức 5 khi sử dụng tóm tắt LLM. Và tôi chỉ mất khoảng 40 phút để cải thiện lời nhắc tóm tắt.