Ponownie jestem zszokowany, jak dużo lepszą wydajność w wyszukiwaniu obrazów można uzyskać, jeśli osadzisz bardzo subiektywne podsumowania obrazu, podsumowanie, które pochodzi z modelu językowego wizualnego, niż używając samych osadzeń CLIP. Jeśli powiesz LLM, że podsumowanie ma być osadzone i użyte do wyszukiwania w dalszej części. Miałem jeden system, który przeszedł z 28% przypomnienia przy 5 używając CLIP do 75% przypomnienia przy 5 używając podsumowania LLM. I zajęło mi to tylko około 40 minut, aby poprawić podpowiedź do podsumowania.