Ich bin erneut schockiert, wie viel besser die Leistung bei der Bildabrufung ist, wenn man stark meinungsbasierte Zusammenfassungen eines Bildes einbettet, eine Zusammenfassung, die aus einem visuellen Sprachmodell stammt, als wenn man die CLIP-Einbettungen selbst verwendet. Wenn man dem LLM sagt, dass die Zusammenfassung eingebettet wird und zur späteren Suche verwendet wird. Ich hatte ein System, das von 28 % Recall bei 5 mit CLIP auf 75 % Recall bei 5 mit einer LLM-Zusammenfassung ging. Und es hat mich nur etwa 40 Minuten gekostet, um den Zusammenfassungs-Prompt zu verbessern.