Je suis une fois de plus choqué de voir à quel point la performance de récupération d'images peut être améliorée si vous intégrez des résumés très opinionnés d'une image, un résumé qui provient d'un modèle de langage visuel, plutôt qu'en utilisant les embeddings CLIP eux-mêmes. Si vous dites au LLM que le résumé va être intégré et utilisé pour effectuer une recherche en aval. J'ai eu un système qui est passé de 28 % de rappel à 5 en utilisant CLIP à 75 % de rappel à 5 en utilisant un résumé LLM. Et il ne m'a fallu qu'environ 40 minutes pour améliorer le prompt de résumé.