Récemment, j'ai utilisé divers crawlers, les services open source auto-hébergés Crawl4AI / CrawlLee ainsi que Firecrawl / Jina Reader / le nouveau crawl de Cloudflare. J'ai découvert que le plus pratique et abordable reste Jina Reader, sans abonnement, avec un quota gratuit important, et par la suite, c'est du paiement à l'utilisation. Il est stable pour crawler divers contenus, surtout pour les posts de X, où les résultats sont également bons. Les autres semblent moyens, instables ou sont tout simplement bloqués, bien sûr à part Apify, mais c'est trop cher. En auto-hébergement, le meilleur en termes de performance est Crawl4AI. Je ne sais pas ce que vous en pensez, quel crawler préférez-vous ? On peut en discuter.