Recentemente usei vários crawlers, usei o Crawl4AI / CrawlLee de código aberto serviços como Firecrawl / Jina Reader / o novo crawl da Cloudflare descobri que o mais conveniente e acessível ainda é o Jina Reader, não tem assinatura, a cota gratuita é grande, depois é sempre pago conforme a necessidade, o crawling de vários conteúdos também é estável, especialmente os posts do X que têm um bom desempenho. Os outros parecem medianos, instáveis ou são bloqueados, claro, exceto o Apify, mas é muito caro. Se for para construir, o que tem o melhor desempenho é o Crawl4AI. Não sei qual crawler vocês acham que tem o melhor desempenho? Podemos discutir.