Recentemente ho utilizzato vari crawler, ho provato i servizi open source come Crawl4AI / CrawlLee, Firecrawl / Jina Reader / il nuovo crawl di Cloudflare. Ho scoperto che il più conveniente e accessibile è Jina Reader, non ha abbonamenti, offre un'ampia quota gratuita e poi si paga in base all'uso. È stabile per estrarre vari contenuti, soprattutto i post di X, che funzionano bene. Gli altri mi sembrano mediocri, instabili o vengono bloccati, a parte Apify, che però è troppo costoso. Se si tratta di soluzioni self-hosted, il migliore è sicuramente Crawl4AI. Non so quale crawler preferiate, possiamo discuterne.