Onlangs heb ik verschillende crawlers gebruikt, zelfgebouwde open-source tools zoals Crawl4AI / CrawlLee services zoals Firecrawl / Jina Reader / de nieuwe crawl van Cloudflare. Ik ontdekte dat de meest handige en betaalbare optie Jina Reader is, zonder abonnement, met een grote gratis limiet, en daarna is het op basis van gebruik betalen. Het is ook stabiel voor het crawlen van verschillende inhoud, vooral de posts op X zijn ook goed te crawlen. De andere opties voelen gemiddeld aan, onbetrouwbaar of worden gewoon geblokkeerd, behalve Apify, maar dat is te duur. Als je zelf bouwt, is Crawl4AI de beste optie. Ik ben benieuwd welke crawler jullie het leukst vinden? Laten we het erover hebben.