Představte si, že máte otázku ohledně projektu, který má dokumentaci v Gitbooku Jak přimějete svou AI, aby si tyto dokumenty přečetla a odpověděla na vaši otázku? Řešení na první úrovni je říct "hej Claude, jdi navštívit URL této dokumentace ..." Problém je, že dokumentace obvykle obsahují mnoho podstránek a váš LLM ve výchozím nastavení načte maximálně 3 nebo 4 z těchto stránek – podle toho, co považuje za relevantní. To je záměr; Chce šetřit žetony a zvolit nejjednodušší a nejlínější cestu. Řešení úrovně 2: Projděte celý gitbook dokumentace. Získejte veškerý text ze všech jeho stránek. Pak to vložte do svého LLM. Tento cloudflare endpoint to za vás dělá triviálně, i na bezplatném tarifu. Stačí si založit účet na cloudflare. Alternativně si můžete napsat vlastní scraper, ale to není triviální věc, protože moderní stránky často načítají obsah přes javascript. Existují i další technické nedostatky, které cloud flare zvládne.
Cloudflare Developers
Cloudflare Developers11. 3. 05:51
Představujeme nový /crawl endpoint – jedno volání API a celý web prohledaný. Žádné scénáře. Žádná správa prohlížeče. Jen obsah v HTML, Markdownu nebo JSONu.
@Zun2025 nejlepším případě**
290