GitBook dokümantüsü olan bir proje hakkında sorunuz olduğunu varsayalım Yapay zekanızı sorunuza cevap vermek için bu belgeleri okumaya nasıl ikna edersiniz? Seviye 1 çözüm "hey Claude, bu belge URL'sini ziyaret et..." demektir. Buradaki sorun şu ki, belgeler genellikle birçok alt sayfa içerir ve LLM varsayılan olarak bu sayfalardan en fazla 3 veya 4'ünü getirir - ne ilgilidirse ne varsa. Bu tasarım gereği; Tokenları korumak ve en kolay/en tembel yolu seçmek istiyor. Seviye 2 Çözüm: Tüm docs gitbook'unu taramak. Her sayfasından tüm metinleri al. Sonra bunu LLM'inize yapıştırın. Bu cloudflare uç noktası bunu sizin için kolayca yapıyor, ücretsiz bir planda bile. Sadece bir Cloudflare hesabı aç. Alternatif olarak, kendi scraperınızı yazabilirsiniz, ancak bu kolay bir şey değildir çünkü modern sayfalar genellikle içeriği javascript üzerinden yükler. Bulut parlamasının sizin için hallettiği başka teknik uç durumlar da var.
Cloudflare Developers
Cloudflare Developers11 Mar 05:51
Yeni /crawl uç noktasını tanıtıyoruz - bir API çağrısı ve tüm bir site tarandı. Senaryo yok. Tarayıcı yönetimi yok. Sadece HTML, Markdown veya JSON içindeki içerikler.
@Zun2025 en iyi durum**
294