Cloudflare AI Bot Varsayılanları ve Pay Per Crawl: 2026'da Ne Değişti

Ekim 2026 itibarıyla Cloudflare'in AI bot varsayılanları en çok kendini tanıtan crawler'ları etkiliyor. Sahibi reklam yayınladığını beyan eden yeni bir domain artık AI eğitimine kapalı ve reklamlı sayfalarda AI ajanlarını engelleyerek başlıyor; arama crawler'larına ise izin verilmeye devam ediliyor. Fiyat izleyiciler, SEO denetimleri ve diğer "Data Collection" trafiği bu üç hazır ayarın dışında kalıyor ve eskisiyle aynı bot kurallarına göre değerlendiriliyor. Bir veri ekibi için önemli olan değişiklik yeni bir duvar değil. Değişiklik, kendini tanıtan bir bot olmak için daha güçlü bir gerekçe ve eskiden tamamen kapalı olan içerik için bir ödeme kanalı (Pay Per Crawl ve 30 Eylül'den bu yana Pay Per Use) getiriyor.

Karşınıza çıkacak haberlerin büyük kısmı çoktan eskidi. Cloudflare 1 Temmuz 2026'da bir plan duyurdu, 15 Eylül'de ise revize edilmiş bir planı devreye aldı. Aşağıdaki zaman çizelgesi, Cloudflare'in kendi blogunun ve dokümantasyonunun gerçekten devreye alındığını söylediği şeyleri takip ediyor.

Ekim 2026 itibarıyla Cloudflare'in AI bot varsayılanları

Kısaca: Search, Agent ve Training artık Free dahil her Cloudflare planında üç ayrı anahtar ve her biri Allow, Block on pages with ads ya da Block olarak ayarlanabiliyor. Training'in dördüncü bir seçeneği de var: Disallow AI Training. Yeni domainler, sahibinin reklamla gelir elde edip etmediğine göre önerilen bir hazır ayar alıyor. Mevcut domainlerde ise eski ayarların etkisi korundu.

Temmuz planı ile 15 Eylül'de devreye alınan arasındaki fark

Temmuz duyurusu, bir müşteri Training'i engellediği her yerde çok amaçlı crawler'ların "Googlebot, Applebot ve BingBot gibi, engelleneceğini" söylüyordu. Bu, siteleri aramadan çıkarırdı. 15 Eylül yazısı bunun yerini aldı. Disallow AI Training altında Cloudflare robots.txt'ye eğitime izin vermeyen bir tercih yazıyor. Accountable çok amaçlı crawler'lar (Applebot, Bingbot, Googlebot) arama için izinli kalıyor ve "Amazon, Anthropic, Meta ve OpenAI'ın işlettiği yalnızca eğitim amaçlı crawler'lar dahil, diğer tüm eğitim crawler'ları engelleniyor." Googlebot'u ve onunla birlikte aramayı artık yalnızca açıkça seçilmiş bir Block ya da Block on pages with ads durduruyor.

Cloudflare'in yeni bir domain eklenirken sunduğu hazır ayarlar:

Mevcut domainler için Cloudflare'in geçiş notları, eski "Block AI bots" anahtarını hiç açmamış bir domainin üç kategoride de Allow'a eşlendiğini söylüyor. Anahtarı açık olan domainler Disallow AI Training'e geçiyor. TechCrunch'ın 1 Temmuz haberi yeni varsayılanların "tüm mevcut ücretsiz müşterilere" de uygulanacağını söylüyordu. Cloudflare'in kendi 15 Eylül geçiş tabloları bunu göstermiyor; bu yüzden ikisinden birini varsaymak yerine hedef sitelerinizi kontrol edin.

Search, Agent, Training: bir istek nasıl sınıflandırılır

Cloudflare tek tek istekleri değil, botları sınıflandırıyor. Bilinen bir bot, Cloudflare'in bot dizini BotBase'de bir veya daha fazla davranış etiketi alıyor. Ardından her hazır ayar, Block AI Bots dokümantasyonuna göre "o davranışla sınıflandırılmış Verified botları ve bu sınıflandırmalara giren ek doğrulanmamış botları" engelliyor.

• Search: daha sonra soruları yanıtlayacak bir arama dizini ya da RAG veritabanı oluşturmak için tarama.
• Agent: kullanıcı tarafından yönlendirilen, genellikle gerçek zamanlı: ChatGPT-User gibi sohbet fetcher'ları ya da Chrome'u yöneten browser-use ajanları.
• Training: bir modeli eğitmek ya da fine-tune etmek için tarama.

Verified bots sayfası, üç AI hazır ayarı arasında olmayan sekiz davranış daha listeliyor: Transact, Data Collection ("fiyat kazıma, rekabet istihbaratı toplama ve üçüncü taraf analitiği"), Security Testing, SEO, Ads Verification, Social/Link Preview, Feed Fetching ve Monitoring & Operations. Birden fazla amacı olan bir crawler artık bunların hepsi altında izleniyor ve eşleşen en kısıtlayıcı kural geçerli oluyor.

Kimlik üç kaynaktan birinden geliyor:

1. Verified bot ya da ajan. İşletici başvurmuştur ve Cloudflare kimliği deterministik olarak kontrol eder. Bu bir Web Bot Auth imzası (IETF taslaklarına göre /.well-known/http-message-signatures-directory adresinde yayımlanan Ed25519 anahtarları), sabit bir user agent ile yayımlanmış bir IP listesi ya da reverse DNS olabilir. 1 Temmuz 2026'dan bu yana imzalı ajanlar da Verified sayılıyor. Bunlar Direct (tek işletici) ya da Intermediary (çok sayıda son kullanıcının yönettiği bir platform) olarak etiketleniyor.
2. Bilinen ama doğrulanmamış. Trafik, Cloudflare'in bir crawler kategorisine atfettiği bir örüntüyle eşleşiyor; örneğin Perplexity soruşturmasından sonra eklediği sezgisel kurallar.
3. Geri kalan her şey. Genel bot tespiti karar veriyor: bot skoru, parmak izleri, challenge'lar. Bu katman tüm bunlardan önce de vardı. Challenge tarafının bir oturumu nasıl puanladığını Turnstile'ın iç işleyişi yazımızda ele alıyoruz.

Verified olmak artık içeri alınmak anlamına gelmiyor. Cloudflare bunu 1 Temmuz 2026'da yeniden tanımladı: Verified bir bot, site sahibinin izin verdiği kategori içinde "izin verilebilir" durumda. Kendinizi dürüstçe tanıtmak doğru sınıflandırılmanızı sağlar. İçeri girip girmemeniz yine site sahibinin kararı.

"Varsayılan olarak engelli" gerçek bir istek için ne anlama geliyor

Buradaki "engelli" üç ayrı mekanizmaya kadar karşılık gelebiliyor. Hangisine takıldığınız, crawler'ınızın ne göreceğini belirliyor.

1. robots.txt'deki bir tercih

Bot Preference Sync (managed robots.txt'nin halefi), zone ayarlarından üretilen kuralları mevcut robots.txt'nin başına ekliyor; böylece kendi Disallow satırlarınız korunuyor. Cloudflare'in dokümantasyon örneğindeki yönetilen dosya bir Content Signals satırı ve crawler bazında disallow kuralları içeriyor:

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Giriş metni, sinyallerin AB DSM Telif Hakkı Direktifi'nin (2019/790) 4. maddesi kapsamında "hakların açıkça saklı tutulması" olduğunu söylüyor. robots.txt'nin kendisi gönüllülük esasına dayansa da bunun AB'de metin ve veri madenciliği açısından hukuki ağırlığı var.

2. Edge'de engelleme

Zone sizin kategorinizi engelliyorsa istek, origin'e ulaşmadan Cloudflare'in edge'inde reddediliyor. Pay Per Crawl bu durumu HTTP 403 ile crawler-error: CrawlerForbidden olarak belgeliyor. Block on pages with ads ayarında aynı crawler, aynı domainin bir URL'sinde 200, başka bir URL'sinde engel alabiliyor. Cloudflare reklam sunan sayfaları otomatik olarak tespit ediyor ve listenin "robots.txt'de sıralanamayacak kadar büyük olduğunu ve çok sık değiştiğini" söylüyor. Dışarıdan hangi sayfaların kapsandığını tahmin edemezsiniz.

3. Bir fiyat: HTTP 402 ve Pay Per Crawl

Pay Per Crawl kullanan zone'larda (Ekim 2026 itibarıyla hâlâ kapalı beta) ödeme niyeti belirtmeyen doğrulanmış bir crawler, fiyatı taşıyan bir 402 alıyor:

HTTP/2 402
crawler-price: USD 0.01

Cloudflare'in crawl-pages dokümantasyonuna göre crawler, crawler-exact-price (crawler-price ile eşleşmeli) ya da crawler-max-price başlıklarından tam olarak biriyle yeniden deniyor. Ödeme başlığı, Web Bot Auth signature-input bileşenleri arasında yer almak zorunda. Ödenmiş bir 200 yanıtı crawler-charged: USD 0.01 taşıyor. Hatalar bir crawler-error başlığıyla dönüyor. Kodlar arasında MissingCrawlerPrice (402), InvalidCrawlerMaxPrice (402), ConflictingPriceHeaders (400) ve StrongAuthRequired (400) var. Yalnızca doğrulanmış, imzalayan crawler'lar ödeme yapabiliyor. Anonim bir scraper'ın hiçbir ödeme kanalı yok. Bir WAF ya da Bot Management engeli de "ücretlendir" eyleminin önüne geçiyor.

Bir crawler işletiyorsanız işe yarayan alışkanlık, 402'yi etrafından dolaşılacak bir hata olarak değil, veri olarak ele almaktır. requests ile minimal bir örnek:

import requests

def fetch(url, session: requests.Session):
    r = session.get(url, timeout=30)
    if r.status_code == 402 and "crawler-price" in r.headers:
        # Ücretli içerik: lisans/bütçe kararı için kaydet.
        return {"url": url, "status": 402, "price": r.headers["crawler-price"]}
    if r.status_code == 403 and r.headers.get("crawler-error") == "CrawlerForbidden":
        # Site sahibi bu crawler'ı reddetti. URL'yi bırak; etrafından dolaşmak için IP değiştirme.
        return {"url": url, "status": 403, "refused": True}
    r.raise_for_status()
    return {"url": url, "status": r.status_code, "body": r.text}

30 Eylül'de betada kullanıma sunulan Pay Per Use farklı çalışıyor. İstek anında gerçekleşmiyor. Alıcı bir "kullanım" tanımlıyor (örneğin AI aramasında döndürülen bir alıntı), yayıncılar teklifi kabul ya da reddediyor ve alıcı her kullanımı bir Cloudflare API'sine kendisi bildiriyor; faturalandırma aylık yapılıyor. TechCrunch'a göre ilk adı açıklanan ortaklar Ceramic.ai ve You.com oldu.

Kim etkileniyor, kim etkilenmiyor

Yeni varsayılanlar en çok kendini AI olarak tanıtan crawler'lar için, en az da hiçbir zaman bir AI kategorisinde yer almamış trafik için bir şeyleri değiştiriyor. Gizlenmek bir muafiyet sayılmıyor.

Kendini tanıtan bir eğitim crawler'ı (GPTBot, ClaudeBot, CCBot, Bytespider vb.) en net vaka. Yeni bir reklam destekli domainde varsayılan olarak reddediliyor. Diğer pek çok zone'da engelleniyor ya da ücretlendiriliyor. Seçenekleri dürüst seçenekler: reddi kabul etmek, Pay Per Crawl ya da Pay Per Use sunulan yerlerde ödemek veya doğrudan lisans almak.

Bir kullanıcı adına sayfa çeken bir AI ajan ürünü yeni hedef. Yeni reklam destekli domainlerde ajanlar reklamlı sayfalarda varsayılan olarak engelleniyor. Ajanlar için henüz bir "Disallow" seçeneği yok, çünkü ajanlar için robots.txt benzeri bir standart mevcut değil. Cloudflare, ai-prefs gibi öneriler olgunlaştıkça bu konuyu yeniden ele alacağını söylüyor. İstekleri imzalamak (imzalı ajan olarak) en azından anonim bir bot olarak değil, ajan olarak sınıflandırılmanızı sağlıyor. Bu, ajanlara izin veren her zone'da önem taşıyor.

Normal bir tarayıcı user agent'ı kullanan bir scraper, Cloudflare onu bir AI kategorisine atfetmediği sürece "AI hazır ayarı" mantığının kapsamına girmiyor. Bu onu güvende yapmıyor. Bot puanlaması, JavaScript challenge'ları ve hız sınırlarıyla yine karşı karşıya. Eğer gerçekte bir eğitim setini ya da bir yanıt motorunu besliyorsa, 2025'te Perplexity'nin listeden çıkarılmasına yol açan şeyi yapıyor demektir. Cloudflare her kategoriye giren "ek doğrulanmamış botları" açıkça engelliyor. Bir AI crawler'ını insan ziyaretçi gibi gizlemeye kimseye yardım etmeyiz. Etik boyutun ötesinde, ağ davranışınızı eşleştirmeye başladığı anda bu kaybedilen bir oyun.

Şirket içi bir fiyat izleyici, üç hazır ayardan biri olmayan Data Collection kategorisine giriyor. Tek başına Eylül değişiklikleri erişimini değiştirmiyor. Belirleyici olan, sitenin zaten çalıştırdığı şeyler: Bot Fight Mode, Bot Management kuralları, hız sınırları. Bu hata kodlarını Cloudflare engelleri üzerine white-hat rehberimizde adım adım anlatıyoruz.

Veri ekipleri için karar tablosu

Neyi ve neden topladığınızdan başlayın. Bu, kategorinizi belirler; kategori de seçeneklerinizi.

Fiyat izleme satırıyla ilgili iki not. Birincisi, "coğrafi olarak uygun çıkış", yerel bir alışverişçinin gördüğü fiyatı görmek demek. Ne olduğunuzu gizlemek demek değil. ProxyHat'te bu bir kullanıcı adı bayrağı, ör. http://USERNAME-country-DE:PASSWORD@gate.proxyhat.com:8080. Bunun etrafındaki pipeline'ı fiyat izleme rehberimiz anlatıyor. İkincisi, istek hacmi hâlâ işaretlenmenin en hızlı yolu. Sitelerin tolere ettiği backoff stratejilerini hız sınırları rehberimizde ele alıyoruz.

Reklam destekli yayıncılar bunu neden istedi

Reklamlar ancak sayfayı bir insan gördüğünde para kazandırır. Cloudflare'in ifadesiyle: "Eğitim o ziyaretin yerine bir yanıt koyuyor; ajanlar ise sayfayı, reklamları görecek kimse yokken çekiyor." Reklamlı sayfa hazır ayarlarının daha katı olmasının nedeni bu. Cloudflare'in 15 Eylül yazısı bu ayrımı rakamlara döküyor: sitelerinin %1'inden azı Search botlarını engelliyor, %17'si ise eğitimi engellemek için bir mekanizma etkinleştiriyor. Yayıncılar bulunabilir kalmak istiyor ama modellere bedavaya içerik sağlamak istemiyor; Eylül'den önce de Google aramasını kaybetmeden Googlebot'un eğitim amaçlı kullanımını engelleyemiyorlardı. Disallow AI Training ve Accountable taahhütleri, Cloudflare'in bu çıkmaza verdiği yanıt. Pay Per Use ise "hayır"ı "evet, bir bedel karşılığında"ya çevirme girişimi.

Bunun değiştirmedikleri

• Cloudflare'de olmayan siteler. Akamai, DataDome, HUMAN ve şirket içi altyapıların kendi kuralları var.
• Genel bot savunması. Bot skorları, Turnstile, hız sınırlama ve WAF kuralları eskisi gibi çalışıyor. Bir Data Collection crawler'ı yine bunlar tarafından engellenebilir.
• robots.txt üzerinden Bing eğitim opt-out'u. Microsoft, robots.txt'de eğitime izin vermeme desteğini 2027 başını hedefleyerek geliştiriyor. O zamana kadar Disallow AI Training bu tercihi Bing'e bu yolla iletmiyor.
• Öngörülebilirlik. Reklam tespiti belgelenmemiş ve site sahipleri hazır ayarları istedikleri zaman değiştirebilir. Her hedefin robots.txt'sini ve yanıt başlıklarını okuyun; blog özetlerine (bu yazı da dahil) güvenmeyin.
• Hukuki konumunuz. Kategori etiketleri telif hakkı, sözleşme ya da kişisel veri sorularını belirlemez. Content Signals'ın 4. madde kapsamındaki hak saklama beyanı, bot skorunuz ne olursa olsun AB'de geçerli.

Bir sonraki taramadan önce kısa bir kontrol listesi

1. Her crawler'ın amacını yazın. Tek bir bot hem arama hem eğitim yapıyorsa onu ikiye bölün. Cloudflare artık her amacı izliyor ve en kısıtlayıcı kural geçerli oluyor.
2. İletişim URL'si içeren dürüst, sabit bir user agent kullanın. Hiçbir maliyeti yok ve doğrulamanın ön koşulu.
3. robots.txt'yi Content-signal dahil okuyun. Yalnızca Disallow'u değil, ai-train, search, ai-input ve use değerlerini de ayrıştırın.
4. 402'yi ve crawler-error'ı açıkça ele alın. Fiyatları loglayın; retleri bir çekilmeyecekler listesine gönderin.
5. Ölçekli bir ajan ya da crawler işletiyorsanız Web Bot Auth'u değerlendirin. Pay Per Crawl için zorunlu ve Verified statüsüne giden yol.
6. Ücretsiz taramayı reddeden yayıncılardan düzenli olarak ihtiyaç duyduğunuz içerik için lisanslı kaynakları (API'ler, veri ortaklıkları, Pay Per Use) tercih edin.

2026 değişiklikleri tek bir yöne itiyor: kim olduğunu ve ne yaptığını söyleyen crawler'ların bir yıl öncesine göre daha fazla meşru seçeneği var, kendini gizleyenlerin ise daha az. Ekibiniz bu kurallar altında ajan ya da LLM veri işleri için altyapı seçiyorsa, AI ajanları için proxy rehberimiz proxy'lerin nerede işe yarayıp nerede yaramadığını anlatıyor.