Siteler AI Tarayıcı Ajanlarını Nasıl Tespit Eder? 2026 ve Web Bot Auth

Ekim 2026 itibarıyla web siteleri AI tarayıcı ajanlarını üç farklı yolla tespit ediyor; her ajan türü için bir yöntem. Kendini açıkça tanıtan crawler'lar ve kullanıcının tetiklediği fetcher'lar user-agent dizeleri, yayımlanmış IP listeleri ve giderek artan biçimde kriptografik imzalarla yakalanıyor. Gerçek bir Chromium'u yöneten agentic tarayıcılar ise daha zor bir vaka. Normal bir Chrome parmak izi taşıdıkları için çoğunlukla davranışlarından tespit ediliyorlar: hareket etmek yerine zıplayan bir imleç, yazılmak yerine yapıştırılan metin, kesik kesik sıçramalarla ilerleyen kaydırma. Web Bot Auth ise isteğe bağlı çözüm: ajan isteklerini imzalıyor, site de onu tahmin yürütmeden tanıyabiliyor.

Siteler AI tarayıcı ajanlarını nasıl tespit eder: üç ajan türü, üç yöntem

"AI botu" tek bir kategori değil. AI tarayıcı ajanlarını tespit etmek için önce karşınızdakinin hangi türden olduğunu anlamanız gerekir; çünkü her tür kendini farklı tanıtır ve farklı bir sinyalle yakalanır.

1. Eğitim ve arama crawler'ları. Sonucu bekleyen bir kullanıcı olmadan sayfaları toplu halde toplayan fetcher'lar: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot. Bir user-agent token'ı bildirir, IP aralıklarını yayımlar ve sağlayıcılarının kendi beyanına göre robots.txt'ye uyarlar.
2. Kullanıcı tetiklemeli fetcher'lar. Bir kişi asistana soru sorar, asistan da sayfayı o anda çeker: ChatGPT-User, Claude-User, Perplexity-User, Google-Agent. Bunlar da kendilerini tanıtır, ancak birkaç sağlayıcı isteği bir insan başlattığı için robots.txt'nin geçerli olmayabileceğini söylüyor.
3. Agentic tarayıcılar. Gerçek bir Chromium örneği kullanıcı adına tıklar, yazar ve kaydırır; ya kullanıcının kendi makinesinde (Perplexity Comet, Claude in Chrome eklentisi, açık kaynak browser-use) ya da sağlayıcının bulutunda (ChatGPT agent, Manus). Tarayıcı gibi görünürler, çünkü gerçekten tarayıcıdırlar.

Cloudflare'in 1 Temmuz 2026 tarihli sınıflandırması aynı trafiği davranışa göre ayırıyor: Search, Agent ("gerçek zamanlı olarak, bir kişi adına" hareket eden) ve Training. Agent kategorisi açıkça hem "sohbet fetch botlarını (ör. ChatGPT-User) hem de browser-use ajanlarını (ör. Chrome'u yöneten Gemini veya Claude)" kapsıyor. 2. ve 3. grup aynı politika kategorisini paylaşıyor, ama tespit edilmeleri tamamen farklı yöntemler gerektiriyor.

Kendini tanıtan ajanlar: user-agent token'ları ve yayımlanmış IP'ler (Ekim 2026'da doğrulandı)

1. ve 2. grup için tespit büyük ölçüde dokümantasyonu kontrol etmekten ibaret. Her büyük sağlayıcı token'larını ve istekleri karşılaştırabileceğiniz bir IP listesini yayımlıyor. UA eşleşmesi artı IP eşleşmesi güvenilirdir. Tek başına UA eşleşmesi ise değildir, çünkü bu dizeyi herkes gönderebilir.

Beyanlar ancak sağlayıcılar onlara sadık kaldığında işe yarar. Ağustos 2025'te Cloudflare, siteler Perplexity'nin kendini tanıtan botlarını engelledikten sonra genel bir macOS üzerinde Chrome user agent'ı taşıyan, Perplexity'nin yayımladığı aralıkların dışındaki IP'lerden gelen ve ASN değiştiren beyansız istekler gördüğünü bildirdi. Cloudflare bu trafiği "makine öğrenimi ve ağ sinyallerinin bir kombinasyonuyla" tespit ettiğini söyledi ve Perplexity'yi doğrulanmış bot listesinden çıkardı. Perplexity bu anlatıya itiraz etti. Kim haklı olursa olsun, site sahipleri için çıkarılacak ders şu: UA ve IP kuralları dürüst trafiği yakalar. Kendini tanıtmamaya karar vermiş trafiği yakalamaz.

Agentic tarayıcılar UA ve IP kurallarından neden geçer

Kullanıcının dizüstü bilgisayarında çalışan bir agentic tarayıcı, o kullanıcının Chrome user agent'ını, Chrome'un TLS ve HTTP/2 parmak izini ve kullanıcının ev IP'sini gönderir. İstekte bir UA ya da IP kuralının eşleşebileceği hiçbir şey yoktur. Bulutta barındırılan ajanlar ancak kısmen daha kolaydır: IP'leri bulut sağlayıcılarına aittir, ama VPN kullanıcıları, kurumsal proxy'ler ve zaten izin verdiğiniz otomasyon araçları da öyle.

FP-Agent makalesi (Wang, Shafiq ve Vekaria, arXiv 2605.01247, Mayıs 2026) bunu doğrudan ölçtü. Yedi ajanı (OpenAI'ın Atlas tarayıcısı ve ChatGPT agent, Claude for Chrome, Perplexity Comet, Manus, Browser Use ve Skyvern) insan katılımcılarla yan yana uçuş rezervasyonu, alışveriş ve forum görevlerinden geçirdi. Cloudflare vaka çalışmasında "Cloudflare yalnızca Manus'u tamamen engelliyor, diğer altı tarama ajanı ise görevleri başarıyla tamamlıyor." Tek başına tarayıcı parmak izleri, sınıfları ayırt etmede 0,7969 F1 skoruna ulaştı. Yazarlar parmak izlerinin "altta yatan çalışma ortamıyla ilişkili" olduğunu buldu: yerel ajanlar basitçe ana makinenin parmak izini devralıyor.

2025 tarihli kaynaklarla çalışanlar için bir düzeltme: OpenAI Atlas tarayıcısını 9 Ağustos 2026'da kapattı ve ajan tabanlı gezinmeyi masaüstü uygulamasına taşıdı. Makalenin Atlas sonuçları yine de önemli, çünkü başka ürünlerin de paylaştığı bir yerel ajan örüntüsünü tarif ediyor.

Agentic tarayıcıları hâlâ ele veren sinyaller

Agentic tarayıcıları ortamdan çok davranış ele veriyor. FP-Agent sınıflandırıcısı davranışsal ve tarayıcı özelliklerini birleştirdi ve makalenin veri setinde 1,0000 F1 skoruna ulaştı. Bu, yedi ajan ve üç görev üzerinde elde edilmiş bir laboratuvar sonucu, üretim ortamındaki bir tespit oranı değil; ancak yön, sağlayıcıların raporladıklarıyla örtüşüyor.

İmleç geometrisi ve girdi ritmi

Makaledeki en net sinyal: "tarama ajanları hiçbir fare hareketi sergilemiyor, bunun yerine doğrudan tıklama noktasına ışınlanıyor." Yazma da en az bu kadar ayırt edici. Atlas, ChatGPT agent ve Comet metni yapıştırdı; ChatGPT agent'ın Ctrl+V'si "ortalaması 66,58 ms olan… yüksek basılı tutma gecikmeleri" üretti. Browser Use, Skyvern ve Manus tuş vuruşlarıyla yazdı; ortalama tuşlar arası gecikmeler sırasıyla 5,31 ms, 9,52 ms ve 1,39 ms idi. İnsanlarda ise "çok daha yüksek tuşlar arası… gecikmeler ve buna eşlik eden belirgin biçimde daha büyük bir varyans" görüldü. Kaydırma, sürekli tekerlek hareketi yerine "kesik sıçramalar" şeklinde ortaya çıktı.

Cloudflare'in Precursor'ı (Enterprise Bot Management için 13 Temmuz 2026'da duyuruldu, yıl içinde genel kullanıma açılana kadar ücretsiz olarak devreye alınıyor) aynı fikrin üretim sürümü. Sayfaya "işaretçi hareketi, klavye etkinliği, odak değişiklikleri ve görünürlük" verilerini toplayan istemci tarafı JavaScript enjekte ediyor ve bunları oturum bazında biriktiriyor; böylece bir bot sayfayı yeniden yükleyerek ya da yeni bir challenge başlatarak davranış geçmişini sıfırlayamıyor. Temel varsayımı şu: "Taklit edilmesi hâlâ zor olan şey, zaman içinde tutarlı insan davranışıdır."

Otomasyon ve eklenti izleri

Bazı ajanlar sayfanın kendisinde iz bırakıyor. CHEQ'in Claude Chrome eklentisini Şubat 2026'da söküp incelediği analiz, eklentinin sayfayı chrome.debugger API'si üzerinden yönettiğini, dolayısıyla sentezlenen tıklamalarının güvenilir olay sayıldığını ortaya koydu. Ancak etkin olduğu sürece claude-agent-stop-container ve claude-agent-animation-styles gibi id'lere sahip DOM öğeleri enjekte ediyor ve style öğesi ajan durduktan sonra da genellikle yerinde kalıyor. HUMAN Security'nin Atlas ve Comet araştırması da Comet'in dahili eklentisinden kaynaklanan DOM izleri bildiriyor ve Comet'in "istek başına doğrulanabilir bir kimlik sinyali sağlamadığını" not ediyor.

Stratejinizi tekil izlerin üzerine kurmayın. Castle, yaygın kullanılan bir CDP tespit hilesinin (bir otomasyon istemcisi Runtime domain'ini etkinleştirdiğinde tetiklenen, Error.stack üzerindeki bir getter) Mayıs 2025'teki V8 değişikliklerinden sonra sessizce çalışmayı bıraktığını belgeledi. Bir sağlayıcı bir DOM id'sini tek bir sürümde değiştirebilir. İzleri, davranışsal bir modelin tarttığı destekleyici kanıt olarak görün; asla kararın tamamı olarak değil.

Ortam tutarlılığı ve çıkış noktası

Bulutta barındırılan ajanlar nerede çalıştıklarını daha çok ele veriyor. Makale, ChatGPT agent'ın platformunu dönüşümlü olarak "Linux x86_64 ve MacIntel" şeklinde bildirdiğini gördü. Simon Willison'ın yayımladığı yakalanmış bir istek de aynı şeyi gösteriyor: Sec-Ch-Ua-Platform: "Linux" ile birlikte gönderilen bir macOS Chrome user agent'ı. Manus ise sabit bir "Linux x86_64" ile "4 GB RAM ve 6 CPU çekirdeği" gösterdi. UA ile client hint'ler arasındaki uyumsuzluk tek başına kanıt değildir, ama bir bulut ASN'siyle birleştiğinde güçlü bir ön kabul oluşturur. Bu tutarlılık kontrollerinin nasıl kurulduğunu tarayıcı parmak izi rehberimizde anlatıyoruz.

Web Bot Auth: tahmin edilen değil, imzalı ajanlar

Web Bot Auth, bir ajanın kendisini kimin işlettiğini kanıtlamasını sağlıyor. Ajan her isteği HTTP Message Signatures (RFC 9421) ile imzalıyor ve açık anahtarlarını well-known bir URL'de yayımlıyor; böylece site, işleticiyi UA, IP ya da davranıştan çıkarsamak yerine kriptografik olarak doğrulayabiliyor. IETF çalışması hâlâ taslak aşamasında. webbotauth çalışma grubu protokol belgesini draft-ietf-webbotauth-httpsig-protocol olarak kabul etti (1 Eylül 2026 tarihli -00 revizyonu, yazarlar Cloudflare ve Google'dan). Üretimdeki uygulamalar ise standardın şimdiden önüne geçmiş durumda.

Gerçek bir imzalı istek, satır satır

Simon Willison'ın Ağustos 2025'te yakaladığı ChatGPT agent isteğindeki imza başlıkları şunlar (nonce burada kısaltılmıştır):

Signature-Agent: "https://chatgpt.com"
Signature-Input: sig1=("@authority" "@method" "@path" "signature-agent");created=1754340838;keyid="otMqcjr17mGyruktGvJU8oojQTSMHlVm7uO-lrcqbdg";expires=1754344438;nonce="_8jbGwfL…";tag="web-bot-auth";alg="ed25519"
Signature: sig1=:…:

• Signature-Agent, isteğe kimin kefil olduğunu belirtir. Doğrulayıcı anahtarları almak için https://chatgpt.com/.well-known/http-message-signatures-directory adresini çeker.
• Kapsanan bileşenler (@authority, @method, @path, signature-agent) imzayı bu host'a, metoda ve yola bağlar. Bir sitede yakalanan imza başka bir siteye karşı tekrar oynatılamaz.
• expires − created = 3600: imza bir saat geçerlidir; nonce ise doğrulayıcının bu pencere içindeki birebir tekrarları reddetmesini sağlar.
• tag="web-bot-auth" ve alg="ed25519", Cloudflare'in gereksinimleriyle örtüşür: Ed25519 anahtarları, web-bot-auth etiketi ve en azından @authority ile signature-agent bileşenlerinin kapsanması. keyid, anahtarın JWK thumbprint'idir.

Aynı istekteki UA sıradan bir masaüstü Chrome'du. İmza doğrulanmadan bakıldığında istek, herhangi bir tarayıcıdan gelen istekten farksız görünüyor.

Bugün kimler gerçekten imzalıyor

3 Ekim 2026'da başlıca ajan sağlayıcılarının domainlerinde /.well-known/http-message-signatures-directory yolunu istedik. chatgpt.com, "signature_agent":"https://chatgpt.com" ile bir Ed25519 anahtarı döndürdü; keyid 2025'teki yakalamadakinden farklıydı, yani anahtar rotasyona uğramış. agent.bot.goog Ed25519 anahtarları döndürdü; Google'ın dokümantasyonu, Google-Agent için "https://agent.bot.goog kimliğini kullanarak Web Bot Auth protokolünü denediğini" söylüyor. browserbase.com da anahtar döndürdü (Browserbase, Ağustos 2025'te ChatGPT agent, Block'un Goose'u ve Anchor Browser ile birlikte Cloudflare'in ilk imzalı ajanlar grubundaydı). Aynı yol claude.ai, claude.com, anthropic.com, perplexity.ai ve browser-use.com'da 404 ya da bir HTML sayfası döndürdü. Bu yolda dosya bulunmaması bir sağlayıcının hiçbir şeyi imzalamadığını kanıtlamaz, ama hiçbiri orada bir dizin yayımlamıyor ya da bot sayfalarında imzalamayı belgelemiyor.

Doğrulayıcı tarafında Cloudflare imzaları edge'de doğruluyor. 1 Temmuz 2026 itibarıyla imzalı ajanları Verified bots ile birleştirdi ve botu tek bir işleticinin mi çalıştırdığını yoksa çok sayıda son kullanıcının mı yönettiğini kaydeden yeni bir Direct / Intermediary alanı ekledi. DataDome'un Agent Trust ürünü Web Bot Auth'u, resmi IP listelerini ve reverse DNS'i niyet modelleriyle birleştiriyor. İkisi de imzayı iyi niyetin değil, kimliğin kanıtı olarak ele alıyor.

Ajan türü → kimlik bildirimi → tespit → tipik politika

Site sahipleri için anlamı

Kararı "AI" için bir kez değil, kategori ve endpoint bazında verin. Herkese açık bir makalede sorun olmayan bir şey, bir giriş formunda sorun olabilir.

• Önce doğrulayın, sonra karar verin. Kendini tanıtan botlar için UA'yı IP listeleriyle, imzalı ajanlar için imzaları kontrol edin. GPTBot olduğunu iddia eden doğrulanmamış trafik, sahte UA taşıyan sıradan trafikten ibarettir.
• İzin verin, engelleyin ya da ücret alın. Cloudflare'in kontrolleri tüm planlarda kategori bazında çalışıyor. Pay per crawl, ödeme yapmayan crawler'lara HTTP 402 ile yanıt veriyor; ancak bu yazı yazılırken hâlâ kapalı betadaydı.
• Sayfaları değil, eylemleri koruyun. Yerel agentic tarayıcıların asıl riski, kimliği doğrulanmış oturumlar içinde yaptıklarıdır. Davranışsal puanlamayı ve ek doğrulamayı ödeme, hesap değişiklikleri ve form gönderimlerine koyun. Challenge puanlamasının bu tabloya nasıl oturduğunu Turnstile'ın iç işleyişi yazımızda anlatıyoruz.
• Her iki yönde de yanlış pozitif bekleyin. Erişilebilirlik araçları da metin yapıştırır ve fare kullanmadan odağı değiştirir. Tek başına "fare hareketi yok" bir oturumu engellemek için yeterli olmamalı.

Ajan geliştiren mühendisler için anlamı

Kendinizi dürüstçe tanıtın, imzalayabiliyorsanız imzalayın ve proxy'leri insan gibi görünmek için değil, coğrafya ve yük dağıtımı için kullanın. Tespit, "imzalı olanları doğrula, gerisini davranışa göre puanla" yönünde ilerliyor. Bir ajanı gizlemek giderek pahalılaşıyor, dürüst kalmak ise giderek ucuzluyor.

• Kendinizi tanıtın. Sunucu tarafı fetcher'lar için iletişim URL'si içeren açıklayıcı bir UA token'ı kullanın. Bir ajan hizmeti işletiyorsanız bir anahtar dizini yayımlayın ve istekleri imzalayın. Ed25519 kurulumunu Cloudflare'in dokümantasyonu ve açık kaynak web-bot-auth kütüphaneleri anlatıyor.
• Doğrudan bir kullanıcı tarafından tetiklenmeyen her şeyde robots.txt'ye ve siteye özel ajan kurallarına uyun, istek hızlarını makul tutun. İkisi de Cloudflare doğrulamasının koşulları arasında.
• Proxy'leri doğru nedenlerle kullanın. Residential çıkışlar ülke düzeyinde doğru sonuçlar verir ve bir ajan filosunun tek bir bulut IP'sine yığılmasını önler. Bir ajanı davranışsal modellere karşı görünmez yapmazlar; ajanları engellemiş bir siteyi aşmak için kullanılmaları ise Cloudflare'in Perplexity'yi doğrulanmış listesinden çıkarırken gerekçe gösterdiği davranışın ta kendisidir. Yapılandırmayı AI ajanları için proxy kurulumu üzerine pratik rehberimiz ele alıyor. AI Ajanları için En İyi Proxy'ler yazımız ise bu iş yükleri için IP türlerini karşılaştırıyor.
• Challenge'larda durun. Bir ajan, bir bot yönetimi sağlayıcısından CAPTCHA ya da 403 aldığında site kararını vermiştir. Yeniden denemek yerine işi bir insana devredin.

Web Bot Auth'un çözmediği şeyler

İmza, ajanı kimin işlettiğini kanıtlar; kullanıcının ondan ne istediğini değil. Castle'ın Operator imzaları üzerine adım adım anlatımında belirtildiği gibi, doğrulama kaynağı teyit eder ama "kullanıcı niyetini kanıtlamaz". İmzalı bir ajan yine de credential stuffing'e, scalping'e ya da prompt injection ile tetiklenmiş bir satın almaya yönlendirilebilir. Cloudflare'in Intermediary etiketinin ve DataDome'un güven puanlarının kimliğin üzerine hâlâ davranışı eklemesinin nedeni bu. İmzalama en zor vakaya, yani şu anda doğrulanacak hiçbir şey göndermeyen yerel agentic tarayıcılara da bir çözüm getirmiyor. Bu ürünler imzalamaya başlayana kadar, ya da siteler yalnızca imleç geometrisine ve zamanlamaya dayandığı sürece, onları tespit etmek bir kanıt değil olasılık meselesi olarak kalacak.