[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-post-ru-kak-sajty-obnaruzhivayut-ai-agentov":3},{"success":4,"payload":5,"related":76,"errors":168},true,{"id":6,"slug":7,"title":8,"excerpt":9,"body_html":10,"meta_title":11,"meta_description":12,"canonical_url":13,"canonical_override":14,"og_title":15,"og_description":16,"og_image_url":17,"faq_json":18,"key_takeaways":34,"allow_index":4,"noindex_google_only":40,"allow_follow":4,"published_at":41,"updated_at":42,"content_updated_at":43,"featured_image_url":44,"featured_image_alt":45,"card_image_url":46,"reading_time_minutes":47,"author":48,"categories":52,"tags":59,"alternates":68,"locale_paths":74,"views":75},211,"kak-sajty-obnaruzhivayut-ai-agentov","Как сайты обнаруживают AI-агентов в браузере в 2026-м и Web Bot Auth","Заявленные AI-краулеры распознать легко, а агентные браузеры на настоящем Chromium — нет. Что выдаёт их на октябрь 2026 года, разбор подписанного запроса и какие вендоры действительно подписывают трафик.","\u003Cp>На октябрь 2026 года сайты обнаруживают AI-агентов в браузере тремя разными способами — по одному на каждый тип агента. Заявленные краулеры и фетчеры, запускаемые пользователем, ловят по строке user-agent, опубликованным спискам IP и всё чаще по криптографическим подписям. Агентные браузеры, которые управляют настоящим Chromium, — случай посложнее. У них обычный отпечаток Chrome, поэтому выдаёт их в основном поведение: курсор прыгает, а не движется, текст вставляется, а не набирается, прокрутка идёт рывками. Web Bot Auth — добровольное решение: агент подписывает свои запросы, и сайт узнаёт его, не гадая.\u003C\u002Fp>\n\n\u003Ch2>Как сайты обнаруживают AI-агентов в браузере: три типа агентов, три метода\u003C\u002Fh2>\n\u003Cp>«AI-бот» — это не одна категория. Чтобы обнаружить AI-агента в браузере, сначала нужно понять, какой именно тип перед вами: каждый представляется по-своему и попадается на своём сигнале.\u003C\u002Fp>\n\u003Col>\n\u003Cli>Краулеры для обучения и поиска. Они собирают страницы массово, и никакой пользователь не ждёт результата: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot. Они объявляют токен user-agent, публикуют диапазоны IP и, по словам самих вендоров, соблюдают robots.txt.\u003C\u002Fli>\n\u003Cli>Фетчеры, запускаемые пользователем. Человек задаёт ассистенту вопрос, и тот сразу же загружает страницу: \u003Ccode>ChatGPT-User\u003C\u002Fcode>, \u003Ccode>Claude-User\u003C\u002Fcode>, \u003Ccode>Perplexity-User\u003C\u002Fcode>, \u003Ccode>Google-Agent\u003C\u002Fcode>. Они по-прежнему представляются, но несколько вендоров заявляют, что robots.txt к ним может не применяться, ведь запрос инициировал человек.\u003C\u002Fli>\n\u003Cli>Агентные браузеры. Настоящий экземпляр Chromium кликает, печатает и прокручивает за пользователя — либо на его собственной машине (Perplexity Comet, расширение Claude in Chrome, open-source browser-use), либо в облаке вендора (ChatGPT agent, Manus). Они выглядят как браузеры, потому что ими и \u003Cem>являются\u003C\u002Fem>.\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Cp>Таксономия Cloudflare от \u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fcontent-independence-day-ai-options\u002F\" rel=\"noopener noreferrer\">1 июля 2026 года\u003C\u002Fa> делит тот же трафик по поведению: Search, Agent (действует «в реальном времени, от имени человека») и Training. В корзину Agent явно входят и «боты-фетчеры чатов (например, ChatGPT-User), и агенты, управляющие браузером (например, Gemini или Claude, управляющие Chrome)». Группы 2 и 3 попадают в одну категорию политик, но обнаруживать их приходится совершенно разными методами.\u003C\u002Fp>\n\n\u003Ch2>Заявленные агенты: токены user-agent и опубликованные IP (проверено в октябре 2026)\u003C\u002Fh2>\n\u003Cp>Для групп 1 и 2 обнаружение сводится в основном к сверке с документацией. Каждый крупный вендор публикует свои токены и список IP, с которым можно сверять запросы. Совпадение UA \u003Cem>плюс\u003C\u002Fem> совпадение IP — надёжный признак. Одно только совпадение UA — нет: такую строку может отправить кто угодно.\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\u003Ctr>\u003Cth>Вендор\u003C\u002Fth>\u003Cth>Краулер \u002F поиск\u003C\u002Fth>\u003Cth>Запуск пользователем\u003C\u002Fth>\u003Cth>robots.txt для запросов пользователя\u003C\u002Fth>\u003Cth>Список IP\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\u003Ctd>OpenAI\u003C\u002Ftd>\u003Ctd>GPTBot, OAI-SearchBot\u003C\u002Ftd>\u003Ctd>ChatGPT-User\u003C\u002Ftd>\u003Ctd>«может не применяться»\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fbots\" rel=\"noopener noreferrer\">JSON-файлы для каждого бота\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Anthropic\u003C\u002Ftd>\u003Ctd>ClaudeBot, Claude-SearchBot\u003C\u002Ftd>\u003Ctd>Claude-User\u003C\u002Ftd>\u003Ctd>Заявляет, что её боты соблюдают robots.txt; Claude-User можно запретить\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fsupport.claude.com\u002Fen\u002Farticles\u002F8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" rel=\"noopener noreferrer\">claude.com\u002Fcrawling\u002Fbots.json\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Perplexity\u003C\u002Ftd>\u003Ctd>PerplexityBot\u003C\u002Ftd>\u003Ctd>Perplexity-User\u003C\u002Ftd>\u003Ctd>«как правило, игнорирует robots.txt»\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdocs.perplexity.ai\u002Fdocs\u002Fresources\u002Fperplexity-crawlers\" rel=\"noopener noreferrer\">perplexity-user.json\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Google\u003C\u002Ftd>\u003Ctd>Googlebot (использование для обучения AI регулирует токен Google-Extended в robots.txt)\u003C\u002Ftd>\u003Ctd>Google-Agent\u003C\u002Ftd>\u003Ctd>«как правило, игнорируют robots.txt»\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdevelopers.google.com\u002Fcrawling\u002Fdocs\u002Fcrawlers-fetchers\u002Fgoogle-user-triggered-fetchers\" rel=\"noopener noreferrer\">user-triggered-agents.json\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\u003Cp>Декларации работают, только пока вендоры их придерживаются. В августе 2025 года Cloudflare \u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fperplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives\u002F\" rel=\"noopener noreferrer\">сообщила\u003C\u002Fa>, что после того как сайты заблокировали заявленных ботов Perplexity, она увидела незаявленные запросы с обычным user-agent Chrome на macOS — с IP вне опубликованных диапазонов Perplexity и с ротацией ASN. По словам Cloudflare, этот трафик удалось выявить с помощью «сочетания машинного обучения и сетевых сигналов», а Perplexity была исключена из списка верифицированных ботов. Perplexity \u003Ca href=\"https:\u002F\u002Fwww.techrepublic.com\u002Farticle\u002Fnews-cloudflare-accuses-perplexity-stealth-crawling-violations\u002F\" rel=\"noopener noreferrer\">оспорила эту версию\u003C\u002Fa>. Кто бы ни был прав, вывод для владельцев сайтов один: правила по UA и IP ловят честный трафик. Трафик, который решил не представляться, они не ловят.\u003C\u002Fp>\n\n\u003Ch2>Почему агентные браузеры проходят мимо правил по UA и IP\u003C\u002Fh2>\n\u003Cp>Агентный браузер на ноутбуке пользователя отправляет user-agent его Chrome, TLS- и HTTP\u002F2-отпечаток Chrome и домашний IP пользователя. В запросе просто не за что зацепиться правилу по UA или IP. С облачными агентами ситуация лишь немного лучше: их IP принадлежат облачным провайдерам, но там же находятся пользователи VPN, корпоративные прокси и инструменты автоматизации, которые вы уже пропускаете.\u003C\u002Fp>\n\u003Cp>В статье FP-Agent (\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.01247\" rel=\"noopener noreferrer\">Wang, Shafiq и Vekaria, arXiv 2605.01247, май 2026\u003C\u002Fa>) это измерили напрямую. Авторы прогнали семь агентов (браузер Atlas и ChatGPT agent от OpenAI, Claude for Chrome, Perplexity Comet, Manus, Browser Use и Skyvern) через задачи по бронированию авиабилетов, покупкам и работе на форуме параллельно с живыми участниками. В кейсе с Cloudflare «полностью заблокирован Cloudflare только Manus, тогда как остальные шесть браузерных агентов успешно выполняют задачи». Одни лишь браузерные отпечатки различали классы с F1 0,7969. Авторы обнаружили, что отпечатки «коррелируют с базовой средой выполнения»: локальные агенты просто наследуют отпечаток хост-машины.\u003C\u002Fp>\n\u003Cp>Поправка для тех, кто опирается на материалы 2025 года: OpenAI \u003Ca href=\"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FChatGPT_Atlas\" rel=\"noopener noreferrer\">закрыла браузер Atlas 9 августа 2026 года\u003C\u002Fa> и перенесла агентный браузинг в своё десктопное приложение. Результаты статьи по Atlas всё равно важны: они описывают паттерн локального агента, общий и для других продуктов.\u003C\u002Fp>\n\n\u003Ch2>Сигналы, которые по-прежнему выдают агентные браузеры\u003C\u002Fh2>\n\u003Cp>Агентные браузеры выдаёт прежде всего поведение, а не окружение. Классификатор FP-Agent, объединивший поведенческие и браузерные признаки, достиг F1 1,0000 на датасете статьи. Это лабораторный результат на семи агентах и трёх задачах, а не доля обнаружения в продакшене, но направление совпадает с тем, о чём сообщают вендоры.\u003C\u002Fp>\n\n\u003Ch3>Геометрия курсора и ритм ввода\u003C\u002Fh3>\n\u003Cp>Самый чистый сигнал в статье: «браузерные агенты не совершают никаких движений мышью, а сразу телепортируются к месту клика». Ввод текста так же характерен. Atlas, ChatGPT agent и Comet вставляли текст, а Ctrl+V у ChatGPT agent давал «высокие задержки удержания… в среднем 66,58 мс». Browser Use, Skyvern и Manus набирали текст по клавишам со средними интервалами между нажатиями 5,31 мс, 9,52 мс и 1,39 мс, тогда как у людей были «гораздо более высокие межклавишные… задержки и существенно больший разброс». Прокрутка шла «дискретными скачками», а не непрерывным движением колеса.\u003C\u002Fp>\n\u003Cp>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fintroducing-precursor\u002F\" rel=\"noopener noreferrer\">Precursor\u003C\u002Fa> от Cloudflare (анонсирован 13 июля 2026 года для Enterprise Bot Management, до общей доступности позже в этом году раскатывается бесплатно) — продакшен-версия той же идеи. Он внедряет клиентский JavaScript, который собирает «движения указателя, активность клавиатуры, смену фокуса и видимость» и накапливает их в рамках сессии, так что бот не может обнулить свою поведенческую историю перезагрузкой страницы или новым челленджем. Его исходная посылка: «Труднее всего воспроизвести последовательное человеческое поведение на протяжении времени».\u003C\u002Fp>\n\n\u003Ch3>Артефакты автоматизации и расширений\u003C\u002Fh3>\n\u003Cp>Некоторые агенты оставляют следы прямо на странице. В \u003Ca href=\"https:\u002F\u002Fcheq.ai\u002Fblog\u002Fthe-cyborg-session-reversing-detecting-claude-ai-agent-chrome-extension\u002F\" rel=\"noopener noreferrer\">разборе расширения Claude для Chrome от CHEQ (февраль 2026)\u003C\u002Fa> выяснилось, что оно управляет страницей через API \u003Ccode>chrome.debugger\u003C\u002Fcode>, поэтому его синтезированные клики считаются доверенными событиями. Но во время работы оно внедряет в DOM элементы с id вроде \u003Ccode>claude-agent-stop-container\u003C\u002Fcode> и \u003Ccode>claude-agent-animation-styles\u003C\u002Fcode>, причём элемент со стилями обычно остаётся и после остановки агента. Исследование HUMAN Security про \u003Ca href=\"https:\u002F\u002Fhumansecurity.com\u002Flearn\u002Fblog\u002Fchatgpt-atlas-vs-perplexity-comet-agentic-browsers\u002F\" rel=\"noopener noreferrer\">Atlas и Comet\u003C\u002Fa> тоже сообщает о DOM-артефактах внутреннего расширения Comet и отмечает, что Comet «не предоставляет проверяемого сигнала идентичности для каждого запроса».\u003C\u002Fp>\n\u003Cp>Не стройте стратегию на отдельных артефактах. Castle \u003Ca href=\"https:\u002F\u002Fblog.castle.io\u002Fwhy-a-classic-cdp-bot-detection-signal-suddenly-stopped-working-and-nobody-noticed\u002F\" rel=\"noopener noreferrer\">описал\u003C\u002Fa>, как популярный приём обнаружения CDP (геттер на \u003Ccode>Error.stack\u003C\u002Fcode>, срабатывающий, когда клиент автоматизации включил домен Runtime) тихо перестал работать после изменений в V8 в мае 2025 года. Вендор может переименовать id в DOM за один релиз. Считайте артефакты вспомогательными уликами, которые взвешивает поведенческая модель, но никогда — окончательным вердиктом.\u003C\u002Fp>\n\n\u003Ch3>Согласованность окружения и точка выхода\u003C\u002Fh3>\n\u003Cp>Облачные агенты сильнее выдают, где они запущены. В статье ChatGPT agent попеременно сообщал платформы «Linux x86_64 и MacIntel». Перехваченный запрос, \u003Ca href=\"https:\u002F\u002Fsimonwillison.net\u002F2025\u002FAug\u002F4\u002Fchatgpt-agents-user-agent\u002F\" rel=\"noopener noreferrer\">опубликованный Simon Willison\u003C\u002Fa>, показывает то же самое: user-agent Chrome для macOS вместе с \u003Ccode>Sec-Ch-Ua-Platform: \"Linux\"\u003C\u002Fcode>. Manus стабильно показывал «Linux x86_64» с «4 ГБ RAM и 6 ядрами CPU». Несоответствие между UA и client hints плюс облачный ASN сами по себе ничего не доказывают, но вместе дают сильную априорную оценку. Как устроены такие проверки согласованности, разобрано в нашем \u003Ca href=\"\u002Fru\u002Fblog\u002Fbrauzernyj-fingerprintng-objasnenie\">материале о браузерном фингерпринтинге\u003C\u002Fa>.\u003C\u002Fp>\n\n\u003Ch2>Web Bot Auth: подписанные агенты вместо угаданных\u003C\u002Fh2>\n\u003Cp>Web Bot Auth позволяет агенту доказать, кто им управляет. Он подписывает каждый запрос по стандарту \u003Ca href=\"https:\u002F\u002Fwww.rfc-editor.org\u002Frfc\u002Frfc9421\" rel=\"noopener noreferrer\">HTTP Message Signatures (RFC 9421)\u003C\u002Fa> и публикует свои открытые ключи по well-known URL, так что сайт может криптографически проверить оператора, а не выводить его из UA, IP или поведения. Работа в IETF пока на стадии черновика. Рабочая группа \u003Ccode>webbotauth\u003C\u002Fcode> приняла свой документ протокола как \u003Ca href=\"https:\u002F\u002Fdatatracker.ietf.org\u002Fdoc\u002Fdraft-ietf-webbotauth-httpsig-protocol\u002F\" rel=\"noopener noreferrer\">draft-ietf-webbotauth-httpsig-protocol\u003C\u002Fa> (ревизия -00 от 1 сентября 2026 года, авторы из Cloudflare и Google). Продакшен-внедрения уже опережают стандарт.\u003C\u002Fp>\n\n\u003Ch3>Разбор настоящего подписанного запроса\u003C\u002Fh3>\n\u003Cp>Вот заголовки подписи из запроса ChatGPT agent, который Simon Willison перехватил в августе 2025 года (nonce здесь обрезан):\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-http\">Signature-Agent: \"https:\u002F\u002Fchatgpt.com\"\nSignature-Input: sig1=(\"@authority\" \"@method\" \"@path\" \"signature-agent\");created=1754340838;keyid=\"otMqcjr17mGyruktGvJU8oojQTSMHlVm7uO-lrcqbdg\";expires=1754344438;nonce=\"_8jbGwfL…\";tag=\"web-bot-auth\";alg=\"ed25519\"\nSignature: sig1=:…:\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cul>\n\u003Cli>\u003Ccode>Signature-Agent\u003C\u002Fcode> указывает, кто ручается за запрос. Проверяющая сторона загружает \u003Ccode>https:\u002F\u002Fchatgpt.com\u002F.well-known\u002Fhttp-message-signatures-directory\u003C\u002Fcode>, чтобы получить ключи.\u003C\u002Fli>\n\u003Cli>Покрываемые компоненты (\u003Ccode>@authority\u003C\u002Fcode>, \u003Ccode>@method\u003C\u002Fcode>, \u003Ccode>@path\u003C\u002Fcode>, \u003Ccode>signature-agent\u003C\u002Fcode>) привязывают подпись именно к \u003Cem>этому\u003C\u002Fem> хосту, методу и пути. Подпись, перехваченную на одном сайте, нельзя воспроизвести на другом.\u003C\u002Fli>\n\u003Cli>\u003Ccode>expires − created = 3600\u003C\u002Fcode>: подпись действует один час, а \u003Ccode>nonce\u003C\u002Fcode> позволяет проверяющему отклонять точные повторы в этом окне.\u003C\u002Fli>\n\u003Cli>\u003Ccode>tag=\"web-bot-auth\"\u003C\u002Fcode> и \u003Ccode>alg=\"ed25519\"\u003C\u002Fcode> соответствуют \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Freference\u002Fbot-verification\u002Fweb-bot-auth\u002F\" rel=\"noopener noreferrer\">требованиям Cloudflare\u003C\u002Fa>: ключи Ed25519, тег \u003Ccode>web-bot-auth\u003C\u002Fcode> и покрытие как минимум \u003Ccode>@authority\u003C\u002Fcode> и \u003Ccode>signature-agent\u003C\u002Fcode>. \u003Ccode>keyid\u003C\u002Fcode> — это JWK thumbprint ключа.\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>User-agent в том же запросе был обычным десктопным Chrome. Без проверки подписи такой запрос ничем не отличается от любого другого браузера.\u003C\u002Fp>\n\n\u003Ch3>Кто на самом деле подписывает запросы сегодня\u003C\u002Fh3>\n\u003Cp>3 октября 2026 года мы запросили \u003Ccode>\u002F.well-known\u002Fhttp-message-signatures-directory\u003C\u002Fcode> на доменах основных вендоров агентов. chatgpt.com отдал ключ Ed25519 с \u003Ccode>\"signature_agent\":\"https:\u002F\u002Fchatgpt.com\"\u003C\u002Fcode>, но с другим \u003Ccode>keyid\u003C\u002Fcode>, чем в перехвате 2025 года, — значит, ключ ротировали. agent.bot.goog отдал ключи Ed25519; в документации Google сказано, что компания «экспериментирует с протоколом Web Bot Auth, используя идентичность \u003Ccode>https:\u002F\u002Fagent.bot.goog\u003C\u002Fcode>» для Google-Agent. browserbase.com тоже отдал ключи (Browserbase вошёл в \u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fsigned-agents\u002F\" rel=\"noopener noreferrer\">первую когорту подписанных агентов\u003C\u002Fa> Cloudflare в августе 2025 года вместе с ChatGPT agent, Goose от Block и Anchor Browser). По тому же пути claude.ai, claude.com, anthropic.com, perplexity.ai и browser-use.com вернули 404 или HTML-страницу. Отсутствие файла по этому пути не доказывает, что вендор вообще ничего не подписывает, но ни один из них не публикует там каталог ключей и не описывает подпись на страницах о своих ботах.\u003C\u002Fp>\n\u003Cp>На стороне проверки Cloudflare валидирует подписи на edge. С 1 июля 2026 года она \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Fconcepts\u002Fbot\u002Fverified-bots\u002F\" rel=\"noopener noreferrer\">объединила подписанных агентов с Verified bots\u003C\u002Fa> и добавила поле Direct vs Intermediary, которое фиксирует, управляет ли ботом один оператор или им пользуются многие конечные пользователи. \u003Ca href=\"https:\u002F\u002Fdocs.datadome.co\u002Fdocs\u002Fagentic-trust-getting-started\" rel=\"noopener noreferrer\">Agent Trust\u003C\u002Fa> от DataDome сочетает Web Bot Auth, официальные списки IP и обратный DNS с моделями намерений. Обе компании считают подпись доказательством идентичности, но не добрых намерений.\u003C\u002Fp>\n\n\u003Ch2>Тип агента → идентификация → обнаружение → типичная политика\u003C\u002Fh2>\n\u003Ctable>\n\u003Cthead>\u003Ctr>\u003Cth>Тип агента\u003C\u002Fth>\u003Cth>Как представляется\u003C\u002Fth>\u003Cth>Как обнаруживается\u003C\u002Fth>\u003Cth>Типичная политика сайтов (окт. 2026)\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\u003Ctd>Краулер для обучения (GPTBot, ClaudeBot)\u003C\u002Ftd>\u003Ctd>Заявленный токен UA + опубликованные IP\u003C\u002Ftd>\u003Ctd>Совпадение UA + IP, обратный DNS\u003C\u002Ftd>\u003Ctd>Разрешить или заблокировать через robots.txt. Для доменов с рекламной монетизацией, подключённых с 15 сентября 2026 года, пресет Cloudflare — Disallow AI Training: запрет обучения в robots.txt плюс блокировка на edge краулеров, которые собирают данные только для обучения.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Поисковый краулер (OAI-SearchBot, Claude-SearchBot, PerplexityBot)\u003C\u002Ftd>\u003Ctd>Заявленный UA + IP\u003C\u002Ftd>\u003Ctd>Совпадение UA + IP\u003C\u002Ftd>\u003Ctd>Обычно разрешён: он приводит переходы.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Фетчер, запускаемый пользователем (ChatGPT-User, Claude-User, Perplexity-User, Google-Agent)\u003C\u002Ftd>\u003Ctd>Заявленный UA + IP; Google-Agent экспериментирует с подписями\u003C\u002Ftd>\u003Ctd>Совпадение UA + IP, подпись, если есть\u003C\u002Ftd>\u003Ctd>По-разному. Умолчание Cloudflare для новых доменов блокирует Agent на страницах с рекламой. Многие издатели пропускают его ради цитирований.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Подписанный облачный агент (ChatGPT agent, сессии Browserbase)\u003C\u002Ftd>\u003Ctd>UA Chrome + подпись Web Bot Auth\u003C\u002Ftd>\u003Ctd>Проверка подписи; поведение — для оценки намерений\u003C\u002Ftd>\u003Ctd>Разрешить на контенте. Ограничение частоты или дополнительная проверка на оформлении заказа, входе и создании аккаунта.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Неподписанный облачный агент (например, Manus)\u003C\u002Ftd>\u003Ctd>Выглядит как Chrome из облачного ASN\u003C\u002Ftd>\u003Ctd>Облачная точка выхода + несогласованность отпечатка + поведение\u003C\u002Ftd>\u003Ctd>Челлендж или блокировка. В исследовании FP-Agent Manus был заблокирован полностью.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Локальный агентный браузер\u002Fрасширение (Comet, Claude in Chrome, browser-use)\u003C\u002Ftd>\u003Ctd>Собственный Chrome и IP пользователя; подписи нет\u003C\u002Ftd>\u003Ctd>Поведение (телепортирующийся курсор, вставка текста, прокрутка рывками), артефакты DOM\u002Fрасширения\u003C\u002Ftd>\u003Ctd>Самый сложный случай. Поведенческий скоринг на чувствительных сценариях, дополнительная аутентификация на транзакциях.\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003Ch2>Что это значит для владельцев сайтов\u003C\u002Fh2>\n\u003Cp>Решайте по каждой категории и каждому эндпоинту, а не один раз для всего «AI». То, что допустимо на публичной статье, может быть недопустимо на форме входа.\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Сначала проверка, потом решение.\u003C\u002Fstrong> Для заявленных ботов сверяйте UA со списками IP, для подписанных агентов — подписи. Непроверенный трафик, который выдаёт себя за GPTBot, — это просто трафик с поддельным UA.\u003C\u002Fli>\n\u003Cli>Разрешить, заблокировать или взять плату. Настройки Cloudflare работают по категориям на всех тарифах. \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-crawl-control\u002Ffeatures\u002Fpay-per-crawl\u002Fwhat-is-pay-per-crawl\u002F\" rel=\"noopener noreferrer\">Pay per crawl\u003C\u002Fa> отвечает неоплатившим краулерам HTTP 402, но на момент написания он всё ещё был в закрытой бете.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Защищайте действия, а не страницы.\u003C\u002Fstrong> Реальный риск от локальных агентных браузеров — то, что они делают внутри авторизованных сессий. Ставьте поведенческий скоринг и дополнительные проверки на оформление заказа, изменение аккаунта и отправку форм. Как в это вписывается скоринг челленджей, объясняет наш \u003Ca href=\"\u002Fru\u002Fblog\u002Fvnutrennee-ustrojstvo-cloudflare-turnstile-2026\">материал о внутреннем устройстве Turnstile\u003C\u002Fa>.\u003C\u002Fli>\n\u003Cli>Ждите ложных срабатываний в обе стороны. Инструменты доступности тоже вставляют текст и переключают фокус без мыши. Одно лишь «нет движений мыши» не должно быть поводом блокировать сессию.\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch2>Что это значит для инженеров, которые создают агентов\u003C\u002Fh2>\n\u003Cp>Представляйтесь честно, подписывайте запросы, если можете, и используйте прокси ради географии и распределения нагрузки, а не чтобы сойти за человека. Обнаружение движется к схеме «проверить подписанных, остальных оценить по поведению». Маскировать агента становится всё дороже, а оставаться честным — всё дешевле.\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Объявляйте себя.\u003C\u002Fstrong> Для серверных фетчеров используйте описательный токен UA с контактным URL. Если вы управляете сервисом агентов, опубликуйте каталог ключей и подписывайте запросы. Настройку Ed25519 описывают документация Cloudflare и open-source-библиотеки \u003Ccode>web-bot-auth\u003C\u002Fcode>.\u003C\u002Fli>\n\u003Cli>Соблюдайте robots.txt и правила сайта для агентов во всём, что не запускается пользователем напрямую, и держите частоту запросов в разумных пределах. И то и другое — условия верификации в Cloudflare.\u003C\u002Fli>\n\u003Cli>Используйте прокси по правильным причинам. Резидентные точки выхода дают корректные результаты на уровне страны и не дают целому парку агентов толпиться на одном облачном IP. Невидимым для поведенческих моделей они агента не делают, а их использование для обхода сайта, заблокировавшего агентов, — именно то поведение, на которое ссылалась Cloudflare, исключая Perplexity из списка верифицированных. Настройку описывает наше практическое руководство по \u003Ca href=\"\u002Fru\u002Fblog\u002Fnastrojka-proksi-dlya-ai-agentov\">настройке прокси для AI-агентов\u003C\u002Fa>. В обзоре \u003Ca href=\"\u002Fru\u002Fblog\u002Fluchshie-proksi-dlya-ai-agentov-2026\">лучших прокси для AI-агентов\u003C\u002Fa> сравниваются типы IP для таких нагрузок.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Останавливайтесь на челленджах.\u003C\u002Fstrong> Если агент упёрся в CAPTCHA или 403 от системы бот-менеджмента, сайт уже принял решение. Передайте ситуацию человеку, а не повторяйте попытку.\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch2>Чего Web Bot Auth не решает\u003C\u002Fh2>\n\u003Cp>Подпись доказывает, \u003Cem>кто управляет\u003C\u002Fem> агентом, а не \u003Cem>что пользователь попросил его сделать\u003C\u002Fem>. Как сказано в \u003Ca href=\"https:\u002F\u002Fblog.castle.io\u002Fhow-to-authenticate-openai-operator-requests-using-http-message-signatures\u002F\" rel=\"noopener noreferrer\">разборе подписей Operator от Castle\u003C\u002Fa>, проверка подтверждает источник, но «не доказывает намерение пользователя». Подписанного агента всё равно можно направить на credential stuffing, скальпинг или покупку через prompt injection. Поэтому метка Intermediary у Cloudflare и trust-скоры DataDome по-прежнему накладывают поведенческий анализ поверх идентичности. Самый сложный случай подпись тоже не закрывает: локальные агентные браузеры сейчас вообще не отправляют ничего, что можно проверить. Пока эти продукты не начнут подписывать запросы — или пока сайты полагаются только на геометрию курсора и тайминги, — их обнаружение остаётся вопросом вероятности, а не доказательства.\u003C\u002Fp>","Как сайты обнаруживают AI-агентов в браузере (2026) | ProxyHat","Как сайты обнаруживают AI-агентов в браузере на октябрь 2026: проверка UA и IP, поведенческие сигналы из исследования FP-Agent и подпись Web Bot Auth.","\u002Fru\u002Fblog\u002Fkak-sajty-obnaruzhivayut-ai-agentov",null,"Как сайты обнаруживают AI-агентов в браузере в 2026","Проверка UA и IP, поведенческие сигналы из исследования FP-Agent и устройство подписи Web Bot Auth — на октябрь 2026.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fkak-sajty-obnaruzhivayut-ai-agentov-og.webp",[19,22,25,28,31],{"question":20,"answer":21},"Могут ли сайты распознать ChatGPT agent или Perplexity Comet?","Часто да, но разными способами. ChatGPT agent подписывает запросы через Web Bot Auth, поэтому сайты, проверяющие подписи, могут точно его идентифицировать. Comet работает в собственном Chromium пользователя без какого-либо сигнала идентичности, так что обнаружение опирается на поведение — курсор, который телепортируется, вставку текста, прокрутку рывками, — а также на DOM-артефакты его расширения.",{"question":23,"answer":24},"Чем ChatGPT-User отличается от GPTBot?","GPTBot — краулер OpenAI для обучения моделей, он соблюдает robots.txt. ChatGPT-User загружает страницу, когда она нужна для действия пользователя в ChatGPT, и OpenAI заявляет, что robots.txt к нему может не применяться, поскольку запрос инициировал человек. Для обоих опубликованы списки IP, с которыми можно сверять запросы.",{"question":26,"answer":27},"Что такое Web Bot Auth?","Web Bot Auth — протокол (сейчас черновик рабочей группы IETF), в котором автоматизированный клиент подписывает каждый запрос по HTTP Message Signatures (RFC 9421) ключом Ed25519 и публикует открытые ключи по адресу \u002F.well-known\u002Fhttp-message-signatures-directory. Сайты или CDN проверяют подпись, чтобы убедиться, кто управляет ботом, вместо того чтобы доверять user-agent.",{"question":29,"answer":30},"Какие AI-агенты подписывают запросы через Web Bot Auth?","На 3 октября 2026 года каталоги ключей по well-known-пути отдают chatgpt.com (ChatGPT agent), agent.bot.goog (Google-Agent, который Google называет экспериментальным) и browserbase.com. Домены Anthropic, Perplexity и browser-use каталог по этому пути не отдавали и не описывают подпись на страницах о своих ботах.",{"question":32,"answer":33},"Остановит ли блокировка AI-краулеров в robots.txt агентные браузеры?","Нет. Правила robots.txt действуют на краулеры, которые сами решают их соблюдать, а несколько вендоров заявляют, что фетчеры, запускаемые пользователем, могут игнорировать robots.txt. Агентные браузеры ведут себя как обычная браузерная сессия, поэтому для их остановки нужен бот-менеджмент с поведенческим скорингом, проверкой подписей или дополнительными проверками на чувствительных действиях.",[35,36,37,38,39],"Краулеры для обучения, фетчеры по запросу пользователя и агентные браузеры представляются по-разному — и ловить каждого нужно по-своему.","UA плюс опубликованные диапазоны IP надёжно ловят заявленных ботов, но пропускают агентные браузеры на настоящем Chrome.","В тестах FP-Agent агенты телепортировали курсор, вставляли текст и листали рывками; Cloudflare полностью заблокировала лишь одного из семи.","Подпись Web Bot Auth доказывает, кто управляет агентом, но не то, что пользователь попросил его сделать.","На октябрь 2026 ключи публикуют ChatGPT agent, Google-Agent и Browserbase; локальные агентные браузеры ничего не подписывают.",false,"2026-10-24T09:00:00+00:00","2026-10-24T09:00:20+00:00","2026-10-03T09:41:40+00:00","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fkak-sajty-obnaruzhivayut-ai-agentov-master.webp","How Websites Detect AI Browser Agents in 2026, and Web Bot Auth","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fkak-sajty-obnaruzhivayut-ai-agentov-card.webp",12,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},"ProxyHat Team","proxyhat-team","The ProxyHat editorial team covers proxies, web scraping, and data extraction.",[53],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},6,"antibot-i-bezopasnost","Антибот и безопасность","Антибот и безопасность | Блог ProxyHat","Технические обзоры антибот-систем, обхода обнаружения и безопасности прокси.",[60,64],{"id":61,"slug":62,"name":63},16,"antibot","Антибот",{"id":65,"slug":66,"name":67},17,"brauzernye-otpechatki","Браузерные отпечатки",{"tr":69,"ru":13,"de":70,"en":71,"zh":72,"ko":73,"x-default":71},"\u002Ftr\u002Fblog\u002Fsiteler-ai-tarayici-ajanlarini-nasil-tespit-eder","\u002Fde\u002Fblog\u002Fwie-websites-ki-browser-agenten-erkennen","\u002Fblog\u002Fhow-websites-detect-ai-browser-agents","\u002Fcn\u002Fblog\u002Fwangzhan-ruhe-jiance-ai-liulanqi-agent","\u002Fko\u002Fblog\u002Fai-browser-agent-tamji-bangbeop",{"tr":69,"ru":13,"de":70,"en":71,"zh":72,"ko":73},50,[77,104,127,146],{"id":78,"slug":79,"title":80,"excerpt":81,"featured_image_url":82,"featured_image_alt":83,"card_image_url":84,"og_image_url":85,"published_at":86,"updated_at":87,"content_updated_at":43,"reading_time_minutes":88,"is_featured":40,"indexable":4,"views":89,"author":90,"categories":91,"tags":93},208,"obnaruzhenie-cdp-avtomatizatsii-2026","CDP-детект в 2026 году: что изменилось после фикса Runtime.enable","Геттер Error.stack, выдававший Puppeteer и Playwright, перестал срабатывать в Chrome 138. Разбираем, что изменилось в V8, какие CDP- и не-CDP-сигналы работают в 2026 году, и даём пробную страницу для проверки своего стека.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fobnaruzhenie-cdp-avtomatizatsii-2026-master.webp","CDP Detection in 2026: What Changed After the Runtime.enable Fix","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fobnaruzhenie-cdp-avtomatizatsii-2026-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fobnaruzhenie-cdp-avtomatizatsii-2026-og.webp","2026-10-22T09:00:00+00:00","2026-10-22T09:00:25+00:00",14,107,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[92],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},[94,95,99,100],{"id":61,"slug":62,"name":63},{"id":96,"slug":97,"name":98},21,"bezgolovnyj-brauzer","Headless-браузер",{"id":65,"slug":66,"name":67},{"id":101,"slug":102,"name":103},22,"playwright","Playwright",{"id":105,"slug":106,"title":107,"excerpt":108,"featured_image_url":109,"featured_image_alt":110,"card_image_url":111,"og_image_url":112,"published_at":113,"updated_at":114,"content_updated_at":43,"reading_time_minutes":115,"is_featured":40,"indexable":4,"views":116,"author":117,"categories":118,"tags":120},217,"benchmark-stels-brauzerov-proksi","Бенчмарк стелс-браузеров: Patchright, nodriver, Camoufox (2026)","54 прогона, пять инструментов автоматизации, два типа IP. Каждый вердикт о боте определял стелс на уровне браузера; резидентный IP влиял только на сетевые проверки, и не всегда к лучшему.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fbenchmark-stels-brauzerov-proksi-master.webp","Stealth Browser Benchmark: Patchright, nodriver, Camoufox (2026)","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fbenchmark-stels-brauzerov-proksi-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fru\u002Fbenchmark-stels-brauzerov-proksi-og.webp","2026-10-15T09:00:00+00:00","2026-10-15T09:00:27+00:00",15,61,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[119],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},[121,124,125,126],{"id":54,"slug":122,"name":123},"anti-obnaruzhenie","Анти-обнаружение",{"id":96,"slug":97,"name":98},{"id":61,"slug":62,"name":63},{"id":65,"slug":66,"name":67},{"id":61,"slug":128,"title":129,"excerpt":130,"featured_image_url":131,"featured_image_alt":14,"card_image_url":132,"og_image_url":133,"published_at":134,"updated_at":135,"content_updated_at":136,"reading_time_minutes":137,"is_featured":40,"indexable":40,"views":138,"author":139,"categories":140,"tags":142},"brauzernyj-fingerprintng-objasnenie","Браузерный фингерпринтинг: как сайты отслеживают вашу автоматизацию","Узнайте, как работает браузерный фингерпринтинг — Canvas, WebGL, AudioContext и сигналы navigator — и как создавать согласованные профили для скрапинга с прокси.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fbrauzernyj-fingerprintng-objasnenie-master.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fbrauzernyj-fingerprintng-objasnenie-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fbrauzernyj-fingerprintng-objasnenie-og.webp","2026-01-19T03:54:37+00:00","2026-07-19T03:13:07+00:00","2026-02-25T23:42:30+00:00",9,401,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[141],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},[143,144,145],{"id":61,"slug":62,"name":63},{"id":65,"slug":66,"name":67},{"id":54,"slug":122,"name":123},{"id":147,"slug":148,"title":149,"excerpt":150,"featured_image_url":151,"featured_image_alt":14,"card_image_url":152,"og_image_url":153,"published_at":154,"updated_at":135,"content_updated_at":155,"reading_time_minutes":65,"is_featured":4,"indexable":40,"views":156,"author":157,"categories":158,"tags":160},11,"kak-antibot-sistemy-obnaruzhivayut-proksi","Как антибот-системы обнаруживают прокси (техническое погружение)","Подробный технический разбор методов обнаружения прокси: IP-репутация, TLS-фингерпринтинг (JA3\u002FJA4), браузерные отпечатки, поведенческий анализ и эффективные контрмеры для обхода детекции.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fkak-antibot-sistemy-obnaruzhivayut-proksi-master.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fkak-antibot-sistemy-obnaruzhivayut-proksi-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fkak-antibot-sistemy-obnaruzhivayut-proksi-og.webp","2026-01-14T02:40:38+00:00","2026-10-03T08:21:22+00:00",277,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[159],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},[161,162,163,164],{"id":61,"slug":62,"name":63},{"id":65,"slug":66,"name":67},{"id":54,"slug":122,"name":123},{"id":165,"slug":166,"name":167},2,"rezidentskie-proksi","Резидентские прокси",[]]