AI-боты в Cloudflare и Pay Per Crawl: что изменилось в 2026 году

Настройки Cloudflare для AI-ботов по умолчанию на октябрь 2026 года бьют в основном по краулерам, которые сообщают, кто они такие. Новый домен, владелец которого указал, что на сайте есть реклама, теперь стартует с запретом AI-обучения и блокировкой AI-агентов на страницах с рекламой, а поисковые краулеры по-прежнему пропускаются. Мониторы цен, SEO-аудиты и прочий трафик категории «Data Collection» не попадают ни в один из этих трёх пресетов и оцениваются по тем же правилам для ботов, что и раньше. Для дата-команды важна не новая стена, а более веская причина быть ботом, который себя называет, — с платным каналом (Pay Per Crawl, а с 30 сентября ещё и Pay Per Use) к контенту, который раньше был закрыт полностью.

Многие материалы на эту тему уже устарели. Cloudflare объявила один план 1 июля 2026 года, а 15 сентября выкатила пересмотренный. Хронология ниже опирается на то, что, по словам блога и документации самой Cloudflare, действительно было выпущено.

Какие настройки Cloudflare для AI-ботов действуют по умолчанию на октябрь 2026

Коротко: Search, Agent и Training теперь — три отдельных переключателя на любом тарифе Cloudflare, включая Free, и каждый можно выставить в Allow, Block on pages with ads или Block. У Training есть и четвёртый вариант — Disallow AI Training. Новые домены получают рекомендуемый пресет в зависимости от того, монетизирует ли владелец сайт рекламой. Существующие домены сохранили эффект прежних настроек.

Июльский план против того, что вышло 15 сентября

В июльском анонсе говорилось, что многоцелевые краулеры «вроде Googlebot, Applebot и BingBot будут заблокированы» везде, где клиент блокирует Training. Это выбросило бы сайты из поиска. Пост от 15 сентября заменил этот план. В режиме Disallow AI Training Cloudflare прописывает в robots.txt запрет на обучение. Подотчётные (Accountable) краулеры смешанного назначения (Applebot, Bingbot, Googlebot) остаются разрешены для поиска, а «все прочие краулеры для обучения блокируются, включая краулеры Amazon, Anthropic, Meta и OpenAI, предназначенные только для обучения». Googlebot, а вместе с ним и поиск, теперь останавливает только явный Block или Block on pages with ads.

Пресеты, которые Cloudflare теперь предлагает при подключении нового домена:

Для существующих доменов заметки Cloudflare о миграции говорят: домен, на котором старый переключатель «Block AI bots» никогда не включали, получает Allow по всем трём категориям. Домены, где он был включён, переходят на Disallow AI Training. В материале TechCrunch от 1 июля утверждалось, что новые умолчания коснутся и «всех существующих бесплатных клиентов». В таблицах миграции самой Cloudflare от 15 сентября этого нет, так что проверяйте целевые сайты, а не исходите из какого-то одного варианта.

Search, Agent, Training: как классифицируется запрос

Cloudflare классифицирует ботов, а не отдельные запросы. Известный бот получает одну или несколько меток поведения в BotBase — каталоге ботов Cloudflare. Затем каждый пресет блокирует «верифицированных ботов с таким поведением, а также дополнительных неверифицированных ботов, подпадающих под эти классификации», согласно документации Block AI Bots.

• Search: краулинг для построения поискового индекса или RAG-базы, которая потом отвечает на вопросы.
• Agent: действия по указанию пользователя, обычно в реальном времени: фетчеры чатов вроде ChatGPT-User или browser-use-агенты, управляющие Chrome.
• Training: краулинг для обучения или дообучения модели.

На странице верифицированных ботов перечислено ещё восемь типов поведения, которые не входят в три AI-пресета: Transact, Data Collection («скрапинг цен, сбор конкурентной информации и сторонняя аналитика»), Security Testing, SEO, Ads Verification, Social/Link Preview, Feed Fetching и Monitoring & Operations. Краулер с несколькими назначениями теперь учитывается во всех из них, и побеждает самое строгое подходящее правило.

Идентичность берётся из одного из трёх источников:

1. Верифицированный бот или агент. Оператор подал заявку, и Cloudflare детерминированно проверяет идентичность. Это подпись Web Bot Auth (ключи Ed25519, опубликованные по адресу /.well-known/http-message-signatures-directory согласно черновикам IETF), опубликованный список IP со стабильным user-agent или обратный DNS. С 1 июля 2026 года подписанные агенты считаются Verified. Они помечаются как Direct (один оператор) или Intermediary (платформа, которой управляют многие конечные пользователи).
2. Известный, но не верифицированный. Трафик совпадает с паттерном, который Cloudflare относит к категории краулеров, — например, с эвристиками, добавленными после расследования по Perplexity.
3. Всё остальное. Решает общая детекция ботов: bot score, отпечатки, челленджи. Этот слой существовал и до всех изменений. Как челлендж оценивает сессию, разобрано в нашем материале о внутреннем устройстве Turnstile.

Статус Verified больше не означает, что вас пропустят. 1 июля 2026 года Cloudflare переопределила его: верифицированный бот «допустим» в рамках тех категорий, которые разрешил владелец сайта. Честная идентификация обеспечивает правильную классификацию. Пускать ли вас — по-прежнему решает владелец сайта.

Что «блокировка по умолчанию» означает для реального запроса

«Блокировка» здесь — это до трёх отдельных механизмов. От того, на какой вы наткнулись, зависит, что увидит ваш краулер.

1. Предпочтение в robots.txt

Bot Preference Sync (преемник managed robots.txt) добавляет правила, сгенерированные из настроек зоны, в начало существующего robots.txt, так что ваши собственные строки Disallow сохраняются. Управляемый файл из примера в документации Cloudflare содержит строку Content Signals и запреты для отдельных краулеров:

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

В преамбуле сказано, что эти сигналы являются «явной оговоркой прав» по статье 4 Директивы ЕС об авторском праве на едином цифровом рынке (2019/790). Для text-and-data-mining в ЕС это имеет юридический вес, хотя сам robots.txt носит добровольный характер.

2. Блокировка на edge

Если зона блокирует вашу категорию, запрос отклоняется на edge Cloudflare, не дойдя до origin. В документации Pay Per Crawl этот случай описан как crawler-error: CrawlerForbidden с HTTP 403. В режиме Block on pages with ads один и тот же краулер может получить 200 на одном URL и блокировку на другом URL того же домена. Cloudflare определяет страницы с рекламой автоматически и говорит, что этот список «слишком велик и меняется слишком часто, чтобы перечислить его в robots.txt». Снаружи предсказать, какие страницы под это попадают, нельзя.

3. Цена: HTTP 402 и Pay Per Crawl

В зонах с Pay Per Crawl (на октябрь 2026 года всё ещё закрытая бета) верифицированный краулер без намерения платить получает 402 с ценой:

HTTP/2 402
crawler-price: USD 0.01

Согласно документации по краулингу страниц, краулер повторяет запрос ровно с одним из заголовков: crawler-exact-price (должен совпадать с crawler-price) или crawler-max-price. Заголовок оплаты должен входить в компоненты signature-input Web Bot Auth. Оплаченный ответ 200 содержит crawler-charged: USD 0.01. Ошибки возвращаются с заголовком crawler-error; среди кодов — MissingCrawlerPrice (402), InvalidCrawlerMaxPrice (402), ConflictingPriceHeaders (400) и StrongAuthRequired (400). Платить могут только верифицированные краулеры с подписью. У анонимного скрапера платного канала нет вовсе. Кроме того, блокировка WAF или Bot Management имеет приоритет над действием «charge».

Если вы запускаете краулер, полезная привычка — считать 402 данными, а не сбоем, который надо обойти повторами. Минимальный паттерн на requests:

import requests

def fetch(url, session: requests.Session):
    r = session.get(url, timeout=30)
    if r.status_code == 402 and "crawler-price" in r.headers:
        # Платный контент: сохраняем цену для решения о лицензии/бюджете.
        return {"url": url, "status": 402, "price": r.headers["crawler-price"]}
    if r.status_code == 403 and r.headers.get("crawler-error") == "CrawlerForbidden":
        # Владелец отказал этому краулеру. Убираем URL, не обходим отказ ротацией.
        return {"url": url, "status": 403, "refused": True}
    r.raise_for_status()
    return {"url": url, "status": r.status_code, "body": r.text}

Pay Per Use, запущенный в бете 30 сентября, устроен иначе. Он срабатывает не в момент запроса. Покупатель определяет, что считается «использованием» (скажем, фрагмент текста, выданный в AI-поиске), издатели принимают или отклоняют предложение, а покупатель сам сообщает о каждом использовании в API Cloudflare, которое выставляет счёт раз в месяц. Первыми названными партнёрами, по данным TechCrunch, стали Ceramic.ai и You.com.

Кого это касается, а кого нет

Новые умолчания сильнее всего меняют жизнь краулеров, которые представляются как AI, и меньше всего — трафика, который никогда не был в AI-категории. Маскировка исключением не считается.

Самый очевидный случай — краулер для обучения, который себя называет (GPTBot, ClaudeBot, CCBot, Bytespider и т. д.). На новом домене с рекламой ему по умолчанию отказано. Во многих других зонах он заблокирован или должен платить. Его варианты честные: принять отказ, платить там, где предлагается Pay Per Crawl или Pay Per Use, или лицензировать контент напрямую.

Новая мишень — AI-агент, загружающий страницы для пользователя. На новых доменах с рекламой агенты по умолчанию блокируются на страницах с рекламой. Варианта «Disallow» для агентов пока нет, потому что стандарта наподобие robots.txt для агентов не существует. Cloudflare обещает вернуться к этому вопросу по мере созревания предложений вроде ai-prefs. Подпись запросов (в роли signed agent) хотя бы гарантирует, что вас классифицируют как агента, а не как анонимного бота. Это важно в каждой зоне, где агенты разрешены.

Скрапер с обычным браузерным user-agent не подпадает под логику «AI-пресетов», пока Cloudflare не отнесёт его к AI-категории. Безопасным его это не делает. Он по-прежнему сталкивается со скорингом ботов, JavaScript-челленджами и лимитами частоты. А если он на самом деле наполняет обучающий датасет или движок ответов, он делает ровно то, за что Perplexity исключили из списка в 2025 году. Cloudflare прямо блокирует «дополнительных неверифицированных ботов», подпадающих под каждую категорию. Мы не будем помогать маскировать AI-краулер под живого посетителя. Помимо этической стороны, это проигрышная игра, как только сеть начинает сопоставлять ваше поведение.

Собственный монитор цен относится к Data Collection, а это не один из трёх пресетов. Сентябрьские изменения сами по себе его доступ не меняют. Решает то, что сайт уже использует: Bot Fight Mode, правила Bot Management, лимиты частоты. Эти коды ошибок разобраны в нашем white-hat-руководстве по блокировкам Cloudflare.

Таблица решений для дата-команд

Начните с того, что именно и зачем вы собираете. Это определяет вашу категорию, а категория — ваши варианты.

Два замечания к строке про мониторинг цен. Во-первых, «точка выхода в нужном регионе» означает возможность видеть ту цену, которую видит местный покупатель, а не сокрытие того, кто вы. В ProxyHat это флаг в имени пользователя, например http://USERNAME-country-DE:PASSWORD@gate.proxyhat.com:8080. Пайплайн вокруг этого описан в нашем руководстве по мониторингу цен. Во-вторых, объём запросов по-прежнему самый быстрый способ попасть под подозрение. Бэкофф, который сайты терпят, разобран в нашем материале о лимитах частоты.

Почему издатели с рекламной моделью этого добивались

Реклама приносит деньги, только когда страницу видит человек. По словам Cloudflare, «обучение заменяет этот визит ответом; агенты загружают страницу, и рекламу никто не видит». Поэтому пресеты для страниц с рекламой строже. В посте от 15 сентября Cloudflare приводит цифры: менее 1% её сайтов блокируют поисковых ботов, тогда как 17% включают тот или иной механизм блокировки обучения. Издатели хотят оставаться в поиске, но не отдавать контент моделям бесплатно, а до сентября они не могли заблокировать использование Googlebot для обучения, не потеряв поиск Google. Disallow AI Training и обязательства Accountable — ответ Cloudflare на эту дилемму. Pay Per Use — попытка превратить «нет» в «да, но за деньги».

Чего это не меняет

• Сайты не на Cloudflare. У Akamai, DataDome, HUMAN и собственных решений свои правила.
• Общая защита от ботов. Bot score, Turnstile, ограничение частоты и правила WAF работают как прежде. Краулер Data Collection по-прежнему может быть ими заблокирован.
• Отказ от обучения Bing через robots.txt. Microsoft разрабатывает поддержку запрета обучения в robots.txt, целевой срок — начало 2027 года. До тех пор Disallow AI Training не передаёт это предпочтение Bing таким способом.
• Предсказуемость. Определение рекламы не документировано, а владельцы могут менять пресеты в любой момент. Читайте robots.txt и заголовки ответов каждой цели; не полагайтесь на пересказы в блогах (включая этот).
• Ваше юридическое положение. Метки категорий не решают вопросы авторского права, договоров или персональных данных. Оговорка Content Signals по статье 4 действует в ЕС независимо от вашего bot score.

Короткий чек-лист перед следующим краулингом

1. Запишите назначение каждого краулера. Если один бот занимается и поиском, и обучением, разделите его. Cloudflare теперь учитывает каждое назначение, и побеждает самое строгое правило.
2. Используйте честный стабильный user-agent с контактным URL. Это ничего не стоит и является предусловием верификации.
3. Читайте robots.txt вместе с Content-signal. Разбирайте ai-train, search, ai-input и use, а не только Disallow.
4. Явно обрабатывайте 402 и crawler-error. Логируйте цены; отказы отправляйте в список «не загружать».
5. Рассмотрите Web Bot Auth, если вы запускаете агента или краулер в больших масштабах. Он обязателен для Pay Per Crawl и открывает путь к статусу Verified.
6. Для контента, который регулярно нужен от издателей, запрещающих бесплатный краулинг, предпочитайте лицензированные источники (API, партнёрства по данным, Pay Per Use).

Изменения 2026 года толкают в одну сторону: у краулеров, которые сообщают, кто они и что делают, легитимных вариантов больше, чем год назад, а у замаскированных — меньше. Если ваша команда выбирает инфраструктуру для работы агентов или сбора данных для LLM по этим правилам, наше руководство по прокси для AI-агентов объясняет, где прокси помогают, а где нет.