[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-post-cn-cloudflare-ai-paqu-moren-zhengce":3},{"success":4,"payload":5,"related":73,"errors":190},true,{"id":6,"slug":7,"title":8,"excerpt":9,"body_html":10,"meta_title":11,"meta_description":12,"canonical_url":13,"canonical_override":14,"og_title":15,"og_description":16,"og_image_url":17,"faq_json":18,"key_takeaways":34,"allow_index":4,"noindex_google_only":40,"allow_follow":4,"published_at":41,"updated_at":42,"content_updated_at":43,"featured_image_url":44,"featured_image_alt":45,"card_image_url":46,"reading_time_minutes":47,"author":48,"categories":52,"tags":59,"alternates":65,"locale_paths":71,"views":72},212,"cloudflare-ai-paqu-moren-zhengce","Cloudflare AI 机器人默认设置与 Pay Per Crawl 新变化","Cloudflare 于 2026 年 9 月 15 日修订了 AI 机器人方案。本文说明新默认设置、Disallow AI Training、402 Pay Per Crawl 和 Pay Per Use 对训练爬虫、AI Agent 和内部价格监控分别意味着什么。","\u003Cp>截至 2026 年 10 月，Cloudflare 的 AI 机器人默认设置主要针对的是那些表明身份的爬虫。对于所有者声明投放广告的新域名，现在一开始就拒绝 AI 训练、在广告页面上拦截 AI Agent，而搜索爬虫仍然放行。价格监控、SEO 审计等“Data Collection”（数据收集）流量不在这三个预设之内，仍按以前的机器人规则判断。对数据团队来说，真正重要的变化并不是多了一堵墙，而是有了更充分的理由去做一个表明身份的机器人——对于过去完全封闭的内容，现在有了付费通道（Pay Per Crawl，以及 9 月 30 日起的 Pay Per Use）。\u003C\u002Fp>\n\n\u003Cp>你能找到的很多报道已经过时。Cloudflare 在 2026 年 7 月 1 日公布了一套方案，9 月 15 日上线的却是修订版。下面的时间线以 Cloudflare 自己的博客和文档所说的实际上线内容为准。\u003C\u002Fp>\n\n\u003Ch2>截至 2026 年 10 月，Cloudflare 的 AI 机器人默认设置是什么\u003C\u002Fh2>\n\n\u003Cp>简而言之：Search、Agent 和 Training 现在是三个独立开关，所有 Cloudflare 套餐（包括 Free）都有，每个都可以设为 Allow、Block on pages with ads 或 Block。Training 还有第四个选项 Disallow AI Training。新域名会根据所有者是否靠广告变现获得一个推荐预设。已有域名则保留其旧设置的效果。\u003C\u002Fp>\n\n\u003Ctable>\n\u003Cthead>\u003Ctr>\u003Cth>日期\u003C\u002Fth>\u003Cth>变化\u003C\u002Fth>\u003Cth>来源\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\u003Ctd>2025 年 7 月 1 日\u003C\u002Ftd>\u003Ctd>“Content Independence Day”：新域名默认拦截已知 AI 爬虫。Pay Per Crawl 以私测形式推出。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fwww.cloudflare.com\u002Fpress\u002Fpress-releases\u002F2025\u002Fcloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large\u002F\" rel=\"noopener noreferrer\">Cloudflare 新闻稿\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2025 年 8 月 4 日\u003C\u002Ftd>\u003Ctd>Cloudflare 记录到 Perplexity 使用通用的 macOS 版 Chrome User-Agent 并轮换 IP\u002FASN 进行未声明抓取，随后将其移出已验证机器人列表。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fperplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2025 年 8 月 28 日\u003C\u002Ftd>\u003Ctd>推出“签名 Agent”（signed agents）：由用户指挥、通过 Web Bot Auth 签名识别的 Agent。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fsigned-agents\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2026 年 7 月 1 日\u003C\u002Ftd>\u003Ctd>新分类法（Search \u002F Agent \u002F Training 外加另外八种行为）。Cloudflare 公布 9 月 15 日的默认设置：新域名在广告页面上拦截 Training 和 Agent，Googlebot 等多用途爬虫也会被 Training 拦截规则拦下。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fcontent-independence-day-ai-options\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fchangelog\u002Fpost\u002F2026-07-01-ai-traffic-options\u002F\" rel=\"noopener noreferrer\">更新日志\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2026 年 8 月 21 日\u003C\u002Ftd>\u003Ctd>Bot Preference Sync：根据 Search\u002FAgent\u002FTraining 设置自动生成 robots.txt。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fbot-preference-sync\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2026 年 9 月 15 日\u003C\u002Ftd>\u003Ctd>修订版方案上线。新增“Disallow AI Training”，Apple、Google 和 Microsoft 获得“Accountable”标签，旧的“Block AI bots”和托管 robots.txt 被弃用。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Faccountable-mixed-use-ai-crawlers\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>2026 年 9 月 30 日\u003C\u002Ftd>\u003Ctd>Pay Per Use 进入测试（按内容被\u003Cem>使用\u003C\u002Fem>付费，而不是按抓取付费）。Monetization Gateway 进入测试，支持按请求的 x402 支付。\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fblog.cloudflare.com\u002Fpay-per-use\u002F\" rel=\"noopener noreferrer\">Cloudflare 博客\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003Ch3>7 月的方案与 9 月 15 日实际上线的内容\u003C\u002Fh3>\n\n\u003Cp>7 月的公告称，只要客户拦截 Training，“Googlebot、Applebot 和 BingBot 等”多用途爬虫“都会被拦截”。这会让网站从搜索结果中消失。9 月 15 日的文章取代了这一方案。在 \u003Cstrong>Disallow AI Training\u003C\u002Fstrong> 下，Cloudflare 会在 robots.txt 中写入不允许训练的偏好声明。Accountable 多用途爬虫（Applebot、Bingbot、Googlebot）仍可为搜索而抓取，而“其他所有训练爬虫都会被拦截，包括 Amazon、Anthropic、Meta 和 OpenAI 运营的纯训练爬虫”。现在只有明确设置 Block 或 Block on pages with ads 才会拦下 Googlebot，同时也就失去了搜索收录。\u003C\u002Fp>\n\n\u003Cp>目前在接入新域名时，Cloudflare 提供的预设如下：\u003C\u002Fp>\n\n\u003Ctable>\n\u003Cthead>\u003Ctr>\u003Cth>设置\u003C\u002Fth>\u003Cth>网站不投放广告\u003C\u002Fth>\u003Cth>网站靠广告变现\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\u003Ctd>Bot Preference Sync（robots.txt）\u003C\u002Ftd>\u003Ctd>启用\u003C\u002Ftd>\u003Ctd>启用\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Search\u003C\u002Ftd>\u003Ctd>Allow\u003C\u002Ftd>\u003Ctd>Allow\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Training\u003C\u002Ftd>\u003Ctd>Allow\u003C\u002Ftd>\u003Ctd>Disallow AI Training\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>Agent\u003C\u002Ftd>\u003Ctd>Allow\u003C\u002Ftd>\u003Ctd>Block on pages with ads\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003Cp>对于已有域名，Cloudflare 的迁移说明称：从未开启旧版“Block AI bots”开关的域名，三项都映射为 Allow；开启过的域名则转为 Disallow AI Training。TechCrunch 7 月 1 日的报道称新默认设置也会覆盖“所有现有免费客户”，但 Cloudflare 自己 9 月 15 日的迁移表格中并没有这一点，所以无论哪种说法都别想当然，直接去检查目标网站。\u003C\u002Fp>\n\n\u003Ch2>Search、Agent、Training：请求是如何被分类的\u003C\u002Fh2>\n\n\u003Cp>Cloudflare 分类的是\u003Cem>机器人\u003C\u002Fem>，而不是孤立的请求。已知机器人会在 Cloudflare 的机器人目录 BotBase 中被打上一个或多个行为标签。根据 \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Fadditional-configurations\u002Fblock-ai-bots\u002F\" rel=\"noopener noreferrer\">Block AI Bots 文档\u003C\u002Fa>，每个预设会拦截“被归入该行为的已验证机器人，以及属于这些分类的其他未验证机器人”。\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>Search：为构建搜索索引或 RAG 数据库而抓取，供之后回答问题。\u003C\u002Fli>\n\u003Cli>Agent：由用户指挥，通常是实时的：如 ChatGPT-User 这样的聊天抓取器，或驱动 Chrome 的 browser-use 类 Agent。\u003C\u002Fli>\n\u003Cli>Training：为训练或微调模型而抓取。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>\u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Fconcepts\u002Fbot\u002Fverified-bots\u002F\" rel=\"noopener noreferrer\">已验证机器人页面\u003C\u002Fa>还列出了另外八种\u003Cem>不\u003C\u002Fem>属于这三个 AI 预设的行为：Transact、Data Collection（“价格抓取、竞争情报收集和第三方分析”）、Security Testing、SEO、Ads Verification、Social\u002FLink Preview、Feed Fetching，以及 Monitoring &amp; Operations。有多种用途的爬虫现在会同时被归入所有对应类别，以匹配到的最严格规则为准。\u003C\u002Fp>\n\n\u003Cp>身份来自以下三种途径之一：\u003C\u002Fp>\n\n\u003Col>\n\u003Cli>已验证机器人或 Agent。运营方提交过申请，Cloudflare 以确定性方式核验身份，即 \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Freference\u002Fbot-verification\u002Fweb-bot-auth\u002F\" rel=\"noopener noreferrer\">Web Bot Auth\u003C\u002Fa> 签名（按 IETF 草案，Ed25519 公钥发布在 \u003Ccode>\u002F.well-known\u002Fhttp-message-signatures-directory\u003C\u002Fcode>）、带稳定 User-Agent 的公开 IP 列表，或反向 DNS。自 2026 年 7 月 1 日起，签名 Agent 也算作 Verified，并被标为 \u003Cem>Direct\u003C\u002Fem>（单一运营方）或 \u003Cem>Intermediary\u003C\u002Fem>（由众多终端用户驱动的平台）。\u003C\u002Fli>\n\u003Cli>已知但未验证。流量符合 Cloudflare 归于某个爬虫类别的模式，例如它在调查 Perplexity 之后加入的启发式规则。\u003C\u002Fli>\n\u003Cli>其他所有流量。由通用机器人检测决定：机器人评分、指纹、验证挑战。这一层早在这些变化之前就已存在。我们的 \u003Ca href=\"\u002Fcn\u002Fblog\u002Fcloudflare-turnstile-neibu-jizhi-2026\">Turnstile 内部机制解析\u003C\u002Fa>介绍了验证挑战一侧如何给会话打分。\u003C\u002Fli>\n\u003C\u002Fol>\n\n\u003Cp>被验证不再意味着被放行。Cloudflare 在 2026 年 7 月 1 日重新定义了这一概念：Verified 机器人在站长允许的类别内是“可放行的”。诚实表明身份能让你被正确分类，但放不放行仍由站长决定。\u003C\u002Fp>\n\n\u003Ch2>“默认拦截”对一个具体请求意味着什么\u003C\u002Fh2>\n\n\u003Cp>这里的“拦截”最多涉及三种不同机制。碰到哪一种，决定了你的爬虫看到什么。\u003C\u002Fp>\n\n\u003Ch3>1. robots.txt 中的偏好声明\u003C\u002Fh3>\n\n\u003Cp>Bot Preference Sync（托管 robots.txt 的继任者）会把根据区域设置生成的规则加到现有 robots.txt 的前面，所以你自己写的 Disallow 行会保留。Cloudflare \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fbots\u002Fadditional-configurations\u002Fmanaged-robots-txt\u002F\" rel=\"noopener noreferrer\">文档示例\u003C\u002Fa>中的托管文件包含一行 Content Signals 和针对各爬虫的禁止规则：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode class=\"language-text\">User-Agent: *\nContent-signal: search=yes, ai-train=no, use=reference\nAllow: \u002F\n\nUser-agent: GPTBot\nDisallow: \u002F\n\nUser-agent: Google-Extended\nDisallow: \u002F\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>其前言称，这些信号是依据欧盟 DSM 版权指令（2019\u002F790）第 4 条作出的“明确权利保留”。尽管 robots.txt 本身是自愿遵守的，这一声明在欧盟对文本与数据挖掘具有法律效力。\u003C\u002Fp>\n\n\u003Ch3>2. 边缘拦截\u003C\u002Fh3>\n\n\u003Cp>如果区域拦截了你所属的类别，请求会在到达源站之前就被 Cloudflare 边缘拒绝。Pay Per Crawl 文档把这种情况记为 HTTP 403 加 \u003Ccode>crawler-error: CrawlerForbidden\u003C\u002Fcode>。在 \u003Cem>Block on pages with ads\u003C\u002Fem> 设置下，同一个爬虫在同一域名的某个 URL 上可能拿到 200，在另一个 URL 上却被拦截。Cloudflare 会自动识别投放广告的页面，并表示这份列表“太大、变化太频繁，无法在 robots.txt 中逐一列出”。从外部无法预知哪些页面会被覆盖。\u003C\u002Fp>\n\n\u003Ch3>3. 价格：HTTP 402 与 Pay Per Crawl\u003C\u002Fh3>\n\n\u003Cp>在启用 \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-crawl-control\u002Ffeatures\u002Fpay-per-crawl\u002Fwhat-is-pay-per-crawl\u002F\" rel=\"noopener noreferrer\">Pay Per Crawl\u003C\u002Fa>（截至 2026 年 10 月仍为封闭测试）的区域，没有表明付费意向的已验证爬虫会收到一个带价格的 402：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode class=\"language-http\">HTTP\u002F2 402\ncrawler-price: USD 0.01\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>根据 Cloudflare 的 \u003Ca href=\"https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-crawl-control\u002Ffeatures\u002Fpay-per-crawl\u002Fuse-pay-per-crawl-as-ai-owner\u002Fcrawl-pages\u002F\" rel=\"noopener noreferrer\">crawl-pages 文档\u003C\u002Fa>，爬虫需要带上 \u003Ccode>crawler-exact-price\u003C\u002Fcode>（必须与 \u003Ccode>crawler-price\u003C\u002Fcode> 一致）或 \u003Ccode>crawler-max-price\u003C\u002Fcode> 二者之一重试。付款头必须包含在 Web Bot Auth 的 \u003Ccode>signature-input\u003C\u002Fcode> 组件中。付费成功的 200 响应会带有 \u003Ccode>crawler-charged: USD 0.01\u003C\u002Fcode>。失败时返回 \u003Ccode>crawler-error\u003C\u002Fcode> 头，错误码包括 \u003Ccode>MissingCrawlerPrice\u003C\u002Fcode>（402）、\u003Ccode>InvalidCrawlerMaxPrice\u003C\u002Fcode>（402）、\u003Ccode>ConflictingPriceHeaders\u003C\u002Fcode>（400）和 \u003Ccode>StrongAuthRequired\u003C\u002Fcode>（400）。只有已验证且签名的爬虫才能付费，匿名爬虫根本没有付费通道。此外，WAF 或 Bot Management 的拦截会覆盖“收费”动作。\u003C\u002Fp>\n\n\u003Cp>如果你在运营爬虫，好习惯是把 402 当作数据，而不是需要绕过重试的失败。用 \u003Ccode>requests\u003C\u002Fcode> 的最简写法：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode class=\"language-python\">import requests\n\ndef fetch(url, session: requests.Session):\n    r = session.get(url, timeout=30)\n    if r.status_code == 402 and \"crawler-price\" in r.headers:\n        # 付费内容：记录下来，留待授权\u002F预算决策。\n        return {\"url\": url, \"status\": 402, \"price\": r.headers[\"crawler-price\"]}\n    if r.status_code == 403 and r.headers.get(\"crawler-error\") == \"CrawlerForbidden\":\n        # 站长拒绝了这个爬虫。丢弃该 URL，不要换 IP 绕过。\n        return {\"url\": url, \"status\": 403, \"refused\": True}\n    r.raise_for_status()\n    return {\"url\": url, \"status\": r.status_code, \"body\": r.text}\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>9 月 30 日推出测试的 Pay Per Use 机制不同，它不在请求时发生。买方定义一次“使用”（比如在 AI 搜索中返回一段摘录），发布方接受或拒绝报价，买方通过 Cloudflare API 自行上报每次使用，按月结算。据 \u003Ca href=\"https:\u002F\u002Ftechcrunch.com\u002F2026\u002F07\u002F01\u002Fcloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content\u002F\" rel=\"noopener noreferrer\">TechCrunch\u003C\u002Fa> 报道，首批公开的合作方是 Ceramic.ai 和 You.com。\u003C\u002Fp>\n\n\u003Ch2>谁受影响，谁不受影响\u003C\u002Fh2>\n\n\u003Cp>新默认设置对自称 AI 的爬虫影响最大，对从未归入 AI 类别的流量影响最小。规避行为不算豁免。\u003C\u002Fp>\n\n\u003Cp>自我声明的训练爬虫（GPTBot、ClaudeBot、CCBot、Bytespider 等）是最明确的情况。在新的广告支持型域名上，它默认被拒；在许多其他区域，它被拦截或被定价。它可选的都是正当做法：遵守拒绝、在提供 Pay Per Crawl 或 Pay Per Use 的地方付费，或直接洽谈授权。\u003C\u002Fp>\n\n\u003Cp>替用户抓取页面的 AI Agent 产品是新的目标。在新的广告支持型域名上，Agent 默认在广告页面被拦截。Agent 目前还没有“Disallow”选项，因为还不存在针对 Agent 的类似 robots.txt 的标准。Cloudflare 表示会随着 ai-prefs 等提案的成熟重新考虑。以签名 Agent 的身份对请求签名，至少能让你被归为 Agent，而不是匿名机器人，这在每个允许 Agent 的区域都有意义。\u003C\u002Fp>\n\n\u003Cp>使用普通浏览器 User-Agent 的爬虫，只要 Cloudflare 没有把它归入某个 AI 类别，就不受“AI 预设”逻辑约束。但这并不意味着安全：它仍要面对机器人评分、JavaScript 验证和速率限制。如果它实际上是在为训练集或答案引擎供数，那它做的就是 Perplexity 在 2025 年被移出列表的那件事。Cloudflare 明确会拦截属于各类别的“其他未验证机器人”。我们不会帮任何人把 AI 爬虫伪装成人类访客。抛开道德不谈，一旦网络开始匹配你的行为，这就是一场注定会输的游戏。\u003C\u002Fp>\n\n\u003Cp>内部价格监控属于 Data Collection，不在三个预设之列。单凭 9 月的变化，它的访问不会改变。决定因素是网站原本就在用的东西：Bot Fight Mode、Bot Management 规则、速率限制。我们的\u003Ca href=\"\u002Fcn\u002Fblog\u002Fchuli-cloudflare-fengsu-zhinan\">合规应对 Cloudflare 封锁指南\u003C\u002Fa>逐一讲解了这些错误码。\u003C\u002Fp>\n\n\u003Ch2>数据团队决策表\u003C\u002Fh2>\n\n\u003Cp>先从你收集什么、为什么收集出发。这决定了你的类别，而类别决定了你的选项。\u003C\u002Fp>\n\n\u003Ctable>\n\u003Cthead>\u003Ctr>\u003Cth>收集内容\u003C\u002Fth>\u003Cth>可能的 Cloudflare 类别\u003C\u002Fth>\u003Cth>2026 年的变化\u003C\u002Fth>\u003Cth>建议做法\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\u003Ctd>用于预训练或微调的网页文本\u003C\u002Ftd>\u003Ctd>Training\u003C\u002Ftd>\u003Ctd>新的广告支持型域名默认拒绝；Block 现在也会拦下多用途爬虫\u003C\u002Ftd>\u003Ctd>运行一个单独、具名的训练爬虫；遵守 robots.txt 和 Content Signals；在提供的地方洽谈授权或使用 Pay Per Crawl\u002FUse；不要把训练混进搜索机器人\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>为 RAG 或 AI 搜索产品建索引\u003C\u002Ftd>\u003Ctd>Search（如果是建索引并回链）\u003C\u002Ftd>\u003Ctd>默认仍放行；\u003Ccode>use=reference\u003C\u002Fcode> 是默认的内容使用级别\u003C\u002Ftd>\u003Ctd>与任何训练爬虫分开；坚持摘录加链接；通过 Web Bot Auth 申请 Verified 身份\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>为用户提示实时抓取的页面\u003C\u002Ftd>\u003Ctd>Agent\u003C\u002Ftd>\u003Ctd>新的广告支持型域名在广告页面上拦截\u003C\u002Ftd>\u003Ctd>以签名 Agent 身份签名请求；只抓取任务需要的内容；被拦截时提供备选方案；有官方 API 就用官方 API\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>竞品价格、库存、MAP 合规\u003C\u002Ftd>\u003Ctd>Data Collection\u003C\u002Ftd>\u003Ctd>AI 预设未带来新默认值\u003C\u002Ftd>\u003Ctd>范围限定在商品页；遵守速率限制和 robots.txt；优先使用数据源\u002F合作方 API；使用目标价格所在市场的出口\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>对自己或客户网站做 SEO 审计、排名检查\u003C\u002Ftd>\u003Ctd>SEO\u003C\u002Ftd>\u003Ctd>无新默认值\u003C\u002Ftd>\u003Ctd>在你控制的网站上把爬虫加入白名单；在其他网站上通过 User-Agent 表明身份\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>广告投放核查\u003C\u002Ftd>\u003Ctd>Ads Verification\u003C\u002Ftd>\u003Ctd>无新默认值；Cloudflare 将其列为站长可放行的类别\u003C\u002Ftd>\u003Ctd>使用已声明的核查爬虫；与发布方协调\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>RSS\u002F新闻源\u003C\u002Ftd>\u003Ctd>Feed Fetching\u003C\u002Ftd>\u003Ctd>无新默认值\u003C\u002Ftd>\u003Ctd>轮询订阅源而不是 HTML；遵守 \u003Ccode>Cache-Control\u003C\u002Fcode> 和条件请求\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003Cp>关于价格监控那一行，补充两点。第一，“使用合适地区的出口”是指看到当地消费者看到的价格，而不是隐藏你的身份。在 ProxyHat 中这只是用户名里的一个参数，例如 \u003Ccode>http:\u002F\u002FUSERNAME-country-DE:PASSWORD@gate.proxyhat.com:8080\u003C\u002Fcode>。我们的\u003Ca href=\"\u002Fcn\u002Fblog\u002Fjingzhengduishou-jiage-jiankong\">价格监控指南\u003C\u002Fa>介绍了围绕它的整条流水线。第二，请求量仍然是最快被标记的原因。我们的\u003Ca href=\"\u002Fcn\u002Fblog\u002Fcaiji-sudu-xianzhi-jiexi\">速率限制详解\u003C\u002Fa>介绍了网站能够容忍的退避策略。\u003C\u002Fp>\n\n\u003Ch2>广告支持型发布方为什么要这样做\u003C\u002Fh2>\n\n\u003Cp>广告只有在真人看到页面时才能赚钱。用 Cloudflare 的话说：“训练用一个答案取代了那次访问；Agent 抓取页面时，没有人在场看广告。”这就是广告页面预设更严格的原因。Cloudflare 9 月 15 日的文章给出了数据：其网站中不到 1% 拦截 Search 机器人，而 17% 启用了某种拦截训练的机制。发布方希望保持可被搜索到，但不想免费为模型提供内容；而在 9 月之前，他们无法在不失去 Google 搜索的前提下拦截 Googlebot 的训练用途。Disallow AI Training 和 Accountable 承诺是 Cloudflare 对这一困境的回答，Pay Per Use 则试图把“不行”变成“可以，但要付费”。\u003C\u002Fp>\n\n\u003Ch2>这些变化不会改变什么\u003C\u002Fh2>\n\n\u003Cul>\n\u003Cli>不在 Cloudflare 上的网站。Akamai、DataDome、HUMAN 和自建方案各有各的规则。\u003C\u002Fli>\n\u003Cli>通用机器人防御。机器人评分、Turnstile、速率限制和 WAF 规则照常工作，Data Collection 类爬虫仍可能被它们拦截。\u003C\u002Fli>\n\u003Cli>通过 robots.txt 让 Bing 不用于训练。Microsoft 正在开发 robots.txt 中的不训练支持，目标是 2027 年初。在此之前，Disallow AI Training 无法通过这种方式把偏好传达给 Bing。\u003C\u002Fli>\n\u003Cli>可预测性。广告页面识别没有公开文档，站长也可以随时更改预设。请阅读每个目标网站的 robots.txt 和响应头，不要依赖博客总结（包括本文）。\u003C\u002Fli>\n\u003Cli>你的法律处境。类别标签决定不了版权、合同或个人数据问题。无论你的机器人评分如何，Content Signals 的第 4 条权利保留在欧盟都适用。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch2>下次抓取前的简短检查清单\u003C\u002Fh2>\n\n\u003Col>\n\u003Cli>\u003Cstrong>写下每个爬虫的用途。\u003C\u002Fstrong>如果一个机器人同时做搜索和训练，就把它拆开。Cloudflare 现在会追踪每一种用途，以最严格的规则为准。\u003C\u002Fli>\n\u003Cli>使用诚实、稳定、带联系 URL 的 User-Agent。这不花任何成本，而且是通过验证的前提。\u003C\u002Fli>\n\u003Cli>阅读 robots.txt 时包括 \u003Ccode>Content-signal\u003C\u002Fcode>。解析 \u003Ccode>ai-train\u003C\u002Fcode>、\u003Ccode>search\u003C\u002Fcode>、\u003Ccode>ai-input\u003C\u002Fcode> 和 \u003Ccode>use\u003C\u002Fcode>，而不只是 \u003Ccode>Disallow\u003C\u002Fcode>。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>显式处理 402 和 \u003Ccode>crawler-error\u003C\u002Fcode>。\u003C\u002Fstrong>记录价格；把拒绝的 URL 放进禁止抓取列表。\u003C\u002Fli>\n\u003Cli>如果你大规模运营 Agent 或爬虫，考虑采用 Web Bot Auth。它是使用 Pay Per Crawl 的必要条件，也是获得 Verified 身份的途径。\u003C\u002Fli>\n\u003Cli>对于拒绝免费抓取、而你又经常需要其内容的发布方，优先使用授权来源（API、数据合作、Pay Per Use）。\u003C\u002Fli>\n\u003C\u002Fol>\n\n\u003Cp>2026 年的变化指向同一个方向：表明身份和用途的爬虫比一年前拥有更多正当选择，伪装的爬虫则越来越少。如果你的团队正在这些规则下为 Agent 或 LLM 数据工作选择基础设施，我们的 \u003Ca href=\"\u002Fcn\u002Fblog\u002Fai-agent-llm-proxy-2026\">AI Agent 代理指南\u003C\u002Fa>介绍了代理在哪些地方有用、哪些地方没用。\u003C\u002Fp>\n","Cloudflare AI 机器人默认设置与 Pay Per Crawl（2026） | ProxyHat","截至 2026 年 10 月的 Cloudflare AI 机器人默认设置：Search、Agent、Training 如何分类，402 Pay Per Crawl 的含义及应对。","\u002Fcn\u002Fblog\u002Fcloudflare-ai-paqu-moren-zhengce",null,"Cloudflare AI 机器人默认设置与 Pay Per Crawl（2026）","Cloudflare AI 机器人默认设置（2026.10）：三类机器人如何分类，402 Pay Per Crawl 的含义。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcloudflare-ai-paqu-moren-zhengce-og.webp",[19,22,25,28,31],{"question":20,"answer":21},"2026 年 Cloudflare 默认拦截 AI 爬虫吗？","对于所有者声明投放广告的新域名，是的：自 2026 年 9 月 15 日起，推荐预设把 Training 设为 Disallow AI Training，并在有广告的页面上拦截 Agent 流量，Search 仍放行。没有广告的网站三项都是 Allow。已有域名保留了此前设置的效果，因此具体表现因站而异。",{"question":23,"answer":24},"Cloudflare 的 Disallow AI Training 会拦截 Googlebot 吗？","不会。Disallow AI Training 在 robots.txt 中发布不允许训练的偏好，Accountable 多用途爬虫（Googlebot、Applebot、Bingbot）仍可为搜索抓取，其他训练爬虫则被拦截。只有 Block 或 Block on pages with ads 设置才会拦下 Googlebot，而这也会让网站失去 Google 搜索抓取。",{"question":26,"answer":27},"带 crawler-price 头的 HTTP 402 是什么意思？","说明该页面启用了 Cloudflare Pay Per Crawl，网站按请求向已验证的 AI 爬虫收费。爬虫可以带上 crawler-exact-price 或 crawler-max-price 头重试，并用 Web Bot Auth 签名；成功的响应会返回 crawler-charged。截至 2026 年 10 月，Pay Per Crawl 仍处于封闭测试阶段。",{"question":29,"answer":30},"Cloudflare 的 AI 机器人新规会影响价格监控爬虫吗？","不会直接影响。Cloudflare 把价格抓取和竞争情报归为 Data Collection，它不属于 Search、Agent 或 Training 预设。这类爬虫仍受网站现有的机器人管理、验证挑战和速率限制约束。",{"question":32,"answer":33},"Cloudflare 怎么知道一个机器人是 AI Agent 还是训练爬虫？","已验证机器人和签名 Agent 通过 Web Bot Auth 签名、公开 IP 段或反向 DNS 表明身份，Cloudflare 会给每个机器人打上一个或多个行为标签。每个预设还会拦截被 Cloudflare 检测归入该类别的未验证机器人，因此未声明的爬虫同样可能被识别。",[35,36,37,38,39],"9 月 15 日修订的方案中，Disallow AI Training 仍允许 Googlebot 等为搜索抓取。","广告变现的新域名：Training 设为 Disallow AI Training，广告页拦截 Agent，Search 仍放行。","价格监控属于 Data Collection 类，不在三个 AI 预设内，仍由现有机器人规则决定。","Pay Per Crawl 以 402 加 crawler-price 响应，只有用 Web Bot Auth 签名的已验证爬虫能付费。","按用途拆分爬虫并诚实表明身份，如今比把流量伪装成人类能换来更多访问权限。",false,"2026-10-17T09:00:00+00:00","2026-10-17T09:00:25+00:00","2026-10-03T09:41:40+00:00","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcloudflare-ai-paqu-moren-zhengce-master.webp","Cloudflare AI Bot Defaults and Pay Per Crawl: What Changed in 2026","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcloudflare-ai-paqu-moren-zhengce-card.webp",13,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},"ProxyHat Team","proxyhat-team","The ProxyHat editorial team covers proxies, web scraping, and data extraction.",[53],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},1,"web-scraping","网页抓取","网页抓取指南 | ProxyHat 博客","网页抓取技术、代理策略和数据提取最佳实践。",[60,61],{"id":54,"slug":55,"name":56},{"id":62,"slug":63,"name":64},16,"anti-bot","反机器人",{"zh":13,"ru":66,"tr":67,"en":68,"ko":69,"de":70,"x-default":68},"\u002Fru\u002Fblog\u002Fcloudflare-ai-boty-pay-per-crawl","\u002Ftr\u002Fblog\u002Fcloudflare-ai-bot-varsayilanlari-pay-per-crawl","\u002Fblog\u002Fcloudflare-ai-bot-defaults","\u002Fko\u002Fblog\u002Fcloudflare-ai-bot-chadan-pay-per-crawl","\u002Fde\u002Fblog\u002Fcloudflare-ki-bot-standards-pay-per-crawl",{"zh":13,"ru":66,"tr":67,"en":68,"ko":69,"de":70},42,[74,96,123,157],{"id":72,"slug":75,"title":76,"excerpt":77,"featured_image_url":78,"featured_image_alt":14,"card_image_url":79,"og_image_url":80,"published_at":81,"updated_at":82,"content_updated_at":83,"reading_time_minutes":84,"is_featured":40,"indexable":40,"views":85,"author":86,"categories":87,"tags":89},"caiji-zhong-chuli-captcha","网络爬虫中的CAPTCHA处理","CAPTCHA类型,比解决更加有效的预防策略,以及代理在CAPTCHA避免中的关键作用. 用于检测和路由的代码示例.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fcaiji-zhong-chuli-captcha-master.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fcaiji-zhong-chuli-captcha-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fcaiji-zhong-chuli-captcha-og.webp","2026-02-15T16:42:53+00:00","2026-07-19T03:13:07+00:00","2026-10-03T08:21:24+00:00",9,273,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[88],{"id":54,"slug":55,"name":56,"description":14,"meta_title":57,"meta_description":58,"parent_id":14},[90,91,92],{"id":54,"slug":55,"name":56},{"id":62,"slug":63,"name":64},{"id":93,"slug":94,"name":95},24,"captcha","CAPTCHA",{"id":97,"slug":98,"title":99,"excerpt":100,"featured_image_url":101,"featured_image_alt":14,"card_image_url":102,"og_image_url":103,"published_at":104,"updated_at":82,"content_updated_at":105,"reading_time_minutes":106,"is_featured":40,"indexable":40,"views":107,"author":108,"categories":109,"tags":116},39,"wutou-liulanqi-daili-shezhi","无头浏览器 + 代理：Puppeteer和Playwright完整设置指南","一步步指南,用于配置Puppeteer和Playwright的代理旋转,隐形插件,设备仿真,以及使用住宅代理同时刮刮模式.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fwutou-liulanqi-daili-shezhi-master.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fwutou-liulanqi-daili-shezhi-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog\u002Fwutou-liulanqi-daili-shezhi-og.webp","2026-02-12T15:02:24+00:00","2026-10-03T08:21:31+00:00",10,224,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[110],{"id":111,"slug":112,"name":113,"description":14,"meta_title":114,"meta_description":115,"parent_id":14},6,"fan-jiqiren","反机器人与安全","反机器人与安全指南 | ProxyHat 博客","反机器人系统技术分析、检测规避和代理安全。",[117,118,122],{"id":62,"slug":63,"name":64},{"id":119,"slug":120,"name":121},21,"headless-browser","无头浏览器",{"id":54,"slug":55,"name":56},{"id":124,"slug":125,"title":126,"excerpt":127,"featured_image_url":128,"featured_image_alt":129,"card_image_url":130,"og_image_url":131,"published_at":132,"updated_at":133,"content_updated_at":43,"reading_time_minutes":62,"is_featured":40,"indexable":4,"views":134,"author":135,"categories":136,"tags":143},215,"tiktok-shop-shangpin-shuju-caiji","采集 TikTok Shop 商品数据用于市场调研","官方渠道优先：TikTok Shop Partner API 和 Research API 实际开放了哪些数据，什么时候授权数据更划算，以及如何在正确的市场里慢速读取公开商品页。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Ftiktok-shop-shangpin-shuju-caiji-master.webp","Collecting TikTok Shop Product Data for Market Research","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Ftiktok-shop-shangpin-shuju-caiji-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Ftiktok-shop-shangpin-shuju-caiji-og.webp","2026-10-29T09:00:00+00:00","2026-10-29T09:00:19+00:00",40,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[137],{"id":138,"slug":139,"name":140,"description":14,"meta_title":141,"meta_description":142,"parent_id":14},5,"dianshang","电商与竞争情报","电商数据抓取指南 | ProxyHat 博客","电商数据抓取、价格监控和竞争情报指南。",[144,148,149,153],{"id":145,"slug":146,"name":147},14,"ecommerce","电商",{"id":54,"slug":55,"name":56},{"id":150,"slug":151,"name":152},15,"price-monitoring","价格监控",{"id":154,"slug":155,"name":156},18,"geo-targeting","地理定位",{"id":158,"slug":159,"title":160,"excerpt":161,"featured_image_url":162,"featured_image_alt":163,"card_image_url":164,"og_image_url":165,"published_at":166,"updated_at":167,"content_updated_at":43,"reading_time_minutes":145,"is_featured":40,"indexable":4,"views":168,"author":169,"categories":170,"tags":177},210,"ai-agent-daili-peizhi","AI Agent 代理配置：browser-use、Crawl4AI、MCP","运行在云服务器上的智能体从数据中心 IP 出口。本文给出 browser-use、Crawl4AI 和 MCP 服务器当前可用的代理配置，附粘性与轮换的决策表，以及需要避开的成本陷阱。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-master.webp","Proxy Setup for AI Agents: browser-use, Crawl4AI and an MCP Server","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-og.webp","2026-10-24T09:00:00+00:00","2026-10-24T09:00:20+00:00",30,{"name":49,"slug":50,"bio":51,"avatar_url":14,"website_url":14,"social_links":14},[171],{"id":172,"slug":173,"name":174,"description":14,"meta_title":175,"meta_description":176,"parent_id":14},4,"kaifa-zhinan","开发者指南","开发者指南 | ProxyHat 博客","代码教程和SDK指南，帮助您将代理集成到应用程序中。",[178,179,183,186],{"id":54,"slug":55,"name":56},{"id":180,"slug":181,"name":182},2,"residential-proxies","住宅代理",{"id":84,"slug":184,"name":185},"python","Python",{"id":187,"slug":188,"name":189},22,"playwright","Playwright",[]]