[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-post-cn-got-scraping-nodejs-proxy-guide":3},{"success":4,"payload":5,"related":60,"errors":154},true,{"id":6,"slug":7,"title":8,"excerpt":9,"body_html":10,"meta_title":11,"meta_description":12,"canonical_url":13,"canonical_override":14,"og_title":11,"og_description":15,"og_image_url":16,"faq_json":17,"key_takeaways":14,"allow_index":4,"noindex_google_only":27,"allow_follow":4,"published_at":28,"updated_at":28,"content_updated_at":29,"featured_image_url":30,"featured_image_alt":31,"card_image_url":32,"reading_time_minutes":33,"author":34,"categories":38,"tags":45,"alternates":46,"locale_paths":54,"views":59},176,"got-scraping-nodejs-proxy-guide","Node.js 中的 got-scraping 完整指南：头部生成与住宅代理实战","深入解析 Apify 的 got-scraping 库——从 header-generator 生成连贯浏览器头部、HTTP\u002F2 支持，到通过 ProxyHat 住宅代理实现大规模 Node.js 爬虫。包含可运行代码、重试钩子、并发控制与生产模式最佳实践。","\u003Cp>\u003Cstrong>免责声明：\u003C\u002Fstrong>本文仅讨论公开可访问数据的采集。在美国，\u003Ca href=\"https:\u002F\u002Fwww.law.cornell.edu\u002Fuscode\u002Ftext\u002F18\u002F1030\" rel=\"noopener noreferrer\">《计算机欺诈和滥用法》（CFAA）\u003C\u002Fa>可能适用于未经授权的访问；在欧盟，\u003Ca href=\"https:\u002F\u002Fgdpr-info.eu\u002F\" rel=\"noopener noreferrer\">GDPR\u003C\u002Fa> 对个人数据的处理有严格规定。请始终遵守目标网站的 robots.txt、服务条款和适用法律，优先使用官方 API。\u003C\u002Fp>\n\n\u003Ch2>Node.js 中的 got-scraping：为什么你的原始请求会被拦截\u003C\u002Fh2>\n\n\u003Cp>如果你用过 \u003Ccode>got\u003C\u002Fcode> 或 \u003Ccode>axios\u003C\u002Fcode> 做过规模化爬虫，大概率遇到过这种情况：前 100 个请求正常返回，然后突然全是 403 或 Cloudflare 验证码。原因不在你的代码逻辑，而在于请求的「指纹」暴露了自动化身份。\u003C\u002Fp>\n\n\u003Cp>现代反爬系统不只看 IP 地址。它们检查至少三个层面：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>\u003Cstrong>HTTP 头部一致性\u003C\u002Fstrong> — 真实 Chrome 浏览器发送的头部有固定顺序，且包含 \u003Ccode>sec-ch-ua\u003C\u002Fcode>、\u003Ccode>sec-fetch-dest\u003C\u002Fcode>、\u003Ccode>accept-language\u003C\u002Fcode> 等一系列客户端提示头部。\u003Ccode>got\u003C\u002Fcode> 默认发送的 \u003Ccode>user-agent\u003C\u002Fcode> 和少量头部立刻暴露非浏览器身份。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>TLS 指纹（JA3\u002FJA4）\u003C\u002Fstrong> — Node.js 的 TLS 握手特征与 Chrome 不同，高级反爬系统可以通过 \u003Ca href=\"https:\u002F\u002Fdatatracker.ietf.org\u002Fdoc\u002Fdraft-ietf-tls-esni\u002F\" rel=\"noopener noreferrer\">TLS 扩展顺序\u003C\u002Fa>识别。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>IP 信誉\u003C\u002Fstrong> — 数据中心 IP 段（AWS、GCP、DigitalOcean）被大量爬虫使用，反爬服务对这些段有标记。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>\u003Cstrong>got-scraping\u003C\u002Fstrong> 是 Apify 开发的 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fapify\u002Fgot-scraping\" rel=\"noopener noreferrer\">got 扩展库\u003C\u002Fa>，专门解决前两个问题。它内置 \u003Ccode>header-generator\u003C\u002Fcode> 模块，能生成与真实浏览器一致的头部集，并支持 HTTP\u002F2。配合\u003Ca href=\"\u002Fcn\u002Fproxy\u002Fresidential\">住宅代理\u003C\u002Fa>解决 IP 信誉问题后，三层指纹都能被有效伪装。\u003C\u002Fp>\n\n\u003Ch2>header-generator：生成连贯的浏览器头部集\u003C\u002Fh2>\n\n\u003Ch3>为什么头部顺序很重要\u003C\u002Fh3>\n\n\u003Cp>HTTP\u002F1.1 规范并不强制头部顺序，但真实浏览器有固定的发送顺序。例如 Chrome 总是先发送 \u003Ccode>Host\u003C\u002Fcode>、\u003Ccode>Connection\u003C\u002Fcode>，然后是 \u003Ccode>sec-ch-ua\u003C\u002Fcode> 系列，最后是 \u003Ccode>accept\u003C\u002Fcode>。反爬系统如果发现 \u003Ccode>user-agent\u003C\u002Fcode> 在 \u003Ccode>accept\u003C\u002Fcode> 之前，或者缺少 \u003Ccode>sec-fetch-mode\u003C\u002Fcode>，就会标记为可疑。\u003C\u002Fp>\n\n\u003Cp>\u003Ccode>header-generator\u003C\u002Fcode> 不是简单地随机拼头部。它从真实浏览器采样数据，生成一个连贯的头部集——如果你指定 Chrome 120 on Windows，它会生成 Chrome 120 对应的所有客户端提示头部、正确的 \u003Ccode>accept\u003C\u002Fcode> 值、匹配的 \u003Ccode>sec-ch-ua-platform\u003C\u002Fcode>，且顺序与真实 Chrome 一致。\u003C\u002Fp>\n\n\u003Ch3>headerGeneratorOptions 配置\u003C\u002Fh3>\n\n\u003Cp>核心配置项包括：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>browsers — 指定浏览器类型，如 \u003Ccode>['chrome']\u003C\u002Fcode>、\u003Ccode>['firefox']\u003C\u002Fcode>。建议只用 \u003Ccode>chrome\u003C\u002Fcode>，因为它是市场份额最大的浏览器，不容易引起怀疑。\u003C\u002Fli>\n\u003Cli>devices — \u003Ccode>'desktop'\u003C\u002Fcode> 或 \u003Ccode>'mobile'\u003C\u002Fcode>。移动端头部集与桌面端不同（如 \u003Ccode>sec-ch-ua-mobile\u003C\u002Fcode> 值）。\u003C\u002Fli>\n\u003Cli>operatingSystems — \u003Ccode>'windows'\u003C\u002Fcode>、\u003Ccode>'macos'\u003C\u002Fcode>、\u003Ccode>'linux'\u003C\u002Fcode>、\u003Ccode>'android'\u003C\u002Fcode>、\u003Ccode>'ios'\u003C\u002Fcode>。必须与浏览器和设备类型匹配。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>一个常见错误是混合不兼容的组合，比如 \u003Ccode>chrome + ios\u003C\u002Fcode>（iOS 上的 Chrome 使用 WebKit 引擎，头部特征不同）。\u003Ccode>header-generator\u003C\u002Fcode> 内部有约束逻辑，但最好显式指定合理组合。\u003C\u002Fp>\n\n\u003Ch2>got-scraping 的惯用接口：got.extend 与 useHeaderGenerator\u003C\u002Fh2>\n\n\u003Cp>got-scraping 的设计遵循 got 的扩展模式。你不直接调用全局 \u003Ccode>got\u003C\u002Fcode>，而是通过 \u003Ccode>got.extend()\u003C\u002Fcode> 创建一个预配置实例。这是 got 推荐的做法——\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fgot#instances\" rel=\"noopener noreferrer\">got 官方文档\u003C\u002Fa>明确建议为不同用途创建独立实例。\u003C\u002Fp>\n\n\u003Ch3>基础实例创建\u003C\u002Fh3>\n\n\u003Cpre>\u003Ccode>const { gotScraping } = require(&apos;got-scraping&apos;);\n\n\u002F\u002F 创建带 header-generator 的 got 实例\nconst client = gotScraping.extend({\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  http2: true, \u002F\u002F 启用 HTTP\u002F2，真实 Chrome 默认使用\n});\n\n\u002F\u002F 每个请求自动获得连贯的浏览器头部\nconst response = await client.get(&apos;https:\u002F\u002Fhttpbin.org\u002Fheaders&apos;);\nconsole.log(JSON.parse(response.body).headers);\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>注意 \u003Ccode>http2: true\u003C\u002Fcode>。现代浏览器默认使用 HTTP\u002F2 连接目标网站。如果你的爬虫用 HTTP\u002F1.1 请求一个支持 HTTP\u002F2 的网站，这本身就是一个异常信号。got-scraping 基于 got 的 HTTP\u002F2 实现，能正确处理 ALPN 协商。\u003C\u002Fp>\n\n\u003Ch3>proxyUrl 选项：HTTP 与 SOCKS5\u003C\u002Fh3>\n\n\u003Cp>got-scraping 通过 \u003Ccode>proxyUrl\u003C\u002Fcode> 选项支持代理。可以在实例级别设置，也可以在单个请求级别覆盖：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>\u002F\u002F 实例级别：所有请求走同一代理\nconst client = gotScraping.extend({\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  proxyUrl: &apos;http:\u002F\u002Fuser-country-US:pass@gate.proxyhat.com:8080&apos;,\n});\n\n\u002F\u002F 请求级别：覆盖代理（例如切换国家）\nconst resp = await client.get(&apos;https:\u002F\u002Fhttpbin.org\u002Fip&apos;, {\n  proxyUrl: &apos;http:\u002F\u002Fuser-country-DE:pass@gate.proxyhat.com:8080&apos;,\n});\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>对于 SOCKS5 代理，使用端口 \u003Ccode>1080\u003C\u002Fcode>：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>proxyUrl: &apos;socks5:\u002F\u002Fuser-country-US:pass@gate.proxyhat.com:1080&apos;\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>SOCKS5 在某些场景下比 HTTP 代理更可靠，因为它不修改 HTTP 头部，且支持 UDP。但 HTTP 代理在大多数爬虫场景中已经足够，且调试更方便。\u003C\u002Fp>\n\n\u003Ch2>通过 ProxyHat 住宅代理路由请求\u003C\u002Fh2>\n\n\u003Ch3>为什么头部对了还需要住宅 IP\u003C\u002Fh3>\n\n\u003Cp>假设你已经用 got-scraping 生成了完美的 Chrome 头部，TLS 也通过 HTTP\u002F2 对齐了。但如果你从一个 AWS us-east-1 的 IP 发送请求，目标网站的反爬服务（如 Cloudflare、DataDome、PerimeterX）仍然会标记你——因为真实用户不会从数据中心 IP 访问电商网站。\u003C\u002Fp>\n\n\u003Cp>住宅代理的 IP 来自真实 ISP 分配给家庭用户的地址段。当请求从这些 IP 发出时，反爬系统看到的是一个「普通家庭网络用户」，而不是「服务器上的爬虫脚本」。这就是为什么头部伪装和 IP 伪装必须同时做——只做一层不够。\u003C\u002Fp>\n\n\u003Cp>ProxyHat 的住宅代理网关位于 \u003Ccode>gate.proxyhat.com:8080\u003C\u002Fcode>（HTTP）和 \u003Ccode>gate.proxyhat.com:1080\u003C\u002Fcode>（SOCKS5）。你可以在用户名中嵌入地理定位和会话标识：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>\u003Ccode>user-country-US\u003C\u002Fcode> — 美国出口 IP\u003C\u002Fli>\n\u003Cli>\u003Ccode>user-country-DE-region-state_of_berlin-city-berlin\u003C\u002Fcode> — 德国柏林出口 IP\u003C\u002Fli>\n\u003Cli>\u003Ccode>user-sid-abc123\u003C\u002Fcode> — 粘性会话，同一 session ID 保持同一 IP\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>查看可用地理位置请访问 \u003Ca href=\"\u002Fcn\u002Flocations\">ProxyHat 代理位置页面\u003C\u002Fa>。\u003C\u002Fp>\n\n\u003Ch3>住宅 vs 数据中心 vs 移动代理对比\u003C\u002Fh3>\n\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>类型\u003C\u002Fth>\n\u003Cth>IP 来源\u003C\u002Fth>\n\u003Cth>信任度\u003C\u002Fth>\n\u003Cth>速度\u003C\u002Fth>\n\u003Cth>成本\u003C\u002Fth>\n\u003Cth>适用场景\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>住宅代理\u003C\u002Ftd>\n\u003Ctd>真实 ISP 家庭网络\u003C\u002Ftd>\n\u003Ctd>高\u003C\u002Ftd>\n\u003Ctd>中等（50-200ms）\u003C\u002Ftd>\n\u003Ctd>中等\u003C\u002Ftd>\n\u003Ctd>SERP 爬取、电商价格监控、社交媒体调研\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>数据中心代理\u003C\u002Ftd>\n\u003Ctd>云服务商 IP 段\u003C\u002Ftd>\n\u003Ctd>低\u003C\u002Ftd>\n\u003Ctd>快（10-50ms）\u003C\u002Ftd>\n\u003Ctd>低\u003C\u002Ftd>\n\u003Ctd>无反爬的 API 调用、低风险页面\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>移动代理\u003C\u002Ftd>\n\u003Ctd>4G\u002F5G 运营商网络\u003C\u002Ftd>\n\u003Ctd>极高\u003C\u002Ftd>\n\u003Ctd>较慢（100-500ms）\u003C\u002Ftd>\n\u003Ctd>高\u003C\u002Ftd>\n\u003Ctd>社交账号管理、高信任度要求场景\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003Ch2>可运行示例：轮换住宅端点与重试钩子\u003C\u002Fh2>\n\n\u003Cp>下面是一个完整的 Node.js 脚本，展示如何用 got-scraping 配合 ProxyHat 住宅代理实现带重试的轮换爬取。每个请求生成唯一的 session ID，确保 IP 轮换。\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>const { gotScraping } = require(&apos;got-scraping&apos;);\nconst crypto = require(&apos;crypto&apos;);\n\n\u002F\u002F ProxyHat 凭据\nconst PROXYHAT_USER = &apos;your_username&apos;;\nconst PROXYHAT_PASS = &apos;your_password&apos;;\nconst GATEWAY = &apos;gate.proxyhat.com&apos;;\nconst HTTP_PORT = 8080;\n\n\u002F\u002F 生成带 session 和 geo 的代理 URL\nfunction buildProxyUrl({ country = &apos;US&apos;, session } = {}) {\n  const sid = session || crypto.randomUUID().substring(0, 8);\n  const username = `${PROXYHAT_USER}-country-${country}-sid-${sid}`;\n  return `http:\u002F\u002F${username}:${PROXYHAT_PASS}@${GATEWAY}:${HTTP_PORT}`;\n}\n\n\u002F\u002F 创建 got-scraping 实例，带重试钩子\nconst client = gotScraping.extend({\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  http2: true,\n  retry: {\n    limit: 3,\n    statusCodes: [429, 503, 502, 504],\n    backoffLimit: 5000,\n  },\n  hooks: {\n    beforeRequest: [\n      (options) =&gt; {\n        \u002F\u002F 每个请求自动生成新 session → 新 IP\n        if (!options.proxyUrl || !options.context?.sticky) {\n          options.proxyUrl = buildProxyUrl({\n            country: options.context?.country || &apos;US&apos;,\n          });\n        }\n      },\n    ],\n    afterResponse: [\n      (response, retryWithMergedOptions) =&gt; {\n        \u002F\u002F 检测 CAPTCHA 页面\n        const body = response.body;\n        if (typeof body === &apos;string&apos; &amp;&amp; body.includes(&apos;cf-challenge&apos;)) {\n            \u002F\u002F 换一个新 session 重试\n            retryWithMergedOptions({\n              proxyUrl: buildProxyUrl({ country: &apos;US&apos; }),\n            });\n        }\n        return response;\n      },\n    ],\n  },\n});\n\n\u002F\u002F 批量请求示例\nasync function scrapeUrls(urls) {\n  const results = [];\n  for (const url of urls) {\n    try {\n      const resp = await client.get(url, {\n        context: { country: &apos;US&apos; },\n      });\n      results.push({ url, status: resp.statusCode, ok: true });\n    } catch (err) {\n      results.push({ url, status: err.response?.statusCode, ok: false });\n    }\n  }\n  return results;\n}\n\n\u002F\u002F 运行\nconst targets = [\n  &apos;https:\u002F\u002Fhttpbin.org\u002Fip&apos;,\n  &apos;https:\u002F\u002Fhttpbin.org\u002Fheaders&apos;,\n  &apos;https:\u002F\u002Fhttpbin.org\u002Fuser-agent&apos;,\n];\n\nscrapeUrls(targets).then(console.log);\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>关键设计点：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>beforeRequest 钩子在每个请求前生成新的 \u003Ccode>proxyUrl\u003C\u002Fcode>，通过随机 session ID 实现自动 IP 轮换。\u003C\u002Fli>\n\u003Cli>retry 配置对 429 和 503 自动重试，最多 3 次，退避上限 5 秒。\u003C\u002Fli>\n\u003Cli>afterResponse 钩子检测 Cloudflare challenge 页面，触发带新 IP 的重试。\u003C\u002Fli>\n\u003Cli>context 对象用于在请求间传递自定义参数（如国家代码），不污染 HTTP 头部。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch2>生产模式：并发控制、Cookie 与 Crawlee 集成\u003C\u002Fh2>\n\n\u003Ch3>用 p-limit 控制并发\u003C\u002Fh3>\n\n\u003Cp>无限制并发是爬虫被封锁的头号原因。即使每个请求都有不同的 IP，同一秒发出 500 个请求到同一域名也会触发行为分析。使用 \u003Ca href=\"https:\u002F\u002Fwww.npmjs.com\u002Fpackage\u002Fp-limit\" rel=\"noopener noreferrer\">p-limit\u003C\u002Fa> 限制并发：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>const pLimit = require(&apos;p-limit&apos;);\n\nconst limit = pLimit(10); \u002F\u002F 最多 10 个并发请求\n\nasync function scrapeWithConcurrency(urls) {\n  const tasks = urls.map(url =&gt;\n    limit(() =&gt; client.get(url).then(\n      r =&gt; ({ url, ok: true, status: r.statusCode }),\n      e =&gt; ({ url, ok: false, status: e.response?.statusCode })\n    ))\n  );\n  return Promise.all(tasks);\n}\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>经验值：对大多数网站，5-20 个并发是安全区间。SERP 爬取建议更低（3-5），因为搜索引擎对自动化访问特别敏感。更多 SERP 爬取策略参见 \u003Ca href=\"\u002Fcn\u002Fuse-cases\u002Fserp-tracking\">ProxyHat SERP 跟踪用例\u003C\u002Fa>。\u003C\u002Fp>\n\n\u003Ch3>Cookie Jar：多步流程中的会话保持\u003C\u002Fh3>\n\n\u003Cp>某些场景需要多个请求共享 Cookie（如登录后的分页爬取）。got 内置 \u003Ccode>tough-cookie\u003C\u002Fcode> 支持：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>const { gotScraping } = require(&apos;got-scraping&apos;);\nconst { CookieJar } = require(&apos;tough-cookie&apos;);\n\nconst cookieJar = new CookieJar();\n\nconst sessionClient = gotScraping.extend({\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  cookieJar,\n  proxyUrl: buildProxyUrl({\n    country: &apos;US&apos;,\n    session: &apos;login-flow-001&apos;, \u002F\u002F sticky session 保持同一 IP\n  }),\n});\n\n\u002F\u002F 第一步：获取 CSRF token\nconst page1 = await sessionClient.get(&apos;https:\u002F\u002Fexample.com\u002Flogin&apos;);\n\u002F\u002F 第二步：提交登录（复用 Cookie 和 IP）\nconst page2 = await sessionClient.post(&apos;https:\u002F\u002Fexample.com\u002Flogin&apos;, {\n  form: { username: &apos;...&apos;, password: &apos;...&apos; },\n});\n\u002F\u002F 第三步：访问受保护页面\nconst page3 = await sessionClient.get(&apos;https:\u002F\u002Fexample.com\u002Fdashboard&apos;);\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>这里 \u003Ccode>session: 'login-flow-001'\u003C\u002Fcode> 确保三个请求通过同一住宅 IP 发出。如果每个请求换 IP，目标网站会因 IP 跳变而中断会话。\u003C\u002Fp>\n\n\u003Ch3>升级到 Crawlee 的 CheerioCrawler\u003C\u002Fh3>\n\n\u003Cp>当爬虫规模增长到需要 URL 队列、自动重试、去重和结果存储时，直接用 got-scraping 管理会变得复杂。Apify 的 \u003Ca href=\"https:\u002F\u002Fcrawlee.dev\u002F\" rel=\"noopener noreferrer\">Crawlee\u003C\u002Fa> 框架内置了 got-scraping，通过 \u003Ccode>CheerioCrawler\u003C\u002Fcode> 提供 HTML 解析和爬取编排：\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>const { CheerioCrawler } = require(&apos;crawlee&apos;);\n\nconst crawler = new CheerioCrawler({\n  requestHandler: async ({ $, request }) =&gt; {\n    const title = $(&apos;title&apos;).text();\n    const links = $(&apos;a[href]&apos;).map((_, el) =&gt; $(el).attr(&apos;href&apos;)).get();\n    console.log(`${request.url}: ${title} (${links.length} links)`);\n  },\n  \u002F\u002F got-scraping 配置透传\n  proxyConfiguration: {\n    newUrlFunction: (sessionId) =&gt;\n      buildProxyUrl({ country: &apos;US&apos;, session: sessionId }),\n  },\n  maxConcurrency: 10,\n  maxRequestRetries: 3,\n});\n\nawait crawler.run([&apos;https:\u002F\u002Fexample.com&apos;]);\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>CheerioCrawler 自动使用 got-scraping 发送请求，你只需关注解析逻辑。代理轮换通过 \u003Ccode>proxyConfiguration\u003C\u002Fcode> 的 \u003Ccode>newUrlFunction\u003C\u002Fcode> 实现，每个请求获得独立的 session ID。\u003C\u002Fp>\n\n\u003Ch2>何时必须用无头浏览器\u003C\u002Fh2>\n\n\u003Cp>got-scraping 能解决头部和 HTTP 协议层的伪装，但无法执行 JavaScript。以下场景必须升级到 Playwright 或 Puppeteer：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>客户端渲染的 SPA — 页面内容通过 JS 动态加载，HTTP 请求只返回骨架 HTML。\u003C\u002Fli>\n\u003Cli>Cloudflare Turnstile \u002F reCAPTCHA — 需要真实浏览器环境执行挑战脚本。即使如此，也应配合住宅代理使用。\u003C\u002Fli>\n\u003Cli>需要交互的流程 — 点击、滚动、等待动态元素加载。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>无头浏览器的成本是 10-50 倍的内存和 CPU 开销。一个 Chrome 实例约占 150-300 MB 内存，而 got-scraping 请求只需约 2 MB。在容器化部署中，10 个 Chrome 实例需要约 3 GB 内存，而 100 个 got-scraping 并发连接只需约 200 MB。\u003C\u002Fp>\n\n\u003Cp>最佳策略是分层爬取：先用 got-scraping 爬取能直接获取 HTML 的页面，只对需要 JS 渲染的页面降级到无头浏览器。Crawlee 的 \u003Ccode>PlaywrightCrawler\u003C\u002Fcode> 和 \u003Ccode>CheerioCrawler\u003C\u002Fcode> 可以在同一个项目中混用。\u003C\u002Fp>\n\n\u003Ch2>伦理与合规要点\u003C\u002Fh2>\n\n\u003Cp>技术能力不等于合法使用权。在开始任何爬虫项目前：\u003C\u002Fp>\n\n\u003Cul>\n\u003Cli>检查 robots.txt — 虽然法律效力存在争议，但它是网站表达意愿的明确信号。\u003C\u002Fli>\n\u003Cli>遵守服务条款 — 许多网站的 ToS 明确禁止自动化访问，违反可能导致账号封禁或法律行动。\u003C\u002Fli>\n\u003Cli>控制请求频率 — 即使没有明确的 rate limit，也应保持合理间隔（如每秒不超过 1-2 请求\u002F域名）。\u003C\u002Fli>\n\u003Cli>优先使用官方 API — 如果目标网站提供 API，用 API 而非爬虫。API 更稳定、更合法、更不易被封。\u003C\u002Fli>\n\u003Cli>不采集个人数据 — GDPR 定义的个人数据（姓名、邮箱、IP、位置等）的处理需要法律依据。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>更多爬虫最佳实践参见 \u003Ca href=\"\u002Fcn\u002Fuse-cases\u002Fweb-scraping\">ProxyHat 网页爬虫用例\u003C\u002Fa>和 \u003Ca href=\"https:\u002F\u002Fdocs.proxyhat.com\u002F\" rel=\"noopener noreferrer\">ProxyHat 官方文档\u003C\u002Fa>。\u003C\u002Fp>\n\n\u003Ch2>关键要点\u003C\u002Fh2>\n\n\u003Cblockquote>\n\u003Cp>got-scraping 的价值在于「连贯性」 — 它不是简单地加一个 User-Agent，而是生成与真实浏览器完全一致的头部集（顺序、客户端提示、accept 值），配合 HTTP\u002F2 对齐 TLS 层。这是它区别于手动设置头部的核心优势。\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\n\u003Cul>\n\u003Cli>三层伪装缺一不可 — 头部（header-generator）+ 协议（HTTP\u002F2）+ IP（住宅代理）。只做一层会被多层检测系统识破。\u003C\u002Fli>\n\u003Cli>got.extend 是惯用法 — 创建预配置实例，通过 hooks 注入代理轮换和重试逻辑，而非在每个请求中重复配置。\u003C\u002Fli>\n\u003Cli>session ID 实现 IP 控制 — 随机 session = 自动轮换；固定 session = 粘性会话。ProxyHat 的用户名参数化设计让这变得简单。\u003C\u002Fli>\n\u003Cli>并发控制是生产底线 — 用 p-limit 或 Crawlee 的 maxConcurrency 限制并发，5-20 是安全区间。\u003C\u002Fli>\n\u003Cli>无头浏览器是最后手段 — 只在需要 JS 渲染或交互式挑战时使用，资源开销是 got-scraping 的 10-50 倍。\u003C\u002Fli>\n\u003Cli>合规优先 — robots.txt、ToS、GDPR\u002FCFAA 不是可选项。优先用官方 API。\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>准备好开始了吗？查看 \u003Ca href=\"\u002Fcn\u002Fpricing\">ProxyHat 定价方案\u003C\u002Fa>，选择适合你规模的住宅代理套餐，然后复制上面的代码示例即可运行。\u003C\u002Fp>","Node.js 中的 got-scraping 代理实战指南 | ProxyHat","掌握 Node.js 中的 got-scraping：header-generator 生成真实浏览器头部、HTTP\u002F2 支持、住宅代理轮换与生产级重试钩子，附完整可运行代码示例。","\u002Fcn\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide",null,"掌握 got-scraping 的头部生成器、住宅代理轮换与生产级重试钩子，附完整可运行 Node.js 代码。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fgot-scraping-nodejs-proxy-guide-og.webp",[18,21,24],{"question":19,"answer":20},"什么是 Node.js 中的 got-scraping？","got-scraping 是 Apify 基于 got 构建的 HTTP 客户端扩展，专为爬虫场景设计。它内置 header-generator 模块，能自动生成与真实浏览器一致的 HTTP 请求头（包括头部顺序、sec-ch-ua、accept-language 等），并支持 HTTP\u002F2。通过 got.extend 创建自定义实例，开发者可以集成代理、重试逻辑和 Cookie 管理，无需手动拼接头部。",{"question":22,"answer":23},"got-scraping 在 Node.js 中最适合哪种代理类型？","住宅代理是最佳选择，因为其 IP 来自真实 ISP 分配的家用网络，与浏览器头部配合时几乎无法被区分。数据中心代理虽然速度快，但 IP 段容易被批量封禁。移动代理适合需要极高信任度的场景但成本较高。got-scraping 通过 proxyUrl 选项支持 HTTP\u002FHTTPS 和 SOCKS5 代理，可灵活切换。",{"question":25,"answer":26},"如何在 got-scraping 中避免被封锁？","关键策略包括：使用 header-generator 生成真实浏览器头部、通过住宅代理轮换 IP、设置合理的请求间隔避免高频访问、使用 sticky session 在多步流程中保持同一 IP、实现重试钩子处理 429\u002F503 状态码、限制并发数量避免触发速率限制，以及遵守目标网站的 robots.txt 和服务条款。",false,"2026-08-04T16:05:06+00:00","2026-10-03T08:29:58+00:00","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fgot-scraping-nodejs-proxy-guide-master.webp","got-scraping in Node.js: A Developer's Guide with Residential Proxies","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fgot-scraping-nodejs-proxy-guide-card.webp",12,{"name":35,"slug":36,"bio":37,"avatar_url":14,"website_url":14,"social_links":14},"ProxyHat Team","proxyhat-team","The ProxyHat editorial team covers proxies, web scraping, and data extraction.",[39],{"id":40,"slug":41,"name":42,"description":14,"meta_title":43,"meta_description":44,"parent_id":14},4,"kaifa-zhinan","开发者指南","开发者指南 | ProxyHat 博客","代码教程和SDK指南，帮助您将代理集成到应用程序中。",[],{"ru":47,"en":48,"zh":13,"it":49,"fr":50,"pl":51,"ko":52,"ja":53,"x-default":48},"\u002Fru\u002Fblog\u002Fgot-scraping-nodejs-residential-proxies","\u002Fblog\u002Fgot-scraping-nodejs-residential-proxies","\u002Fit\u002Fblog\u002Fguida-got-scraping-nodejs-proxy","\u002Ffr\u002Fblog\u002Fgot-scraping-nodejs-proxy-residentiel-1","\u002Fpl\u002Fblog\u002Fgot-scraping-nodejs-proxy","\u002Fko\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide-1","\u002Fja\u002Fblog\u002Fgot-scraping-nodejs-purokishi",{"pt":55,"ru":47,"en":48,"zh":13,"it":49,"es":56,"de":57,"fr":50,"pl":51,"ko":52,"ja":53,"tr":58},"\u002Fpt\u002Fblog\u002Fguia-got-scraping-nodejs-proxies-residenciais","\u002Fes\u002Fblog\u002Fguia-got-scraping-nodejs-proxy-residencial","\u002Fde\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide","\u002Ftr\u002Fblog\u002Fnodejs-got-scraping-proxy-rehberi",129,[61,95,122,138],{"id":62,"slug":63,"title":64,"excerpt":65,"featured_image_url":66,"featured_image_alt":67,"card_image_url":68,"og_image_url":69,"published_at":70,"updated_at":71,"content_updated_at":72,"reading_time_minutes":73,"is_featured":27,"indexable":4,"views":74,"author":75,"categories":76,"tags":78},210,"ai-agent-daili-peizhi","AI Agent 代理配置：browser-use、Crawl4AI、MCP","运行在云服务器上的智能体从数据中心 IP 出口。本文给出 browser-use、Crawl4AI 和 MCP 服务器当前可用的代理配置，附粘性与轮换的决策表，以及需要避开的成本陷阱。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-master.webp","Proxy Setup for AI Agents: browser-use, Crawl4AI and an MCP Server","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fai-agent-daili-peizhi-og.webp","2026-10-24T09:00:00+00:00","2026-10-24T09:00:20+00:00","2026-10-03T09:41:40+00:00",14,30,{"name":35,"slug":36,"bio":37,"avatar_url":14,"website_url":14,"social_links":14},[77],{"id":40,"slug":41,"name":42,"description":14,"meta_title":43,"meta_description":44,"parent_id":14},[79,83,87,91],{"id":80,"slug":81,"name":82},1,"web-scraping","网页抓取",{"id":84,"slug":85,"name":86},2,"residential-proxies","住宅代理",{"id":88,"slug":89,"name":90},9,"python","Python",{"id":92,"slug":93,"name":94},22,"playwright","Playwright",{"id":96,"slug":97,"title":98,"excerpt":99,"featured_image_url":100,"featured_image_alt":101,"card_image_url":102,"og_image_url":103,"published_at":104,"updated_at":105,"content_updated_at":72,"reading_time_minutes":73,"is_featured":27,"indexable":4,"views":106,"author":107,"categories":108,"tags":110},206,"camoufox-zhuzhai-daili-python-zhinan","Camoufox 搭配住宅代理：代码优先的 Python 指南","如何让在 C++ 层打补丁的 Firefox——Camoufox 在住宅代理后运行：当前的 Python API、geoip 为什么需要粘性会话、指纹一致性检查清单，以及何时 Patchright 或 nodriver 更合适。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcamoufox-zhuzhai-daili-python-zhinan-master.webp","Camoufox with Residential Proxies: A Code-First Python Guide","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcamoufox-zhuzhai-daili-python-zhinan-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcamoufox-zhuzhai-daili-python-zhinan-og.webp","2026-10-13T09:00:00+00:00","2026-10-13T09:00:22+00:00",43,{"name":35,"slug":36,"bio":37,"avatar_url":14,"website_url":14,"social_links":14},[109],{"id":40,"slug":41,"name":42,"description":14,"meta_title":43,"meta_description":44,"parent_id":14},[111,112,113,117,118],{"id":80,"slug":81,"name":82},{"id":84,"slug":85,"name":86},{"id":114,"slug":115,"name":116},6,"anti-detection","反检测",{"id":88,"slug":89,"name":90},{"id":119,"slug":120,"name":121},21,"headless-browser","无头浏览器",{"id":123,"slug":124,"title":125,"excerpt":126,"featured_image_url":127,"featured_image_alt":128,"card_image_url":129,"og_image_url":130,"published_at":131,"updated_at":131,"content_updated_at":132,"reading_time_minutes":33,"is_featured":27,"indexable":27,"views":133,"author":134,"categories":135,"tags":137},175,"colly-lunhuan-daili-shixian-zhinan","Colly轮换代理完整指南：用Go构建高吞吐爬虫的实战方案","深入讲解如何在Go的Colly框架中实现代理轮换，涵盖RoundRobinProxySwitcher、SetProxyFunc自定义函数、住宅代理地理定位与会话保持、生产级重试与并发控制，以及分布式存储后端等核心模式。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcolly-lunhuan-daili-shixian-zhinan-master.webp","Rotating Proxies in Colly: A Framework-Idiomatic Guide for Go Developers","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcolly-lunhuan-daili-shixian-zhinan-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fcolly-lunhuan-daili-shixian-zhinan-og.webp","2026-08-04T10:05:34+00:00","2026-10-03T08:29:56+00:00",80,{"name":35,"slug":36,"bio":37,"avatar_url":14,"website_url":14,"social_links":14},[136],{"id":40,"slug":41,"name":42,"description":14,"meta_title":43,"meta_description":44,"parent_id":14},[],{"id":139,"slug":140,"title":141,"excerpt":142,"featured_image_url":143,"featured_image_alt":144,"card_image_url":145,"og_image_url":146,"published_at":147,"updated_at":147,"content_updated_at":148,"reading_time_minutes":33,"is_featured":27,"indexable":4,"views":149,"author":150,"categories":151,"tags":153},195,"scrape-bybit-v5-market-api-proxy","如何使用轮换代理采集加密货币市场数据：开发者指南（以 Bybit V5 Market API 为例）","面向加密货币交易机器人开发者的实战指南：用 ProxyHat 轮换住宅代理抓取 Bybit V5 公共市场 API，涵盖订单簿、Ticker、K线接口的限速规避、地理封锁绕过与 WebSocket 对比。","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fscrape-bybit-v5-market-api-proxy-master.webp","How to Scrape the Bybit V5 Market API with Rotating Proxies","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fscrape-bybit-v5-market-api-proxy-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fzh\u002Fscrape-bybit-v5-market-api-proxy-og.webp","2026-08-03T16:09:16+00:00","2026-10-04T01:29:51+00:00",103,{"name":35,"slug":36,"bio":37,"avatar_url":14,"website_url":14,"social_links":14},[152],{"id":40,"slug":41,"name":42,"description":14,"meta_title":43,"meta_description":44,"parent_id":14},[],[]]