网络爬虫代理完整指南

为什么代理对于网络搜索至关重要

每个网络刮刮项目都点击同一面墙:基于IP的屏蔽. 目标网站监控收到的请求,当它们从一个IP地址中检测到过多时,它们会屏蔽它——有时在秒内. 2026年的反机器人系统,包括Cloudflare,Akamai Bot Manager,以及PerimeterX,已经变得非常精密. 他们实时分析TLS指纹,鼠标移动模式,请求计时,以及IP声誉得分.

Web 刮取代理通过将每个请求通过不同的IP地址路由来解决这个问题. 而不是从一个服务器上敲击一个网站, 您的刮刮器在数千个 — — 或数百万个 — — 的住宅、数据中心和移动IP上分发请求。 对目标站点来说,每个请求看起来像一个来自不同地点的普通用户访问.

没有代理,即使是每天收集几千页的小规模刮刮行动也会触发费率限制、CAPTCHA和彻底禁止。 用正确的代理设置,你可以 刮掉网站而不被封锁 并将成功率保持在95%以上。

本指南涵盖你需要了解的一切 网络擦除代理:他们如何工作,使用哪种类型,如何在Python,Node.js,和Go中设置,以及如何扩大你的基础设施,每天满足数百万的要求.

网络搜索代理如何工作

代理服务器充当您刮刮器与目标网站之间的中介. 以下是请求流量 :

1. 你的刮伤机 向代理服务器(网关)发送HTTP请求.
2. 代理服务器 从其池中选择一个IP,并使用该IP将请求转发到目标网站.
3. 目标网站 看到代理IP——而不是你的服务器的IP——并正常响应.
4. 代理服务器 将响应转发回剪贴机。

与 旋转代理,网关自动为每个请求(或在设定的时间间隔之后)分配不同的IP. 这意味着你的刮子机从未从同一个IP发送超过一个或两个请求到同一个目标,有效消除基于IP的检测.

主要技术组成部分是:

• 代理网关 : 单一终点(例如, gate.proxyhat.com:8080),处理幕后IP选择和旋转.
• IP 池 : 现有IP地址的集合. 地域分布各异的大型人才库可以更好地匿名。
• 会话管理: 在设定持续时间(粘滞会话)中保持同一IP或在每个请求中旋转的能力.
• 协议支持: HTTP/HTTPS用于标准刮片,SOCKS5用于低级控制和非HTTP协议.

网页搜索代理类型

非一切亲缘平等. 您选择的类型取决于您的目标站点、 预算和需要的成功率 。 深潜到每种类型,见我们 住宅数据中心与移动代理比较。 。 。

住宅周边

居民代理通过ISP分配给真实家庭的IP地址进行线路交通. 对于任何网站,您的请求与家里的普通用户浏览是无法区分的.

最佳服务: 高保护网站(亚马逊、谷歌、社交媒体), SERP 跟踪以及任何具有攻击性反机器人措施的目标

成功率 : 大部分目标,包括Cloudflare和Akamai后面的场地。

数据中心代理

数据中心代理来源于云供应商和托管公司. 它们提供高速和低成本,但反机器人系统更容易识别,因为它们的IP范围是公开注册的.

最佳服务: 对保护较少的场所进行大量刮刮,对较小的电子商务平台进行价格监测,对目标不进行精密的瓶装检测.

成功率 : 保护地点占40%-70%,保护地点占90%。

移动代理

移动代理使用手机载体的IP地址(4G/5G). 因为移动IP是由许多用户通过载体级NAT共享的,所以网站几乎从不封杀它们——这样做会影响到数千个合法的移动用户.

最佳服务: 社交媒体刮,目标 最具攻击性的反机器人系统, 广告核查, 和任何网站 封锁甚至住宅IP。

成功率 : 几乎所有目标都有98分

ISP 代号

ISP代理将数据中心基础设施的速度与住宅IP地址的信任结合起来. 它们是以ISP名称注册但在数据中心托管的静态IP.

最佳服务: 长期运行的会话,账户管理,任务需要具有一致的IP身份,且具有较高的信任分数.

代理类型比较

建议: 对于大多数网络刮除项目,从 住宅代办它们提供了成本、成功率和多功能的最佳平衡。 切换为移动代理,只针对阻挡住宅IP的目标,并在无保护地点使用数据中心代理为大量工作.

正在搜索的密钥特性

在评价代理提供商的网络刮刮时,这些功能会直接影响您的刮刮成功和成本效率.

IP 池大小和多样性

一个更大的IP池意味着在目标上两次使用同一IP的机会较少. 寻找提供成百上千万个居住性综合方案的供应商 地点29. 集合多样性比原始规模更重要——分散在195个国家的200万个实施伙伴的绩效超过集中在一个单一区域的1 000万个。

旋转选项

您的代理提供商应当同时支持自动旋转( 每个请求新IP) 和粘接会话( 相同的IP, 时间可配置) 。 按要求旋转是刮掉产品页或搜索结果的理想方式. 当您需要浏览多页工作流程时,例如 pagination 或登录序列时,粘接会话是必要的.

地理目标

精确的地理目标让你刮去特定位置的内容——本地搜索结果,区域定价,或地理限制的页面. 最好的提供者在国家、州和城市一级提供目标。 对于 ERP刮伤因为搜索结果因地点而有很大差异。

成功率和时间

代理成功率是返回有效响应的请求的百分比(不是块页,CAPTCHA,或超时). 优质居民代办应实现95+%成功率. 休息时间应该为99.9%或更高——任何休息时间都会直接拖延你的刮损管道.

速度和货币

反应时间很重要。 如果由于代理缓慢,每次请求需要500ms更长的时间,则10万页的刮刮工作需要额外的14小时. 寻找低纬度网关且无人为货币限制的供应商. 代理Hat的网关支持无限并行连接通过 gate.proxyhat.com。 。 。

协议支持

HTTP/HTTPS代理满足大多数刮刮需求. SOCKS5支持(Port 1080 on ProxyHat)为非HTTP协议,低级的网络工具以及UDP流量增加了灵活性. 通过同一网关的两种选项都会简化你的基础设施.

设置网络搜索代理

以下是如何在三种最流行的刮切语言中配置代理Hat代词. 关于完整的设置指南,请参见我们的语言专用教程: Py, (中文). 节点.js,以及 走开。 。 。

有请求的 Python

import requests
proxy_url = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
proxies = {
    "http": proxy_url,
    "https": proxy_url,
}
response = requests.get(
    "https://example.com/products",
    proxies=proxies,
    timeout=30,
)
print(f"Status: {response.status_code}")
print(f"IP used: check response headers or body")

带有 PoxyHat SDK 的 Python

from proxyhat import ProxyHat
client = ProxyHat(api_key="YOUR_API_KEY")
# Rotating residential proxy — new IP per request
response = client.get(
    "https://example.com/products",
    country="us",
    session_type="rotating",
)
# Sticky session — same IP for 10 minutes
response = client.get(
    "https://example.com/checkout",
    country="us",
    session_type="sticky",
    session_ttl=600,
)
print(response.status_code, response.text[:200])

安装 SDK : pip install proxyhat . . . . . . GitHub 仓库

Axios 的节点

const axios = require('axios');
const HttpsProxyAgent = require('https-proxy-agent');
const proxyUrl = 'http://USERNAME:PASSWORD@gate.proxyhat.com:8080';
const agent = new HttpsProxyAgent(proxyUrl);
const response = await axios.get('https://example.com/products', {
  httpsAgent: agent,
  timeout: 30000,
});
console.log(`Status: ${response.status}`);
console.log(`Data: ${JSON.stringify(response.data).slice(0, 200)}`);

带有代理Hat SDK的节点.js

const { ProxyHat } = require('@proxyhat/sdk');
const client = new ProxyHat({ apiKey: 'YOUR_API_KEY' });
// Rotating proxy request
const response = await client.get('https://example.com/products', {
  country: 'us',
  sessionType: 'rotating',
});
// Sticky session request
const stickyResponse = await client.get('https://example.com/checkout', {
  country: 'us',
  sessionType: 'sticky',
  sessionTtl: 600,
});
console.log(response.status, response.data);

安装 SDK : npm install @proxyhat/sdk . . . . . . GitHub 仓库

随网/http

package main
import (
    "fmt"
    "io"
    "net/http"
    "net/url"
    "time"
)
func main() {
    proxyURL, _ := url.Parse("http://USERNAME:PASSWORD@gate.proxyhat.com:8080")
    client := &http.Client{
        Transport: &http.Transport{
            Proxy: http.ProxyURL(proxyURL),
        },
        Timeout: 30 * time.Second,
    }
    resp, err := client.Get("https://example.com/products")
    if err != nil {
        fmt.Printf("Error: %v\n", err)
        return
    }
    defer resp.Body.Close()
    body, _ := io.ReadAll(resp.Body)
    fmt.Printf("Status: %d\nBody: %s\n", resp.StatusCode, string(body)[:200])
}

与代理哈特 SDK 一起走

package main
import (
    "fmt"
    "github.com/ProxyHatCom/proxyhat-go"
)
func main() {
    client := proxyhat.NewClient("YOUR_API_KEY")
    // Rotating proxy request
    resp, err := client.Get("https://example.com/products", &proxyhat.RequestOptions{
        Country:     "us",
        SessionType: "rotating",
    })
    if err != nil {
        fmt.Printf("Error: %v\n", err)
        return
    }
    fmt.Printf("Status: %d\n", resp.StatusCode)
}

安装 SDK : go get github.com/ProxyHatCom/proxyhat-go . . . . . . GitHub 仓库

代理旋转策略

如何旋转代理 和你使用的类型一样重要。 正确的旋转策略取决于您的目标站点,刮刮量,以及您正在收集的内容类型.

按请求旋转

每个请求都会得到一个新的IP地址. 这是默认和最常用的网络刮切策略.

何时使用 : 搜索产品页面,搜索结果,文章内容——每个请求独立并点击不同URL的任何任务.

如何与代理哈特合作: 设定 session_type=rotating (或省略,因为旋转是默认). 网关为每个请求从池中指定一个新IP.

时间旋转( 微小会话)

相同的IP为可配置的时间窗口(典型的1-30分钟)维护,然后旋转到一个新的时间窗口.

何时使用 : 多步骤工作流程,如pagination,形成提交,或任何需要会话连续性的任务. 也可用于对跟踪连接在IP上的会话 cookie 的站点进行刮刮.

如何与代理哈特合作: 设定 session_type=sticky 和 session_ttl=600 (10分钟会议)。 TTL窗口内的所有请求都使用相同的IP.

基于失败的旋转

继续使用相同的IP,直到它被屏蔽或返回一个错误,然后旋转到一个新的IP.

何时使用 : 当您想要最大化每个IP的值时. 一些IP在检测前可以处理数百项请求,而另一些IP则快速被标记. 基于失败的旋转可以动态适应.

import requests
from time import sleep
proxy_url = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
proxies = {"http": proxy_url, "https": proxy_url}
urls = ["https://example.com/page/1", "https://example.com/page/2", "..."]
for url in urls:
    for attempt in range(3):
        try:
            resp = requests.get(url, proxies=proxies, timeout=30)
            if resp.status_code == 200:
                # Process successful response
                break
            elif resp.status_code in (403, 429, 503):
                # Blocked — next request gets a new IP automatically
                sleep(2)
                continue
        except requests.RequestException:
            sleep(2)
            continue

地理分布旋转

通过不同地理位置的IP的路由请求,以匹配您正在删除的内容.

何时使用 : SERP 跨区域刮刮,监测地理特定定价,刮除位置限制内容.

from proxyhat import ProxyHat
client = ProxyHat(api_key="YOUR_API_KEY")
target_regions = ["us", "gb", "de", "fr", "jp"]
for country in target_regions:
    response = client.get(
        "https://www.google.com/search?q=web+scraping+proxies",
        country=country,
        session_type="rotating",
    )
    print(f"{country.upper()}: {response.status_code}")

常见的拼写挑战和如何近似地解决它们

IP 块和封条

问题在于: 网站检测来自同一IP的多个请求,并用403个回复或重定向来封锁页面.

代理解决方案 : 轮流居住代理确保每个请求来自不同的IP. 即使一个IP被标记,你的下一个请求 使用一个干净的IP 从一百万集合。 对于最困难的目标, 移动代理 提供近零块速率。

CAPTCHAs 化学和化学反应中心

问题在于: 现场服务CAPTCHA 当他们怀疑自动交通。 解决CAPTCHA会增加你管道的成本和耐久性

代理解决方案 : 与数据中心相比,高质量的住宅代用物将CAPTCHA率降低80-90%. 当一个CAPTCHA确实出现时,旋转到一个新的IP并重试——新的IP一般在没有CAPTCHA的情况下通过. 将代理旋转与现实头和请求计时相结合,使得你的流量与人类浏览无法区分.

费率限制

问题在于: 网站限制每个IP每个时间窗口的请求(例如每分钟100个请求). 超过此限制返回429个过多请求 。

代理解决方案 : 将请求分布在数千个IP中,因此没有单个IP超过速率限制. 如果一个目标允许每个IP每分钟100个请求,而你每分钟需要10,000个请求,那么至少需要100个并行的IP——用一个住宅代理池很容易实现.

JavaScript 渲染的内容

问题在于: 许多现代网站通过JavaScript动态加载内容. 简单的 HTTP 请求返回空页, 因为内容尚未提供 。

代理解决方案 : 使用无头浏览器的代理(Puppeter, Playwright),在提取内容前执行JavaScript. 代理Hat代理与无头浏览器无缝工作——配置浏览器发布选项中的代理:

const puppeteer = require('puppeteer');
const browser = await puppeteer.launch({
  args: ['--proxy-server=http://gate.proxyhat.com:8080'],
});
const page = await browser.newPage();
await page.authenticate({
  username: 'USERNAME',
  password: 'PASSWORD',
});
await page.goto('https://example.com/dynamic-content', {
  waitUntil: 'networkidle0',
});
const content = await page.content();
console.log(content);
await browser.close();

地理限制内容

问题在于: 内容因地点而异,或为某些地区以外的用户完全封锁.

代理解决方案 : 地理目标代理人允许您在特定情况下通过 IP 路径请求 国家和城市。作为任何受支持区域的本地用户访问内容。

以代理方式放大您的搜索基础设施

从刮掉数千页到数百万页,需要系统地处理代理管理、货币和错误处理。

缩放结构

大规模刮刮管道的生产通常包括:

• URL 队列 : Redis 或 RabbitMQ 持有 URL 列表来刮.
• 员工池: 从队列中拉出URL并通过代理网关提出请求的多个刮刮器实例 。
• 代理网关 : 一个单一的入口 gate.proxyhat.com:8080 处理所有 IP 旋转, 因此您的员工不需要管理代理列表 。
• 结果存储 : 用于废数据的数据库或对象存储 。
• 监测: 跟踪每个目标域的成功率,响应时间,带宽消耗.

货币管理

从每个目标域的10-20个同时请求开始,并在监测成功率的同时逐步增加. 不同的网站有不同的阈值——一个电子商务网站可能容忍50个并行连接,而一个社交媒体平台则标注每个IP5以上的任何内容. 旋转代理的优点是每个IP适用货币限制,而不是全球范围——有上千个IP,你可以同时运行数百个到同一域的请求.

带宽优化

住宅代理定价一般按GB进行. 优化带宽使用方式:

• 禁用图像和 CSS 在只需要文本内容时加载 。
• 使用HTTP压缩(接受编码:gzip, deflate, br).
• 缓存响应,以避免重刷未更改的页面 。
• 过滤请求 — 只获取符合您数据要求的 URL 。

处理和重试逻辑错误

在规模上,网络错误,超时,和块是不可避免的. 用代理旋转执行指数反转 :

import requests
from time import sleep
import random
proxy_url = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
proxies = {"http": proxy_url, "https": proxy_url}
def scrape_with_retry(url, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.get(url, proxies=proxies, timeout=30)
            if response.status_code == 200:
                return response
            elif response.status_code in (403, 429, 503):
                wait = (2 ** attempt) + random.uniform(0, 1)
                sleep(wait)
                continue
        except requests.RequestException:
            wait = (2 ** attempt) + random.uniform(0, 1)
            sleep(wait)
            continue
    return None

法律和道德考虑

与代理人一起刮网是一个强有力的工具,但它涉及法律和道德责任。

法律景观

网络刮刮的合法性因辖区而异,但几个关键先例决定了当前的格局:

• hiQ v. LinkedIn (2022) (英语: 美国第九巡回法院裁定,刮掉公开的数据并不违反计算机欺诈和滥用法(CFAA).
• 欧盟版权指令: 允许为研究目的进行文本和数据挖掘,同时要求遵守选择退出机制。
• GDPR/CCPA : (中文(简体) ). 拼写个人数据需要遵守数据保护条例,包括有合法的基础处理和提供数据主体权利。

道德最佳做法

• 尊重机器人.txt: 它虽然没有法律约束力,但象征着网站所有人对自动化访问的偏好.
• 限制费率 : 不要覆盖目标服务器 。 将您的请求间距, 以避免影响真实用户的站点性能 。
• 数据使用: 使用废数据进行分析,而不是重印版权内容。
• 透明度: 在实用时,通过用户代理头或联系信息来识别自己.
• 认证 : 永远不要绕过登录屏幕或访问控制. 拼贴只公开的页面.

重要内容 : 该指南仅供参考,不构成法律咨询。 咨询合格的法律专业人员,了解贵国管辖范围内适用于报废活动的具体法律和条例。

关键外卖

• 任何有意义的规模的网络刮刮都必须有代理。 没有他们,你的IP 在几分钟内被封锁 在大多数网站。
• 居家代理人提供最好的平衡 成功率、成本和一般刮刮的多用途性。 见我们的2026年代理比较 详细基准。
• 旋转策略和代理类型一样重要. 按请求旋转独立页面,粘度会话多步工作流程,地理目标定位特定位置数据.
• 将代用品与适当的刮刮卫生结合起来: 现实头,随机延迟,重试逻辑,和带宽优化.
• 渐渐缩放. 从低货币开始, 监控成功率, 并且只有在你的管道 处理错误优雅。
• 代码整合是直接的 输入 Py, (中文). 节点.js,以及 走开 只需几行配置即可。
• 坚持法律和伦理. 压缩公共数据,尊重率限制,遵守数据保护法,负责任地使用数据.

经常被问到的问题

什么是网络刮擦代理?

Web 擦除代理服务器是中间服务器,通过不同的IP地址引导您的擦除请求. 与其发送您服务器的单个IP的所有请求——这些请求很快被封杀——不如代理在数千个IP中分配请求,使每个请求似乎来自不同的用户. 居民代理是最有效的类型,因为他们使用网站信任的真正ISP指定地址.

我需要多少代理 网络刮?

数字取决于您的刮刮量和目标站点. 对于轻刮刮(不足10,000页/天),一个带有几GB带宽的旋转式住宅代理池就足够了. 对于重刮(每天100 000+页),您需要进入一个具有地理目标能力的更大的池。 与 代理哈特的住宅代理,您通过一个单一的网关端点访问数百万个IP集合,所以您不需要管理单个代理列表.

居民代用品是否比数据中心代用品更适合报废?

对大多数刮刮任务来说是的 居民代理使用ISP指定的真实IP地址,使得他们拥有目标网站的信任分数要高得多. Datacenter代理每GB更快,更便宜,但更容易检测,因为他们的IP范围是公开的. 对于亚马逊,Google或社交媒体平台等被严密保护的网站,住宅代理提供的成功率超过95%,而数据中心代理在同一目标上往往低于60%. 看我们的 完全代理类型比较。 。 。

我如何避免被阻拦 当刮与代理?

使用旋转的住宅代理来根据每个请求更改您的IP,在请求之间执行随机延迟(1-5秒),旋转用户代理头,尊重机器人.txt指令,避免在反机器人系统最具有攻击性的高峰时段刮掉. 在失败时设置带有自动代理旋转的重试逻辑 。 将完整的防堵指南改为: 如何在不被封锁的情况下刮掉网站。 。 。

网络刮除代理合法吗?

在美国和欧洲联盟,对公开数据进行网络删除一般是合法的。 HiQ v. LinkedIn案确定,删除公共数据并不违反《计算机欺诈和滥用法》。 然而,您必须尊重网站服务条款,避免在未遵守GDPR/CCPA的情况下删除个人数据,从不绕过认证或访问控制,并为合法商业目的使用报废数据. 有关具体案件及管辖权,请咨询律师。