在R中使用代理：httr2与rvest住宅代理实战指南

如果你曾在R中用 rvest 抓取数据却频繁遇到 403 Forbidden 或 IP 封禁，你并不孤单。越来越多的网站部署了基于 IP 信誉的反爬机制，数据中心 IP 首当其冲被拦截。在R中使用代理——尤其是住宅代理——是恢复稳定采集的关键。本文将以 httr2 和 rvest 为核心，给出可运行的代码示例，覆盖 HTTP 代理、SOCKS5、地理定位、粘性会话、分页循环和 JS 渲染页面等场景。

为什么R代理是数据采集的刚需

大多数 R 用户默认通过 httr 或 httr2 直接发起请求，出口 IP 就是你的家庭或云服务器地址。当目标站点检测到同一 IP 在短时间内发出数百个请求时，封禁几乎是必然的。根据 MDN 文档，HTTP 429 表示 "Too Many Requests"，这正是爬虫最常收到的状态码之一。

住宅代理使用真实 ISP 分配的 IP 地址，请求看起来来自普通家庭用户，因此成功率远高于数据中心 IP。典型场景包括：

• 电商价格监控（如 Amazon、eBay 跨区域比价）
• SERP 追踪（Google 搜索结果因地区而异）
• 社交媒体公开数据研究
• AI 训练数据采集

相比之下，数据中心代理虽然速度快（延迟通常低于 50ms），但极易被 速率限制和 IP 信誉库拦截。住宅代理的延迟通常在 200–800ms 之间，但成功率可达 95% 以上，对于需要长期稳定运行的采集任务，这个权衡是值得的。

httr2 req_proxy：现代R代理配置基础

httr2 是 Hadley Wickham 设计的下一代 HTTP 客户端，采用管道式 API，代理配置通过 req_proxy() 函数完成。这是目前 R代理 配置最简洁的方式。

基本请求与代理设置

library(httr2)
library(rvest)

# ProxyHat 连接参数
PROXY_HOST <- "gate.proxyhat.com"
PROXY_PORT <- 8080
PROXY_USER <- "your_username"
PROXY_PASS <- "your_password"

# 构建带代理的请求
resp <- request("https://httpbin.org/ip") |>
  req_proxy(
    proxy = paste0("http://", PROXY_HOST, ":", PROXY_PORT),
    username = PROXY_USER,
    password = PROXY_PASS
  ) |>
  req_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36") |>
  req_perform()

# 解析响应
body <- resp_body_string(resp)
cat(body)
# {"origin": "xxx.xxx.xxx.xxx"} — 这里显示的是代理出口 IP

上面的代码展示了 httr2 req_proxy 的核心用法：req_proxy() 接受一个完整的代理 URL 和可选的用户名密码。ProxyHat 的网关地址固定为 gate.proxyhat.com，HTTP 端口为 8080。

用 rvest 解析 HTML

library(httr2)
library(rvest)

# 通过代理抓取页面并解析
page <- request("https://example.com/table-page") |>
  req_proxy(
    proxy = "http://gate.proxyhat.com:8080",
    username = PROXY_USER,
    password = PROXY_PASS
  ) |>
  req_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36") |>
  req_perform() |>
  resp_body_string() |>
  read_html()

# 提取表格
table_data <- page |>
  html_elements("table.data-table") |>
  html_table()

# 提取文本
headings <- page |>
  html_elements("h2.title") |>
  html_text2()

print(head(table_data[[1]]))

read_html() 接受字符串或 URL，配合 html_elements() 和 html_table() 可以快速将页面结构化为数据框。这是 rvest proxy 工作流的标准模式。

地理定位与粘性会话

ProxyHat 支持在用户名中嵌入地理定位和会话标识。语法是在用户名中添加 -country-XX、-city-yyy 和 -session-abc 等标志。

指定国家和城市

# 英国伦敦出口 IP
resp_uk <- request("https://httpbin.org/ip") |>
  req_proxy(
    proxy = "http://gate.proxyhat.com:8080",
    username = "user-country-GB-city-london",
    password = PROXY_PASS
  ) |>
  req_perform()

# 德国柏林出口 IP
resp_de <- request("https://httpbin.org/ip") |>
  req_proxy(
    proxy = "http://gate.proxyhat.com:8080",
    username = "user-country-DE-city-berlin",
    password = PROXY_PASS
  ) |>
  req_perform()

cat(resp_body_string(resp_uk))
cat(resp_body_string(resp_de))

粘性会话（Sticky Session）

默认情况下，每个请求会分配一个新的出口 IP。如果你需要在一次会话中保持同一 IP（例如登录后翻页），在用户名中加入 -session-xxx：

# 粘性会话：同一 session ID 保持同一出口 IP
session_id <- paste0("sess-", as.integer(Sys.time()))

req <- request("https://example.com/dashboard") |>
  req_proxy(
    proxy = "http://gate.proxyhat.com:8080",
    username = paste0(PROXY_USER, "-session-", session_id),
    password = PROXY_PASS
  ) |>
  req_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)")

# 后续请求使用相同 session_id 即可保持同一 IP
resp1 <- req_perform(req)

SOCKS5 代理（端口 1080）

某些场景下 SOCKS5 比 HTTP 更合适，例如需要支持 UDP 或更底层的网络层代理。ProxyHat 的 SOCKS5 端口为 1080：

# SOCKS5 代理
resp_socks <- request("https://httpbin.org/ip") |>
  req_proxy(
    proxy = "socks5://gate.proxyhat.com:1080",
    username = PROXY_USER,
    password = PROXY_PASS
  ) |>
  req_perform()

cat(resp_body_string(resp_socks))

实战：分页表格采集与弹性重试

下面是一个完整的 web scraping in R 示例：从分页页面抓取表格数据，每页轮换会话 ID，使用 req_retry() 处理瞬时失败，req_throttle() 控制请求频率。

library(httr2)
library(rvest)
library(purrr)
library(dplyr)
library(tibble)

# 配置
BASE_URL <- "https://example.com/products?page="
TOTAL_PAGES <- 20
PROXY_USER <- "your_username"
PROXY_PASS <- "your_password"

# 单页抓取函数
fetch_page <- function(page_num) {
  session_id <- paste0("pg", page_num, "-", as.integer(runif(1, 1, 1e6)))
  url <- paste0(BASE_URL, page_num)

  tryCatch({
    resp <- request(url) |>
      req_proxy(
        proxy = "http://gate.proxyhat.com:8080",
        username = paste0(PROXY_USER, "-session-", session_id),
        password = PROXY_PASS
      ) |>
      req_user_agent(
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
      ) |>
      req_headers(
        "Accept" = "text/html,application/xhtml+xml",
        "Accept-Language" = "en-US,en;q=0.9"
      ) |>
      req_retry(max_tries = 3, max_seconds = 30) |>
      req_throttle(rate = 2) |>  # 每秒最多 2 个请求
      req_perform()

    if (resp_status(resp) != 200) {
      warning(sprintf("Page %d returned status %d", page_num, resp_status(resp)))
      return(NULL)
    }

    html <- resp_body_string(resp) |> read_html()

    table <- html |>
      html_elements("table.products") |>
      html_table()

    if (length(table) > 0) {
      table[[1]] |> mutate(page = page_num)
    } else {
      NULL
    }
  }, error = function(e) {
    message(sprintf("Error on page %d: %s", page_num, conditionMessage(e)))
    NULL
  })
}

# 并发抓取所有页面（4 线程）
results <- 1:TOTAL_PAGES |>
  map(fetch_page)

# 合并为单个数据框
df <- results |>
  keep(~!is.null(.x)) |>
  bind_rows()

message(sprintf("成功采集 %d 行数据", nrow(df)))
print(head(df))

关键设计点：

• 每页轮换 session：避免单 IP 连续请求过多页面，降低封禁风险。
• req_retry(max_tries = 3)：对 429、500、503 等可重试状态自动退避重试。
• req_throttle(rate = 2)：限制每秒请求数，尊重目标服务器负载。
• tryCatch：单页失败不会中断整个采集流程。

JS 渲染页面：read_html_live 与 chromote

许多现代网站依赖 JavaScript 渲染内容，rvest 的 read_html() 只能拿到初始 HTML。对于这类页面，可以使用 read_html_live()（基于 chromote 包），它驱动一个无头 Chrome 浏览器。

library(rvest)
library(chromote)

# 配置 Chrome 使用代理
# 注意：read_html_live 目前不直接支持代理认证，
# 需要通过环境变量或 Chrome 启动参数设置

# 方法1：通过 chromote 设置 Chrome 启动参数
chrome <- ChromoteSession$new(
  chromote = Chromote$new(
    chrome_args = c(
      "--proxy-server=http://gate.proxyhat.com:8080"
    )
  )
)

# 导航到目标页面
chrome$Runtime$evaluate(
  "window.location.href = 'https://example.com/js-heavy-page'"
)

# 等待页面加载
Sys.sleep(3)

# 获取渲染后的 HTML
html_str <- chrome$DOM$getDocument()$root$documentElement |>
  {chrome$Runtime$evaluate("document.documentElement.outerHTML")$result$value}

page <- read_html(html_str)

# 解析动态加载的表格
data <- page |>
  html_elements("div.dynamic-table table") |>
  html_table()

print(head(data[[1]]))

# 关闭浏览器
chrome$close()

注意：Chrome 的 --proxy-server 参数不支持 HTTP Basic 认证。对于需要认证的代理，建议使用 IP 白名单方式（在 ProxyHat 控制台添加你的出口 IP），或考虑使用 Python/Node.js 的 Playwright/Puppeteer 配合代理认证插件，然后通过 ProxyHat SDK 调用。更多细节参考 ProxyHat 官方文档。

生产环境最佳实践

请求头与 User-Agent

# 设置真实的浏览器请求头
req <- request(url) |>
  req_proxy(
    proxy = "http://gate.proxyhat.com:8080",
    username = PROXY_USER,
    password = PROXY_PASS
  ) |>
  req_user_agent(
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
  ) |>
  req_headers(
    "Accept" = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language" = "en-US,en;q=0.5",
    "Accept-Encoding" = "gzip, deflate, br",
    "Connection" = "keep-alive",
    "Upgrade-Insecure-Requests" = "1"
  )

日志与监控

library(logger)

log_setup()

fetch_with_logging <- function(url) {
  log_info("Fetching: {url}")
  start <- Sys.time()

  resp <- request(url) |>
    req_proxy(
      proxy = "http://gate.proxyhat.com:8080",
      username = PROXY_USER,
      password = PROXY_PASS
    ) |>
    req_retry(max_tries = 3, max_seconds = 30) |>
    req_perform()

  elapsed <- as.numeric(difftime(Sys.time(), start, units = "secs"))
  status <- resp_status(resp)
  log_info("Status: {status}, Time: {round(elapsed, 2)}s")

  if (status != 200) {
    log_warn("Non-200 response from {url}")
  }

  resp
}

伦理与合规

数据采集不是法外之地。在开始任何采集项目前，请遵循以下原则：

• 检查 robots.txt：尊重网站所有者的爬取意愿，robots.txt 是最低限度的礼貌。
• 阅读服务条款：许多网站明确禁止自动化采集，违反 ToS 可能导致法律后果。
• 优先使用官方 API：如果目标提供 API，优先使用它，而非爬取网页。
• GDPR 合规：如果你在处理欧盟数据主体的个人数据，需遵守 GDPR 规定，包括合法依据、数据最小化和被遗忘权。
• 控制请求频率：即使有代理，也不应以破坏性速率请求目标服务器。

ProxyHat 专属配置

ProxyHat 的住宅代理网络覆盖全球 195+ 个国家，支持国家级和城市级地理定位。在 代理位置 页面可以查看完整覆盖列表。

对于混合技术栈团队（R + Python/Node.js），ProxyHat SDK 镜像了相同的代理模式：gate.proxyhat.com:8080 作为统一网关，用户名中嵌入地理和会话参数。这意味着你可以在 R 中用 httr2 抓取数据，在 Python 中用 requests 做后处理，两者共享同一套代理配置。

查看 定价方案 选择适合你采集规模的套餐，或访问 网页采集用例 了解更多实战场景。

关键要点

• httr2 的 req_proxy() 是 R 中配置代理的现代方式，语法简洁，支持 HTTP 和 SOCKS5。
• 住宅代理比数据中心代理成功率更高，适合长期稳定的数据采集任务。
• 地理定位通过用户名参数实现：user-country-GB-city-london。
• 粘性会话用 -session-xxx 标志保持同一出口 IP，适合登录后翻页场景。
• req_retry() 和 req_throttle() 是构建弹性采集管道的基础，务必配合使用。
• JS 渲染页面需要 read_html_live() 或外部浏览器自动化方案，代理认证需通过 IP 白名单解决。
• 合规先行：robots.txt、ToS、GDPR 是不可忽视的红线。

常见问题

httr2 req_proxy 和 httr 的 use_proxy 有什么区别？

httr2 是 httr 的继任者，采用管道式 API。req_proxy() 可以链式调用，与其他 req_* 函数组合更自然；httr::use_proxy() 则需要在 GET() 调用中传入 config 参数。功能上两者类似，但 httr2 的重试、限流和错误处理更完善。

R 中使用 SOCKS5 代理需要额外依赖吗？

httr2 通过 req_proxy() 支持 SOCKS5，底层依赖 curl 包的 SOCKS5 实现，无需额外安装系统级依赖。只需将代理 URL 设为 socks5://gate.proxyhat.com:1080 即可。

如何避免在R中使用代理时被封禁？

组合使用以下策略：轮换会话 ID（每页或每 N 个请求更换）、设置真实 User-Agent 和请求头、使用 req_throttle() 控制频率、对失败请求自动重试、选择住宅代理而非数据中心代理。同时遵守 robots.txt 和目标网站的 ToS。