用住宅代理在Python中构建Google排名追踪器：为什么你需要它
如果你是一名 SEO 工程师或 Python 开发者，你很可能已经发现：一次性查询关键词排名远远不够。搜索引擎结果页面（SERP）每天都在波动，只有持续快照才能揭示趋势、算法更新和竞争对手的真实动向。本指南将带你一步步用住宅代理在Python中构建Google排名追踪器——从数据模型设计、SERP 分页抓取、TLS 指纹规避，到 SQLite 历史存储与生产级硬化。
我们将使用 ProxyHat 文档 中描述的网关参数，结合 curl_cffi 的浏览器指纹模拟，实现一个可扩展的追踪器。文章目标关键词包括：build a rank tracker python、google rank tracker proxies 以及 serp scraping python 2026。
技术背景：为什么这个问题存在
Google 在 2025 年 9 月移除了 num=100 参数支持，这意味着你无法再通过一次请求获取前 100 条有机结果。现在必须使用 start=0,10,20... 分页参数逐页抓取，最多可覆盖约 100 条结果。与此同时，Google 加强了基于 TLS 指纹（JA3/JA4）和 IP 信誉评分的检测机制，数据中心 IP 极易被识别并触发验证码或直接封禁。
因此，一个可靠的排名追踪器需要解决三个核心问题：
- 分页抓取：跨多个
start页面收集有机结果。 - 指纹与 IP 规避：使用真实浏览器 TLS 指纹 + 住宅代理。
- 历史存储：按日快照入库，支持趋势分析。
数据模型与每日快照的价值
一个好的排名追踪器首先需要明确的数据模型。我们建议使用以下字段：
| 字段 | 类型 | 说明 |
|---|---|---|
keyword | TEXT | 查询关键词 |
target_domain | TEXT | 要追踪的目标域名 |
country | TEXT | 查询国家代码（如 US、DE） |
device | TEXT | 设备类型（desktop / mobile） |
position | INTEGER | 目标域名在有机结果中的排名（0 表示未找到） |
captured_at | TIMESTAMP | 快照时间戳 |
为什么每日快照优于一次性检查？因为排名波动可能由季节性、算法更新或竞争对手动作引起。例如，某关键词在 30 天内从第 3 名跌至第 12 名，单次检查无法区分是短期抖动还是长期趋势。持续快照让你能计算移动平均、识别异常并生成报告。
以下是用 SQLite 创建表结构的代码：
import sqlite3
from datetime import datetime, timezone
def init_db(db_path: str = "ranktracker.db") -> sqlite3.Connection:
conn = sqlite3.connect(db_path)
conn.execute("""
CREATE TABLE IF NOT EXISTS rankings (
id INTEGER PRIMARY KEY AUTOINCREMENT,
keyword TEXT NOT NULL,
target_domain TEXT NOT NULL,
country TEXT NOT NULL,
device TEXT NOT NULL,
position INTEGER NOT NULL,
captured_at TIMESTAMP NOT NULL
)
""")
conn.execute("""
CREATE INDEX IF NOT EXISTS idx_keyword_domain_date
ON rankings(keyword, target_domain, captured_at)
""")
return conn
SERP 分页抓取：应对 num=100 移除
由于 num=100 已失效，我们需要分页请求前 100 条结果。Google 的 start 参数以 10 为步长递增：start=0 返回第 1-10 条，start=10 返回第 11-20 条，以此类推。为了覆盖前 100 条，我们需要 10 次请求。
每次请求的 URL 格式如下：
https://www.google.com/search?q={keyword}&start={start}&hl=en&gl=US
解析有机结果时，需要跳过广告和 SERP 特性（如精选摘要、知识面板）。我们使用 CSS 选择器定位 <div class="g"> 容器，并提取其中的链接和标题。注意，Google 的 HTML 结构会不定期变化，因此建议同时保留正则作为后备。
from typing import List, Dict
from bs4 import BeautifulSoup
def parse_organic_results(html: str) -> List[Dict[str, int | str]]:
soup = BeautifulSoup(html, "html.parser")
results: List[Dict[str, int | str]] = []
# 定位有机结果块
for idx, block in enumerate(soup.select("div.g"), start=1):
link_tag = block.find("a", href=True)
if not link_tag:
continue
href = link_tag["href"]
# 跳过广告（通常包含 googleadservices 或带 data-sponsored）
if "googleadservices" in href or block.get("data-sponsored"):
continue
title_tag = block.find("h3")
title = title_tag.get_text(strip=True) if title_tag else ""
results.append({"position": idx, "url": href, "title": title})
return results
找到目标域名的排名时，遍历结果列表并匹配域名子串：
from urllib.parse import urlparse
def find_position(results: List[Dict], target_domain: str) -> int:
for r in results:
host = urlparse(r["url"]).netloc.lower()
if target_domain.lower() in host:
return r["position"]
return 0 # 未在前 N 条中找到
为什么必须用住宅代理：TLS 指纹与 IP 信誉
Google 使用多层检测来识别自动化流量。首先是 TLS 指纹：标准的 requests 或 urllib3 库的 ClientHello 握手特征与真实 Chrome 浏览器不同，Google 可据此判定为机器人。其次是 IP 信誉评分：数据中心 IP 段（如 AWS、DigitalOcean）被大量滥用，Google 对这些段施加更严格的速率限制和验证码阈值。
解决方案是组合使用：
- curl_cffi 的
impersonate='chrome'：模拟 Chrome 的 TLS 指纹，绕过 JA3/JA4 检测。 - 住宅代理：使用来自真实 ISP 的 IP，IP 信誉高，不易触发封禁。
- 城市级地理定位：Google 的 SERP 因地区而异，精确到城市可确保结果与目标市场一致。
ProxyHat 支持在用户名中嵌入地理位置和会话标识。例如，要使用美国芝加哥的住宅 IP 并保持每个关键词一个固定会话：
# 用户名格式：user-country-US-city-chicago-session-{keyword_hash}
# 密码：你的 ProxyHat 密码
# 网关：gate.proxyhat.com:8080
import hashlib
def build_proxy_url(username_base: str, password: str, country: str, city: str, session_id: str) -> str:
safe_session = hashlib.md5(session_id.encode()).hexdigest()[:12]
proxy_user = f"{username_base}-country-{country}-city-{city}-session-{safe_session}"
return f"http://{proxy_user}:{password}@gate.proxyhat.com:8080"
为什么用粘性会话？ 因为分页抓取需要 10 次请求，如果每次都换 IP，Google 可能返回不一致的结果集（缓存命中差异）。为每个关键词分配固定会话 ID，可在分页过程中保持同一出口 IP，从而获得连贯的 SERP 视图。
实战示例：curl_cffi + ProxyHat 抓取并存储
下面是一个完整的工作示例，使用 curl_cffi 模拟 Chrome 浏览器，通过 ProxyHat 住宅代理分页抓取 Google SERP，解析排名并存入 SQLite。
import time
import logging
import sqlite3
from datetime import datetime, timezone
from curl_cffi import requests as cffi_requests
from urllib.parse import quote_plus
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s")
logger = logging.getLogger(__name__)
PROXYHAT_USER = "your_username"
PROXYHAT_PASS = "your_password"
GATEWAY = "gate.proxyhat.com"
PORT = 8080
def fetch_serp_page(keyword: str, start: int, country: str, city: str, session_id: str) -> str:
"""抓取单个 SERP 页面的 HTML。"""
import hashlib
safe_session = hashlib.md5(session_id.encode()).hexdigest()[:12]
proxy_user = f"{PROXYHAT_USER}-country-{country}-city-{city}-session-{safe_session}"
proxy_url = f"http://{proxy_user}:{PROXYHAT_PASS}@{GATEWAY}:{PORT}"
query = quote_plus(keyword)
url = f"https://www.google.com/search?q={query}&start={start}&hl=en&gl={country}"
try:
resp = cffi_requests.get(
url,
impersonate="chrome",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
resp.raise_for_status()
return resp.text
except Exception as exc:
logger.error("Fetch failed for start=%s: %s", start, exc)
raise
def track_keyword(
conn: sqlite3.Connection,
keyword: str,
target_domain: str,
country: str = "US",
city: str = "chicago",
device: str = "desktop",
max_pages: int = 10,
) -> int:
"""分页抓取并记录目标域名的排名。"""
session_id = f"{keyword}-{country}-{device}"
found_pos = 0
for page in range(max_pages):
start = page * 10
html = fetch_serp_page(keyword, start, country, city, session_id)
results = parse_organic_results(html)
pos = find_position(results, target_domain)
if pos > 0:
found_pos = start + pos
break
time.sleep(2) # 页间延迟
captured_at = datetime.now(timezone.utc).isoformat()
conn.execute(
"INSERT INTO rankings (keyword, target_domain, country, device, position, captured_at) VALUES (?, ?, ?, ?, ?, ?)",
(keyword, target_domain, country, device, found_pos, captured_at),
)
conn.commit()
logger.info("%s => position %d @ %s", keyword, found_pos, captured_at)
return found_pos
使用 curl 命令行快速测试代理是否生效：
curl -x "http://your_username-country-US-city-chicago-session-test01:your_password@gate.proxyhat.com:8080" \
-A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36" \
"https://www.google.com/search?q=python+rank+tracker&hl=en&gl=US" \
-s -o serp.html -w "%{http_code}"
生产硬化：重试、CAPTCHA 检测与并发控制
在生产环境中，网络抖动、临时封禁和验证码都会出现。以下是关键硬化策略。
指数退避重试
import random
import time
from functools import wraps
def retry_with_backoff(max_retries: int = 4, base_delay: float = 2.0):
def decorator(func):
@wraps(func)
def wrapper(*args, **kwargs):
last_exc = None
for attempt in range(max_retries):
try:
return func(*args, **kwargs)
except Exception as exc:
last_exc = exc
delay = base_delay * (2 ** attempt) + random.uniform(0, 1)
logger.warning("Attempt %d failed (%s), retrying in %.1fs", attempt + 1, exc, delay)
time.sleep(delay)
raise last_exc
return wrapper
return decorator
@retry_with_backoff(max_retries=4, base_delay=2.0)
def fetch_serp_page_safe(keyword: str, start: int, country: str, city: str, session_id: str) -> str:
return fetch_serp_page(keyword, start, country, city, session_id)
CAPTCHA 检测
当 Google 怀疑自动化流量时，会返回验证码页面而非 SERP。检测标志包括页面标题包含 unusual traffic 或 HTML 中包含 captcha 相关元素。
def detect_captcha(html: str) -> bool:
lower = html.lower()
return "unusual traffic" in lower or "recaptcha" in lower or "g-recaptcha" in lower
def fetch_or_raise(keyword: str, start: int, country: str, city: str, session_id: str) -> str:
html = fetch_serp_page_safe(keyword, start, country, city, session_id)
if detect_captcha(html):
raise RuntimeError(f"CAPTCHA detected for keyword='{keyword}' start={start}; rotating session recommended")
return html
并发限制与每国代理池
为避免同一 IP 过载，建议为每个国家维护独立的代理池，并限制并发请求数。使用 asyncio.Semaphore 可有效控制并发：
import asyncio
import aiohttp
async def track_batch_async(keywords: list[str], target_domain: str, country: str, city: str, max_concurrent: int = 5):
semaphore = asyncio.Semaphore(max_concurrent)
results = {}
async def _track(kw: str):
async with semaphore:
# 此处调用同步版本或异步封装；简化示例
loop = asyncio.get_event_loop()
pos = await loop.run_in_executor(None, track_keyword_sync_wrapper, kw, target_domain, country, city)
results[kw] = pos
await asyncio.gather(*[_track(kw) for kw in keywords])
return results
建议每国并发不超过 5-10 个关键词，页间延迟 2-4 秒，整体成功率可达 95% 以上。如需更高吞吐量，请参考 ProxyHat 定价 页面选择合适的套餐。
排名波动平滑
单日排名跳变可能是噪声。建议计算 7 日移动平均来平滑曲线：
def moving_average(positions: list[int], window: int = 7) -> list[float]:
if len(positions) < window:
return [sum(positions) / len(positions)] if positions else []
result = []
for i in range(len(positions) - window + 1):
avg = sum(positions[i:i+window]) / window
result.append(round(avg, 1))
return result
道德与合规：追踪自有与公开排名
抓取 Google SERP 涉及法律和道德考量。Google 的服务条款禁止自动化访问，但在低频率、非商业滥用的前提下，许多 SEO 工具仍在运营。最佳实践包括：
- 遵守
robots.txt：虽然 Google 的 robots.txt 并不完全禁止搜索结果页，但应尊重其爬取延迟建议。 - 限制请求频率：每关键词每日一次快照足矣，避免高频抓取。
- 优先使用官方 API：对于低量需求，考虑使用 Google Custom Search JSON API，每日免费配额 100 次查询。
- GDPR/CCPA 合规：如果你存储用户相关数据，确保符合隐私法规。
更多代理使用场景可参考 网页抓取用例 和 SERP 追踪用例。如需了解可用地理位置，请查看 代理位置 页面。
关键要点
- 数据模型先行：定义清晰的 schema（keyword、target_domain、country、device、position、captured_at），支持趋势分析。
- 分页抓取：
num=100已失效，使用start=0,10,20...分页覆盖前 100 条。- 住宅代理 + TLS 指纹：用
curl_cffi模拟 Chrome，配合 ProxyHat 住宅代理与城市级地理定位。- 粘性会话：每个关键词分配固定
session-ID，确保分页一致性。- 生产硬化：指数退避重试、CAPTCHA 检测、并发限制缺一不可。
- 合规优先：低频抓取，尊重 robots.txt，低量需求优先用官方 API。
常见问题
用住宅代理在Python中构建Google排名追踪器是什么？
它是一种自动化工具，通过 Python 脚本定期抓取 Google SERP，记录目标域名在特定关键词下的排名位置，并利用住宅代理避免 IP 封禁。追踪器通常包含数据模型、分页抓取、解析存储和历史分析模块。
为什么需要住宅代理？
Google 通过 TLS 指纹和 IP 信誉评分检测自动化流量。数据中心 IP 容易被封禁，而住宅代理来自真实 ISP，信誉高，配合浏览器指纹模拟可显著降低触发验证码的风险。
哪种代理类型最适合排名追踪？
住宅代理是最优选择，尤其是支持城市级地理定位和粘性会话的类型。数据center 代理适合低风险任务，但对于 Google SERP 这种高防护场景，住宅代理的成功率远高于 datacenter。
如何避免被 Google 封锁？
组合使用浏览器 TLS 指纹模拟（如 curl_cffi 的 impersonate='chrome'）、住宅代理、粘性会话、合理延迟（2-4 秒/页）以及指数退避重试。同时监控 CAPTCHA 响应并在检测到时自动切换会话。
