Patchright 심층 분석: 감지 시그널과 우회 전략
Playwright로 보호된 페이지에 접근하면 Cloudflare, DataDome, Akamai Bot Manager가 당신의 자동화를 즉시 감지한다. Patchright 심층 분석의 출발점은 바로 이 문제다 — navigator.webdriver가 true이고, CDP Runtime.enable이 노출되며, TLS 핑거프린트가 일반 Chrome과 다르다. Patchright는 이 감지 시그널들을 소스 코드 수준에서 패치하여, 감지되지 않는 Playwright(undetected playwright)를 구현하는 포크다. 하지만 핑거프린트를 완벽히 정리해도 IP 평점이 낮으면 여전히 차단된다. 이 글에서는 Patchright의 작동 원리, 한계점, 그리고 웹 스크래핑에서 주거 프록시와 통합하는 방법을 실전 코드와 함께 다룬다.
대상 독자는 보안 연구자와 시니어 스크래핑 엔지니어다. 우리는 표면적인 우회 팁이 아닌, JA3/JA4 핑거프린트, CDP 런타임 누수, 행동 분석 같은 구체적인 감지 메커니즘을 다룬다. 모든 접근은 인가된 보안 연구와 컴플라이언스 공개 데이터 수집의 맥락에서 설명한다.
기술적 맥락: 브라우저 자동화 감지가 작동하는 방식
현대 봇 탐지 시스템은 단일 신호에 의존하지 않는다. Cloudflare Turnstile과 DataDome은 수십 개의 시그널을 조합하여 점수를 계산한다. 주요 시그널 카테고리는 다음과 같다:
- 브라우저 핑거프린트 —
navigator.webdriver, Chrome 런타임 변수, permission API 불일치 - CDP 런타임 누수 —
Runtime.enable호출로 인한 JavaScript 환경 변조 흔적 - TLS/JA3 핑거프린트 — ClientHello의 cipher suite 순서, 확장 순서, ALPN 값
- IP 평점 — ASN 타입(데이터센터 vs ISP), 서브넷 평점, 지역 일관성
- 행동 신호 — 마우스 궤적, 타이밍 패턴, 스크롤 속도
Playwright는 Chromium을 CDP(Chrome DevTools Protocol)를 통해 제어한다. 이 제어 방식 자체가 감지 가능한 아티팩트를 남긴다. Playwright의 CDP Session은 Runtime.enable, Page.enable, Network.enable 등의 명령을 브라우저에 전송하는데, 이 명령들은 JavaScript 런타임에 관찰 가능한 부작용을 생성한다.
예를 들어, Runtime.enable이 호출되면 브라우저는 window.cdc_ 접두사를 가진 속성이나 Runtime.evaluate 트레이스를 남길 수 있다. 이것은 이 브라우저가 DevTools에 의해 제어되고 있다는 강력한 신호다.
Patchright가 수정하는 감지 시그널
navigator.webdriver
MDN 문서에 따르면, navigator.webdriver는 브라우저가 자동화 도구에 의해 제어될 때 true를 반환한다. Playwright는 기본적으로 이 값을 true로 설정한다. Patchright는 Chromium 소스 코드에서 이 값을 반환하는 부분을 직접 수정하여 false를 반환하도록 패치한다.
이것이 중요한 이유는 navigator.webdriver가 봇 탐지의 1차 필터이기 때문이다. 대부분의 WAF(Web Application Firewall)는 이 값이 true이면 추가 검사 없이 차단하거나 CAPTCHA를 트리거한다.
CDP 런타임 누수 (Runtime.enable)
Playwright가 브라우저를 시작할 때, CDP를 통해 Runtime.enable을 전송한다. 이 명령은 JavaScript 실행 컨텍스트에 관찰 가능한 변화를 만든다. 예를 들어:
// Playwright가 실행 후 노출되는 시그널 예시:
// 1. Runtime.evaluate 호출 트레이스
// 2. console.debug 오버라이드 흔적
// 3. Error.stack 패턴 변화Patchright는 Runtime.enable 호출을 우회하거나, 그 부작용을 제거하는 방식으로 이 누수를 막는다. 핵심은 JavaScript 환경에 CDP 제어의 흔적이 남지 않도록 하는 것이다.
명령줄 플래그와 --disable-blink-features=AutomationControlled
Playwright는 브라우저를 시작할 때 --enable-automation 플래그를 전달한다. 이 플래그는 Chrome 상단에 자동화 배너를 표시하고, navigator.webdriver를 true로 설정한다. Patchright는 이 플래그를 제거하고, 대신 --disable-blink-features=AutomationControlled를 주입한다.
이 플래그는 Blink 엔진의 자동화 감지 기능을 비활성화하여, 브라우저가 자동화 모드로 실행 중임을 외부에 알리지 않도록 한다. 일반적인 Playwright 스크립트에서는 이를 수동으로 추가해야 하지만, Patchright는 기본적으로 적용한다.
channel='chrome'과 실제 Chrome TLS/JA3 스택
Patchright의 가장 강력한 기능 중 하나는 channel='chrome' 옵션을 통해 시스템에 설치된 실제 Chrome 바이너리를 사용한다는 점이다. Playwright의 번들 Chromium이 아닌 실제 Chrome을 사용하면, TLS ClientHello의 cipher suite 순서, 확장 목록, ALPN 값이 일반 사용자의 Chrome과 정확히 일치한다.
이것이 왜 중요한가? JA3 핑거프린트는 TLS ClientHello 패킷의 구조를 해시하여 브라우저를 식별한다. Playwright의 번들 Chromium은 cipher suite 순서가 실제 Chrome과 미묘하게 다를 수 있다. 이 차이만으로 비정상 브라우저로 분류될 수 있다. 실제 Chrome 바이너리를 사용하면 이 시그널이 자동으로 정렬된다.
Chrome 120 이상의 JA3 핑거프린트는 일반적으로 771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-23-65281-10-11-35-16-5-13-18-51-45-43-27-17513,29-23-24,0 형태를 가지며, 이는 Chrome의 TLS 구성과 정확히 일치한다.
Patchright가 수정하지 않는 것: Canvas, WebGL, 행동 신호
Patchright는 브라우저 자동화의 기계적 시그널을 제거하지만, 모든 핑거프린트를 해결하지는 않는다. 다음은 Patchright가 수정하지 않는 주요 영역이다:
Canvas 핑거프린트
Canvas API는 GPU, 드라이버, 폰트 렌더링 엔진의 차이에 따라 미세하게 다른 픽셀 결과를 생성한다. 이 픽셀 데이터를 해시하면 기기 식별이 가능하다. Patchright는 Canvas 렌더링을 변경하지 않으므로, 동일한 머신에서 실행하면 항상 같은 Canvas 핑거프린트가 나온다.
WebGL 핑거프린트
WebGL은 GPU 벤더, 렌더러, 셰이더 정밀도 등을 노출한다. WEBGL_debug_renderer_info 확장을 통해 실제 GPU 정보가 노출될 수 있다. Patchright는 이를 마스킹하지 않는다.
행동 신호
마우스 이동 궤적, 클릭 간격, 스크롤 패턴, 타이밍 분산 등 행동 신호는 Patchright의 범위 밖이다. 자동화 스크립트가 page.click()을 호출하면, 마우스가 즉시 목표 위치로 이동하는데, 이는 인간의 행동과 확연히 다르다. 인간은 가속 및 감속 곡선, 미세한 떨림, 목표 지점 근처에서의 정밀 조정을 보인다.
Camoufox와 playwright-stealth와의 비교
Patchright는 유일한 스텔스 브라우저 솔루션이 아니다. 주요 대안들을 비교해보자:
| 기능 | Patchright | Camoufox | playwright-stealth |
|---|---|---|---|
| 기반 브라우저 | Chromium (실제 Chrome) | Firefox (커스텀 빌드) | Chromium (Playwright) |
| navigator.webdriver | 소스 코드 패치 | 소스 코드 패치 | JS 런타임 오버라이드 |
| CDP Runtime.enable 누수 | 수정됨 | 해당 없음 (Firefox) | 수정 안 됨 |
| 실제 Chrome TLS/JA3 | 지원 (channel='chrome') | Firefox TLS (Chrome과 다름) | 번들 Chromium TLS |
| Canvas/WebGL 스푸핑 | 지원 안 함 | 지원 | 부분적 지원 |
| 행동 신호 | 지원 안 함 | 부분적 지원 | 지원 안 함 |
| 패치 방식 | 컴파일 시점 소스 수정 | 컴파일 시점 소스 수정 | 런타임 JavaScript 주입 |
핵심 차이점: Patchright는 Chromium 기반으로 실제 Chrome의 TLS 스택을 활용할 수 있지만, Canvas/WebGL 마스킹이 없다. Camoufox는 Firefox 기반으로 Canvas/WebGL 스푸핑을 제공하지만, Chrome TLS 핑거프린트와 일치하지 않는다. playwright-stealth는 런타임 패치이므로 CDP 누수를 해결하지 못한다.
IP 평점: CDP 누수를 막은 후에도 여전히 중요한 이유
Patchright로 모든 브라우저 핑거프린트 시그널을 제거했다고 가정하자. navigator.webdriver는 false, CDP 누수는 없음, TLS 핑거프린트는 실제 Chrome과 일치. 그런데도 Cloudflare Turnstile이 차단한다면? 그 이유는 IP 평점이다.
봇 탐지 시스템은 IP 주소의 ASN(Autonomous System Number)을 조회하여 데이터센터 IP인지 주거 IP인지 판별한다. AWS, GCP, Azure, DigitalOcean 같은 클라우드 프로바이더의 IP 대역은 이미 봇으로 분류되어 있을 확률이 높다. 데이터센터 IP로 접근하면 브라우저 핑거프린트가 완벽해도 평점이 낮아 차단된다.
ProxyHat 문서에 따르면, 주거 프록시는 실제 ISP가 할당한 IP 주소를 사용하므로 ASN 조회 시 일반 가정용 인터넷으로 나타난다. 이는 IP 평점을 극적으로 높인다. 일반적으로 데이터센터 IP의 성공률이 30-40%인 반면, 주거 프록시는 95% 이상의 성공률을 보인다.
특히 Patchright Cloudflare 통합 시나리오에서, Cloudflare Turnstile은 IP 평점과 브라우저 핑거프린트를 동시 평가한다. 둘 중 하나라도 낮으면 CAPTCHA를 트리거한다. 따라서 Patchright(핑거프린트) + 주거 프록시(IP 평점)의 조합이 필수적이다. Patchright 프록시 설정은 단순한 파라미터 변경만으로 이루어진다.
TLS/HTTP2 핑거프린트 정렬: IP와 핑거프린트가 일치해야 하는 이유
봇 탐지 시스템의 고급 기능 중 하나는 IP 지리적 위치와 TLS 핑거프린트의 일관성을 검증하는 것이다. 예를 들어:
- IP가 미국 캘리포니아의 Comcast 주거 IP인데,
Accept-Language헤더가ru-RU이면 의심스럽다 - IP가 독일 프랑크푸르트인데, JA3 핑거프린트가 Chrome이 아닌 Python requests 라이브러리면 즉시 차단된다
- HTTP/2 SETTINGS 프레임의 파라미터가 브라우저와 일치하지 않으면 의심 점수가 상승한다
Patchright의 channel='chrome' 옵션은 TLS ClientHello를 실제 Chrome과 일치시킨다. ProxyHat의 주거 프록시는 country-US 같은 지역 타겟팅을 지원하므로, IP 지리적 위치를 제어할 수 있다. 이 둘을 조합하면:
- TLS/JA3 핑거프린트 — 실제 Chrome (Patchright channel='chrome')
- IP 지리적 위치 — 미국 (ProxyHat country-US)
- Accept-Language — en-US (브라우저 프로파일 설정)
- 시간대 — America/Los_Angeles (브라우저 프로파일 설정)
이 네 가지가 정렬되면, 봇 탐지 시스템은 이것을 미국의 일반 Chrome 사용자로 판단한다. 하나라도 어긋나면 의심 점수가 누적된다.
HTTP/2 핑거프린트도 중요하다. Akamai의 H2 fingerprint는 SETTINGS 프레임의 HEADER_TABLE_SIZE, ENABLE_PUSH, MAX_CONCURRENT_STREAMS, INITIAL_WINDOW_SIZE, MAX_FRAME_SIZE 값과 WINDOW_UPDATE 값, 그리고 PRIORITY 프레임 패턴을 조합한다. Chrome의 H2 핑거프린트는 1:65536;2:0;3:100;4:6291456;6:262144|15663105|0|m,a,s,p 형태를 가진다. Patchright는 실제 Chrome 바이너리를 사용하므로 이 값이 자동으로 일치한다.
실전 구현: Patchright + ProxyHat 주거 프록시
이제 모든 이론을 실전 코드로 구현해보자. 시나리오는 인가된 보안 연구를 위해 보호된 페이지에 접근하는 것이다. ProxyHat 주거 프록시를 통해 미국 IP로 접속하고, Patchright로 브라우저 핑거프린트를 정렬한다.
Python 구현
from patchright.sync_api import sync_playwright
# ProxyHat 주거 프록시 URL 빌더
def build_proxyhat_url(country="US", session="abc123", password="your_password"):
username = f"user-country-{country}-session-{session}"
return f"http://{username}:{password}@gate.proxyhat.com:8080"
proxy_url = build_proxyhat_url(country="US", session="abc123")
with sync_playwright() as p:
context = p.chromium.launch_persistent_context(
user_data_dir="/tmp/patchright-profile",
channel="chrome", # 실제 Chrome 바이너리 사용
headless=False, # headless=False 권장 (일부 WAF는 headless 감지)
proxy={
"server": "http://gate.proxyhat.com:8080",
"username": "user-country-US-session-abc123",
"password": "your_password",
},
args=["--disable-blink-features=AutomationControlled"],
locale="en-US",
timezone_id="America/Los_Angeles",
)
page = context.new_page()
page.goto("https://example.com/protected", wait_until="networkidle")
title = page.title()
print(f"Page title: {title}")
context.close()Node.js 구현
const { chromium } = require('patchright');
// ProxyHat 주거 프록시 설정
const proxyConfig = {
server: 'http://gate.proxyhat.com:8080',
username: 'user-country-US-session-abc123',
password: 'your_password',
};
(async () => {
const context = await chromium.launchPersistentContext(
'/tmp/patchright-profile',
{
channel: 'chrome',
headless: false,
proxy: proxyConfig,
args: ['--disable-blink-features=AutomationControlled'],
locale: 'en-US',
timezoneId: 'America/Los_Angeles',
}
);
const page = await context.newPage();
await page.goto('https://example.com/protected', { waitUntil: 'networkidle' });
console.log('Title:', await page.title());
await context.close();
})();curl로 ProxyHat 주거 프록시 테스트
curl -x http://user-country-US-session-abc123:password@gate.proxyhat.com:8080 \
"https://example.com/protected" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" \
-H "Accept-Language: en-US,en;q=0.9"sticky 세션(session-abc123)을 사용하면, 같은 세션 ID로 요청할 때마다 같은 IP가 유지된다. 이는 로그인 상태를 유지하거나, 페이지 간 일관성이 필요한 경우에 필수적이다. 세션 ID를 변경하면 새 IP가 할당된다. ProxyHat의 지원 지역은 90개국 이상이며, 도시 단위 타겟팅도 지원한다.
흔한 실수와 엣지 케이스
headless=True 사용
많은 스크래핑 스크립트가 headless=True를 사용하지만, 고급 봇 탐지 시스템은 headless 모드를 감지할 수 있다. 화면 크기, WebGL 렌더링, 폰트 메트릭이 headless 모드에서 미묘하게 다르다. 가능하면 headless=False를 사용하고, 서버 환경에서는 Xvfb 같은 가상 디스플레이를 사용하라.
동일한 user_data_dir 재사용
launch_persistent_context의 user_data_dir을 재사용하면, 이전 세션의 쿠키, localStorage, 캐시가 누적된다. 이는 정상 사용자처럼 보이게 하지만, 동시에 이전 핑거프린트가 유지될 수 있다. 프로파일을 정기적으로 리셋하거나, 목적에 따라 새 프로파일을 생성하라.
행동 신호 무시
Patchright는 행동 신호를 수정하지 않는다. page.click()이나 page.fill()을 즉시 호출하면, 마우스가 순간 이동하는 패턴이 감지된다. page.mouse.move()로 자연스러운 궤적을 시뮬레이션하고, 액션 사이에 200-500ms의 랜덤 지연을 추가하라.
IP와 핑거프린트 불일치
미국 IP를 사용하면서 브라우저 시간대를 Asia/Seoul로 설정하면, 봇 탐지 시스템이 즉시 의심한다. ProxyHat의 country-US를 사용할 때는 locale="en-US", timezone_id="America/Los_Angeles"로 설정하라. SERP 추적에서도 이 정렬이 중요하다.
적용 분야: 인가된 보안 연구와 컴플라이언스 자동화
Patchright와 주거 프록시의 조합은 강력한 도구지만, 사용 목적이 윤리적이고 법적 범위 내에 있어야 한다. 적절한 사용 사례는 다음과 같다:
- 인가된 보안 연구 — 자사 인프라 또는 명시적 허가를 받은 대상의 침투 테스트
- 공개 데이터 수집 — robots.txt를 준수하고 공개적으로 접근 가능한 페이지의 데이터 수집
- QA 자동화 — 자사 웹사이트의 기능 테스트 및 모니터링
- 경쟁사 가격 모니터링 — 공개 페이지의 가격 정보 수집 (서비스 약관 확인 필수)
- SERP 추적 — 검색 엔진 순위 모니터링
다음 사용은 명시적으로 피해야 한다:
- 로그인이 필요한 비공개 페이지 무단 접근
- 결제 시스템 우회 또는 가격 조작
- 대량 티켓 구매 봇 (sneaker/ticketing bot)
- 자격 증명 스터핑 또는 계정 탈취
- 서비스 약관을 명시적으로 위반하는 데이터 수집
GDPR(유럽 연합 일반 데이터 보호 규정)과 CCPA(캘리포니아 소비자 프라이버시 법)를 준수해야 한다. 개인 데이터를 수집하는 경우, 해당 관할권의 데이터 보호법을 확인하라. ProxyHat 가격 페이지에서 주거 프록시 요금제를 확인할 수 있다.
핵심 요약
Key Takeaways:
- Patchright는 소스 코드 수준에서 navigator.webdriver, CDP Runtime.enable 누수, 명령줄 플래그를 패치한다.
channel='chrome'을 통해 실제 Chrome 바이너리를 사용하면 TLS/JA3와 HTTP/2 핑거프린트가 자동으로 정렬된다.- Patchright는 Canvas/WebGL 핑거프린트와 행동 신호를 수정하지 않는다. 추가 도구나 수동 작업이 필요하다.
- 브라우저 핑거프린트가 완벽해도 IP 평점이 낮으면 차단된다. 주거 프록시는 필수다.
- TLS 핑거프린트, IP 지리적 위치, Accept-Language, 시간대가 모두 일치해야 한다.
- ProxyHat 주거 프록시는
gate.proxyhat.com:8080을 통해country-US-session-abc123형식으로 간단하게 설정할 수 있다.- 모든 자동화는 인가된 보안 연구 또는 컴플라이언스 공개 데이터 수집 맥락에서 사용해야 한다.
Patchright와 ProxyHat 주거 프록시의 조합은 현대 봇 탐지 시스템을 통과하기 위한 강력한 도구다. 하지만 은총알은 없다. 각 봇 탐지 시스템은 다른 시그널에 다른 가중치를 부여하며, 지속적으로 진화한다. 정기적으로 성공률을 모니터링하고, 새로운 감지 시그널에 대응할 준비를 하라.
시작하려면 ProxyHat 문서를 참조하고, 주거 프록시 요금제를 확인하라. 웹 스크래핑 사용 사례 페이지에서 더 많은 구현 예제를 찾을 수 있다.
