헤드리스 브라우저 + 프록시: Puppeteer와 Playwright 완벽 설정 가이드

헤드리스 브라우저와 프록시의 조합

현대 웹사이트의 많은 콘텐츠가 JavaScript로 동적 렌더링됩니다. 헤드리스 브라우저(Puppeteer, Playwright)와 프록시를 조합하면 이러한 사이트를 효과적으로 스크래핑할 수 있습니다.

Puppeteer + 프록시

const puppeteer = require('puppeteer');

const browser = await puppeteer.launch({
    args: ['--proxy-server=http://gate.proxyhat.com:8080']
});
const page = await browser.newPage();
await page.authenticate({ username: 'user', password: 'pass' });
await page.goto('https://example.com');
const content = await page.content();
await browser.close();

Playwright + 프록시

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gate.proxyhat.com:8080",
        "username": "user", "password": "pass"
    })
    page = browser.new_page()
    page.goto("https://example.com")
    content = page.content()
    browser.close()

스텔스 설정

• navigator.webdriver 속성 제거
• 현실적인 viewport 크기
• locale과 timezone 설정
• puppeteer-extra-plugin-stealth 사용

핵심 요약

• JS 렌더링 사이트에는 헤드리스 브라우저 + 프록시가 최적입니다.
• 스텔스 설정으로 자동화 탐지를 우회하십시오.
• ProxyHat 게이트웨이: gate.proxyhat.com:8080.