JavaScript 기반 웹사이트 스크래핑 방법

JavaScript 렌더링 사이트의 도전

현대 웹사이트의 상당수가 React, Vue, Angular 같은 프레임워크로 구축되어 있습니다. 이러한 사이트는 JavaScript를 실행해야 콘텐츠가 표시됩니다.

접근 방법

1. 헤드리스 브라우저

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gate.proxyhat.com:8080",
        "username": "user", "password": "pass"
    })
    page = browser.new_page()
    page.goto("https://spa-example.com")
    page.wait_for_selector(".product-list")
    products = page.query_selector_all(".product-item")
    for product in products:
        print(product.text_content())
    browser.close()

2. API 인터셉트

브라우저 개발자 도구에서 API 호출을 확인하고 직접 호출합니다:

from proxyhat import ProxyHat

client = ProxyHat(api_key="your_api_key")

# SPA 내부 API 직접 호출
response = client.get(
    "https://api.spa-example.com/products?page=1",
    proxy_type="residential",
    headers={"Accept": "application/json"}
)
data = response.json()

핵심 요약

• JS 사이트에는 헤드리스 브라우저 또는 API 직접 호출을 사용하십시오.
• 두 방법 모두 ProxyHat 프록시와 조합하여 차단을 방지하십시오.