Scraping di Shein su larga scala nel 2026: guida pratica con proxy residenziali

Scraping di Shein su larga scala nel 2026: API interne vs HTML renderizzato

Il scraping di Shein su larga scala nel 2026 richiede una scelta architetturale fondamentale prima ancora di scrivere una riga di codice: parsare l'HTML renderizzato o colpire direttamente gli endpoint JSON interni del catalogo. La risposta breve è quasi sempre endpoint JSON, ma il trade-off merita un'analisi approfondita perché condiziona tutto il downstream — dal tipo di proxy necessario alla logica di retry.

Shein, come molte piattaforme e-commerce moderne, non serve i dati di prodotto nel DOM statico. Le pagine di dettaglio caricano un blob JSON inline (tipicamente in window.__INITIAL_STATE__ o in variabili come productIntroData e gbProductDetail) che contiene già tutte le informazioni strutturate: prezzo, SKU, disponibilità, varianti. Le pagine di categoria, invece, chiamano endpoint REST che restituiscono liste di prodotti in formato JSON pulito.

Se parsassi l'HTML con BeautifulSoup, dovresti gestire classi CSS che cambiano frequentemente, contenuti iniettati da JavaScript e un DOM enorme. Se chiami direttamente gli endpoint /api/productInfo o i feed di categoria con i parametri goods_id e cat_id, ottieni JSON strutturato, payload più leggero e meno superficie di attacco per l'anti-bot. Il costo è una maggiore complessità nella gestione dei cookie e dei token di sessione.

Per la maggior parte dei casi d'uso — price intelligence, monitoraggio stock, analisi competitiva fashion — gli endpoint JSON sono la strada giusta. L'HTML va riservato a situazioni in cui serve estrarre recensioni utente o contenuti UGC che non appaiono nelle API interne.

Stack anti-bot di Shein: perché headless Chrome non basta

Shein utilizza Akamai Bot Manager, uno dei sistemi anti-bot più diffusi a livello enterprise. La sua architettura si basa su diversi livelli di rilevamento che vanno oltre la semplice verifica del User-Agent.

Il cookie _abck e il telemetry sensor_data

Il cuore del sistema è il cookie _abck, generato dal JavaScript di Akamai caricato nella pagina. Questo cookie viene validato attraverso un meccanismo di sensor_data: uno script raccoglie centinaia di segnali dal browser — canvas fingerprint, WebGL parameters, timing degli eventi, caratteristiche del device — e li invia al server Akamai. Se i segnali non corrispondono a quelli attesi da un browser reale, il cookie _abck viene marcato come invalido e le richieste successive ricevono HTTP 403 o 412.

Insieme a _abck, il cookie bm_sz funge da identificatore di sessione per il bot manager. Entrambi devono essere presenti e validi nelle richieste agli endpoint JSON.

Il token smdeviceid

Shein aggiunge un ulteriore livello con smdeviceid, un token device persistente generato lato client. Questo identificatore viene associato al dispositivo e inviato come header o cookie in ogni richiesta. Se manca o risulta inconsistente, il server può downgrade la richiesta a una versione ridotta del catalogo o bloccarla del tutto.

Perché headless Chrome fallisce

Molti sviluppatori provano Puppeteer o Playwright con headless Chrome, ma Akamai rileva facilmente i browser automatizzati attraverso segnali come navigator.webdriver, l'assenza di plugin reali, il fingerprint canvas uniforme tra istanze, e i timing di caricamento troppo regolari. Anche con plugin come puppeteer-extra-plugin-stealth, i tassi di successo scendono rapidamente sotto il 30% dopo poche centinaia di richieste.

La strategia più efficace nel 2026 non è simulare un browser, ma replicare il fingerprint TLS di un browser reale a livello di client HTTP, usando librerie come curl_cffi o tls-client, e gestire i cookie Akamai con una sessione pre-riscaldata. Per approfondire il funzionamento di Akamai Bot Manager, consulta la documentazione ufficiale di Akamai.

Dove si trovano i dati: endpoint, parametri e campi JSON

Per costruire un Shein product scraper efficace devi conoscere la mappa delle fonti dati. Ecco le principali.

Pagina di dettaglio prodotto

L'URL canonico di un prodotto segue il pattern https://www.shein.com/[product-name]-p-[goods_id].html. Il goods_id è l'identificatore univoco del prodotto. Nella pagina, i dati sono iniettati in blob JSON inline:

• productIntroData — contiene titolo, descrizione, immagini, attributi.
• gbProductDetail — contiene prezzo (retailPrice, salePrice), valuta, SKU per variante, taglie, colori.
• productStock — contiene la disponibilità per SKU.

In alternativa, l'endpoint /api/productInfo?goods_id=XXXXX restituisce gli stessi dati in JSON puro, con un payload significativamente più piccolo.

Feed di categoria

Le pagine di categoria chiamano endpoint del tipo /api/category/productList?cat_id=YYYY&sort=0&page=1&limit=40. Il parametro cat_id identifica la categoria (es. abbigliamento donna, top, vestiti). Ogni risposta contiene un array di oggetti prodotto con goods_id, goods_name, retailPrice, salePrice, e un campo di stock semplificato.

Campi chiave da estrarre

Rate limit per IP e perché servono proxy residenziali con geo-targeting

Shein localizza prezzo, valuta e disponibilità in base alla geolocalizzazione dell'IP. Un prodotto che costa $14.99 negli Stati Uniti può costare €16.90 in Germania o £12.50 nel Regno Unito, con disponibilità differenti per mercato. Questo significa che scrape Shein senza geo-targeting produce dati inconsistenti o errati per il tuo mercato di riferimento.

I rate limit osservati su Shein sono approssimativamente:

• Endpoint prodotto singolo: ~30–50 richieste/minuto per IP prima di soft-block (HTTP 412).
• Feed di categoria: ~20–30 richieste/minuto per IP prima di throttle.
• Hard block: dopo ~100–150 richieste fallite in 10 minuti, l'IP viene bannato per 24–48 ore.

Per un'operazione di Shein price data su larga scala — ad esempio monitorare 50.000 prodotti ogni 6 ore — hai bisogno di rotazione IP con geo-targeting. I proxy residenziali sono preferibili ai datacenter perché gli IP residenziali appartengono a ISP reali e sono meno facilmente identificabili come bot.

Con ProxyHat, puoi specificare il paese direttamente nello username del proxy:

# Proxy HTTP con geo-targeting USA
http://user-country-US:pass@gate.proxyhat.com:8080

# Proxy HTTP con geo-targeting Germania
http://user-country-DE:pass@gate.proxyhat.com:8080

# Proxy SOCKS5 con geo-targeting Regno Unito
socks5://user-country-GB:pass@gate.proxyhat.com:1080

Consulta la lista completa delle locazioni disponibili per verificare la copertura geografica.

Implementazione pratica: Python con curl_cffi e ProxyHat

Ecco un esempio completo di Shein product scraper in Python che usa curl_cffi per il TLS fingerprint matching e ProxyHat come gateway proxy residenziale.

from curl_cffi import requests
import json
import time

# Configurazione ProxyHat — proxy residenziale USA
PROXY_URL = "http://user-country-US:pass@gate.proxyhat.com:8080"

# Endpoint interno Shein per dettaglio prodotto
SHEIN_PRODUCT_API = "https://www.shein.com/api/productInfo"

def fetch_product(goods_id: str, session_id: str = None):
    """Recupera dati prodotto da Shein via API interna."""
    # Costruisce lo username con sessione sticky opzionale
    username = f"user-country-US-session-{session_id}" if session_id else "user-country-US"
    proxy = f"http://{username}:pass@gate.proxyhat.com:8080"

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                      "AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/131.0.0.0 Safari/537.36",
        "Accept": "application/json, text/plain, */*",
        "Accept-Language": "en-US,en;q=0.9",
        "Referer": f"https://www.shein.com/p-{goods_id}.html",
    }

    params = {
        "goods_id": goods_id,
        "country": "US",
        "currency": "USD",
        "language": "en",
    }

    try:
        response = requests.get(
            SHEIN_PRODUCT_API,
            params=params,
            headers=headers,
            proxies={"http": proxy, "https": proxy},
            impersonate="chrome131",
            timeout=15,
        )
        response.raise_for_status()
        return response.json()
    except Exception as e:
        print(f"Errore per goods_id={goods_id}: {e}")
        return None

# Esempio di utilizzo
data = fetch_product("28394567", session_id="shein-us-001")
if data:
    product = data.get("info", {}).get("goods", {})
    print(json.dumps({
        "goods_id": product.get("goods_id"),
        "retailPrice": product.get("retailPrice"),
        "salePrice": product.get("salePrice"),
        "stock": product.get("stock", "N/A"),
    }, indent=2))

Risposta di esempio (troncata):

{
  "goods_id": "28394567",
  "retailPrice": {
    "amount": "29.99",
    "amountWithSymbol": "$29.99",
    "currency": "USD"
  },
  "salePrice": {
    "amount": "14.99",
    "amountWithSymbol": "$14.99",
    "currency": "USD"
  },
  "stock": 120,
  "sku_list": [
    {"sku_code": "sku_28394567_001", "stock": 45, "size": "S"},
    {"sku_code": "sku_28394567_002", "stock": 38, "size": "M"},
    {"sku_code": "sku_28394567_003", "stock": 0, "size": "L"}
  ]
}

La chiave del successo qui è impersonate="chrome131" in curl_cffi: questo fa sì che il client HTTP replichi esattamente il TLS fingerprint di Chrome 131, inclusi cipher suites, estensioni e ALPN. Questo è ciò che inganna Akamai a livello di trasporto, senza dover eseguire un browser completo.

Paginazione, sessioni sticky e gestione del 412

Paginazione dei feed di categoria

I feed di categoria restituiscono tipicamente 40 prodotti per pagina. Per scorrere un'intera categoria:

def scrape_category(cat_id: str, max_pages: int = 50):
    all_products = []
    for page in range(1, max_pages + 1):
        proxy = f"http://user-country-US:pass@gate.proxyhat.com:8080"
        params = {
            "cat_id": cat_id,
            "sort": "0",
            "page": str(page),
            "limit": "40",
            "country": "US",
            "currency": "USD",
        }
        response = requests.get(
            "https://www.shein.com/api/category/productList",
            params=params,
            headers=headers,
            proxies={"http": proxy, "https": proxy},
            impersonate="chrome131",
            timeout=15,
        )
        if response.status_code == 412:
            # _abck invalid — backoff e retry con nuovo IP
            time.sleep(5)
            continue
        products = response.json().get("products", [])
        if not products:
            break  # fine categoria
        all_products.extend(products)
        time.sleep(1.5)  # rate limiting gentile
    return all_products

Sessioni sticky per consistenza valutaria

Quando scarichi più prodotti per lo stesso mercato, usa un session ID sticky per mantenere lo stesso IP di uscita durante tutta la sessione. Questo garantisce che la valuta e i prezzi rimangano consistenti:

# Sessione sticky — stesso IP per tutta la durata
proxy = "http://user-country-US-session-shein-batch-001:pass@gate.proxyhat.com:8080"

Senza sessione sticky, ogni richiesta può uscire da un IP diverso, e se uno di quegli IP è geolocalizzato in un paese diverso, otterrai prezzi in una valuta non attesa.

Backoff e refresh del cookie _abck

Quando ricevi un HTTP 412, significa che Akamai ha invalidato il tuo _abck. La strategia di recovery è:

1. Backoff esponenziale: attendi 5s, poi 10s, poi 20s.
2. Rotazione IP: cambia sessione proxy per ottenere un nuovo IP.
3. Pre-riscaldamento: fai una richiesta GET alla homepage di Shein per rigenerare i cookie Akamai prima di riprovare l'endpoint API.
4. Cache cookie: salva i cookie validi in un session store e riutilizzali finché funzionano.

import random

def fetch_with_retry(goods_id: str, max_retries: int = 3):
    for attempt in range(max_retries):
        session_id = f"shein-{random.randint(1000, 9999)}"
        proxy = f"http://user-country-US-session-{session_id}:pass@gate.proxyhat.com:8080"

        # Pre-riscaldamento: GET homepage per cookie Akamai
        session = requests.Session()
        session.get(
            "https://www.shein.com/",
            proxies={"http": proxy, "https": proxy},
            impersonate="chrome131",
            timeout=15,
        )

        # Ora usa la stessa sessione con i cookie freschi
        response = session.get(
            f"https://www.shein.com/api/productInfo?goods_id={goods_id}",
            proxies={"http": proxy, "https": proxy},
            impersonate="chrome131",
            timeout=15,
        )

        if response.status_code == 200:
            return response.json()
        elif response.status_code == 412:
            wait = 5 * (2 ** attempt)
            print(f"412 ricevuto, backoff {wait}s")
            time.sleep(wait)
        else:
            print(f"HTTP {response.status_code}")
            time.sleep(3)
    return None

Considerazioni etiche e legali

Il scraping di dati pubblici di prodotto (prezzo, disponibilità, titolo) è generalmente lecito quando rispetta alcune linee guida fondamentali. Tuttavia, ci sono importanti caveat da tenere presenti.

Cosa è accettabile

• Estrarre dati di prodotto pubblicamente visibili senza login: prezzo, titolo, immagini, categoria.
• Rispettare il file robots.txt di Shein e i rate limit del server.
• Usare i dati per analisi di mercato interna o price intelligence, non per redistribuzione pubblica.

Cosa evitare

• Accesso ad aree riservate o checkout: qualsiasi endpoint che richiede autenticazione o simuli transazioni può violare il Computer Fraud and Abuse Act (CFAA) negli USA. Per approfondire, consulta la pagina Wikipedia sul CFAA.
• Dati personali: recensioni utente con nomi, avatar o altri dati personali rientrano nel ambito del GDPR nell'UE. La testo ufficiale del GDPR stabilisce che il trattamento di dati personali richiede una base giuridica.
• Eccesso di carico: inviare migliaia di richieste al secondo senza rate limiting è un abuso di risorse.

Quando usare il feed affiliato ufficiale

Se il tuo obiettivo è monitorare un catalogo limitato (meno di 5.000 prodotti) con aggiornamenti giornalieri, il programma affiliato di Shein può offrire un feed product ufficiale in CSV/XML senza necessità di scraping. Questo è il percorso più pulito legalmente e tecnicamente. Il scraping ha senso quando hai bisogno di refresh frequenti (ogni 1–6 ore), copertura completa del catalogo, o dati a livello di SKU non disponibili nel feed affiliato.

Per altri casi d'uso di scraping, consulta la nostra guida su web scraping con proxy e SERP tracking.

Configurazione ProxyHat per scraping Shein

ProxyHat offre proxy residenziali, mobile e datacenter. Per Shein, raccomandiamo i proxy residenziali con geo-targeting per i seguenti motivi:

• Gli IP residenziali appartengono a ISP reali e sono difficili da distinguere dal traffico organico.
• Il geo-targeting per paese garantisce prezzi e valute corretti per il mercato target.
• La rotazione automatica per richiesta distribuisce il carico su migliaia di IP.

Configurazione consigliata:

Per i dettagli su prezzi e piani ProxyHat, consulta la pagina pricing. La documentazione ufficiale ProxyHat contiene la guida completa ai parametri di geo-targeting e sessione.

Errori comuni e edge case

• Usare proxy datacenter per Shein: gli IP datacenter sono facilmente identificabili da Akamai. I tassi di successo scendono sotto il 10% dopo 50 richieste.
• Ignorare il parametro country: senza specificare il paese nell'API, Shein inferisce dalla geolocalizzazione IP. Con proxy rotanti, questo produce dati inconsistenti.
• Non pre-riscaldare i cookie: saltare la GET iniziale alla homepage significa fare richieste API senza _abck valido, garantendo un 412.
• Troppo veloce: anche con proxy perfetti, inviare 100 richieste/secondo da un singolo IP scatena il rate limit. Mantieni 1–2 richieste/secondo per IP.
• Non gestire i redirect geografici: Shein reindirizza shein.com a shein.com/us/, shein.com/de/, ecc. Assicurati che l'URL base corrisponda al geo-target del proxy.

Punti chiave (Key Takeaways)

• Usa endpoint JSON, non HTML: /api/productInfo e feed di categoria sono più veloci, stabili e meno esposti all'anti-bot.
• Akamai Bot Manager richiede TLS fingerprint matching: curl_cffi con impersonate è più efficace di headless Chrome.
• Geo-targeting obbligatorio: Shein localizza prezzi e stock per mercato. Usa -country-US, -country-DE nello username ProxyHat.
• Rate limit realistici: 30–50 req/min per IP su endpoint prodotto; backoff esponenziale su HTTP 412.
• Sessioni sticky per consistenza: usa -session-ID per mantenere valuta e prezzi uniformi in un batch.
• Rispetta TOS e leggi: solo dati pubblici, no checkout/account, considera il feed affiliato per volumi bassi.

FAQ

Qual è la differenza tra scraping HTML e API interne di Shein?

Il parsing HTML richiede di estrarre dati dal DOM renderizzato, che su Shein è instabile (classi CSS mutevoli, contenuti iniettati via JS). Gli endpoint JSON interni come /api/productInfo restituiscono dati strutturati con payload 10–20 volte più piccoli (~15–80 KB vs ~500 KB–1.2 MB), sono più stabili e riducono l'esposizione all'anti-bot. Per il scraping di Shein su larga scala nel 2026, gli endpoint JSON sono quasi sempre la scelta migliore.

Perché i proxy residenziali sono necessari per Shein?

Shein usa Akamai Bot Manager che identifica e blocca gli IP datacenter con alta precisione. I proxy residenziali appartengono a ISP reali e sono difficilmente distinguibili dal traffico organico. Inoltre, Shein localizza prezzi, valute e disponibilità per mercato, quindi il geo-targeting (es. -country-US, -country-DE) è essenziale per ottenere dati corretti per il mercato target.

Quale tipo di proxy funziona meglio per il scraping di Shein?

I proxy residenziali con geo-targeting sono la scelta ottimale. Offrono IP da ISP reali che bypassano Akamai meglio dei datacenter proxy, e permettono di specificare il paese di uscita per garantire prezzi e valute consistenti. I proxy mobile possono funzionare ma sono più costosi e non necessari per dati di prodotto pubblici. SOCKS5 su porta 1080 è utile se hai bisogno di tunneling completo, ma HTTP su porta 8080 è sufficiente per la maggior parte dei casi.

Come evitare i blocchi quando si implementa il scraping di Shein?

Usa curl_cffi con TLS fingerprint matching (impersonate="chrome131"), pre-riscalda i cookie Akamai con una GET alla homepage, mantieni 1–2 richieste/secondo per IP, implementa backoff esponenziale su HTTP 412, e ruota IP residenziali con geo-targeting. Le sessioni sticky (-session-ID) mantengono la consistenza valutaria durante un batch. Evita headless Chrome puro, che viene rilevato da Akamai dopo poche centinaia di richieste.

È legale fare scraping di Shein?

L'estrazione di dati di prodotto pubblicamente visibili (prezzo, titolo, disponibilità) senza login è generalmente lecita, ma dipende dalla giurisdizione e dall'uso previsto. Evita sempre l'accesso ad aree riservate, checkout o endpoint che richiedono autenticazione, che possono violare il CFAA. I dati personali (recensioni utente) rientrano nel GDPR nell'UE. Per volumi bassi, il feed affiliato ufficiale di Shein è l'alternativa più sicura legalmente.