E-commerce e intelligenza competitiva 12 min di lettura

Come Fare Scraping dei Prezzi e delle Scorte di Best Buy nel 2026

Guida pratica per ingegneri di pricing e inventario: pattern URL, selettori CSS, endpoint JSON interni, proxy residenziali US e codice Python con curl_cffi per scrapear Best Buy senza farsi bloccare da Akamai.

ProxyHat Team
How to Scrape Best Buy Prices and Stock in 2026: Proxies, Selectors & Anti-Bot Workarounds

Come Fare Scraping dei Prezzi e delle Scorte di Best Buy nel 2026: API o HTML?

Se devi monitorare i prezzi e la disponibilità in negozio di Best Buy, la prima decisione riguarda l'approccio: usare l'API ufficiale Best Buy Developer Portal o fare scraping diretto del sito. L'API Products API di Best Buy richiede registrazione, approvazione e chiavi con rate limit documentati (tipicamente 5 richieste al secondo per chiavi standard, con soglie che variano per partnership). Il problema è che prezzi live e disponibilità a livello di singolo negozio spesso non sono esposti in tempo reale dall'API: la disponibilità in-store dipende da ZIP code e location, e i prezzi promozionali (es. Black Friday, flash deal) appaiono prima sul frontend. Per un Best Buy price tracker o un Best Buy stock checker che deve reagire in minuti, il scraping del sito resta la fonte più fresca.

In questa guida mostrerò come fare scraping di Best Buy nel 2026 usando proxy residenziali US di ProxyHat, gestendo l'anti-bot di Akamai e parsando sia HTML che gli endpoint JSON interni di fulfillment.

Il contesto tecnico: perché Best Buy è difficile da scrapeare

Best Buy protegge il catalogo e il checkout con Akamai Bot Manager, una delle soluzioni anti-bot più diffuse sul web retail. Akamai utilizza due cookie sensor principali:

  • _abck — cookie di sfida JavaScript che viene validato dopo l'esecuzione del sensor script lato browser;
  • bm_sz — cookie di sessione di Bot Manager che traccia il fingerprint del client.

Quando un IP datacenter inizia a fare richieste, Akamai assegna un punteggio di rischio. Dopo poche richieste — spesso 3–10 su IP datacenter puliti, meno su IP già segnalati — il gateway restituisce un HTTP 403 con corpo HTML contenente un challenge JavaScript invece del JSON o del prodotto atteso. Questo è il motivo per cui i proxy datacenter non funzionano per scrape Best Buy a volume: vengono sfidati quasi subito. I proxy residenziali US, invece, presentano IP associati a ISP domestici veri, con ASN tipo Comcast, AT&T, Verizon, e ottengono score di rischio molto più bassi all'inizio della sessione.

Secondo la documentazione pubblica di Akamai Bot Manager, il sistema combina segnali comportamentali, fingerprint del browser, reputazione IP e challenge JS. Non esiste un bypass "universale"; la strategia realistica è ridurre il segnale di rischio al minimo usando IP residenziali realistici, header coerenti e rate moderate.

Pattern URL e selettori: le pagine SKU di Best Buy

Le pagine prodotto seguono un pattern prevedibile. La URL canonica è:

https://www.bestbuy.com/site/<slug>/<sku>.p?skuId=<sku>

Ad esempio:

https://www.bestbuy.com/site/sony-playstation-5-console/6426149.p?skuId=6426149

Il skuId è la chiave numerica che identifica il prodotto. Da una pagina SKU puoi estrarre:

  • Titolo: selettore .sku-title h1 o [data-testid="sku-title"];
  • Prezzo: selettore .priceView-customer-price (contiene il prezzo corrente visibile al cliente);
  • Disponibilità spedizione: nodo .fulfillment-fulfillment-summary;
  • SKU: .sku-value o attributo data-sku-id sul container prodotto.

Endpoint JSON interni: price e productfulfillment

Il frontend di Best Buy chiama due endpoint JSON interni molto utili per uno scraper strutturato:

# Prezzo e disponibilità spedizione (keyed by skuId)
https://www.bestbuy.com/pricefulfillment?skuId=6426149

# Disponibilità in negozio (keyed by skuId + zip)
https://www.bestbuy.com/productfulfillment?skuId=6426149&zip=60601

Il secondo è la chiave per un Best Buy stock checker a livello di negozio: passando uno ZIP code, Best Buy restituisce la disponibilità nei punti vendita vicini. Un esempio di risposta (troncata) è:

{
  "skuId": "6426149",
  "price": {
    "currentPrice": 499.99,
    "regularPrice": 549.99
  },
  "inStoreAvailability": true,
  "stores": [
    {"storeId": 1234, "name": "Chicago - Clark St", "stock": "in"},
    {"storeId": 1235, "name": "Chicago - Halsted", "stock": "low"}
  ]
}

I nomi esatti dei campi possono cambiare tra release del frontend; tratta questi endpoint come non ufficiali e verifica i selettori con una richiesta di test prima di andare in produzione.

Perché lo stock in negozio richiede proxy residenziali US con geo città

La disponibilità in negozio di Best Buy è per-location: l'endpoint /productfulfillment filtra per ZIP code e restituisce solo i negozi in quella area. Se richiedi da un IP non-US, Best Buy può redirigere al sito internazionale o restituire dati limitati. Se richiedi da un IP residenziale US ma senza geo città, ottieni uno ZIP casuale che non corrisponde all'area che vuoi monitorare.

La soluzione è usare proxy residenziali US con geo-targeting a livello di città. Con ProxyHat puoi specificare la città nel username:

http://user-country-US-city-chicago:pass@gate.proxyhat.com:8080

Questo fa uscire il traffico da un IP residenziale di Chicago, e quando l'endpoint /productfulfillment inferisce il ZIP dal tuo IP, ottieni risultati coerenti con l'area target. Per coprire più mercati metropolitani, ruota la città nel username:

  • user-country-US-city-newyork — area NYC;
  • user-country-US-city-losangeles — area LA;
  • user-country-US-city-houston — area Houston.

Consulta la pagina /it/locations per la lista completa delle città supportate da ProxyHat.

Esempio Python: scraping SKU + availability con curl_cffi e ProxyHat

Akamai valida il cookie _abck dopo l'esecuzione di un sensor JS. Le librerie HTTP classiche come requests non eseguono JavaScript, quindi il cookie non viene validato e la seconda richiesta viene sfidata. curl_cffi è una libreria Python che impersona il TLS fingerprint di browser reali (Chrome, Safari, Firefox), riducendo il rischio di detection al livello TLS. Combinata con proxy residenziali US, è l'approccio più robusto per scrapear Best Buy a volume moderato.

Ecco un esempio completo:

import json
import time
from curl_cffi import requests as cffi_requests

PROXY = "http://user-country-US-city-chicago:PASSWORD@gate.proxyhat.com:8080"

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                 "AppleWebKit/537.36 (KHTML, like Gecko) "
                 "Chrome/124.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
}

def fetch_sku(sku_id, session_id):
    url = f"https://www.bestbuy.com/site/product/{sku_id}.p?skuId={sku_id}"
    # sticky session per ZIP
    proxy = f"http://user-country-US-city-chicago-session-{session_id}:PASSWORD@gate.proxyhat.com:8080"
    r = cffi_requests.get(url, headers=HEADERS, proxies={"http": proxy, "https": proxy},
                         impersonate="chrome124", timeout=30)
    if r.status_code == 403:
        # Akamai challenge — backoff e riprova con nuova sessione
        time.sleep(5)
        return None
    # estrai prezzo dal HTML
    from selectolax.parser import HTMLParser
    tree = HTMLParser(r.text)
    price_node = tree.css_first(".priceView-customer-price")
    title_node = tree.css_first(".sku-title h1")
    return {
        "sku": sku_id,
        "title": title_node.text(strip=True) if title_node else None,
        "price": price_node.text(strip=True) if price_node else None,
    }

def fetch_availability(sku_id, zip_code, session_id):
    url = f"https://www.bestbuy.com/productfulfillment?skuId={sku_id}&zip={zip_code}"
    proxy = f"http://user-country-US-city-chicago-session-{session_id}:PASSWORD@gate.proxyhat.com:8080"
    r = cffi_requests.get(url, headers=HEADERS, proxies={"http": proxy, "https": proxy},
                         impersonate="chrome124", timeout=30)
    if r.status_code != 200:
        return None
    data = r.json()
    # risposta troncata per esempio
    return {
        "sku": data.get("skuId"),
        "price": data.get("price", {}).get("currentPrice"),
        "inStoreAvailability": data.get("inStoreAvailability"),
    }

if __name__ == "__main__":
    sku = "6426149"
    sid = "chicago-60601-001"
    info = fetch_sku(sku, sid)
    avail = fetch_availability(sku, "60601", sid)
    print(json.dumps({"product": info, "availability": avail}, indent=2))

Output di esempio (troncato):

{
  "product": {
    "sku": "6426149",
    "title": "Sony - PlayStation 5 Console",
    "price": "$499.99"
  },
  "availability": {
    "sku": "6426149",
    "price": 499.99,
    "inStoreAvailability": true
  }
}

Rotazione sticky, backoff e paginazione delle category

Sessioni sticky per ZIP

Usa una sessione sticky per ZIP code invece di una sessione nuova per ogni richiesta. Questo mantiene lo stesso IP residenziale per tutte le richieste verso uno stesso negozio, riducendo il rischio di sfida Akamai. Il pattern nel username è:

user-country-US-city-chicago-session-chi60601-001

Tieni la stessa sessione per 20–50 richieste, poi ruota. Se ottieni un 403, scarta subito la sessione e creane una nuova con un suffisso diverso.

Backoff su 403 / challenge Akamai

Implementa un backoff esponenziale sui 403:

def fetch_with_backoff(url, proxy, max_retries=4):
    for attempt in range(max_retries):
        r = cffi_requests.get(url, headers=HEADERS,
                              proxies={"http": proxy, "https": proxy},
                              impersonate="chrome124", timeout=30)
        if r.status_code == 200:
            return r
        if r.status_code == 403:
            wait = 2 ** attempt  # 1s, 2s, 4s, 8s
            time.sleep(wait)
            # nuova sessione
            proxy = rotate_session(proxy)
        else:
            r.raise_for_status()
    return None

Paginazione delle category

Le pagine di categoria usano parametri cp (current page) e pageSize:

https://www.bestbuy.com/site/searchpage.jsp?cp=2&search=search&st=playstation&pageSize=24

Estrai i skuId dai link .sku-item a[href*=".p"] o dall'attributo data-sku-id su ogni .sku-item. Limita il rate a 1 richiesta ogni 2–3 secondi per sessione per ridurre il rischio di sfida.

Errori comuni e casi limite

  • Usare proxy datacenter: sfidato in 3–10 richieste. Passa a residenziali US.
  • Non impersonare il TLS: requests puro ha fingerprint TLS di Python, facilmente riconoscibile. Usa curl_cffi con impersonate="chrome124".
  • ZIP non coerente con l'IP: se l'IP esce da Chicago ma passi ZIP 90210 (LA), Best Buy può notare l'incongruenza. Allinea città proxy e ZIP.
  • Header mancanti: invia sempre Accept-Language: en-US,en;q=0.9 e un User-Agent Chrome recente. Header vuoti o default di librerie alzano il score di rischio.
  • Niente backoff: riprovare subito dopo un 403 con la stessa sessione garantisce un secondo 403. Cambia sessione e aspetta.
  • Selettori che cambiano: Best Buy aggiorna il frontend. Verifica i selettori con un test ogni settimana e mantieni fallback multipli.

Etica, TOS e quando l'API ufficiale basta

Prima di procedere, considera il quadro etico e legale:

  • Raccogli solo dati pubblici di catalogo e prezzo. Non automatizzare account, login o checkout: questo viola i TOS di Best Buy e può configurare responsabilità sotto il Computer Fraud and Abuse Act (CFAA) negli Stati Uniti.
  • Rispetta robots.txt come segnale di policy del sito, anche se non vincolante tecnicamente.
  • Per dati personali (recensioni utenti con nome/utente), considera il GDPR se operi in UE: i dati personali hanno basi giuridiche specifiche.
  • Se ti serve solo catalogo statico, prezzo listino e specifiche tecniche, l'API ufficiale Best Buy Products API può bastare ed è più stabile. Valuta prima il tier gratuito.

Il scraping ha senso quando: (a) ti serve disponibilità in negozio in tempo reale per ZIP, (b) ti servono prezzi promozionali che appaiono prima sul frontend, o (c) ti serve copertura di SKU non ancora in API. In tutti gli altri casi, usa l'API.

Setup ProxyHat e link utili

Per iniziare con ProxyHat:

  1. Crea un account su dashboard.proxyhat.com.
  2. Consulta i piani su /it/pricing per scegliere il tier residenziale US adatto al tuo volume.
  3. Usa il gateway gate.proxyhat.com:8080 (HTTP) o :1080 (SOCKS5).
  4. Configura la geo con user-country-US-city-chicago nel username.
  5. Per SOCKS5: socks5://user-country-US-city-chicago:PASSWORD@gate.proxyhat.com:1080.

Per approfondimenti, vedi la documentazione ufficiale ProxyHat e i casi d'uso su /it/use-cases/web-scraping e /it/use-cases/serp-tracking.

Punti chiave

  • Best Buy usa Akamai Bot Manager: i proxy datacenter vengono sfidati in poche richieste, i residenziali US no.
  • Le pagine SKU sono a /site/<slug>/<sku>.p?skuId=<sku>; prezzo in .priceView-customer-price, titolo in .sku-title.
  • Endpoint JSON interni: /productfulfillment?skuId=&zip= per disponibilità in negozio.
  • Lo stock in negozio è per-location: usa proxy residenziali US con geo città (user-country-US-city-chicago).
  • Usa curl_cffi con impersonate="chrome124" per il TLS fingerprint di Chrome reale.
  • Sessioni sticky per ZIP, backoff esponenziale sui 403, rate di 1 richiesta ogni 2–3 secondi.
  • Raccogli solo dati pubblici; niente account/checkout automation; valuta l'API ufficiale se non ti serve stock in-store.

FAQ

Come fare scraping dei prezzi e delle scorte di Best Buy nel 2026?

Si fa combinando proxy residenziali US con geo città, la libreria curl_cffi per impersonare il TLS di Chrome reale, e gli endpoint JSON interni di Best Buy come /productfulfillment?skuId=&zip=. I proxy datacenter vengono sfidati da Akamai Bot Manager in poche richieste, quindi servono IP residenziali US. Le pagine SKU a /site/<slug>/<sku>.p contengono prezzo (.priceView-customer-price) e titolo (.sku-title).

Perché fare scraping di Best Buy nel 2026 è importante per chi usa proxy?

Perché i prezzi live e la disponibilità in negozio spesso non sono esposti in tempo reale dall'API ufficiale Products API, che richiede approvazione e ha rate limit. Un price tracker o stock checker che deve reagire in minuti ha bisogno del scraping del frontend. I proxy residenziali US con geo città sono la chiave per ottenere disponibilità coerente con l'area geografica target, dato che Best Buy filtra i risultati per ZIP code.

Quale tipo di proxy funziona meglio per scrapear Best Buy?

I proxy residenziali US con geo-targeting a livello di città sono la scelta migliore. I proxy datacenter vengono sfidati da Akamai in 3–10 richieste. I residenziali US presentano IP di ISP domestici (Comcast, AT&T, Verizon) con score di rischio basso. La geo città (es. user-country-US-city-chicago su ProxyHat) allinea l'IP al ZIP code richiesto, evitando incongruenze che Best Buy può rilevare. SOCKS5 su gate.proxyhat.com:1080 è utile per tunnel crittografati.

Come evitare i blocchi quando si fa scraping di Best Buy?

Usa sessioni sticky per ZIP (mantieni lo stesso IP per 20–50 richieste), backoff esponenziale sui 403 (cambia sessione e aspetta 1s, 2s, 4s, 8s), rate di 1 richiesta ogni 2–3 secondi per sessione, header completi con Accept-Language: en-US e User-Agent Chrome recente, e curl_cffi con impersonate="chrome124" per il TLS fingerprint. Mai riprovare subito dopo un 403 con la stessa sessione: scarta la sessione e creane una nuova con suffisso diverso.

Pronto per iniziare?

Accedi a oltre 50M di IP residenziali in oltre 148 paesi con filtraggio AI.

Vedi i prezziProxy residenziali
← Torna al Blog