Comment scraper les prix et le stock Best Buy en 2026

Scraper Best Buy en 2026 : API officielle ou HTML ?

Si vous cherchez à scraper Best Buy pour suivre les prix et le stock en temps réel, vous devez d'abord comprendre le compromis fondamental entre l'API officielle et le scraping HTML. L'API Products de Best Buy (developer.bestbuy.com) exige une clé approuvée, impose des quotas stricts (environ 5 appels/seconde par clé sur le tier gratuit) et ne expose pas toujours la disponibilité en magasin au niveau du code postal. Résultat : pour la tarification live et le stock par magasin, il faut souvent se tourner vers le site public.

Le problème ? Best Buy protège son site avec Akamai Bot Manager, l'un des systèmes anti-bot les plus agressifs du e-commerce. Les IPs datacenter sont challengées en quelques requêtes. Ce guide vous montre comment contourner ce verrou avec des proxies résidentiels US géo-ciblés par ville, quels sélecteurs et endpoints utiliser, et comment orchestrer la rotation pour maintenir un taux de succès élevé.

Pourquoi Best Buy est difficile à scraper

La stack anti-bot d'Akamai

Best Buy utilise Akamai Bot Manager, qui repose sur deux mécanismes principaux :

• Cookies sensor _abck et bm_sz : Akamai injecte un script JavaScript qui génère un cookie _abck cryptographique. Ce cookie doit être « validé » par l'exécution du JS côté navigateur. Si la valeur reste invalide (parce qu'un client HTTP simple ne l'a pas calculée), Akamai renvoie un 403 ou une page de challenge.
• Empreinte TLS et en-têtes HTTP : Akamai vérifie l'ordre des cipher suites, la signature JA3, et la cohérence des en-têtes (User-Agent, Accept-Language, sec-fetch-*). Un client Python standard comme requests produit une empreinte reconnaissable.
• Reputation d'IP : Les plages datacenter (AWS, GCP, OVH, Hetzner) sont immédiatement flaggées. Les proxies résidentiels, en revanche, passent inaperçus car ils proviennent de FAI américains légitimes.

D'après la documentation d'Akamai et les analyses publiques de Bot Manager, le système combine détection heuristique, reputation d'IP et behavioural analysis. Concrètement, une IP datacenter reçoit un challenge Akamai en moins de 5 requêtes sur bestbuy.com, tandis qu'une IP résidentielle US peut effectuer 50 à 200 requêtes avant un éventuel challenge, selon la fréquence.

Pourquoi le stock en magasin nécessite des proxies résidentiels

La disponibilité en magasin sur Best Buy est par emplacement. Quand vous consultez une page produit, le site appelle un endpoint interne qui prend en paramètre le skuId et le code postal (ou les coordonnées du magasin). Si votre IP est localisée à Chicago, Best Buy renvoie le stock des magasins de cette zone. Si votre IP est un datacenter en Allemagne, vous obtiendrez soit une erreur, soit des données génériques sans valeur.

C'est pourquoi vous devez utiliser des proxies résidentiux US avec géo-ciblage par ville. ProxyHat permet de spécifier le pays et la ville directement dans le nom d'utilisateur, par exemple user-country-US-city-chicago, ce qui vous donne une IP résidentielle à Chicago — exactement ce qu'il faut pour interroger le stock des magasins de l'Illinois.

Structure des URLs et sélecteurs Best Buy

Pages produit (SKU)

Les pages produit suivent un pattern prévisible :

https://www.bestbuy.com/site/-/<sku>.p?skuId=<sku>

Exemple concret :

https://www.bestbuy.com/site/-/6521615.p?skuId=6521615

Sélecteurs CSS pour le scraping HTML

Si vous scrapez le HTML directement, voici les sélecteurs les plus fiables :

Donnée	Sélecteur CSS	Notes
Prix client	.priceView-customer-price	Contient le prix affiché, ex. « $1,299.99 »
Titre du produit	.sku-title h1	Balise h1 dans le bloc sku-title
Disponibilité en ligne	.fulfillment-availability-option	Indique shipping / pickup / unavailable
SKU	[data-sku-id]	Attribut data sur plusieurs éléments

Endpoints JSON internes

Best Buy expose des endpoints JSON internes que le frontend appelle via XHR. Ces endpoints sont plus efficaces que le scraping HTML car ils renvoient du JSON structuré :

# Endpoint de fulfillment (stock + prix par magasin)
https://www.bestbuy.com/fulfillment/nearebystores/v1?skuId=<sku>&context=store&locationType=STORE&locationId=<store_id>

# Endpoint de prix
https://www.bestbuy.com/productfulfillment/v1?skuId=<sku>&context=store&locationType=STORE&locationId=<store_id>

Ces endpoints nécessitent des cookies Akamai valides et une IP résidentielle US. Avec une IP datacenter, vous recevrez un 403 quasi immédiatement.

Mise en œuvre avec Python, curl_cffi et ProxyHat

Pour contourner la détection TLS d'Akamai, nous utilisons curl_cffi, une bibliothèque Python qui reproduit l'empreinte TLS de navigateurs réels (Chrome, Firefox). Combinée aux proxies résidentiux ProxyHat, elle offre le meilleur taux de succès.

Installation

pip install curl_cffi lxml

Script complet : scraper un SKU avec stock par magasin

from curl_cffi import requests
from lxml import html
import json
import time
import random

# Configuration ProxyHat — proxy résidentiel US géo-ciblé Chicago
PROXY_URL = "http://user-country-US-city-chicago:pass@gate.proxyhat.com:8080"

SKU = "6521615"
SKU_URL = f"https://www.bestbuy.com/site/-/{SKU}.p?skuId={SKU}"

# Session avec impersonation Chrome 120
session = requests.Session(impersonate="chrome120")
session.proxies = {"http": PROXY_URL, "https": PROXY_URL}

def fetch_sku(sku_id, max_retries=3):
    url = f"https://www.bestbuy.com/site/-/{sku_id}.p?skuId={sku_id}"
    for attempt in range(max_retries):
        try:
            resp = session.get(url, timeout=30)
            if resp.status_code == 200:
                return parse_sku_page(resp.text, sku_id)
            elif resp.status_code == 403:
                # Challenge Akamai — backoff exponentiel
                wait = (2 ** attempt) + random.uniform(0.5, 2.0)
                print(f"403 reçu, attente {wait:.1f}s...")
                time.sleep(wait)
            else:
                print(f"HTTP {resp.status_code}, retry...")
                time.sleep(2)
        except Exception as e:
            print(f"Erreur: {e}, retry...")
            time.sleep(3)
    return None

def parse_sku_page(html_text, sku_id):
    tree = html.fromstring(html_text)
    price_el = tree.cssselect(".priceView-customer-price")
    title_el = tree.cssselect(".sku-title h1")
    price = price_el[0].text_content().strip() if price_el else None
    title = title_el[0].text_content().strip() if title_el else None

    # Appel de l'endpoint de fulfillment interne
    fulfillment_url = (
        f"https://www.bestbuy.com/productfulfillment/v1"
        f"?skuId={sku_id}&context=store&locationType=STORE"
    )
    ff_resp = session.get(fulfillment_url, timeout=20)
    fulfillment = ff_resp.json() if ff_resp.status_code == 200 else {}

    return {
        "sku": sku_id,
        "title": title,
        "price": price,
        "inStoreAvailability": fulfillment.get("inStoreAvailability"),
        "raw_fulfillment": fulfillment,
    }

result = fetch_sku(SKU)
print(json.dumps(result, indent=2)[:500])

Exemple de réponse tronquée

{
  "sku": "6521615",
  "title": "Samsung - 65\" Class QLED 4K Smart TV",
  "price": "$1,299.99",
  "inStoreAvailability": true,
  "raw_fulfillment": {
    "skuId": "6521615",
    "inStoreAvailability": true,
    "stores": [
      {"storeId": "0028", "stockLevel": 12, "distance": 2.4},
      {"storeId": "0115", "stockLevel": 0, "distance": 5.1}
    ]
  }
}

Stratégies de rotation et fiabilité

Sticky sessions par code postal

Si vous scrapez le stock dans plusieurs villes, utilisez des sessions sticky par code postal. Chaque session maintient la même IP résidentielle pendant la durée de vie de la session, ce qui évite de déclencher des alerts Akamai pour changement d'IP trop fréquent.

# Session sticky pour le code postal 60601 (Chicago)
PROXY_CHICAGO = "http://user-country-US-city-chicago-session-zip60601:pass@gate.proxyhat.com:8080"

# Session sticky pour le code postal 10001 (New York)
PROXY_NY = "http://user-country-US-city-newyork-session-zip10001:pass@gate.proxyhat.com:8080"

# Session sticky pour le code postal 90001 (Los Angeles)
PROXY_LA = "http://user-country-US-city-losangeles-session-zip90001:pass@gate.proxyhat.com:8080"

Backoff sur 403 / challenges Akamai

Quand vous recevez un 403, ne réessayez pas immédiatement. Akamai peut bannir une IP temporairement si elle génère trop de requêtes échouées. Voici une stratégie de backoff :

• 403 premier : attendez 5 à 10 secondes, changez de session (nouvelle IP).
• 403 répétés : attendez 30 à 60 secondes, abandonnez cette IP pour cette session.
• Rate limite : maintenez un délai de 2 à 5 secondes entre requêtes sur la même IP.

Pagination des pages de catégorie

Les pages de catégorie Best Buy utilisent une pagination par offset :

https://www.bestbuy.com/site/promo/tvs-on-sale?cp=<page>&gf=...

Le paramètre cp commence à 1. Chaque page contient environ 24 produits. Pour scraper une catégorie complète, itérez sur cp jusqu'à ce que la page ne renvoie plus de produits (généralement 10 à 50 pages selon la catégorie).

def scrape_category(category_url, max_pages=50):
    all_skus = []
    for page in range(1, max_pages + 1):
        url = f"{category_url}?cp={page}"
        resp = session.get(url, timeout=30)
        if resp.status_code != 200:
            break
        tree = html.fromstring(resp.text)
        skus = [el.get("data-sku-id") for el in tree.cssselect("[data-sku-id]")]
        if not skus:
            break
        all_skus.extend(skus)
        time.sleep(random.uniform(2, 5))
    return list(set(all_skus))

SOCKS5 pour une empreinte différente

Si HTTP ne fonctionne pas (par exemple si Akamai filtre sur le protocole proxy), ProxyHat propose aussi SOCKS5 sur le port 1080 :

SOCKS5_URL = "socks5://user-country-US-city-chicago:pass@gate.proxyhat.com:1080"
session.proxies = {"http": SOCKS5_URL, "https": SOCKS5_URL}

SOCKS5 ajoute une couche d'indirection qui peut améliorer le taux de succès dans certains cas, au prix d'une latence légèrement supérieure (environ 50 à 100 ms de plus).

Bonnes pratiques et éthique

Respecter robots.txt et les CGU

Avant de scraper, vérifiez https://www.bestbuy.com/robots.txt. Certaines sections peuvent être explicitement interdites. Le scraping de données publiques (prix, catalogue, stock) est généralement toléré tant que vous ne surchargez pas les serveurs et que vous n'automatisez pas le checkout.

Limites légales

• CFAA (Computer Fraud and Abuse Act) : aux États-Unis, le scraping de données publiques sans authentification est généralement protégé par la jurisprudence hiQ Labs v. LinkedIn, mais l'automatisation de comptes ou le contournement de mesures techniques peut poser problème.
• GDPR / CCPA : les prix et le stock ne sont pas des données personnelles, mais si vous collectez des avis utilisateurs ou des noms, vous entrez dans le champ de la réglementation sur la protection des données.
• Pas d'automatisation de checkout : n'automatisez jamais la création de comptes, l'ajout au panier ou le paiement. Cela viole presque systématiquement les CGU et peut entraîner des poursuites.

Quand l'API officielle suffit

Si vous avez besoin de données catalogue (titres, descriptions, images, specs techniques) mais pas du stock en magasin en temps réel, l'API officielle de Best Buy est suffisante et plus fiable. Le tier gratuit offre 5 requêtes/seconde, ce qui couvre de nombreux cas d'usage de monitoring de prix. Pour le stock par magasin, en revanche, le scraping HTML via proxies résidentiels reste la seule option viable.

ProxyHat : configuration et ressources

Pour configurer vos proxies résidentiux US chez ProxyHat, connectez-vous à votre dashboard et récupérez vos identifiants. Le format est simple :

# Résidentiel US, géo-ciblé Chicago
http://user-country-US-city-chicago:pass@gate.proxyhat.com:8080

# Résidentiel US, sticky session
http://user-country-US-city-chicago-session-abc123:pass@gate.proxyhat.com:8080

# SOCKS5
socks5://user-country-US-city-chicago:pass@gate.proxyhat.com:1080

Pour explorer les villes et pays disponibles, consultez la page locations. Pour comprendre le pricing et les quotas, visitez nos tarifs. Pour des cas d'usage similaires, lisez notre guide de web scraping et notre page sur le SERP tracking. La documentation technique complète est disponible sur docs.proxyhat.com.

Points clés à retenir

Récapitulatif :

• Best Buy utilise Akamai Bot Manager — les IPs datacenter sont bloquées en quelques requêtes.
• Utilisez des proxies résidentiux US avec géo-ciblage par ville pour le stock en magasin.
• Préférez les endpoints JSON internes (/productfulfillment) au HTML quand possible.
• Combinez curl_cffi (impersonation Chrome) avec ProxyHat pour un taux de succès > 90%.
• Backoff exponentiel sur 403, sticky sessions par code postal, 2-5s entre requêtes.
• Respectez robots.txt, ne scrapez que des données publiques, n'automatisez jamais le checkout.

FAQ

Est-il légal de scraper les prix Best Buy ?

Le scraping de données publiques (prix, catalogue, disponibilité) sans authentification est généralement toléré aux États-Unis sous la jurisprudence hiQ Labs v. LinkedIn. Cependant, vous devez respecter les CGU de Best Buy, ne pas surcharger les serveurs, et ne jamais automatiser le checkout ou la création de comptes. Consultez un avocat si votre usage est commercial à grande échelle.

Pourquoi utiliser des proxies résidentiels pour Best Buy ?

Best Buy utilise Akamai Bot Manager, qui détecte et bloque les IPs datacenter en quelques requêtes. Les proxies résidentiux US fournissent des IPs issues de FAI américains légitimes, ce qui permet de passer les filtres de réputation d'Akamai. Le géo-ciblage par ville est essentiel car le stock en magasin est renvoyé en fonction de la localisation de l'IP.

Quel type de proxy fonctionne le mieux pour scraper Best Buy ?

Les proxies résidentiux US avec géo-ciblage par ville offrent les meilleurs résultats. Les proxies datacenter sont bloqués quasi immédiatement par Akamai. Les proxies mobiles fonctionnent aussi mais sont plus chers et plus lents. Pour le stock en magasin, le géo-ciblage par ville (ex. -country-US-city-chicago) est indispensable car les données de disponibilité dépendent de la localisation.

Comment éviter les blocages en scrapant Best Buy ?

Utilisez curl_cffi pour impersoner Chrome (empreinte TLS), faites tourner les sessions sticky par code postal, maintenez un délai de 2 à 5 secondes entre requêtes, implémentez un backoff exponentiel sur les 403, et changez d'IP résidentielle après un challenge Akamai. Évitez les pics de trafic et répartissez vos requêtes dans le temps.

Faut-il utiliser l'API officielle Best Buy ou le scraping HTML ?

L'API officielle (developer.bestbuy.com) convient pour les données catalogue (titres, descriptions, specs) avec un quota de 5 req/s. Pour le stock en magasin par code postal et les prix en temps réel, le scraping HTML via endpoints JSON internes est nécessaire car l'API ne expose pas ces données de manière granulaire.