Ciò che causa le bane del proxy e come evitare di loro

Perché i proxy vengono bannati?

Un divieto di proxy si verifica quando un sito web di destinazione blocca il traffico da un indirizzo IP specifico o da un intervallo di indirizzi. Il sito ha determinato — attraverso vari segnali — che il traffico proveniente da tale IP è automatizzato, abusivo, o altrimenti indesiderato, e si rifiuta di servire ulteriori richieste da esso.

Capire perché i divieti avvengono è il primo passo verso la loro prevenzione. Che tu sia scraping siti web, monitoraggio dei prezzi o monitoraggio SERP, conoscere i segnali di rilevamento e come mitigarli aumenterà notevolmente i tassi di successo.

Trigger di Ban comuni

1. Volume di richiesta eccessiva

Il segnale di rilevamento più semplice è il tasso di richiesta. Se un singolo IP invia 100 richieste al secondo allo stesso sito web, non è chiaramente una navigazione umana. La maggior parte dei siti impostare limiti di tasso — soglie che innescano blocchi o CAPTCHAs quando superato. Questi limiti variano ampiamente: alcuni siti permettono 10 richieste al minuto per IP, mentre altri tollerano centinaia.

2. Intervalli IP del proxy/Datacenter conosciuti

I servizi di intelligenza IP (MaxMind, IPinfo, IP2Location) classificano gli IP per tipo. Gli IP del datacenter sono facili da identificare perché appartengono al provider di hosting ASNs (AWS, Google Cloud, OVH). Molti siti bloccano automaticamente o sfidano tutti i traffici dagli intervalli IP noti datacenter. Ecco perché Prossi residenziali hanno tassi di successo più elevati — i loro IP sono classificati come connessioni di consumo.

3. IP Reputation Blacklists

Servizi multipli mantengono liste nere di indirizzi IP noti per essere utilizzati per la demolizione, la spamming o altre attività automatizzate. Quando il tuo proxy IP appare su queste liste, i siti web che si abbonano al servizio di blacklist ti bloccano in modo preventivo, anche prima di inviare una singola richiesta. Monitoraggio della salute della piscina aiuta i provider a rimuovere gli IP blacklist dalla rotazione.

4. Modelli di richiesta sospetti

Anche a prezzi ragionevoli di richiesta, il vostro modello di traffico può rivelare l'automazione:

• Tempismo uniforme: Richieste che arrivano a intervalli esatti (ogni 2,0 secondi) invece degli intervalli casuali di navigazione umana
• Accesso sequenziale: Visitare pagine in ordine alfabetico o numerico piuttosto che seguire percorsi di navigazione naturali
• Nessun caricamento sub-risorse: I browser reali caricano immagini, CSS, JavaScript e fonts — raschietti che catturano solo HTML si distinguono
• Intestazioni mancanti: I browser inviano sempre un referrer quando si naviga tra le pagine; spesso i raschianti non fanno
• Modelli anormali di profondità: Schiacciare in profondità in una categoria prima di passare al prossimo, piuttosto che navigare come un umano

5. Impronte non corrispondenti

Sistemi anti-bot correlare più segnali per costruire un profilo visitatore. Quando questi segnali si contraddicono, il visitatore è contrassegnato:

• Geo mismatch: IP dice Germania, ma il fuso orario del browser è US Pacific e Accept-Language è en-US
• TLS: La firma di TLS Client Hello non corrisponde al browser richiesto (ad esempio, la libreria di richieste di Python che afferma di essere Chrome)
• esecuzione JavaScript: Prova di script di rilevamento Bot per le API del browser che i browser senza testa potrebbero non implementare completamente
• WebRTC leak: WebRTC può esporre il vero IP dietro un proxy se non configurato correttamente

6. Traffico subnet concentrato

Se più IP dalla stessa subnet /24 (ad esempio, 185.23.100.1 attraverso 185.23.100.254) tutti hanno colpito lo stesso sito, il sito può bloccare l'intera subnet. Bene. Rotazione IP algoritmi garantiscono la diversità subnet tra richieste consecutive.

7. Sessione e Cookie Anomalie

I siti web impostano i cookie sulla prima visita e li aspettano su richieste successive. I grattacieli che non mantengono i cookie, i cookie scaduti presenti, o che mostrano uno stato di sessione inconsistente (ha richiesto su una richiesta, anonimo sul successivo) innescano il sospetto.

Tipi di banche e blocchi

Strategie di prevenzione

Utilizzare proxy residenziali per obiettivi protetti

Processi residenziali hanno gli IP assegnati dagli ISP alle famiglie reali. Passano i controlli di livello ASN che bloccano gli IP del datacenter. Per i siti web con forte protezione anti-bot, i proxy residenziali sono il requisito baseline. Per gli obiettivi più aggressivi, i proxy mobili offrono una maggiore fiducia grazie alla condivisione IP CGNAT.

Esecuzione Smart Rate Limiting

Non colpire il bersaglio più velocemente possibile. Invece:

• Ricercare i limiti di tasso dell'obiettivo (prova di aumentare la frequenza di richiesta fino a vedere 429s o CAPTCHAs)
• Aggiungi ritardi casuali tra richieste (ad esempio, 1-5 secondi con jitter)
• Distribuire richieste nel tempo piuttosto che inviarle in esplosioni
• Utilizzare diversi limiti di tasso per diversi endpoint (pagine di ricerca vs pagine di prodotto)

import time
import random
import requests
PROXY = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
for url in urls:
    resp = requests.get(
        url,
        proxies={"http": PROXY, "https": PROXY},
        timeout=15,
    )
    # Random delay between 1.5 and 4.5 seconds
    time.sleep(random.uniform(1.5, 4.5))

Ruotare gli IP in modo intelligente

Rotazione IP distribuisce il traffico attraverso molti indirizzi. Ma la rotazione deve essere combinata con altre strategie:

• Rotate per-richiesta per fetches di pagina indipendenti
• Utilizzare sessioni appiccicose per flussi di lavoro multi-step che richiedono continuità di sessione
• Assicurare la diversità subnet — non inviare richieste consecutive dalla stessa gamma /24
• Strategia di rotazione di corrispondenza per la sensibilità del bersaglio — i siti più aggressivi hanno bisogno di rotazione più rapida

Impostare intestazioni realistiche

Ogni richiesta dovrebbe includere intestazioni che corrispondono a un vero browser:

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive",
    "Upgrade-Insecure-Requests": "1",
    "Sec-Fetch-Dest": "document",
    "Sec-Fetch-Mode": "navigate",
    "Sec-Fetch-Site": "none",
    "Sec-Fetch-User": "?1",
}

Ruota le stringhe User-Agent attraverso un insieme di browser attuali e popolari. Assicurarsi che l'Utente-Agent corrisponda alle impronte TLS — sostenendo di essere Chrome durante l'invio di una firma Python TLS è una bandiera rossa istantanea.

Segnali Geo alline

Quando si utilizza Prossi geo-targeti, allineare tutti i metadati richiesta con la posizione del proxy:

• Set Accept-Language per abbinare la lingua primaria del paese
• Se si utilizza l'automazione del browser, impostare il fuso orario per corrispondere alla geografia del proxy
• Disattivare WebRTC per prevenire perdite di real-IP

Gestire i cookie e le sessioni correttamente

Mantenere i cookie attraverso le richieste all'interno di una sessione. Utilizzare un oggetto di sessione (come requests.Session() in Python) che gestisce automaticamente la persistenza dei cookie. Quando si ruotano gli IP, anche avviare un vaso di cookie fresco — non portare i cookie da un IP all'altro, in quanto questo crea inconsistenza.

Tecniche di recupero

Rilevamento anticipato di ban

Non aspettare che l'intero canale fallisca. Monitor per segnali di divieto:

• Tracciare il tasso di successo per dominio di destinazione — una goccia improvvisa indica che i divieti stanno iniziando
• Guarda le pagine CAPTCHA (controlla il corpo di risposta per gli indicatori CAPTCHA)
• Monitorare le dimensioni di risposta — le risposte bloccate sono spesso molto più piccole delle pagine reali
• Controllare i tempi di risposta — alcuni siti intenzionalmente le risposte ai sospetti bot (tarpit)

Implementare la logica della ricerca

import requests
from time import sleep
PROXY = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
def fetch_with_retry(url, max_retries=3):
    for attempt in range(max_retries):
        resp = requests.get(
            url,
            proxies={"http": PROXY, "https": PROXY},
            timeout=15,
        )
        if resp.status_code == 200 and len(resp.text) > 1000:
            return resp
        # Exponential backoff before retry (new IP via rotation)
        sleep(2 ** attempt)
    return None

Strategia di escalation

Quando i blocchi persistono, escalate il vostro approccio:

1. Primo: Ridurre il tasso di richiesta e aggiungere ritardi più randomizzati
2. Secondo: Passare dal datacenter al Prossi residenziali
3. Terzo: Aggiungere l'automazione del browser (Puppeteer/Playwright) per eseguire JavaScript e passare i controlli del browser
4. Quarto: Gestione completa delle impronte digitali (TLS, tela, WebGL)
5. Quinto: Utilizzare i proxy mobili per la classificazione IP di alta fiducia

Asporto chiave: I divieti di proxy sono causati da una combinazione di segnali — non solo l'indirizzo IP. Prevenire i divieti richiede un approccio olistico: proxy di qualità con rotazione intelligente, modelli di richiesta realistici, intestazioni corrette e impronte digitali coerenti. Quando i divieti si verificano, rilevarli presto e aumentare la vostra strategia in modo incrementale.

Domande frequenti

Quanto durano i divieti proxy in genere?

Esso varia per obiettivo. Alcuni siti bloccano gli IP per minuti o ore, altri per giorni o in modo permanente. Tasso-limite blocchi (429) di solito scadono in pochi minuti. Le liste IP possono persistere per mesi. Con i proxy rotanti, la durata del divieto è meno rilevante perché si ottiene automaticamente un IP fresco.

I proxy rotanti possono impedire tutti i divieti?

Previene la rotazione basati su IP vieta di nascondere, ma non affronta il rilevamento basato sulle impronte digitali o basato sul comportamento. Hai bisogno di rotazione più realistici modelli di richiesta, intestazioni corrette e impronte del browser coerente.

Quale tipo di proxy è meno probabile che venga vietato?

I proxy mobili hanno il tasso di divieto più basso perché gli IP mobili sono condivisi da molti utenti reali tramite CGNAT. I proxy residenziali sono i prossimi, seguiti da Processi ISP. I proxy Datacenter hanno il tasso di divieto più alto sui siti protetti.

Come faccio a sapere se il mio IP proxy è già in lista nera?

Prova l'IP contro il tuo obiettivo prima di iniziare un grande lavoro. Inviare una singola richiesta e verificare di avere una risposta normale. È inoltre possibile controllare gli IP contro i servizi di blacklist pubblico, anche se questi non coprono tutte le liste private che i siti web mantengono.

Dovrei usare lo stesso proxy per tutti i miei obiettivi?

No. Diversi obiettivi hanno diverse sensibilità. Uso Prox dedicati per compiti di alto valore, persistenti e proxy rotanti condivisi per la raccolta di dati di massa. Abbina il tipo di proxy e la strategia al livello di protezione di ogni obiettivo.