[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-post-de-got-scraping-nodejs-proxy-guide":3},{"success":4,"payload":5,"related":62,"errors":156},true,{"id":6,"slug":7,"title":8,"excerpt":9,"body_html":10,"meta_title":11,"meta_description":12,"canonical_url":13,"canonical_override":14,"og_title":11,"og_description":12,"og_image_url":15,"faq_json":16,"key_takeaways":14,"allow_index":29,"noindex_google_only":29,"allow_follow":4,"published_at":30,"updated_at":30,"content_updated_at":31,"featured_image_url":32,"featured_image_alt":33,"card_image_url":34,"reading_time_minutes":35,"author":36,"categories":40,"tags":47,"alternates":48,"locale_paths":57,"views":61},176,"got-scraping-nodejs-proxy-guide","got-scraping in Node.js: Residential Proxies & Header Generator Praxisleitfaden","Ein entwicklerorientierter Leitfaden zu got-scraping in Node.js mit Residential Proxies: Header-Generierung, Proxy-Rotation, Retry-Hooks und Produktionsmuster für skalierendes Scraping.","\u003Ch2>Warum got-scraping in Node.js rohe HTTP-Clients überlegen ist\u003C\u002Fh2>\n\u003Cp>Wenn Sie mit \u003Ccode>got\u003C\u002Fcode> oder \u003Ccode>axios\u003C\u002Fcode> Web-Daten abrufen, fällt das meistens nicht sofort auf — bis es plötzlich nicht mehr funktioniert. Ein einzelner Request mit \u003Ccode>axios.get(url)\u003C\u002Fcode> sendet einen Header-Set, der für einen Browser völlig untypisch ist: \u003Ccode>Accept: application\u002Fjson, text\u002Fplain, *\u002F*\u003C\u002Fcode>, keine \u003Ccode>sec-ch-ua\u003C\u002Fcode>-Header, keine \u003Ccode>accept-language\u003C\u002Fcode>-Kohärenz, und häufig eine Header-Reihenfolge, die kein echter Chrome je produzieren würde. Moderne Anti-Bot-Systeme wie Cloudflare, Datadome und Akamai prüfen genau das.\u003C\u002Fp>\n\u003Cp>got-scraping in Node.js löst dieses Problem an der Wurzel. Es ist Apify's auf \u003Ccode>got\u003C\u002Fcode> basierender HTTP-Client, der einen Header Generator integriert, der zusammenhängende, browser-ähnliche Header-Sets erzeugt — mit korrekter Reihenfolge, konsistenten \u003Ccode>sec-ch-ua\u003C\u002Fcode>-Werten, \u003Ccode>accept-language\u003C\u002Fcode>-Ketten und HTTP\u002F2-Unterstützung. In Kombination mit einem \u003Cstrong>got-scraping proxy\u003C\u002Fstrong> aus dem Residential-Bereich erhalten Sie eine Anfrage, die auf Netzwerk- und Anwendungsebene wie ein echter Browser aussieht.\u003C\u002Fp>\n\u003Cp>Bevor wir in die Implementierung einsteigen, ein wichtiger Hinweis: Dieser Artikel behandelt das Scraping \u003Cem>öffentlicher\u003C\u002Fem> Daten. Das unbefugte Scraping geschützter Inhalte kann in den USA unter den FTC Act und den Computer Fraud and Abuse Act (CFAA) fallen, und in der EU greift die \u003Ca href=\"https:\u002F\u002Fgdpr-info.eu\u002F\" rel=\"noopener noreferrer\">DSGVO (GDPR)\u003C\u002Fa> bei personenbezogenen Daten. Respektieren Sie \u003Ccode>robots.txt\u003C\u002Fcode>, Rate-Limits und die Nutzungsbedingungen jeder Website. Wenn eine offizielle API existiert, ziehen Sie diese vor.\u003C\u002Fp>\n\n\u003Ch2>Technischer Kontext: Warum rohe Requests scheitern\u003C\u002Fh2>\n\u003Cp>Anti-Bot-Systeme arbeiten auf mehreren Ebenen:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>TLS-Fingerprinting (JA3\u002FJA4):\u003C\u002Fstrong> Die Cipher-Suite-Reihenfolge und Extensions Ihres TLS-Handshakes verrät Node.js. \u003Ccode>got-scraping\u003C\u002Fcode> nutzt HTTP\u002F2 und einen angepassten TLS-Stack, der näher an Chrome herankommt.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Header-Kohärenz:\u003C\u002Fstrong> Ein echter Chrome 120 auf Windows sendet \u003Ccode>sec-ch-ua\u003C\u002Fcode>, \u003Ccode>sec-ch-ua-mobile\u003C\u002Fcode>, \u003Ccode>sec-ch-ua-platform\u003C\u002Fcode> in einer bestimmten Reihenfolge. Fehlt einer oder stimmt die Reihenfolge nicht, ist die Anfrage verdächtig.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>IP-Reputation:\u003C\u002Fstrong> Datacenter-IP-Adressen (AWS, GCP, Hetzner) erscheinen in bekannten Blocklisten. Residential-IPs aus echten ISP-Bereichen haben eine wesentlich höhere Erfolgsquote.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Verhaltensanalyse:\u003C\u002Fstrong> Zu viele Requests pro Sekunde von derselben IP, kein Referrer, keine Cookies — alles Signale für Bot-Erkennung.\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>Ein \u003Ca href=\"https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FSec-CH-UA\" rel=\"noopener noreferrer\">MDN-Artikel zu sec-ch-ua\u003C\u002Fa> zeigt, wie komplex die Client-Hints-Kette ist. Es reicht nicht, einen Header hinzuzufügen — alle müssen zusammenpassen.\u003C\u002Fp>\n\n\u003Ch2>got-scraping Header Generator: Die idiomsche API-Oberfläche\u003C\u002Fh2>\n\u003Cp>Der Kern von \u003Ccode>got-scraping\u003C\u002Fcode> ist die Integration des \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fapify\u002Fheader-generator\" rel=\"noopener noreferrer\">header-generator\u003C\u002Fa>-Pakets. Statt Header manuell zusammenzubasteln, generiert \u003Ccode>got-scraping\u003C\u002Fcode> bei jedem Request einen konsistenten Satz basierend auf von Ihnen gewählten Browser-, Geräte- und Betriebssystem-Profilen.\u003C\u002Fp>\n\u003Cp>Die zentralen Erweiterungspunkte sind:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Ccode>got.extend()\u003C\u002Fcode> — erstellt eine vorkonfigurierte Instanz mit Standard-Headern, Hooks und Proxy-Einstellungen.\u003C\u002Fli>\n\u003Cli>\u003Ccode>useHeaderGenerator: true\u003C\u002Fcode> — aktiviert den Header Generator für diese Instanz.\u003C\u002Fli>\n\u003Cli>\u003Ccode>headerGeneratorOptions\u003C\u002Fcode> — steuert, welche Browser-, Geräte- und OS-Profile verwendet werden: \u003Ccode>browsers: ['chrome']\u003C\u002Fcode>, \u003Ccode>devices: ['desktop']\u003C\u002Fcode>, \u003Ccode>operatingSystems: ['windows', 'macos']\u003C\u002Fcode>.\u003C\u002Fli>\n\u003Cli>\u003Ccode>proxyUrl\u003C\u002Fcode> — übergibt einen HTTP\u002FHTTPS- oder SOCKS5-Proxy pro Request oder global.\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch3>Grundlegende Konfiguration\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>import { gotScraping } from &apos;got-scraping&apos;;\n\n\u002F\u002F Vorkonfigurierte Instanz mit Header Generator\nconst client = gotScraping.extend({\n  useHeaderGenerator: true,\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;, &apos;macos&apos;],\n    locales: [&apos;de-DE&apos;, &apos;en-US&apos;],\n  },\n  timeout: { request: 30000 },\n  retry: { limit: 3 },\n});\n\nconst response = await client.get(&apos;https:\u002F\u002Fexample.com\u002Fdata&apos;);\nconsole.log(response.body.slice(0, 200));\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Diese Konfiguration erzeugt bei jedem Aufruf einen frischen, kohärenten Header-Satz, der wie ein echter Chrome-Browser auf Windows oder macOS aussieht — inklusive korrekter \u003Ccode>sec-ch-ua\u003C\u002Fcode>-Kette und \u003Ccode>accept-language\u003C\u002Fcode>.\u003C\u002Fp>\n\n\u003Ch2>Residential Proxies mit got-scraping: ProxyHat-Integration\u003C\u002Fh2>\n\u003Cp>Selbst mit perfekten Headern und HTTP\u002F2-TLS-Handshake reicht ein Datacenter-IP-Bereich nicht aus. Anti-Bot-Dienste verknüpfen IP-ASN-Daten mit Header-Profilen. Wenn ein Chrome-Header-Set von einer AWS-IP kommt, ist das verdächtig. Hier kommt der got-scraping proxy ins Spiel.\u003C\u002Fp>\n\u003Cp>Residential-Proxies leiten Ihren Traffic durch echte ISP-IP-Adressen. ProxyHat bietet Residential- und Mobile-Proxys über \u003Ccode>gate.proxyhat.com\u003C\u002Fcode>. Für HTTP verwenden Sie Port \u003Ccode>8080\u003C\u002Fcode>, für SOCKS5 Port \u003Ccode>1080\u003C\u002Fcode>.\u003C\u002Fp>\n\n\u003Ch3>HTTP-Proxy mit got-scraping\u003C\u002Fh3>\n\u003Cpre>\u003Ccode>import { gotScraping } from &apos;got-scraping&apos;;\n\nconst client = gotScraping.extend({\n  useHeaderGenerator: true,\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  proxyUrl: &apos;http:\u002F\u002FUSERNAME:PASSWORD@gate.proxyhat.com:8080&apos;,\n});\n\nconst res = await client.get(&apos;https:\u002F\u002Fhttpbin.org\u002Fheaders&apos;);\nconsole.log(JSON.parse(res.body).headers);\n\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Ch3>Geo-Targeting und Sticky Sessions\u003C\u002Fh3>\n\u003Cp>ProxyHat unterstützt Geo-Targeting und Sticky Sessions über Flags im Username:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Ccode>user-country-US:pass\u003C\u002Fcode> — US-Exit-IP\u003C\u002Fli>\n\u003Cli>\u003Ccode>user-country-DE-region-state_of_berlin-city-berlin:pass\u003C\u002Fcode> — Berlin-Exit-IP\u003C\u002Fli>\n\u003Cli>\u003Ccode>user-sid-abc123:pass\u003C\u002Fcode> — Sticky Session mit ID \u003Ccode>abc123\u003C\u002Fcode>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cpre>\u003Ccode>\u002F\u002F US-Exit mit Sticky Session\nconst proxyUrl = &apos;http:\u002F\u002Fuser-country-US-sid-abc123:pass@gate.proxyhat.com:8080&apos;;\n\nconst res = await gotScraping({\n  url: &apos;https:\u002F\u002Fhttpbin.org\u002Fip&apos;,\n  proxyUrl,\n  useHeaderGenerator: true,\n});\nconsole.log(JSON.parse(res.body).origin); \u002F\u002F US-IP\n\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Ch3>SOCKS5 über Port 1080\u003C\u002Fh3>\n\u003Cp>Für Anwendungen, die SOCKS5 benötigen (z. B. für bestimmte Tunneling-Szenarien), verwenden Sie Port \u003Ccode>1080\u003C\u002Fcode>:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>const proxyUrl = &apos;socks5:\u002F\u002Fuser-country-DE:pass@gate.proxyhat.com:1080&apos;;\n\nconst res = await gotScraping({\n  url: &apos;https:\u002F\u002Fhttpbin.org\u002Fip&apos;,\n  proxyUrl,\n  useHeaderGenerator: true,\n});\n\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Ch2>Nodejs Scraping Proxy: Per-Request-Rotation mit ProxyHat\u003C\u002Fh2>\n\u003Cp>In der Produktion reicht ein einziger Proxy nicht aus. Sie müssen pro Request rotieren — verschiedene IPs, verschiedene Sessions, verschiedene Geo-Targets. Hier ist ein vollständiges Beispiel mit nodejs scraping proxy-Rotation, Retry-Hooks und einer kleinen ProxyHat-SDK-Funktion, die pro Request einen neuen Username generiert.\u003C\u002Fp>\n\n\u003Cpre>\u003Ccode>import { gotScraping } from &apos;got-scraping&apos;;\nimport pLimit from &apos;p-limit&apos;;\nimport { randomUUID } from &apos;crypto&apos;;\n\n\u002F\u002F ProxyHat SDK: generiert per-Request Username mit Rotation\nfunction buildProxyUrl(opts = {}) {\n  const {\n    country = &apos;US&apos;,\n    session = randomUUID().slice(0, 8),\n    username = &apos;user&apos;,\n    password = &apos;pass&apos;,\n  } = opts;\n  return `http:\u002F\u002F${username}-country-${country}-sid-${session}:${password}@gate.proxyhat.com:8080`;\n}\n\n\u002F\u002F got-scraping Instanz mit Retry-Hook\nconst client = gotScraping.extend({\n  useHeaderGenerator: true,\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;, &apos;macos&apos;],\n    locales: [&apos;en-US&apos;, &apos;de-DE&apos;],\n  },\n  timeout: { request: 30000 },\n  retry: {\n    limit: 4,\n    statusCodes: [403, 429, 500, 502, 503],\n    backoffLimit: 5000,\n  },\n  hooks: {\n    beforeRequest: [\n      (options) =&gt; {\n        \u002F\u002F Pro Request neuer Proxy mit frischer Session\n        options.proxyUrl = buildProxyUrl({\n          country: &apos;US&apos;,\n          username: &apos;user&apos;,\n          password: &apos;pass&apos;,\n        });\n      },\n    ],\n    afterResponse: [\n      (response, retryWithMergedOptions) =&gt; {\n        if (response.statusCode === 403 || response.statusCode === 429) {\n          \u002F\u002F Bei Block: neue Session erzwingen\n          return retryWithMergedOptions({\n            proxyUrl: buildProxyUrl({ country: &apos;US&apos; }),\n          });\n        }\n        return response;\n      },\n    ],\n  },\n});\n\n\u002F\u002F Bounded Concurrency mit p-limit\nconst limit = pLimit(10); \u002F\u002F max 10 parallele Requests\n\nasync function scrapeUrl(url) {\n  try {\n    const res = await client.get(url);\n    return { url, status: res.statusCode, length: res.body.length };\n  } catch (err) {\n    return { url, error: err.message };\n  }\n}\n\nconst urls = Array.from({ length: 50 }, (_, i) =&gt;\n  `https:\u002F\u002Fhttpbin.org\u002Fanything?page=${i}`\n);\n\nconst results = await Promise.all(\n  urls.map((url) =&gt; limit(() =&gt; scrapeUrl(url)))\n);\n\nconst successCount = results.filter((r) =&gt; r.status === 200).length;\nconsole.log(`Erfolgreich: ${successCount}\u002F${urls.length}`);\n\u003C\u002Fcode>\u003C\u002Fpre>\n\n\u003Cp>Dieses Beispiel zeigt mehrere Produktionsmuster gleichzeitig:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>Per-Request-Proxy-Rotation über den \u003Ccode>beforeRequest\u003C\u002Fcode>-Hook mit frischer Session-ID pro Request.\u003C\u002Fli>\n\u003Cli>Retry mit Proxy-Wechsel über den \u003Ccode>afterResponse\u003C\u002Fcode>-Hook — bei 403\u002F429 wird ein neuer Proxy zugewiesen.\u003C\u002Fli>\n\u003Cli>Bounded Concurrency mit \u003Ccode>p-limit\u003C\u002Fcode> — verhindert, dass 50 Requests gleichzeitig rausgehen und Rate-Limits auslösen.\u003C\u002Fli>\n\u003Cli>Header Generator aktiviert, sodass jeder Request einen konsistenten Browser-Header-Set erhält.\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Ch2>Produktionsmuster: Cookies, Concurrency und Crawlee\u003C\u002Fh2>\n\n\u003Ch3>Cookie-Jars für Session-Persistenz\u003C\u002Fh3>\n\u003Cp>Viele Websites setzen Cookies beim ersten Request und erwarten diese bei nachfolgenden Anfragen. \u003Ccode>got-scraping\u003C\u002Fcode> unterstützt \u003Ccode>tough-cookie\u003C\u002Fcode>-Jars nativ:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>import { gotScraping } from &apos;got-scraping&apos;;\nimport { CookieJar } from &apos;tough-cookie&apos;;\n\nconst cookieJar = new CookieJar();\n\nconst session = gotScraping.extend({\n  useHeaderGenerator: true,\n  cookieJar,\n  proxyUrl: &apos;http:\u002F\u002Fuser-country-DE-sid-persist1:pass@gate.proxyhat.com:8080&apos;,\n});\n\n\u002F\u002F Erster Request setzt Cookies\nawait session.get(&apos;https:\u002F\u002Fexample.com\u002Flogin&apos;);\n\u002F\u002F Zweiter Request sendet Cookies automatisch\nconst res = await session.get(&apos;https:\u002F\u002Fexample.com\u002Fdashboard&apos;);\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Kombinieren Sie Sticky Sessions (\u003Ccode>session-persist1\u003C\u002Fcode>) mit Cookie-Jars, um Login-Flows zu durchlaufen, ohne den Proxy zu wechseln.\u003C\u002Fp>\n\n\u003Ch3>Skalierung mit Crawlee's CheerioCrawler\u003C\u002Fh3>\n\u003Cp>Wenn Ihr Scraper wächst, lohnt sich der Wechsel zu \u003Ca href=\"https:\u002F\u002Fcrawlee.dev\u002F\" rel=\"noopener noreferrer\">Crawlee\u003C\u002Fa>, Apify's Scraping-Framework. \u003Ccode>CheerioCrawler\u003C\u002Fcode> nutzt intern \u003Ccode>got-scraping\u003C\u002Fcode> und fügt Request-Queues, Deduplizierung und automatische Retries hinzu:\u003C\u002Fp>\n\u003Cpre>\u003Ccode>import { CheerioCrawler } from &apos;crawlee&apos;;\n\nconst crawler = new CheerioCrawler({\n  requestHandler: async ({ $, request }) =&gt; {\n    const title = $(&apos;title&apos;).text();\n    console.log(`${request.url}: ${title}`);\n  },\n  useHeaderGenerator: true,\n  headerGeneratorOptions: {\n    browsers: [&apos;chrome&apos;],\n    devices: [&apos;desktop&apos;],\n    operatingSystems: [&apos;windows&apos;],\n  },\n  proxyConfiguration: {\n    proxyUrls: [\n      &apos;http:\u002F\u002Fuser-country-US-sid-s1:pass@gate.proxyhat.com:8080&apos;,\n      &apos;http:\u002F\u002Fuser-country-US-sid-s2:pass@gate.proxyhat.com:8080&apos;,\n      &apos;http:\u002F\u002Fuser-country-US-sid-s3:pass@gate.proxyhat.com:8080&apos;,\n    ],\n  },\n  maxConcurrency: 20,\n  maxRequestRetries: 3,\n});\n\nawait crawler.run([&apos;https:\u002F\u002Fexample.com\u002Fpage-1&apos;, &apos;https:\u002F\u002Fexample.com\u002Fpage-2&apos;]);\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Crawlee rotiert automatisch durch die \u003Ccode>proxyUrls\u003C\u002Fcode> und kombiniert sie mit dem Header Generator. Mit \u003Ccode>maxConcurrency: 20\u003C\u002Fcode> halten Sie die Last in einem vertretbaren Rahmen — erfahrungsgemäß sind 10–20 parallele Requests pro Proxy-Session ein guter Startpunkt.\u003C\u002Fp>\n\n\u003Ch3>Containerisierung\u003C\u002Fh2>\n\u003Cp>Für verteilte Scraping-Jobs können Sie Ihren Crawler in Docker-Container packen und horizontal skalieren. Jeder Container erhält seine eigenen Session-IDs und kann unabhängig skaliert werden. Mit Kubernetes und einem Proxy-Pool von 100+ gleichzeitigen Sessions erreichen Sie Durchsätze von 500–1000 Requests pro Minute, ohne einzelne IPs zu überlasten.\u003C\u002Fp>\n\n\u003Ch2>Wann ein Headless Browser unvermeidbar ist\u003C\u002Fh2>\n\u003Cp>\u003Ccode>got-scraping\u003C\u002Fcode> ist extrem effizient — ein einzelner Prozess kann hunderte Requests pro Sekunde abarbeiten, da kein Browser-Prozess gestartet wird. Aber einige Websites erfordern JavaScript-Ausführung, um Inhalte zu rendern. Wenn die Ziel-Website SPA-Frameworks (React, Vue, Angular) nutzt oder Cloudflare Turnstile\u002FCAPTCHA einsetzt, reicht ein HTTP-Client nicht aus.\u003C\u002Fp>\n\u003Cp>In diesem Fall ist PlaywrightCrawler aus Crawlee die nächste Stufe. Er nutzt \u003Ccode>got-scraping\u003C\u002Fcode> für die Navigation und einen echten Chromium für das Rendering. Der Performance-Overhead ist erheblich — ein Headless-Browser verbraacht ~150 MB RAM pro Tab und ist 10–50x langsamer als ein reiner HTTP-Request. Setzen Sie ihn nur ein, wenn JavaScript-Rendering nachweislich erforderlich ist.\u003C\u002Fp>\n\u003Cp>Eine Strategie für hybrides Scraping: Verwenden Sie \u003Ccode>got-scraping\u003C\u002Fcode> für die ersten 90% der Requests und fallen Sie auf Playwright zurück, nur wenn ein 403\u002F429 auftritt oder wenn der HTML-Body Hinweise auf JavaScript-Rendering enthält (z. B. leere \u003Ccode>&lt;div id=\"root\"&gt;\u003C\u002Fcode>-Tags).\u003C\u002Fp>\n\n\u003Ch2>Ethik und rechtliche Rahmenbedingungen\u003C\u002Fh2>\n\u003Cblockquote>\n\u003Cp>Wichtig: Scraping öffentlicher Daten ist in vielen Rechtsräumen legal, aber die Grenzen sind fließend. Der CFAA in den USA wurde durch \u003Cem>Van Buren v. United States\u003C\u002Fem> (2021) eingeschränkt, aber unbefugter Zugriff auf geschützte Systeme bleibt strafbar. Die DSGVO verlangt eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten — auch wenn diese öffentlich zugänglich sind.\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\u003Cul>\n\u003Cli>Prüfen Sie \u003Ccode>robots.txt\u003C\u002Fcode> vor dem Scraping. \u003Ccode>got-scraping\u003C\u002Fcode> respektiert diese nicht automatisch — das ist Ihre Verantwortung.\u003C\u002Fli>\n\u003Cli>Rate-Limits respektieren: Halten Sie sich an \u003Ccode>Crawl-delay\u003C\u002Fcode> in \u003Ccode>robots.txt\u003C\u002Fcode> und setzen Sie eigene Limits wie \u003Ccode>maxConcurrency\u003C\u002Fcode>.\u003C\u002Fli>\n\u003Cli>Offizielle APIs bevorzugen: Wenn die Ziel-Website eine API anbietet (z. B. Google Custom Search API, Amazon Product Advertising API), verwenden Sie diese statt HTML-Scraping.\u003C\u002Fli>\n\u003Cli>Personenbezogene Daten: Das Scraping von Profildaten, E-Mail-Adressen oder anderen PII ohne Rechtsgrundlage ist eine DSGVO-Verletzung.\u003C\u002Fli>\n\u003Cli>Nutzungsbedingungen: Viele Websites verbieten Scraping in ihren ToS. Ein Verstoß kann zu Klagen führen (siehe \u003Cem>hiQ Labs v. LinkedIn\u003C\u002Fem>).\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>Weitere Details zu ProxyHat's Standorten und Einsatzmöglichkeiten finden Sie auf unserer \u003Ca href=\"\u002Fde\u002Flocations\">Locations-Seite\u003C\u002Fa> und der \u003Ca href=\"\u002Fde\u002Fuse-cases\u002Fweb-scraping\">Web-Scraping-Use-Case-Seite\u003C\u002Fa>. Die vollständige API-Dokumentation finden Sie unter \u003Ca href=\"https:\u002F\u002Fdocs.proxyhat.com\u002F\" rel=\"noopener noreferrer\">docs.proxyhat.com\u003C\u002Fa>.\u003C\u002Fp>\n\n\u003Ch2>Key Takeaways\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>Header-Generator ist Pflicht: \u003Ccode>got-scraping\u003C\u002Fcode>'s \u003Ccode>useHeaderGenerator\u003C\u002Fcode> erzeugt kohärente Browser-Header-Sets, die \u003Ccode>sec-ch-ua\u003C\u002Fcode>, \u003Ccode>accept-language\u003C\u002Fcode> und korrekte Reihenfolge abdecken — das allein reicht aber nicht.\u003C\u002Fli>\n\u003Cli>Residential Proxies sind der zweite Hebel: Selbst perfekte Header scheitern an Datacenter-IP-Reputation. Kombinieren Sie Header Generator mit Residential-IPs über \u003Ccode>gate.proxyhat.com:8080\u003C\u002Fcode>.\u003C\u002Fli>\n\u003Cli>Per-Request-Rotation: Verwenden Sie den \u003Ccode>beforeRequest\u003C\u002Fcode>-Hook, um pro Request einen neuen Proxy mit frischer Session-ID zu generieren. Der \u003Ccode>afterResponse\u003C\u002Fcode>-Hook fängt 403\u002F429 ab und rotiert den Proxy.\u003C\u002Fli>\n\u003Cli>Bounded Concurrency: \u003Ccode>p-limit\u003C\u002Fcode> mit 10–20 parallelen Requests ist ein sicherer Startpunkt. Über 50 parallele Requests pro Session erhöhen die Block-Wahrscheinlichkeit drastisch.\u003C\u002Fli>\n\u003Cli>Crawlee für Skalierung: Wenn Ihr Scraper wächst, migrieren Sie zu \u003Ccode>CheerioCrawler\u003C\u002Fcode>, das \u003Ccode>got-scraping\u003C\u002Fcode> intern nutzt und Request-Queues, Retries und Proxy-Rotation hinzufügt.\u003C\u002Fli>\n\u003Cli>Ethik zuerst: Nur öffentliche Daten, \u003Ccode>robots.txt\u003C\u002Fcode> respektieren, offizielle APIs bevorzugen, DSGVO beim Umgang mit personenbezogenen Daten beachten.\u003C\u002Fli>\n\u003C\u002Ful>\n\n\u003Cp>Bereit loszulegen? Werfen Sie einen Blick auf unsere \u003Ca href=\"\u002Fde\u002Fpricing\">Preise\u003C\u002Fa> für Residential Proxies oder lesen Sie unseren Leitfaden zu \u003Ca href=\"\u002Fde\u002Fuse-cases\u002Fserp-tracking\">SERP-Tracking\u003C\u002Fa> für spezifische Anwendungsfälle.\u003C\u002Fp>","got-scraping in Node.js: Proxy & Header Generator Guide | ProxyHat","got-scraping in Node.js mit Residential Proxies: Header Generator, Proxy-Rotation, Retry-Hooks und Produktionsmuster für skalierendes Web-Scraping.","\u002Fde\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide",null,"https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fgot-scraping-nodejs-proxy-guide-og.webp",[17,20,23,26],{"question":18,"answer":19},"Warum ist got-scraping in Node.js für Proxy-Nutzer wichtig?","Selbst mit perfekten Headern reicht ein Datacenter-IP-Bereich nicht aus, da Anti-Bot-Systeme IP-ASN-Daten mit Header-Profilen abgleichen. got-scraping in Kombination mit Residential Proxies stellt sicher, dass sowohl die Header-Ebene (sec-ch-ua, TLS-Fingerprint) als auch die Netzwerkebene (echte ISP-IP) wie ein echter Browser aussieht. Dies erhöht die Erfolgsquote bei SERP-Scraping und Price-Monitoring erheblich.",{"question":21,"answer":22},"Welcher Proxy-Typ funktioniert am besten für got-scraping in Node.js?","Residential Proxies sind die beste Wahl für got-scraping, da sie echte ISP-IP-Adressen verwenden und von Anti-Bot-Systemen nicht als Datacenter-Traffic erkannt werden. ProxyHat bietet Residential Proxies über gate.proxyhat.com:8080 (HTTP) oder Port 1080 (SOCKS5). Mit Geo-Targeting (country-US, city-berlin) und Sticky Sessions (session-abc123) können Sie IP-Rotation pro Request steuern und Blockierungen minimieren.",{"question":24,"answer":25},"Wie vermeidet man Blocks bei got-scraping in Node.js?","Verwenden Sie useHeaderGenerator: true mit headerGeneratorOptions für konsistente Browser-Header. Rotieren Sie Proxies pro Request über den beforeRequest-Hook mit frischen Session-IDs. Begrenzen Sie Concurrency mit p-limit auf 10-20 parallele Requests. Implementieren Sie afterResponse-Hooks, die bei 403\u002F429 automatisch einen neuen Proxy zuweisen. Respektieren Sie robots.txt und Crawl-delay, und verwenden Sie Cookie-Jars für Session-Persistenz bei Login-Flows.",{"question":27,"answer":28},"Kann man got-scraping mit Crawlee verwenden?","Ja, Crawlee nutzt got-scraping intern in CheerioCrawler. Sie können useHeaderGenerator und headerGeneratorOptions direkt im CheerioCrawler konfigurieren und proxyUrls mit ProxyHat-Endpoints übergeben. Crawlee fügt automatisch Request-Queues, Deduplizierung, Retries und Proxy-Rotation hinzu. Für JavaScript-Rendering steht PlaywrightCrawler zur Verfügung, der ebenfalls got-scraping für die Navigation nutzt.",false,"2026-08-04T16:05:06+00:00","2026-11-17T09:21:31+00:00","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fgot-scraping-nodejs-proxy-guide-master.webp","got-scraping in Node.js: A Developer's Guide with Residential Proxies","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fgot-scraping-nodejs-proxy-guide-card.webp",12,{"name":37,"slug":38,"bio":39,"avatar_url":14,"website_url":14,"social_links":14},"ProxyHat Team","proxyhat-team","The ProxyHat editorial team covers proxies, web scraping, and data extraction.",[41],{"id":42,"slug":43,"name":44,"description":14,"meta_title":45,"meta_description":46,"parent_id":14},4,"entwickler-anleitungen","Entwickler-Anleitungen","Entwickler-Anleitungen | ProxyHat Blog","Code-Tutorials und SDK-Anleitungen zur Proxy-Integration in Ihre Anwendungen.",[],{"ru":49,"en":50,"zh":51,"it":52,"fr":53,"pl":54,"ko":55,"ja":56,"x-default":50},"\u002Fru\u002Fblog\u002Fgot-scraping-nodejs-residential-proxies","\u002Fblog\u002Fgot-scraping-nodejs-residential-proxies","\u002Fcn\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide","\u002Fit\u002Fblog\u002Fguida-got-scraping-nodejs-proxy","\u002Ffr\u002Fblog\u002Fgot-scraping-nodejs-proxy-residentiel-1","\u002Fpl\u002Fblog\u002Fgot-scraping-nodejs-proxy","\u002Fko\u002Fblog\u002Fgot-scraping-nodejs-proxy-guide-1","\u002Fja\u002Fblog\u002Fgot-scraping-nodejs-purokishi",{"pt":58,"ru":49,"en":50,"zh":51,"it":52,"es":59,"de":13,"fr":53,"pl":54,"ko":55,"ja":56,"tr":60},"\u002Fpt\u002Fblog\u002Fguia-got-scraping-nodejs-proxies-residenciais","\u002Fes\u002Fblog\u002Fguia-got-scraping-nodejs-proxy-residencial","\u002Ftr\u002Fblog\u002Fnodejs-got-scraping-proxy-rehberi",129,[63,97,124,140],{"id":64,"slug":65,"title":66,"excerpt":67,"featured_image_url":68,"featured_image_alt":69,"card_image_url":70,"og_image_url":71,"published_at":72,"updated_at":73,"content_updated_at":74,"reading_time_minutes":75,"is_featured":29,"indexable":4,"views":76,"author":77,"categories":78,"tags":80},210,"proxy-einrichtung-fuer-ki-agenten","Proxy für KI-Agenten einrichten: browser-use, Crawl4AI und MCP","Agenten auf Cloud-VMs treten mit Datacenter-IPs ins Netz. Hier finden Sie aktuelle, funktionierende Proxy-Konfigurationen für browser-use, Crawl4AI und einen MCP-Server, eine Entscheidungstabelle für Sticky vs. Rotation und die Kostenfallen, die Sie vermeiden sollten.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fproxy-einrichtung-fuer-ki-agenten-master.webp","Proxy Setup for AI Agents: browser-use, Crawl4AI and an MCP Server","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fproxy-einrichtung-fuer-ki-agenten-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fproxy-einrichtung-fuer-ki-agenten-og.webp","2026-10-24T09:00:00+00:00","2026-10-24T09:00:20+00:00","2026-10-03T09:41:41+00:00",14,30,{"name":37,"slug":38,"bio":39,"avatar_url":14,"website_url":14,"social_links":14},[79],{"id":42,"slug":43,"name":44,"description":14,"meta_title":45,"meta_description":46,"parent_id":14},[81,85,89,93],{"id":82,"slug":83,"name":84},1,"web-scraping","Web Scraping",{"id":86,"slug":87,"name":88},2,"residential-proxies","Residential Proxies",{"id":90,"slug":91,"name":92},9,"python","Python",{"id":94,"slug":95,"name":96},22,"playwright","Playwright",{"id":98,"slug":99,"title":100,"excerpt":101,"featured_image_url":102,"featured_image_alt":103,"card_image_url":104,"og_image_url":105,"published_at":106,"updated_at":107,"content_updated_at":74,"reading_time_minutes":75,"is_featured":29,"indexable":4,"views":108,"author":109,"categories":110,"tags":112},206,"camoufox-residential-proxies-python-anleitung","Camoufox mit Residential Proxies: Python-Anleitung mit Code","So betreiben Sie Camoufox, den in C++ gepatchten Firefox, hinter Residential Proxies: aktuelle Python-API, warum geoip eine Sticky Session braucht, eine Checkliste zur Fingerprint-Kohärenz und wann Patchright oder nodriver besser passt.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fcamoufox-residential-proxies-python-anleitung-master.webp","Camoufox with Residential Proxies: A Code-First Python Guide","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fcamoufox-residential-proxies-python-anleitung-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fcamoufox-residential-proxies-python-anleitung-og.webp","2026-10-13T09:00:00+00:00","2026-10-13T09:00:22+00:00",43,{"name":37,"slug":38,"bio":39,"avatar_url":14,"website_url":14,"social_links":14},[111],{"id":42,"slug":43,"name":44,"description":14,"meta_title":45,"meta_description":46,"parent_id":14},[113,114,115,119,120],{"id":82,"slug":83,"name":84},{"id":86,"slug":87,"name":88},{"id":116,"slug":117,"name":118},6,"anti-erkennung","Anti-Erkennung",{"id":90,"slug":91,"name":92},{"id":121,"slug":122,"name":123},21,"headless-browser","Headless Browser",{"id":125,"slug":126,"title":127,"excerpt":128,"featured_image_url":129,"featured_image_alt":130,"card_image_url":131,"og_image_url":132,"published_at":133,"updated_at":133,"content_updated_at":134,"reading_time_minutes":35,"is_featured":29,"indexable":29,"views":135,"author":136,"categories":137,"tags":139},175,"rotierende-proxies-in-colly","Rotierende Proxies in Colly: Ein Go-Entwickler-Leitfaden für Proxy-Rotation","Praktischer Leitfaden zur Integration rotierender Proxys in Colly mit ProxyHat: RoundRobinProxySwitcher, benutzerdefinierte Proxy-Funktionen, Residential IPs, Retries und Produktionsmuster für verteiltes Scraping.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Frotierende-proxies-in-colly-master.webp","Rotating Proxies in Colly: A Framework-Idiomatic Guide for Go Developers","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Frotierende-proxies-in-colly-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Frotierende-proxies-in-colly-og.webp","2026-08-04T10:05:34+00:00","2026-10-03T23:53:00+00:00",80,{"name":37,"slug":38,"bio":39,"avatar_url":14,"website_url":14,"social_links":14},[138],{"id":42,"slug":43,"name":44,"description":14,"meta_title":45,"meta_description":46,"parent_id":14},[],{"id":141,"slug":142,"title":143,"excerpt":144,"featured_image_url":145,"featured_image_alt":146,"card_image_url":147,"og_image_url":148,"published_at":149,"updated_at":149,"content_updated_at":150,"reading_time_minutes":35,"is_featured":29,"indexable":4,"views":151,"author":152,"categories":153,"tags":155},195,"bybit-v5-market-api-mit-rotating-proxies-scrapen","Krypto-Marktdaten über einheitliche Börsen-APIs mit rotierenden Proxies abrufen: Entwickler-Leitfaden (Beispiel Bybit V5)","Praktischer Entwickler-Leitfaden für das Scrapen der Bybit V5 Market API mit rotierenden Proxies – inklusive Code-Beispielen für Node.js und Python, Rate-Limit-Strategien und ProxyHat-Setup.","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fbybit-v5-market-api-mit-rotating-proxies-scrapen-master.webp","How to Scrape the Bybit V5 Market API with Rotating Proxies","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fbybit-v5-market-api-mit-rotating-proxies-scrapen-card.webp","https:\u002F\u002Fstatic.proxyhat.com\u002Fstorage\u002Fblog-covers\u002Fde\u002Fbybit-v5-market-api-mit-rotating-proxies-scrapen-og.webp","2026-08-03T16:09:16+00:00","2026-11-17T10:13:53+00:00",103,{"name":37,"slug":38,"bio":39,"avatar_url":14,"website_url":14,"social_links":14},[154],{"id":42,"slug":43,"name":44,"description":14,"meta_title":45,"meta_description":46,"parent_id":14},[],[]]