Proxy'ler Yorum Verilerini Kazımada Nasıl Yardımcı Olur?

Önemli Uyarı: Bu rehber yalnızca herkese açık (public) yorum verilerine erişimi kapsar. Her platformun Hizmet Şartları'nı (ToS), robots.txt dosyalarını ve yürürlükteki yasaları (ABD'de CFAA, AB'de GDPR) mutlaka inceleyin. Giriş gerektiren verileri kazımayın, kişisel veri (PII) toplamayın ve rate limitlerine saygı gösterin.

Pazar araştırması, marka izleme ve rekabet analizi için yorum verileri kritik öneme sahiptir. Ancak Trustpilot, G2 ve Google Business gibi platformlar, tek bir IP'den gelen istekleri hızla engeller, içerikleri coğrafi konuma göre kişiselleştirir ve anti-bot sistemleriyle korunur. İşte proxy'ler yorum verilerini kazımada bu engelleri aşmanıza nasıl yardımcı olur.

Proxy'ler Yorum Verilerini Kazımada Nasıl Yardımcı Olur?

Yorum sayfaları, e-ticaret ve sosyal medya siteleri kadar agresif rate limiting uygular. Bunun temel nedenleri şunlardır:

• Rate limiting: Tek bir IP'den kısa sürede çok sayıda sayfa isteği gelirse, platform otomatik olarak 429 (Too Many Requests) veya 403 (Forbidden) yanıtı döndürür.
• Geo/locale kişiselleştirme: Google Business ve benzeri platformlar, kullanıcının IP konumuna göre farklı yorum alt kümeleri gösterir. Örneğin, ABD IP'si ile eriştiğiniz bir işletme sayfası, Almanya IP'si ile eriştiğinizden farklı yorumlar gösterebilir.
• Anti-bot指纹: G2 ve benzeri B2B platformları, Cloudflare veya benzeri WAF'lerle bot trafiğini tespit etmek için TLS parmak izi, header analizi ve davranışsal kalıpları kullanır.
• Dinamik içerik: Birçok platform, yorumları JavaScript ile dinamik olarak yükler; bu da basit HTTP isteklerini karmaşıklaştırır.

Rotasyonlu residential proxy'ler, her isteği farklı bir gerçek ev/kurum IP'sinden göndererek bu engelleri aşmanıza olanak tanır. ProxyHat'ın residential ağı, 100+ ülke genelinde IP rotasyonu sunarak hem rate limiting'i dağıtır hem de coğrafi hedefleme yapmanıza izin verir.

Teknik Bağlam: Neden Tek IP Yeterli Değil?

Yorum kazıma iş akışında tek IP kullanmanın üç temel sorunu vardır:

1. Rate Limiting ve IP Yasakları

Trustpilot gibi platformlar genellikle IP başına dakikada 20-50 istek gibi sınırlar uygular. Bu sınırı aşan IP'ler geçici veya kalıcı olarak engellenir. 1.500 yorum içeren bir işletme profilini kazımak için 50 sayfa gerektiğinde, tek IP ile bu işlem 5-10 dakikada tamamlanabilir — ancak IP engellenirse veri setiniz eksik kalır.

2. Coğrafi İçerik Filtreleme

Google Business reviews, hl (dil) ve gl (ülke) parametrelerine duyarlıdır. Bir işletmenin tüm yorumlarını görmek için tutarlı bir coğrafi konumdan istek göndermeniz gerekir. Aksi takdirde, platform size bölgesel olarak filtrelenmiş bir yorum alt kümesi sunar.

3. Anti-Bot Parmak İzi

G2, Cloudflare koruması altındadır ve basit HTTP isteklerini sık sık engeller. Residential IP'ler, gerçek kullanıcı trafiğine benzeyen IP itibarına sahip olduğundan, datacenter IP'lerine göre çok daha yüksek başarı oranı sağlar. Bazı ölçümlerde residential proxy'lerin datacenter proxy'lere kıyasla %90+ başarı oranı sağladığı görülürken, datacenter IP'leri %20-30 başarı oranında kalabilmektedir.

Trustpilot Yorumlarını Kazımak: __NEXT_DATA__ Yaklaşımı

Trustpilot, Next.js framework'ü kullanır ve sayfa içeriğini gömülü bir __NEXT_DATA__ JSON bloğunda saklar. Bu, kırılgan HTML seçicileri (CSS selectors) kullanmaktan çok daha güvenlidir — çünkü JSON yapısı HTML class isimlerinden daha az değişir.

Sayfa Yapısı

Trustpilot işletme profilleri şu formatta URL'ler kullanır:

https://www.trustpilot.com/review/{company-domain}?page={N}

Her sayfa yaklaşık 20 yorum içerir. __NEXT_DATA__ script etiketi içinde, yorum metinleri, yıldız puanları, tarihler ve kullanıcı adları yapılandırılmış JSON formatında bulunur.

Python ile Trustpilot Kazıma Örneği

import requests
import json
import re
from urllib.parse import urljoin

# ProxyHat HTTP proxy - her sayfa için yeni IP
PROXY_URL = "http://user-country-US:pass@gate.proxyhat.com:8080"

proxies = {"http": PROXY_URL, "https": PROXY_URL}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept": "text/html,application/xhtml+xml",
    "Accept-Language": "en-US,en;q=0.9",
}

def scrape_trustpilot_reviews(company_domain, max_pages=10):
    all_reviews = []
    
    for page in range(1, max_pages + 1):
        url = f"https://www.trustpilot.com/review/{company_domain}?page={page}"
        
        try:
            resp = requests.get(url, headers=headers, proxies=proxies, timeout=30)
            
            if resp.status_code == 200:
                # __NEXT_DATA__ JSON'ını çıkar
                match = re.search(
                    r'<script id="__NEXT_DATA__" type="application/json">(.*?)</script>',
                    resp.text,
                    re.DOTALL
                )
                if match:
                    data = json.loads(match.group(1))
                    reviews = data["props"]["pageProps"]["reviews"]
                    
                    for r in reviews:
                        all_reviews.append({
                            "author": r.get("consumer", {}).get("displayName", ""),
                            "rating": r.get("rating", ""),
                            "title": r.get("title", ""),
                            "text": r.get("text", ""),
                            "date": r.get("dates", {}).get("publishedDate", ""),
                        })
                    
                    print(f"Sayfa {page}: {len(reviews)} yorum alındı")
                else:
                    print(f"Sayfa {page}: __NEXT_DATA__ bulunamadı")
                    break
            elif resp.status_code == 429:
                print(f"Sayfa {page}: Rate limited - bekleniyor")
                time.sleep(5)
                continue
            else:
                print(f"Sayfa {page}: HTTP {resp.status_code}")
                break
                
        except Exception as e:
            print(f"Sayfa {page}: Hata - {e}")
            continue
    
    return all_reviews

reviews = scrape_trustpilot_reviews("example.com", max_pages=5)
print(f"Toplam: {len(reviews)} yorum")

Bu yaklaşımda her sayfa isteği ProxyHat gateway'i üzerinden geçer ve residential IP havuzundan otomatik olarak yeni bir IP atanır. country-US bayrağı, ABD lokasyonundan gelen tutarlı bir coğrafi konum sağlar.

G2 Yorumlarını Kazımak: Anti-Bot Önlemleri

G2, Trustpilot'a göre daha agresif anti-bot koruması kullanır. Cloudflare challenge'ları, JavaScript tabanlı doğrulamalar ve header analizi ile korunan bir platformdur. G2'den herkese açık ürün incelemelerini ve yıldız dağılımlarını toplamak için:

• Residential proxy zorunludur: Datacenter IP'leri G2'de neredeyse her zaman engellenir.
• Gerçekçi header'lar: Accept, Accept-Language, Accept-Encoding, Referer ve modern bir User-Agent kullanın.
• Yavaş tempo: Her istek arasında 2-5 saniye bekleme uygulayın.
• Sticky session: Çok sayfalı bir ürün profilinde, oturum tutarlılığı için sticky session kullanın.

Python ile G2 Kazıma Örneği (Sticky Session)

import requests
import time
import json
from bs4 import BeautifulSoup

# Sticky session: aynı IP'yi 10 dakika boyunca koru
# -session-abc123 bayrağı ile oturum kimliği belirtilir
PROXY_URL = "http://user-session-g2product123-country-US:pass@gate.proxyhat.com:8080"

proxies = {"http": PROXY_URL, "https": PROXY_URL}

headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Referer": "https://www.g2.com/",
    "Connection": "keep-alive",
}

def scrape_g2_reviews(product_slug, max_pages=5):
    all_reviews = []
    
    for page in range(1, max_pages + 1):
        url = f"https://www.g2.com/products/{product_slug}/reviews?page={page}"
        
        try:
            resp = requests.get(url, headers=headers, proxies=proxies, timeout=30)
            
            if resp.status_code == 200:
                soup = BeautifulSoup(resp.text, "html.parser")
                
                # Yıldız dağılımı
                star_dist = {}
                dist_items = soup.select("div[data-testid="stars-distribution"] div")
                for item in dist_items:
                    star_label = item.get("aria-label", "")
                    star_dist[star_label] = item.text.strip()
                
                # Yorum kartları
                review_cards = soup.select("div[itemprop="review"]")
                for card in review_cards:
                    review = {
                        "author": card.select_one("span[itemprop="author"]").text.strip() if card.select_one("span[itemprop="author"]") else "",
                        "rating": card.select_one("span[itemprop="ratingValue"]").text.strip() if card.select_one("span[itemprop="ratingValue"]") else "",
                        "title": card.select_one("h3").text.strip() if card.select_one("h3") else "",
                        "text": card.select_one("div[itemprop="reviewBody"]").text.strip() if card.select_one("div[itemprop="reviewBody"]") else "",
                    }
                    all_reviews.append(review)
                
                print(f"Sayfa {page}: {len(review_cards)} yorum")
                time.sleep(3)  # Rate limiting'e saygı
                
            elif resp.status_code == 403:
                print(f"Sayfa {page}: Engellendi (403) - IP değiştiriliyor")
                break
            elif resp.status_code == 429:
                print(f"Sayfa {page}: Rate limited - 10 sn bekleniyor")
                time.sleep(10)
                continue
            else:
                print(f"Sayfa {page}: HTTP {resp.status_code}")
                break
                
        except Exception as e:
            print(f"Sayfa {page}: Hata - {e}")
            break
    
    return all_reviews

reviews = scrape_g2_reviews("slack", max_pages=3)
print(f"Toplam: {len(reviews)} yorum")

Burada -session-g2product123 bayrağı, ProxyHat'ın aynı residential IP'yi bu oturum boyunca korumasını sağlar. Bu, G2'nin oturum tabanlı anti-bot kontrollerini geçmek için önemlidir — IP değişimi, sayfalar arası davranış tutarsızlığına yol açabilir.

Google Business / Maps Yorumlarını Kazımak

Google Business reviews, hl (host language) ve gl (geo location) parametrelerine duyarlıdır. Aynı işletme için farklı ülkelerden yapılan istekler farklı yorum alt kümeleri döndürebilir. Tutarlı bir veri seti için ülke hedefli residential session kullanmak esastır.

Google Business Reviews Kazıma Stratejisi

Google'ın resmi Places API, yorumlara erişim sağlar ancak sınırlıdır: yalnızca en son 5 yorumu döndürür ve her istek için ücret alır. Tüm yorumları toplamak için web kazıma yaklaşımı gereklidir.

Google Business reviews kazımada dikkat edilmesi gerekenler:

• hl=en ve gl=us parametreleri ile dil ve ülke tutarlılığı sağlayın.
• Ülke hedefli residential proxy (-country-US) kullanın ki IP konumu URL parametreleriyle uyumlu olsun.
• Google'ın rate limit'leri agresiftir; istekler arası en az 3-5 saniye bekleyin.
• Google sık sık HTML yapısını değiştirir; seçicilerinizi düzenli test edin.

Google Business Reviews için ProxyHat Konfigürasyonu

import requests
import time

# ABD hedefli residential proxy
# hl=en ve gl=us parametreleri ile uyumlu
PROXY_URL = "http://user-country-US-session-googlebiz:pass@gate.proxyhat.com:8080"

proxies = {"http": PROXY_URL, "https": PROXY_URL}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.9",
}

def scrape_google_business_reviews(place_id, max_pages=10):
    all_reviews = []
    
    for page in range(max_pages):
        # Google Business reviews sayfalama
        url = f"https://www.google.com/maps/place/?q=place_id:{place_id}&hl=en&gl=us"
        
        try:
            resp = requests.get(url, headers=headers, proxies=proxies, timeout=30)
            
            if resp.status_code == 200:
                # Google dinamik içerik yükler; basit HTML kazıma yetersiz olabilir
                # Bu örnekte yapısal yaklaşım gösterilir
                # Gerçek uygulamada Playwright/Selenium gerekebilir
                print(f"Sayfa {page}: HTTP 200 - içerik işleniyor")
                # JSON parsing veya DOM scraping mantığı burada
                time.sleep(4)
            elif resp.status_code == 429:
                print(f"Rate limited - 15 sn bekleniyor")
                time.sleep(15)
                continue
            else:
                print(f"HTTP {resp.status_code}")
                break
                
        except Exception as e:
            print(f"Hata: {e}")
            break
    
    return all_reviews

Google Business reviews kazımada dinamik içerik yüklemesi nedeniyle bazen headless browser (Playwright, Puppeteer) kullanmak gerekir. Bu durumda ProxyHat'ı SOCKS5 portu üzerinden yapılandırın:

# Playwright ile ProxyHat SOCKS5 kullanımı
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(
        proxy={
            "server": "socks5://gate.proxyhat.com:1080",
            "username": "user-country-US-session-gbiz456",
            "password": "pass"
        },
        headless=True
    )
    page = browser.new_page()
    page.goto("https://www.google.com/maps/place/?q=place_id:ChIJN1tTDeRp1moRwMkM8YjB4Q&hl=en&gl=us")
    # Yorumları bekle ve çıkar
    page.wait_for_selector("div[jstcache]", timeout=15000)
    content = page.content()
    # İçeriği parse et...
    browser.close()

Node.js ile Çoklu Platform Yorum Kazıma

Aşağıdaki Node.js örneği, hem Trustpilot hem G2 için IP rotasyonlu istekler gönderir:

const axios = require('axios');
const cheerio = require('cheerio');

// ProxyHat HTTP proxy - her istekte yeni IP
const PROXY_HOST = 'gate.proxyhat.com';
const PROXY_PORT = 8080;
const PROXY_USER = 'user-country-US';
const PROXY_PASS = 'pass';

const proxyConfig = {
  protocol: 'http',
  host: PROXY_HOST,
  port: PROXY_PORT,
  auth: {
    username: PROXY_USER,
    password: PROXY_PASS,
  },
};

const headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
  'Accept': 'text/html,application/xhtml+xml',
  'Accept-Language': 'en-US,en;q=0.9',
};

async function scrapeTrustpilot(companyDomain, maxPages = 5) {
  const allReviews = [];
  
  for (let page = 1; page <= maxPages; page++) {
    const url = `https://www.trustpilot.com/review/${companyDomain}?page=${page}`;
    
    try {
      const resp = await axios.get(url, {
        proxy: proxyConfig,
        headers,
        timeout: 30000,
      });
      
      if (resp.status === 200) {
        const $ = cheerio.load(resp.data);
        // __NEXT_DATA__ JSON'ını çıkar
        const nextDataScript = $('#__NEXT_DATA__').text();
        if (nextDataScript) {
          const data = JSON.parse(nextDataScript);
          const reviews = data.props?.pageProps?.reviews || [];
          
          reviews.forEach(r => {
            allReviews.push({
              author: r.consumer?.displayName || '',
              rating: r.rating || 0,
              title: r.title || '',
              text: r.text || '',
              date: r.dates?.publishedDate || '',
            });
          });
          
          console.log(`Sayfa ${page}: ${reviews.length} yorum`);
        }
        await new Promise(r => setTimeout(r, 2000));
      }
    } catch (err) {
      console.error(`Sayfa ${page}: ${err.message}`);
      break;
    }
  }
  
  return allReviews;
}

// Kullanım
scrapeTrustpilot('example.com', 5).then(reviews => {
  console.log(`Toplam: ${reviews.length} yorum`);
});

Yaygın Hatalar ve Edge Case'ler

1. HTML Seçicilere Aşırı Bağımlılık

CSS class isimleri sık değişir. Trustpilot'ta __NEXT_DATA__ JSON'ını kullanmak, div.review-card__title gibi seçiciler kullanmaktan çok daha dayanıklıdır. Her platform değişikliğinde seçicilerinizi güncellemek zorunda kalırsınız.

2. IP Rotasyonu Olmadan Agresif Kazıma

Tek IP ile saniyede 10 istek göndermek, IP'nizin dakikalar içinde yasaklanmasına yol açar. ProxyHat'ın rotasyonlu residential proxy'leri ile her istek farklı bir IP'den gelir, bu da toplam istek hızını IP havuzuna dağıtır.

3. Geo Uyumsuzluğu

Google Business reviews için gl=us parametresi kullanırken, proxy IP'nizi -country-DE ile Almanya'dan göndermek tutarsız sonuçlar üretir. URL parametreleri ve proxy lokasyonu her zaman uyumlu olmalıdır.

4. Sticky Session Kullanımının Yanlış Anlaşılması

Sticky session (-session-xxx), aynı IP'yi korur — bu, çok sayfalı profillerde oturum tutarlılığı için iyidir. Ancak tek bir sticky session ile 100+ sayfa kazımak, o IP'nin yasaklanmasına yol açabilir. Çözüm: her 10-20 sayfada yeni bir session ID kullanın.

ProxyHat Kurulumu ve Yapılandırması

ProxyHat'ı kullanmaya başlamak için fiyatlandırma sayfasını inceleyin ve residential proxy paketinizi seçin. Dashboard'dan kullanıcı adı ve şifrenizi alabilirsiniz.

ProxyHat Bağlantı Detayları

Kullanılabilir Bayraklar

• country-US — ABD IP'si
• country-DE-city-berlin — Berlin, Almanya IP'si
• session-abc123 — Sticky session (aynı IP'yi koru)

Daha fazla teknik detay için ProxyHat dokümantasyonunu inceleyin. Web kazıma kullanım senaryosu sayfamızda daha fazla örnek bulabilirsiniz.

Etkik Kazıma ve Resmi API Kullanımı

Yorum verisi toplarken etik sınırlara mutlaka uyun:

• Yalnızca herkese açık veri: Giriş gerektiren içerikleri kazımayın. Kullanıcı adları gibi PII verilerini toplamaktan kaçının.
• robots.txt'ye saygı: Her platformun robots.txt dosyasını kontrol edin. Disallow ile işaretlenmiş yolları kazımayın.
• Rate limitlere uyum: İstekler arası makul bekleme süreleri koyun. Platformlara DDoS benzeri yük bindirmeyin.
• Veri kullanımı: Topladığınız veriyi ticari amaçla kullanmadan önce platform ToS'unu inceleyin. Bazı platformlar veri yeniden kullanımını kısıtlar.
• GDPR uyumu: AB vatandaşlarına ait yorum verilerini işliyorsanız, GDPR kapsamında veri koruma yükümlülükleri geçerli olabilir.

Bazı durumlarda resmi API'ler daha iyi bir seçenektir:

• Google Places API: Yalnızca son 5 yorumu döndürür, ancak resmi ve ToS uyumlu.
• Trustpilot API: İşletme sahipleri için resmi API mevcuttur, ancak üçüncü taraflar için kısıtlıdır.
• G2 API: G2, partner programları üzerinden API erişimi sunabilir.

Resmi API mevcutsa ve ihtiyacınızı karşılıyorsa, her zaman API'yi tercih edin. API'ler daha kararlı, yasal olarak güvenli ve bakımı daha kolaydır. Web kazıma, API'nin yetersiz kaldığı veya erişilemediği durumlar için bir alternatif olmalıdır.

Temel Çıkarımlar

Key Takeaways:

• Yorum platformları agresif rate limiting ve geo-kişiselleştirme uygular; tek IP yeterli değildir.
• Rotasyonlu residential proxy'ler, IP başına istek sınırlarını dağıtarak engellenmeyi önler.
• Trustpilot'ta __NEXT_DATA__ JSON'ını kullanmak, HTML seçicilerinden daha dayanıklıdır.
• G2 için residential IP + gerçekçi header'lar + yavaş tempo şarttır.
• Google Business reviews'da hl/gl parametreleri ve proxy lokasyonu uyumlu olmalıdır.
• Sticky session'ı her 10-20 sayfada yenileyin; tek IP'yi aşırı kullanmayın.
• Herkese açık veri ile sınırlı kalın, ToS ve robots.txt'ye saygı gösterin.

Yorum verisi kazıma projeniz için residential proxy'lere ihtiyacınız varsa, ProxyHat fiyatlandırması sayfasını inceleyebilir ve SERP takibi gibi diğer kullanım senaryolarımıza göz atabilirsiniz.