SERP takibi, bir web sitesinin arama motoru sonuç sayfalarındaki sıralamasını belirli anahtar kelimeler için düzenli olarak izleme sürecidir. SEO profesyonelleri, dijital pazarlama ekipleri ve içerik stratejistleri için temel bir uygulamadır; çünkü sıralamadaki değişimler organik trafik, dönüşüm ve gelir üzerinde doğrudan etkiye sahiptir. Bu rehberde SERP takibinin ne olduğunu, neden önemli olduğunu ve ProxyHat proxy altyapısını kullanarak güvenilir bir SERP izleme sistemi nasıl kuracağınızı adım adım inceleyeceğiz.
SERP Takibi Nedir? Temel Kavramlar
SERP, "Search Engine Results Page" ifadesinin kısaltmasıdır ve bir arama sorgusu yapıldığında karşınıza çıkan sonuç sayfasını tanımlar. Wikipedia'ya göre bir SERP genellikle organik sonuçlar, ücretli reklamlar, bilgi kutuları, görsel sonuçlar ve yerel işletme listeleri gibi birden fazla bileşenden oluşur. SERP takibi ise bu sonuç sayfalarındaki konumunuzu zaman içinde izleyerek trendleri, dalgalanmaları ve rakip hareketlerini analiz etme işlemidir.
Temel olarak SERP takibi şu verileri toplar:
- Sıralama pozisyonu: Hedef anahtar kelime için sayfanızın kaçıncı sırada olduğu.
- SERP özellikleri: Featured snippet, bilgi paneli, "İnsanlar ayrıca şunları soruyor" kutusu gibi özel sonuçlarda yer alıp almadığınız.
- Rakip konumları: Aynı sorgu için rakiplerinizin nerede sıralandığı.
- Sayfa URL'si: Hangi sayfanızın sıralandığı (özellikle birden fazla sayfa aynı sorgu için yarışıyorsa).
- Tarihsel trend: Zaman içinde pozisyon değişimlerinin grafiği.
Bu verileri manuel olarak kontrol etmek mümkündür, ancak yüzlerce anahtar kelime için günlük veya saatlik takip gerektiğinde otomasyon kaçınılmaz hale gelir. İşte bu noktada proxy tabanlı SERP scraping devreye girer.
SERP Takibi Neden Önemlidir?
Arama motoru sıralamaları statik değildir. Google'ın Search Central dokümantasyonunda da belirtildiği gibi, algoritmalar sürekli güncellenir ve sonuçlar kullanıcı konumu, arama geçmişi ve kişiselleştirme faktörlerine göre değişir. Bu dinamik yapı, SERP takibini SEO çalışmalarının merkezine yerleştirir.
Organik Trafik ve Gelir Üzerindeki Etki
Araştırmalar, Google'da ilk sıradaki organik sonucun tıklama oranının (CTR) yaklaşık %27-31 olduğunu, ikinci sıraya düştüğünde ise bu oranın %15'e kadar gerilediğini göstermektedir. Üçüncü sayfaya geçtiğinizde tıklama oranı neredeyse %1'in altına iner. Bu, sıralamadaki tek basamaklık bir yükselişin trafiğinizi ikiye katlayabileceği anlamına gelir.
SERP takibi yapmadan SEO çalışmak, bir pusula olmadan yolculuğa çıkmak gibidir. Hangi anahtar kelimelerde yükseldiğinizi, hangilerinde gerilediğinizi ve hangi içerik stratejilerinin işe yaradığını ölçemezsiniz.
Rakip Analizi
SERP takibi yalnızca kendi sıralamanızı izlemekle kalmaz; aynı sorgular için rakiplerinizin konumlarını da ortaya koyar. Bir rakibin belirli bir anahtar kelimede aniden yükselmesi, yeni bir içerik yayınladığını veya backlink kampanyası başlattığını gösterebilir. Bu bilgiyi erken yakalamak, rekabet avantajı sağlar.
Algoritma Güncellemelerinin Tespiti
Google yılda ortalama 4-6 büyük algoritma güncellemesi ve binlerce küçük güncelleme yapar. SERP takibi, sıralamalardaki ani dalgalanmaları yakalayarak bir algoritma güncellemesinden etkilenip etkilenmediğinizi hızlıca görmenizi sağlar. Örneğin, tüm anahtar kelimelerinizde aynı anda %20'den fazla düşüş görüyorsanız, bu bir core update işareti olabilir.
SERP Takibi Yöntemleri: Karşılaştırma
SERP verisi toplamak için üç ana yaklaşım vardır. Her birinin avantajları ve dezavantajları bulunur:
| Yöntem | Maliyet | Esneklik | Veri Tutarlılığı | Ölçeklenebilirlik |
|---|---|---|---|---|
| Manuel kontrol | Ücretsiz | Düşük | Düşük (kişiselleştirme etkisi) | Çok düşük (10-20 kelime) |
| SERP API servisleri | $50-$500/ay | Orta (önceden tanımlı alanlar) | Yüksek | Yüksek (binlerce kelime) |
| Kendi scraper'ınız + proxy | $10-$200/ay (proxy maliyeti) | Çok yüksek (tam kontrol) | Yüksek (doğru proxy ile) | Çok yüksek (sınırsız) |
Manuel kontrol, küçük projeler için yeterli olabilir ancak kişiselleştirme, coğrafi konum ve arama geçmişi nedeniyle yanıltıcı sonuçlar verir. SERP API servisleri kullanışlıdır ancak sorgu başına maliyeti yüksektir ve veri formatı üzerinde tam kontrol sunmaz. Kendi scraper'ınızı bir proxy ağı ile kullanmak ise en esnek ve maliyet-etkin çözümdür.
Proxy ile SERP Scraping Nasıl Yapılır?
Google, otomatik scraping'e karşı güçlü anti-bot korumaları uygular. Tek bir IP'den çok sayıda istek gönderirseniz, CAPTCHA'lar, geçici yasaklar ve kalıcı IP engellemeleriyle karşılaşırsınız. Proxy kullanımı, istekleri farklı IP'lerden dağıtarak bu engelleri aşmanın standart yoludur.
Hangi Proxy Türü SERP Takibi için Uygundur?
SERP scraping için genellikle üç proxy türü değerlendirilir:
- Veri merkezi proxy'leri: Hızlı ve ucuzdur, ancak Google tarafından daha kolay tespit edilir. Düşük hacimli, az riskli görevler için uygundur.
- Residential proxy'leri: Gerçek ev IP'lerinden gelir ve normal kullanıcı trafiğine karışır. Google'ın anti-bot sistemlerini geçme başarısı %90'ın üzerindedir. SERP scraping için en çok tercih edilen seçenektir.
- Mobil proxy'leri: Operatör IP'lerinden gelir ve en yüksek güven seviyesine sahiptir, ancak maliyeti daha yüksektir ve hızı değişken olabilir.
SERP takibi için residential proxy'ler genellikle en iyi dengeyi sunar: yüksek başarı oranı, maklatlı hız ve erişilebilir fiyat. ProxyHat'ın residential proxy ağı, 190+ ülkede milyonlarca IP ile bu ihtiyacı karşılar. Mevcut lokasyonları inceleyerek hedef pazarınıza uygun IP'leri seçebilirsiniz.
Coğrafi Hedefleme
Google sonuçları kullanıcının coğrafi konumuna göre kişiselleştirir. "İstanbul pizza" sorgusunun sonuçları İstanbul'da ve Ankara'da farklıdır. Bu nedenle SERP takibi yaparken, hedef kitlenizin bulunduğu coğrafi konumdan istek göndermeniz gerekir. ProxyHat, ülke ve şehir düzeyinde coğrafi hedefleme sunar.
Adım Adım SERP Scraping Uygulaması
1. Basit curl ile SERP İsteği
Aşağıdaki örnek, ProxyHat HTTP proxy üzerinden Google'a bir arama isteği gönderir:
curl -x http://user-country-US:pass@gate.proxyhat.com:8080 \
"https://www.google.com/search?q=seo+araclari&num=100" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept-Language: en-US,en;q=0.9"Bu komut, ABD lokasyonundan bir residential IP kullanarak Google'da "seo araçları" sorgusunun ilk 100 sonucunu çeker. user-country-US flag'i ile ülke hedeflemesi yapılır.
2. Python ile SERP Scraper
Daha pratik bir örnek için Python requests kütüphanesi ile bir SERP scraper yazalım:
import requests
from bs4 import BeautifulSoup
import time
PROXY = "http://user-country-US:pass@gate.proxyhat.com:8080"
proxies = {
"http": PROXY,
"https": PROXY,
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
def scrape_serp(keyword, num_results=100):
url = f"https://www.google.com/search?q={keyword}&num={num_results}"
response = requests.get(url, headers=headers, proxies=proxies, timeout=30)
if response.status_code != 200:
print(f"Hata: {response.status_code}")
return []
soup = BeautifulSoup(response.text, "html.parser")
results = []
for div in soup.find_all("div", class_="g"):
title_elem = div.find("h3")
link_elem = div.find("a")
if title_elem and link_elem:
results.append({
"title": title_elem.text,
"url": link_elem.get("href"),
})
return results
keywords = ["seo araclari", "serp takibi", "anahtar kelime arastirmasi"]
for kw in keywords:
print(f"\n=== {kw} ===")
results = scrape_serp(kw)
for i, r in enumerate(results[:10], 1):
print(f"{i}. {r['title']} - {r['url']}")
time.sleep(2) # Hız sınırlandırmaBu script, her anahtar kelime için Google'dan sonuç çeker, HTML'i parse eder ve ilk 10 sonucu listeler. Her istek arasında 2 saniye bekleme eklenmiştir; bu, Google'ın hız sınırı tetiklememesi için önemlidir.
3. Node.js ile SERP Scraper
const axios = require('axios');
const cheerio = require('cheerio');
const PROXY = 'http://user-country-US:pass@gate.proxyhat.com:8080';
async function scrapeSERP(keyword, numResults = 100) {
const url = `https://www.google.com/search?q=${encodeURIComponent(keyword)}&num=${numResults}`;
const response = await axios.get(url, {
proxy: {
protocol: 'http',
host: 'gate.proxyhat.com',
port: 8080,
auth: { username: 'user-country-US', password: 'pass' }
},
headers: {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept-Language': 'en-US,en;q=0.9',
},
timeout: 30000,
});
const $ = cheerio.load(response.data);
const results = [];
$('div.g h3').each((i, elem) => {
const link = $(elem).parent().attr('href');
if (link) {
results.push({ title: $(elem).text(), url: link });
}
});
return results;
}
(async () => {
const keywords = ['seo araclari', 'serp takibi', 'proxy kullanimi'];
for (const kw of keywords) {
console.log(`\n=== ${kw} ===`);
const results = await scrapeSERP(kw);
results.slice(0, 10).forEach((r, i) =>
console.log(`${i + 1}. ${r.title} - ${r.url}`)
);
await new Promise(r => setTimeout(r, 2000));
}
})();4. Sticky Session ile Tutarlı Veri
Bazı durumlarda, bir dizi isteğin aynı IP'den gelmesi gerekir (örneğin, sayfalama yaparken veya oturum tabanlı içerik çekerken). ProxyHat, sticky session desteği sunar:
# Aynı IP'den 10 dakikalık oturum
SESSION_ID = "serp-tracking-001"
PROXY = f"http://user-session-{SESSION_ID}:pass@gate.proxyhat.com:8080"Sticky session, aynı IP adresini belirli bir süre boyunca korur. Bu, Google'ın sayfalar arası gezinme sırasında oturum tutarlılığı beklendiği durumlarda faydalıdır.
Yaygın Hatalar ve Dikkat Edilmesi Gerekenler
1. Kişiselleştirilmiş Sonuçlar
Google, giriş yapmış kullanıcılar ve arama geçmişi olan IP'ler için kişiselleştirilmiş sonuçlar gösterir. SERP takibi yaparken, tarayıcı çerezleri ve oturum verileri temizlenmemişse sonuçlar yanıltıcı olabilir. Proxy kullanımı bu sorunu büyük ölçüde çözer, çünkü her istek farklı bir IP'den gelir ve Google'da oturum bulunmaz.
2. Aşırı İstek Hızı
Çok hızlı istek göndermek, Google'ın anti-bot sistemlerini tetikler. Tek bir IP'den saniyede 5 istek bile CAPTCHA'ya yol açabilir. ProxyHat ile istekleri farklı IP'lere dağıtsanız bile, makul bir hız tutturmak gerekir. Saniyede 1-2 istek, 100 anahtar kelimelik bir listeyi 50-100 saniyede tamamlamak için yeterlidir.
3. Yanlış User-Agent Kullanımı
Eski veya tutarsız User-Agent string'leri, bot tespitini kolaylaştırır. Güncel bir tarayıcı User-Agent'ı kullanmak ve Accept, Accept-Language gibi başlıkları da eklemek, başarı oranını önemli ölçüde artırır.
4. HTML Yapısı Değişiklikleri
Google, SERP HTML yapısını sık sık değiştirir. Parser'ınız belirli CSS sınıflarına bağlıysa, bir gün çalışmayı durdurabilir. Düzenli test ve alternatif parsing stratejileri (regex, XPath) kullanmak dayanıklılığı artırır.
5. CAPTCHA Yönetimi
Residential proxy'ler CAPTCHA riskini büyük ölçüde azaltır, ancak sıfıra indirmez. Yüksek hacimli scraping yaparken, CAPTCHA çözüm servisleri (örneğin 2Captcha, Anti-Captcha) entegrasyonu gerekebilir. Başarı oranını %85'in altında görüyorsanız, istek hızınızı düşürün veya daha fazla coğrafi varyasyon ekleyin.
6. robots.txt ve Etik İncelemeler
Google'ın robots.txt dosyası, scraping'e izin vermez. Bu, SERP scraping'in Google'ın kullanım şartlarına aykırı olduğu anlamına gelir. Ancak, SERP takibi için kişisel kullanım veya araştırma amaçlı sınırlı scraping yaygın bir uygulamadır. Yasal riskler konusunda bir hukuk danışmanına başvurmanız önerilir.
ProxyHat ile SERP Takibi Kurulumu
ProxyHat'ı SERP takibi için kullanmak basittir. Fiylandırma sayfasından ihtiyacınız olan proxy paketini seçin ve hesabınızı oluşturun. Ardından, dashboard üzerinden kullanıcı adınızı ve şifrenizi alın.
Temel Bağlantı Bilgileri
| Parametre | Değer |
|---|---|
| Gateway | gate.proxyhat.com |
| HTTP Port | 8080 |
| SOCKS5 Port | 1080 |
| Kimlik doğrulama | Kullanıcı adı + şifre |
SOCKS5 ile SERP İsteği
Bazı durumlarda SOCKS5 protokolü daha iyi performans sunar. ProxyHat SOCKS5 desteği sunar:
curl -x socks5://user-country-DE:pass@gate.proxyhat.com:1080 \
"https://www.google.de/search?q=seo+tools&num=100"Bu örnekte, Almanya lokasyonundan bir SOCKS5 proxy ile Google Almanya sonuçları çekilir.
Şehir Düzeyinde Hedefleme
Yerel SEO çalışmaları için şehir düzeyinde hedefleme kritik olabilir:
# Berlin IP'si ile SERP isteği
curl -x http://user-country-DE-city-berlin:pass@gate.proxyhat.com:8080 \
"https://www.google.de/search?q=restoran+berlin&num=50"Otomatik Rotasyon
ProxyHat, her istekte otomatik olarak yeni bir IP atar. Ek yapılandırma gerekmez; sadece user kullanıcı adını kullanın ve her istek farklı bir residential IP'den gelir:
import requests
PROXY = "http://user:pass@gate.proxyhat.com:8080"
proxies = {"http": PROXY, "https": PROXY}
# Her istek farklı bir IP'den gelir
for keyword in ["seo", "serp", "proxy"]:
r = requests.get(
f"https://www.google.com/search?q={keyword}&num=100",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0 ..."}
)
print(f"{keyword}: {r.status_code}")ProxyHat Dokümantasyonu
Detaylı yapılandırma seçenekleri, kimlik doğrulama yöntemleri ve gelişmiş özellikler için ProxyHat dokümantasyonunu inceleyin. SERP tracking use case sayfamızda ise sektöre özel örnekler bulabilirsiniz.
En İyi Uygulamalar
İstek Hızını Yönetin
Her anahtar kelime için 2-5 saniye aralık bırakın. 500 anahtar kelimelik bir listeyi 20-40 dakikada tamamlamak, günlük takip için yeterlidir. Daha sık takip gerekiyorsa, anahtar kelimeleri öncelik gruplarına ayırın: yüksek öncelikli kelimeleri saatlik, diğerlerini günlük kontrol edin.
Veri Saklama ve Trend Analizi
SERP verilerini bir veritabanında (PostgreSQL, MongoDB veya basit CSV dosyaları) saklayın. Günlük pozisyon verilerini zaman serisi olarak saklamak, trend analizi ve algoritma güncellemelerinin tespiti için gereklidir. En az 90 günlük geçmiş veri, mevsimsel dalgalanmaları ve algoritma etkilerini analiz etmek için minimum süre olarak önerilir.
Başarı Oranını İzleyin
Scraping başarı oranınızı (200 OK yanıtlarının toplam isteklere oranı) düzenli olarak kontrol edin. Başarı oranı %90'ın altına düşerse, proxy rotasyonunu artırın, istek hızını düşürün veya User-Agent çeşitliliği ekleyin. ProxyHat residential proxy'leri ile tipik başarı oranı %92-96 arasındadır.
Birden Fazla Coğrafi Konum İzleyin
Hedef kitleniz birden fazla ülkede veya şehirde bulunuyorsa, her lokasyon için ayrı SERP verileri toplayın. ProxyHat'ın ülke ve şehir hedefleme özelliği ile bu kolayca yapılır:
locations = [
{"country": "US", "city": "new-york"},
{"country": "US", "city": "los-angeles"},
{"country": "DE", "city": "berlin"},
{"country": "TR", "city": "istanbul"},
]
for loc in locations:
username = f"user-country-{loc['country']}-city-{loc['city']}"
proxy = f"http://{username}:pass@gate.proxyhat.com:8080"
# SERP isteği gönder...Web Scraping Etik İlkeleri
SERP scraping yaparken etik sınırlara dikkat edin:
- İstek hızınızı makul tutun; Google'ın sunucularına aşırı yük bindirmeyin.
- Topladığınız verileri yalnızca analiz amacıyla kullanın; yeniden yayınlamayın.
- Yasal düzenlemelere (GDPR, CCPA) uyun; kişisel veri toplamayın.
- Ticari bir SERP takibi aracı geliştiriyorsanız, Google'ın kullanım şartlarını ve yasal riskleri bir avukatla değerlendirin.
Web scraping use case sayfamızda etik scraping uygulamaları ve best practice'ler hakkında daha fazla bilgi bulabilirsiniz.
Önemli Çıkarımlar
SERP takibi, SEO performansını ölçmek ve optimize etmek için temel bir uygulamadır; proxy tabanlı scraping, bunu ölçeklenebilir ve maliyet-etkin şekilde yapmanın en iyi yoludur.
İşte bu rehberden çıkan en önemli pratik noktalar:
- SERP takibi, organik trafik ve gelir üzerinde doğrudan etkiye sahip olduğu için SEO çalışmalarının merkezinde yer almalıdır.
- Residential proxy'ler, Google'ın anti-bot sistemlerini geçmede %90'ın üzerinde başarı oranı sunar ve SERP scraping için en uygun proxy türüdür.
- İstek hızını saniyede 1-2 isteğe tutmak, CAPTCHA riskini önemli ölçüde azaltır ve başarı oranını yüksek tutar.
- Coğrafi hedefleme, yerel SEO çalışmaları için kritiktir; ProxyHat ülke ve şehir düzeyinde hedefleme sunar.
- En az 90 günlük SERP verisi saklamak, trend analizi ve algoritma güncellemelerinin tespiti için minimum gerekliliktir.
Sıkça Sorulan Sorular
SERP takibi nedir?
SERP takibi, bir web sitesinin Google ve diğer arama motorlarındaki anahtar kelime sıralamalarını düzenli olarak izleme ve kaydetme işlemidir. Pozisyon değişimleri, SERP özellikleri (featured snippet, bilgi paneli) ve rakip konumları gibi verileri toplar. Bu veriler, SEO stratejisinin etkinliğini ölçmek, algoritma güncellemelerinin etkisini tespit etmek ve rakip hareketlerini analiz etmek için kullanılır.
SERP takibi proxy kullanıcıları için neden önemlidir?
SERP takibi, proxy kullanıcıları için iki nedenden dolayı önemlidir. Birincisi, proxy'ler olmadan Google'a çok sayıda istek göndermek IP yasaklarına ve CAPTCHA'lara yol açar; proxy, bu engelleri aşarak tutarlı veri toplamayı sağlar. İkincisi, coğrafi hedefleme ile farklı ülkelerden ve şehirlerden SERP verisi çekmek, yerel SEO performansını analiz etmek için gereklidir ve bu yalnızca proxy ile mümkündür.
SERP takibi için hangi proxy türü en iyisidir?
SERP takibi için residential proxy'ler genellikle en iyi seçenektir. Gerçek ev IP'lerinden geldikleri için Google'ın anti-bot sistemlerini geçme başarısı %90'ın üzerindedir. Veri merkezi proxy'leri daha ucuz ve hızlıdır ancak daha kolay tespit edilir. Mobil proxy'ler en yüksek güven seviyesine sahiptir ancak maliyeti yüksektir. Çoğu SERP scraping senaryosu için residential proxy'ler hız, maliyet ve başarı oranı arasında en iyi dengeyi sunar.
SERP scraping yaparken engellenmeyi nasıl önlersiniz?
Engellenmeyi önlemek için birkaç strateji uygulayın: İstek hızını saniyede 1-2 isteğe sınırlandırın, her istekte farklı bir IP kullanmak için residential proxy rotasyonu yapın, güncel ve gerçekçi User-Agent string'leri kullanın, Accept-Language gibi başlıkları ekleyin ve istekler arasında 2-5 saniye rastgele bekleme süresi bırakın. Başarı oranı %85'in altına düşerse hızınızı azaltın veya coğrafi varyasyonu artırın.
Kendi SERP scraper'ımı mı yazmalıyım yoksa bir API mi kullanmalıyım?
Bu, ihtiyacınıza bağlıdır. 100-500 anahtar kelime için günlük takip yapıyorsanız, bir SERP API servisi kullanışlı olabilir. Ancak 1.000+ anahtar kelime izliyorsanız, kendi scraper'ınızı bir proxy ağı ile kullanmak maliyet açısından çok daha avantajlıdır. ProxyHat residential proxy'leri ile saniyede 1-2 istek hızında binlerce anahtar kelimeyi günlük olarak takip edebilirsiniz ve bu, çoğu SERP API servisinden çok daha ekonomiktir.
