Japon Proksileri Neden Kritik?
Japonya, dünyanın en büyük dördüncü e-ticaret pazarı. Rakuten tek başına yılda 12 trilyon yen üzeri işlem hacmine sahip. Ancak bu pazarın dışarıdan erişilmesi son derece zor: Japon platformları yabancı IP'leri agresif şekilde engeller, içerikleri bölgesel olarak filtreler ve rate-limit kuralları uygular. Japon proksileri olmadan bu pazarda anlamlı veri toplamak neredeyse imkansızdır.
Bu rehber, global e-ticaret istihbarat ekiplerinin Japonya'ya genişleme sürecinde karşılaşacağı teknik zorlukları ve çözümleri detaylı şekilde ele alıyor. Rakuten'den Mercari'ye, Shift-JIS kodlamasından APPI uyumluluğuna kadar tüm kritik noktaları inceliyoruz.
Japonya'da Yabancı IP'ler Neden Çalışmaz?
Japon e-ticaret siteleri, yabancı trafiğe karşı üç temel savunma mekanizması kullanır:
- Geo-blocking: Rakuten ve Yahoo! Japan, ABD/APAC IP'lerinden gelen talepleri doğrudan 403 veya CAPTCHA sayfalarına yönlendirir.
- Bölgesel katalog filtrelemesi: Rakuten'in JP mağazası ile Global mağazası tamamen farklı ürün setleri sunar. JP kataloğuna yalnızca Japon IP'leriyle erişilebilir.
- Agresif rate-limiting: Yabancı IP'ler saniyede 1-2 istekle sınırlanırken, Japon IP'leri saniyede 10-20 istek yapabilir.
Gerçek etki: Bir fiyat karşılaştırma projesinde, ABD IP'leriyle Yahoo! Japan Auctions'tan yalnızca %12 başarı oranı elde edildi. Japon residential proksilerine geçildiğinde başarı oranı %94'e çıktı.
Temel Japon Platformları ve Kazıma Senaryoları
Rakuten — Japonya'nın En Büyük Marketplace'i
Rakuten, 50.000'den fazla mağazasıyla Japonya'nın en büyük e-ticaret platformu. Rakuten'i kazımak için bilmeniz gerekenler:
- Ürün sayfaları dinamik olarak yüklenir — headless browser veya rendering gerekli.
- Fiyatlar vergi dahil (税込) ve vergi hariç (税抜) olarak ayrı gösterilir; her ikisini de yakalamak önemli.
- Stok durumu, mağaza bazında farklı API uçlarından gelir.
- Mağaza puan sistemi (スーパーDEAL) zamana bağlı indirimler sunar — bunları gerçek zamanlı izlemek için sticky session gerekir.
Mercari — C2C Lider Platform
Mercari, Japonya'nın en popüler C2C (tüketici-tüketici) uygulaması. 20 milyondan fazla aktif kullanıcıya sahip. Kazıma zorlukları:
- Mobil-öncelikli tasarım: API uç noktaları mobil uygulama üzerinden erişime optimize edilmiş.
- Anti-bot: Cloudflare ve özel bot tespiti katmanları.
- Dinamik fiyatlandırma: Ürünler sık sık yeniden fiyatlandırılır, 5 dakikalık polling döngüsü gerekebilir.
Yahoo! Japan Auctions — Japonya'nın eBay'i
Yahoo! Japan Auctions, 7 milyondan fazla aktif ilanla Japonya'nın en büyük açık artırma platformu. Kritik noktalar:
- Açık artırma bitimine son 10 dakikada fiyatlar hızla değişir — gerçek zamanlı izleme şart.
- Satıcı derecelendirmeleri ve ürün açıklamaları Shift-JIS ile kodlanmış olabilir.
- Yabancı IP'lerden erişim neredeyse tamamen engellenir.
Kakaku.com — Fiyat Karşılaştırma Devi
Kakaku.com, Japonya'nın lider fiyat karşılaştırma sitesi. Elektronikten beyaz eşyaya her kategoride gerçek zamanlı fiyat verisi sunar. Kategori ağacı derin ve hiyerarşiktir; doğru kategoriye inmeden anlamlı veri almak zordur.
Tabelog — Yemek ve Restoran İncelemeleri
Tabelog, Japonya'nın Yelp'i: 800.000'den fazla restoran kaydı. Puan sistemi 1-5 arası, ancak 3.5+ puan zaten çok iyi kabul edilir. Menü fiyatları, çalışma saatleri ve yoğunluk verisi içerir.
SUUMO — Gayrimenkul İlanları
SUUMO, Japonya'nın en büyük gayrimulkul platformu. Kira ve satılık daire verileri, istatistik bölge (駅) bazında organize edilir. Tokyo'da 100+ istasyon bölgesi ayrı ayrı taranmalıdır.
Platform Karşılaştırması
| Platform | Veri Türü | Anti-bot Zorluk | Önerilen Proxy Türü | Rotasyon Stratejisi |
|---|---|---|---|---|
| Rakuten | Ürün, fiyat, stok | Yüksek | Residential sticky | 30 dk oturum |
| Mercari | C2C ilan, fiyat | Çok Yüksek | Mobile proxy | Per-request |
| Yahoo! Auctions | Açık artırma, teklif | Yüksek | Residential sticky | Açık artırma süresi boyunca |
| Kakaku.com | Fiyat karşılaştırma | Orta | Datacenter / Residential | Per-request |
| Tabelog | Restoran, inceleme | Düşük-Orta | Datacenter | Per-request |
| SUUMO | Gayrimenkul ilan | Orta | Residential | Per-request |
Japon Metin İşleme: Shift-JIS ve CJK Zorlukları
Japon web kazımanın en göz ardı edilen yönü metin kodlamasıdır. Birçok Japon sitesi hâlâ Shift-JIS (Shift Japanese Industrial Standards) kodlaması kullanır — özellikle eski Yahoo! Auctions sayfaları ve bazı Rakuten mağaza sayfaları.
Temel sorunlar:
- Shift-JIS vs UTF-8: HTTP başlığı charset belirtmeden geldiğinde, Python requests varsayılan olarak ISO-8859-1 yorumlar ve mojibake (文字化け) oluşur.
- Çözüm: Yanıt gövdesini Shift-JIS olarak decode edip UTF-8'e dönüştürün.
- CJK tokenizasyon: Japonca kelimeler boşlukla ayrılmaz. Arama sorgularınızda MeCab veya Kuromoji gibi Japonca tokenizer kullanmanız gerekir. "東京 格安 ホテル" (Tokyo ucuz otel) sorgusu üç ayrı token olarak işlenmelidir.
import requests
# Shift-JIS kodlamalı Japon sitesinden veri çekme
proxies = {
"http": "http://user-country-JP:pass@gate.proxyhat.com:8080",
"https": "http://user-country-JP:pass@gate.proxyhat.com:8080",
}
response = requests.get("https://auctions.yahoo.co.jp/", proxies=proxies)
# Shift-JIS'i UTF-8'e dönüştür
content = response.content.decode("shift_jis", errors="replace")
print(content[:500])APPI Uyumluluğu: Japonya'nın GDPR'i
Japonya'nın APPI (Act on the Protection of Personal Information) yasası, AB'nin GDPR'ına benzer koruma düzeyi sunar. E-ticaret veri kazıma bağlamında bilmeniz gerekenler:
- Kapsam: APPI, "kişisel bilgi" (生存する個人に関する情報) tanımını kullanır. Bu, ad, e-posta, telefon numarası ve dolaylı tanımlayıcıları kapsar.
- Kamu verisi: Genel olarak erişilebilir ürün fiyatları, mağaza derecelendirmeleri ve stok durumları APPI kapsamında "kişisel bilgi" sayılmaz. Ancak satıcı kişisel bilgileri (bireysel satıcı adı, adresi) kazımak APPI ihlali olabilir.
- Üçüncü taraf paylaşımı: Topladığınız verileri üçüncü tarafla paylaşıyorsanız, APPI kapsamında bilgilendirme yükümlülüğünüz vardır.
- Çapraz sınır transferi: Japonya dışına kişisel bilgi transferi, yeterli koruma önlemleri gerektirir. AB-Japonya yeterlilik karşılıklı tanıma anlaşması (adequacy arrangement) vardır, ancak veri minimize etme prensibine uyun.
Pratik kural: Yalnızca herkese açık ürün ve fiyat verisi kazıyın. Satıcı kişisel bilgilerini, kullanıcı yorumlarında kişisel verileri ve ödeme bilgilerini asla kaydetmeyin.
Konbini Ödeme Akışları ve Stok Tespiti
Japonya e-ticaretinin kendine özgü bir yönü, konbini (コンビニ) ödeme seçeneğidir. Konbini, 7-Eleven, FamilyMart, Lawson gibi marketlerde nakit ödeme yapma imkanı sunar. Bu durum stok tespitini doğrudan etkiler:
- "Konbini ödeme ile sipariş edilebilir" ≠ "stokta": Bir ürün konbini ödeme seçeneği sunuyorsa, sipariş verilebilir görünür ancak fiili stokta olmayabilir. Ödeme markette yapıldıktan sonra stok kontrolü gerçekleşir.
- Rezervasyon süresi: Konbini ödemelerde 3-7 gün ödeme süresi vardır. Bu süre zarfında ürün "sipariş alındı" statüsünde görünür, ancak stoktan düşülmemiş olabilir.
- Stok doğrulama stratejisi: Gerçek stok durumunu tespit etmek için kredi kartı ödeme akışını takip edin. Konbini seçeneği olan ürünlerde stok miktarı API'sini ayrıca sorgulayın.
Şehir Seviyesinde Geo-Targeting: Tokyo ve Osaka
ProxyHat ile Japonya içinde şehir seviyesinde hedefleme yapabilirsiniz. Bu, bölgesel fiyat farklarını ve stok durumlarını izlemek için kritiktir.
Tokyo hedefleme örneği:
# Tokyo IP ile Rakuten kazıma
curl -x "http://user-country-JP-city-tokyo:pass@gate.proxyhat.com:8080" \
"https://search.rakuten.co.jp/search/mall/%E6%9D%B1%E4%BA%AC+%E3%83%9B%E3%83%86%E3%83%AB/"Osaka hedefleme örneği:
# Osaka IP ile SUUMO gayrimenkul kazıma
curl -x "http://user-country-JP-city-osaka:pass@gate.proxyhat.com:8080" \
"https://suumo.jp/osaka/"Şehir seviyesinde hedefleme neden önemli?
- Rakuten: Kargo ücretleri bölgeye göre değişir. Tokyo'dan gönderilen bir ürün Hokkaido'ya daha pahalı ulaşır.
- SUUMO: Kira fiyatları istasyon bazında dramatik farklılık gösterir. Shibuya istasyonu çevresi ile Kichijoji çevresi arasındaki fiyat farkı %30-40 olabilir.
- Tabelog: Restoran yoğunluğu ve puanları mahalle seviyesinde değişir. Ginza ile Shimokitazawa tamamen farklı profiller sunar.
Sticky Session ile Açık Artırma Takibi
Yahoo! Japan Auctions gibi platformlarda, bir açık artırmayı baştan sona aynı IP ile takip etmeniz gerekir. IP değişimi şüpheli aktivite olarak işaretlenip hesabı engelleyebilir.
import requests
# Açık artırma süresi boyunca aynı oturumu koru
session_id = "auction-watch-20250115"
proxy_url = f"http://user-country-JP-session-{session_id}:pass@gate.proxyhat.com:8080"
proxies = {"http": proxy_url, "https": proxy_url}
# 5 dakikada bir teklif takibi
import time
while True:
resp = requests.get(
"https://auctions.yahoo.co.jp/jp/auction/item-example",
proxies=proxies
)
# Shift-JIS kontrolü
if 'charset=shift_jis' in resp.text.lower():
content = resp.content.decode('shift_jis', errors='replace')
else:
content = resp.text
# Teklif analizi...
time.sleep(300)En İyi Uygulamalar
- Residential proxy tercih edin: Japon platformları datacenter IP'leri hızlı tespit eder. Residential veya mobile proxy kullanın.
- Sticky session kullanın: Oturum bazlı platformlarda (Rakuten, Yahoo! Auctions) aynı IP'yi 15-30 dakika boyunca koruyun.
- Rate-limit uygulayın: Saniyede 2-3 istek, Japon siteleri için güvenli üst limittir. Agresif polling hesap engellemesine yol açar.
- User-Agent rotasyonu: Japon mobil kullanıcılarını taklit edin — Mercari'nin trafiğinin %70'i mobil cihazlardan gelir.
- Kodlamayı kontrol edin: Her yanıtta charset başlığını denetleyin ve Shift-JIS'i UTF-8'e dönüştürün.
- APPI uyumlu veri minimize etme: Yalnızca gerekli veriyi toplayın, kişisel bilgileri kazımayın.
- Konbini farkındalığı: Stok tespitinde konbini ödeme seçeneğinin yanıltıcı olabileceğini unutmayın.
Temel Çıkarımlar
- Japon e-ticaret platformları yabancı IP'leri agresif şekilde engeller — Japon residential proksileri zorunludur.
- Rakuten, Mercari ve Yahoo! Auctions JP-özel kataloglar sunar; bu içeriklere yalnızca Japon IP'leriyle erişilebilir.
- Shift-JIS kodlaması yaygındır — her yanıtı charset kontrolünden geçirin.
- APPI uyumluluğu: Yalnızca kamu ürün/fiyat verisi kazıyin, kişisel bilgilerden kaçının.
- Konbini ödeme akışları stok tespitini yanıltabilir — kredi kartı akışını referans alın.
- Tokyo ve Osaka şehir seviyesinde hedefleme, bölgesel fiyat analizleri için kritiktir.
Japonya pazarına girmek isteyen e-ticaret istihbarat ekipleri için Japon residential proksileri yalnızca bir araç değil, zorunlu bir altyapı bileşenidir. ProxyHat'ın Japon residential ağıyla hemen başlayın ve Rakuten'den SUUMO'ya tüm platformlardan güvenilir veri kazıma deneyimi yaşayın.
