성능 모니터링의 중요성
프록시 성능을 지속적으로 모니터링해야 스크래핑 인프라의 문제를 조기에 발견하고 비용을 최적화할 수 있습니다.
핵심 지표
| 지표 | 설명 | 목표값 |
|---|---|---|
| 성공률 | 2xx 응답 비율 | 95%+ |
| 지연 시간 | 요청-응답 시간 | <2초 |
| 대역폭 | GB 사용량 | 예산 이내 |
| 차단률 | 403/429 비율 | <5% |
모니터링 구현
import time
from collections import defaultdict
class ProxyMonitor:
def __init__(self):
self.stats = defaultdict(lambda: {"success": 0, "failed": 0, "total_time": 0})
def record(self, proxy_type, status_code, elapsed):
key = proxy_type
self.stats[key]["total_time"] += elapsed
if 200 <= status_code < 300:
self.stats[key]["success"] += 1
else:
self.stats[key]["failed"] += 1
def report(self):
for proxy_type, s in self.stats.items():
total = s["success"] + s["failed"]
rate = s["success"] / total * 100 if total else 0
avg_time = s["total_time"] / total if total else 0
print(f"{proxy_type}: 성공률={rate:.1f}%, 평균지연={avg_time:.2f}s")
알림 설정
- 성공률이 90% 이하로 떨어지면 알림
- 평균 지연이 5초를 초과하면 알림
- 일일 대역폭이 예산의 80%를 초과하면 알림
핵심 요약
- 핵심 지표를 지속적으로 모니터링하십시오.
- 알림 시스템으로 문제를 조기에 발견하십시오.
- ProxyHat은 API를 통해 사용량 통계를 제공합니다.






