소셜 리스닝 도구나 데이터 파이프라인을 구축하는 개발자라면 누구나 인스타그램(Instagram) 데이터 수집의 어려움을 잘 알고 있을 것입니다. 인스타그램은 끊임없이 스크래핑 방지 기술을 업그레이드하며, 단순한 HTTP 요청으로는 더 이상 공개 데이터조차 쉽게 가져올 수 없습니다. 이 가이드에서는 인스타그램 스크래핑(Scrape Instagram)의 기술적 장벽을 분석하고, 인스타그램 스크래핑 프록시(Instagram scraping proxy)를 활용해 안정적으로 공개 데이터에 접근하는 방법을 설명합니다.
면책 조항: 본 가이드는 합법적인 공개 데이터 접근에만 초점을 맞춥니다. 각 플랫폼의 서비스 약관(ToS)과 미국의 CFAA, 유럽의 GDPR 등 관련 법률을 반드시 준수해야 합니다. 로그인 자동화나 비공개 데이터 접근은 절대 시도하지 마세요.
인스타그램 스크래핑, 왜 이렇게 어려울까?
인스타그램은 메타(Meta) 산하의 플랫폼으로, 세계 최고 수준의 안티 봇(Anti-bot) 시스템을 자랑합니다. 대규모로 데이터를 수집하려 할 때 다음과 같은 장벽에 부딪히게 됩니다.
속도 제한(Rate Limits)과 로그인 벽(Login Wall)
인스타그램은 짧은 시간 안에 다수의 요청을 보내는 IP를 즉시 차단합니다. 로그인하지 않은 상태에서는 몇 번의 프로필 조회만 허용한 뒤 강제로 로그인 페이지로 리다이렉트합니다. 이른바 '로그인 벽(Login Wall)'은 익명 스크래퍼에게 가장 큰 걸림돌입니다.
안티 봇 시스템과 디바이스 핑거프린팅
메타의 안티 봇 시스템은 단순히 IP만 보지 않습니다. User-Agent, 화면 해상도, WebGL 렌더링 방식, Canvas 핑거프린트, 마우스/터치 이벤트 패턴 등 브라우저의 수많은 속성을 교차 검증하여 봇을 판별합니다. 일반적인 HTTP 클라이언트로는 이러한 핑거프린트를 완벽히 흉내 내기 어렵습니다.
로그인 없이 접근 가능한 공개 데이터
모든 것이 막힌 것 같아도, 로그인 없이도 접근할 수 있는 공개 데이터 영역은 존재합니다. 소셜 리스닝 파이프라인을 구축할 때는 이 영역에 집중해야 합니다.
- 공개 프로필 페이지: 사용자 이름, 프로필 사진, 바이오, 팔로워/팔로잉 수, 게시물 수
- 해시태그 페이지: 특정 해시태그가 포함된 최신 인기 게시물 목록
- 위치 페이지: 특정 장소에 태그된 게시물
- 릴스(Reels) 피드: 공개 설정된 숏폼 비디오 메타데이터
이 데이터들은 검색 엔진 크롤러에게도 어느 정도 노출되도록 설계되어 있으므로, 적절한 접근 방식을 사용하면 수집이 가능합니다.
인스타그램에서 레지덴셜 프록시가 필수적인 이유
데이터센터(Datacenter) IP를 사용해 인스타그램을 스크래핑하는 것은 자살 행위나 다름없습니다. 메타는 AWS, DigitalOcean, OVH 등 유명 클라우드 제공업체의 IP 대역을 모두 보유하고 있으며, 데이터센터 IP에서 들어오는 요청은 실제 사용자의 행동과 무관하게 즉시 차단 플래그를 받습니다.
반면, 인스타그램 레지덴셜 프록시(Residential proxies Instagram)는 실제 ISP(인터넷 서비스 제공자)를 통해 트래픽을 라우팅하므로, 인스타그램 서버 입장에서는 일반 가정용 인터넷 사용자의 접속과 구분하기 어렵습니다. 따라서 IP 차단 확률이 기하급수적으로 낮아집니다.
| 프록시 유형 | IP 출처 | 인스타그램 신뢰도 | 속도 | 가격 |
|---|---|---|---|---|
| 데이터센터 | 호스팅 업체 | 매우 낮음 (즉시 차단) | 매우 빠름 | 저렴함 |
| 레지덴셜 | 실제 가정용 ISP | 매우 높음 | 보통 | 보통 |
| 모바일 | 4G/5G 통신사 | 최고 수준 | 느림 | 비쌈 |
대규모 데이터 수집에는 레지덴셜 프록시가 비용 대비 효율이 가장 좋습니다. 모바일 프록시는 신뢰도가 가장 높지만 비용이 비싸고 속도가 느려 대량 처리에는 부적합합니다. ProxyHat 레지덴셜 프록시를 사용하면 실제 ISP IP로 요청을 분산시켜 안티 봇 우회율을 극대화할 수 있습니다.
Python으로 인스타그램 스크래핑하기: 레지덴셜 프록시 활용
Python의 requests 라이브러리와 ProxyHat의 로테이팅 레지덴셜 프록시를 조합하여 공개 프로필 데이터를 수집하는 예제를 살펴보겠습니다. 핵심은 요청마다 IP를 변경하고, 현실적인 브라우저 헤더를 흉내 내는 것입니다.
import requests
import random
import time
# ProxyHat 레지덴셜 프록시 설정 (요청마다 IP 로테이션)
PROXY_USER = "user-country-US"
PROXY_PASS = "your_password"
PROXY_URL = f"http://{PROXY_USER}:{PROXY_PASS}@gate.proxyhat.com:8080"
proxies = {
"http": PROXY_URL,
"https": PROXY_URL,
}
# 다양한 모바일/데스크톱 User-Agent 풀
USER_AGENTS = [
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Mobile/15E148 Safari/604.1",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36",
]
def scrape_public_profile(username):
url = f"https://www.instagram.com/{username}/"
headers = {
"User-Agent": random.choice(USER_AGENTS),
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "en-US,en;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Connection": "keep-alive",
"Upgrade-Insecure-Requests": "1"
}
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=15)
if response.status_code == 200:
# HTML 파싱 로직 (예: BeautifulSoup 사용)
print(f"[{username}] 데이터 수집 성공")
return response.text
else:
print(f"[{username}] 상태 코드: {response.status_code}")
except Exception as e:
print(f"[{username}] 오류 발생: {e}")
# 반드시 요청 간 딜레이를 주어 속도 제한 방지
time.sleep(random.uniform(2.0, 5.0))
# 테스트 실행
scrape_public_profile("nasa")세션 격리와 스티키 세션
단순히 IP만 바꾸면 인스타그램은 여러 계정이 같은 패턴으로 접속하는 것으로 간주할 수 있습니다. 쿠키를 유지하며 특정 세션 동안 같은 IP를 유지해야 한다면, ProxyHat 사용자 이름에 세션 ID를 추가하여 스티키 세션(Sticky Session)을 생성할 수 있습니다.
# session-abc123을 추가하여 해당 세션 동안 동일 IP 유지
PROXY_USER_STICKY = "user-country-US-session-abc123"
PROXY_URL_STICKY = f"http://{PROXY_USER_STICKY}:{PROXY_PASS}@gate.proxyhat.com:8080"인스타그램 스크래핑의 까다로운 특성과 우회 방법
인스타그램은 프론트엔드와 API 구조를 수시로 변경합니다. 과거의 편리한 방법들이 이제는 통하지 않습니다.
과거의 ?__a=1 엔드포인트와 현재의 상황
과거에는 프로필 URL 뒤에 ?__a=1을 붙여 손쉽게 JSON 데이터를 받을 수 있었습니다. 현재는 이 엔드포인트가 완전히 제한되었거나, 로그인을 요구하도록 변경되었습니다. 이제는 HTML을 파싱하거나 모바일 API를 역설계해야 합니다.
GraphQL 쿼리와 필수 헤더
인스타그램 웹 버전은 내부적으로 GraphQL을 사용합니다. HTML 응답 내에 포함된 window._sharedData나 ftqIs 스크립트에서 변수를 추출해 GraphQL 엔드포인트로 직접 쿼리를 보낼 수 있습니다. 이때 다음 헤더가 필수적입니다.
- x-ig-app-id: 인스타그램 웹 클라이언트를 식별하는 고정 앱 ID (개발자 도구 네트워크 탭에서 확인 가능)
- x-csrftoken: CSRF 보호 토큰. 쿠키에서 추출해 요청에 포함해야 합니다.
HTTPS 인증서 고정(Certificate Pinning)과 모바일 API
인스타그램 모바일 앱은 HTTPS 인증서 고정을 사용하여 중간자 공격(MITM) 프록시를 통한 트래픽 분석을 차단합니다. 따라서 모바일 API를 역설계하려면 Frida나 Objection 같은 도구로 인증서 검증을 우회해야 합니다. 하지만 이 방법은 매우 복잡하며, 앱 업데이트 시마다 코드가 무용지물이 될 수 있습니다.
가장 안정적인 대안은 웹 브라우저의 동작을 최대한 모방하는 것입니다. Playwright나 Puppeteer 같은 헤드리스 브라우저와 웹 스크래핑용 프록시를 결합하면 핑거프린팅 문제를 상당 부분 해결할 수 있습니다.
Node.js를 활용한 인스타그램 릴스 데이터 수집
Node.js 환경에서 axios와 ProxyHat SOCKS5 프록시를 사용하여 공개 데이터를 수집하는 간단한 예제입니다.
const axios = require('axios');
const { SocksProxyAgent } = require('socks-proxy-agent');
// ProxyHat SOCKS5 프록시 설정
const proxyUser = 'user-country-DE';
const proxyPass = 'your_password';
const agent = new SocksProxyAgent(`socks5://${proxyUser}:${proxyPass}@gate.proxyhat.com:1080`);
async function fetchHashtagPage(tag) {
const url = `https://www.instagram.com/explore/tags/${tag}/`;
const headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept-Language': 'en-US,en;q=0.9'
};
try {
const response = await axios.get(url, {
httpsAgent: agent,
headers,
timeout: 15000
});
console.log(`[${tag}] 상태 코드: ${response.status}`);
// 데이터 파싱 로직 구현
} catch (error) {
console.error(`[${tag}] 요청 실패: ${error.message}`);
}
}
fetchHashtagPage('travel');윤리적 스크래핑과 공식 API 사용 시기
데이터를 수집할 때는 항상 윤리적 기준을 준수해야 합니다. '공개 데이터'라 할지라도 무제한으로 긁어오는 것은 플랫폼에 부하를 주고 법적 위험을 초래할 수 있습니다.
준수해야 할 원칙
- robots.txt 존중: 인스타그램의
robots.txt를 확인하고, 허용되지 않은 엔드포인트는 스크래핑하지 마세요. - 자체 속도 제한: 프록시가 차단되지 않더라도 1초당 1요청 이하로 속도를 제한하세요. 서버에 과부하를 주는 것은 악의적인 행위로 간주될 수 있습니다.
- 로그인 자동화 금지: 자동화된 스크립트로 로그인을 시도하는 것은 ToS를 명백히 위반하며, 계정이 영구 정지될 뿐만 아니라 법적 책임을 질 수 있습니다.
공식 API를 사용해야 하는 경우
인스타그램 그래프 API(Instagram Graph API)는 비즈니스 크리에이터 계정의 인사이트, 미디어, 스토리 등을 공식적으로 제공합니다. 비즈니스 분석 도구를 만들거나 자신의 계정 데이터를 관리해야 한다면 주저 없이 공식 API를 사용하세요. 스크래핑은 공개 트렌드 분석이나 대규모 소셜 리스닝처럼 공식 API로 접근 불가능한 공개 데이터를 수집할 때만 최후의 수단으로 고려해야 합니다.
핵심 요약 (Key Takeaways)
1. 인스타그램은 강력한 안티 봇과 로그인 벽을 운영하므로 데이터센터 IP로는 스크래핑이 불가능에 가깝습니다.
2. 레지덴셜 프록시는 실제 ISP IP를 제공하여 차단 확률을 획기적으로 낮춥니다.
3.?__a=1은 더 이상 유효하지 않으며, HTML 파싱이나 GraphQL 엔드포인트 우회가 필요합니다.
4. 요청마다 IP를 로테이션하고 현실적인 User-Agent와 헤더를 사용하세요.
5. 자체 속도 제한을 적용하고, 로그인 자동화는 절대 피하며, 가능하면 공식 API를 우선적으로 고려하세요.
안정적이고 윤리적인 인스타그램 데이터 수집 파이프라인을 구축하고 싶다면, 전 세계 로케이션을 지원하는 ProxyHat 레지덴셜 프록시로 시작해 보세요. 데이터센터 IP 차단에 대한 고민 없이 공개 데이터에 안정적으로 접근할 수 있습니다.
