GEO Insights
AI 크롤러 허용 가이드: robots.txt와 llms.txt는 어떻게 설정해야 할까
게시일 2026-09-17 · 수정 2026-10-13 · PIVOT GEO
GPTBot·OAI-SearchBot·PerplexityBot·ClaudeBot·Google-Extended 등 AI 크롤러를 '학습용'과 '검색·인용용'으로 나눠 정리하고, AI 답변에 인용되려면 robots.txt에서 무엇을 허용해야 하는지, llms.txt는 필요한지 공식 문서 기준으로 설명합니다.
AI가 우리 페이지를 읽지 못하면 인용도 할 수 없습니다. 그런데 'AI 크롤러를 막을까, 허용할까'를 고민할 때 흔히 놓치는 점이 있습니다. AI 회사들은 크롤러를 하나만 쓰지 않습니다. 모델 학습용, 검색(인용)용, 사용자 요청 처리용 봇이 나뉘어 있고, 각각을 막았을 때의 결과가 다릅니다.
AI 크롤러는 용도별로 나뉩니다
아래 표는 각 회사의 공식 문서를 기준으로 정리한 것입니다(2026년 10월 확인).
| 회사 | 봇(User-agent) | 용도 | 차단하면 |
|---|---|---|---|
| OpenAI | GPTBot | 모델 학습용 콘텐츠 수집 | 학습에 쓰이지 않음. ChatGPT 검색 노출과는 별개 |
| OpenAI | OAI-SearchBot | ChatGPT 검색 답변에 사이트 노출 | ChatGPT 검색 답변에 나타나지 않음 |
| OpenAI | ChatGPT-User | 사용자 요청 시 페이지 방문 | 사용자 주도 요청이라 robots.txt가 적용되지 않을 수 있음 |
| Perplexity | PerplexityBot | Perplexity 검색 결과 노출·링크 | 검색 결과에 노출되기 어려움(공식 문서는 허용 권장) |
| Perplexity | Perplexity-User | 사용자 질문 시 페이지 방문 | 사용자 요청이라 일반적으로 robots.txt 미적용 |
| Anthropic | ClaudeBot | 모델 학습용 콘텐츠 수집 | 향후 학습 데이터에서 제외 |
| Anthropic | Claude-SearchBot | 검색 결과 품질 향상용 탐색 | 검색 결과 노출·정확도가 떨어질 수 있음 |
| Anthropic | Claude-User | 사용자 요청 시 페이지 방문 | 사용자 주도 검색에서 노출이 줄 수 있음 |
| Googlebot | Google 검색(AI Overviews·AI Mode 포함) | 검색 결과와 AI Overviews 모두에서 빠짐 | |
| Google-Extended | Gemini 모델 학습·그라운딩 제어 토큰 | Google 검색 포함 여부·순위에는 영향 없음 |
학습 차단과 인용 차단은 다릅니다
가장 중요한 포인트입니다. 학습용 봇을 막는다고 AI 검색 답변에서 빠지는 것은 아닙니다. 예를 들어 OpenAI는 GPTBot(학습)과 OAI-SearchBot(검색)을 따로 운영하므로, GPTBot은 막고 OAI-SearchBot은 허용하면 '학습에는 쓰지 말되, ChatGPT 검색 답변에는 인용될 수 있는' 상태를 만들 수 있습니다.
반대로 AI 답변 인용을 늘리는 것이 목표라면, 최소한 검색·인용용 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)과 Googlebot은 막지 않아야 합니다. 학습용 봇 허용 여부는 회사의 콘텐츠 정책에 따라 선택하면 됩니다.
Google AI Overviews는 Googlebot 기준입니다
Google-Extended를 막으면 AI Overviews에서 빠진다고 오해하는 경우가 많습니다. Google 공식 문서에 따르면 Google-Extended는 Gemini 모델 학습과 일부 서비스의 그라운딩을 제어하는 토큰이며, Google 검색 포함 여부나 순위에는 영향을 주지 않습니다. AI Overviews와 AI Mode는 일반 검색과 같은 Googlebot 색인을 사용합니다.
Google은 AI Overviews·AI Mode에 노출되기 위한 별도 요건이나 특별한 최적화는 없다고 밝히고 있습니다. 색인되어 있고 스니펫과 함께 검색에 노출될 수 있는 페이지라면 대상이 됩니다. 반대로 AI 기능에서의 노출을 줄이고 싶다면 nosnippet, data-nosnippet, max-snippet, noindex를 써야 하는데, 이 설정은 일반 검색 결과의 스니펫에도 함께 적용된다는 점에 주의해야 합니다.
robots.txt 설정 예시
아래는 'AI 검색 답변 인용은 허용하고, 모델 학습은 원하지 않는' 경우의 예시입니다. 학습까지 허용하려면 Disallow 줄을 Allow: / 로 바꾸면 됩니다.
# 검색·인용용 봇: 허용User-agent: OAI-SearchBotAllow: / User-agent: PerplexityBotAllow: / User-agent: Claude-SearchBotAllow: / # 모델 학습용 봇: 정책에 따라 선택 (예시는 차단)User-agent: GPTBotDisallow: / User-agent: ClaudeBotDisallow: / User-agent: Google-ExtendedDisallow: / # 그 외 모든 봇(Googlebot 포함)User-agent: *Allow: / Sitemap: https://example.com/sitemap.xmlGoogle-Extended를 차단해도 Google 검색과 AI Overviews 노출에는 영향이 없습니다. Googlebot은 'User-agent: *' 그룹의 규칙을 따릅니다.
자주 하는 실수
- 'User-agent: *' 아래에 'Disallow: /'를 둬서, 개별 규칙이 없는 AI 봇까지 전부 막는 경우
- robots.txt는 열어 뒀지만 CDN·방화벽(WAF)의 봇 차단 기능이 AI 봇을 막고 있는 경우. Google은 CDN·호스팅 단에서도 크롤링을 허용하라고 안내하고, Perplexity는 User-agent와 공개 IP 대역을 함께 조건으로 허용 규칙을 만들라고 권장합니다.
- 서브도메인마다 robots.txt가 따로 적용된다는 점을 놓치는 경우(blog.example.com은 별도 파일 필요)
- 변경 직후 결과를 기대하는 경우. OpenAI와 Perplexity는 robots.txt 변경 반영에 최대 24시간 정도가 걸릴 수 있다고 안내합니다.
llms.txt는 필요할까?
llms.txt는 Jeremy Howard가 2024년 9월 제안한 형식으로, 사이트 루트에 마크다운 파일을 두어 언어 모델에게 사이트 요약과 주요 문서 링크를 알려주자는 아이디어입니다. 다만 공식 표준이 아니라 커뮤니티 제안 단계이고, Google은 AI 기능에 노출되기 위해 별도의 AI용 텍스트 파일이나 마크업을 만들 필요가 없다고 공식 문서에서 밝히고 있습니다.
정리하면, llms.txt는 만들어도 손해는 없지만 AI 인용을 늘리는 효과가 확인된 수단은 아닙니다. robots.txt로 검색·인용용 봇의 접근을 보장하고, 본문을 텍스트로 제공하는 것이 우선입니다. 만든다면 형식은 아래처럼 간단합니다.
# 회사 또는 서비스 이름 > 한두 문장으로 된 서비스 요약 ## 주요 문서- [서비스 소개](https://example.com/about): 무엇을 하는 회사인지- [요금 안내](https://example.com/pricing): 플랜과 가격우선순위 정리
- 1순위: Googlebot과 검색·인용용 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)이 robots.txt와 CDN·방화벽 양쪽에서 막혀 있지 않은지 확인
- 2순위: 중요한 내용을 이미지나 스크립트가 아닌 텍스트로 제공
- 3순위: 학습용 봇(GPTBot, ClaudeBot, Google-Extended) 허용 여부를 회사 정책에 맞게 결정
- 선택: llms.txt 작성(효과는 확인되지 않음)
AI 크롤러 정책은 각 회사가 수시로 바꿉니다. 이 글은 2026년 10월 기준 공식 문서를 정리했으며, 설정 전에는 아래 공식 문서에서 최신 내용을 확인하세요.
OpenAI 크롤러 공식 문서: Overview of OpenAI Crawlers →
Perplexity 크롤러 공식 문서: Perplexity Crawlers →
Google AI 기능 공식 문서: AI features and your website →
Google 크롤러 공식 문서: Google's common crawlers →
우리 사이트가 AI 크롤러를 막고 있는지 확인하기
PIVOT GEO 무료 진단은 robots.txt에서 AI 크롤러가 차단돼 있는지를 GEO 준비도 항목으로 함께 점검합니다. 로그인 없이 URL만 넣으면 바로 확인할 수 있습니다.
자주 묻는 질문
- GPTBot을 막으면 ChatGPT 답변에서 빠지나요?
- OpenAI 공식 문서 기준으로 GPTBot은 모델 학습용 수집 봇이고, ChatGPT 검색 답변 노출은 OAI-SearchBot이 담당합니다. GPTBot을 막아도 OAI-SearchBot을 허용하면 ChatGPT 검색 답변에 나타날 수 있습니다.
- Google-Extended를 막으면 AI Overviews에서 빠지나요?
- 아닙니다. Google 공식 문서에 따르면 Google-Extended는 Gemini 학습·그라운딩을 제어하는 토큰이며 Google 검색 포함 여부나 순위에 영향을 주지 않습니다. AI Overviews는 Googlebot 색인을 사용합니다.
- llms.txt를 만들면 AI 인용이 늘어나나요?
- 효과가 확인되지 않았습니다. llms.txt는 공식 표준이 아닌 제안 단계이고, Google은 AI 기능 노출을 위해 별도의 AI용 텍스트 파일이 필요 없다고 밝히고 있습니다. robots.txt로 검색·인용용 봇의 접근을 보장하는 것이 우선입니다.
- robots.txt를 바꾸면 언제 반영되나요?
- OpenAI와 Perplexity는 최대 24시간 정도 걸릴 수 있다고 안내합니다. Google은 페이지를 다시 크롤링하는 시점에 반영되며, 수일에서 수개월이 걸릴 수 있습니다.