Ad Agent Pro 고객 사례 | 2026. 5.
HTTP 403 오류 하나가 AEO 점수 0점을 만들었다
— C.A.W. 봇 크롤링 개선 7일 기록
ChatGPT, Perplexity, Google AI Overview, 네이버 AI 검색 — 요즘 B2B 구매 담당자들은 검색창 대신 AI에게 묻습니다. "사무실에 납품할 수 있는 스페셜티 커피 원두 도매 업체 추천해줘."
그런데 AI가 아무리 좋은 브랜드도 크롤링 자체가 차단되어 있다면, AI 세계에서는 존재하지 않는 브랜드로 인식됩니다. 이번 사례는 그 문제를 발견하고 7일 만에 개선한 실제 기록입니다.
5월 19일 진단 — 종합점수 6.3점 / 100점
Ad Agent Pro는 스페셜티 커피 B2B 시장의 AEO 경쟁력을 분석했습니다. 대상은 F.C., T.R., B.B., M.C., C.L., C.A.W. 6개 브랜드입니다.
| 순위 | 브랜드 | AI 채택도 | SOV | 콘텐츠 | 테크 | 종합점수 |
|---|---|---|---|---|---|---|
| 1 | F.C. | 89 | 85% | 89 | 82 | 86.3 |
| 2 | T.R. | 86 | 88% | 87 | 82 | 85.8 |
| 3 | B.B. | 84 | 80% | 86 | 79 | 82.3 |
| 4 | M.C. | 81 | 78% | 85 | 77 | 80.3 |
| 5 | C.L. | 76 | 75% | 81 | 73 | 76.3 |
| 6 | C.A.W. | 7 | 5% | 8 | 5 | 6.3 |
점수 차이가 단순히 콘텐츠 품질의 문제가 아니었습니다.
원인 — 공식 웹사이트 HTTP 403 Forbidden
Ad Agent Pro의 AEO 분석 엔진이 C.A.W. 공식 웹사이트에 접근을 시도하자 HTTP 403 Forbidden 오류가 반환됐습니다.
서버가 요청은 이해했지만 접근을 명시적으로 거부하는 응답입니다. Cloudflare 또는 서버 방화벽의 봇 차단 정책이 검색 엔진 크롤러와 AI 크롤러를 동일하게 막을 때 주로 발생합니다.
실제 영향은 다음과 같았습니다.
- Googlebot, GPTBot 등 AI/검색 엔진 크롤러가 사이트 콘텐츠에 접근 불가
- B2B 도매·납품 서비스가 웹사이트에 존재해도 AI는 내용을 알 수 없음
- "스페셜티 커피 원두 도매 추천" 관련 AI 답변에서 완전히 누락
Ad Agent Pro는 5월 19일 리포트에서 이를 1순위 긴급 개선 항목으로 지정하고 구체적인 조치 방법을 안내했습니다.
개선 조치 — 봇 차단 정책 수정
C.A.W. 측은 진단 결과를 바탕으로 서버 및 CDN 설정을 검토하고, 주요 크롤러 접근을 허용하는 방향으로 봇 필터링 정책을 조정했습니다.
- 1Cloudflare / 서버 방화벽의 User-Agent 기반 차단 정책 수정
- 2Googlebot, GPTBot, PerplexityBot 등 주요 크롤러 화이트리스트 등록
- 3
robots.txt검토 및 크롤링 허용 경로 확인
7일 후 재진단 — 종합점수 66.2점 (+59.9점)
2026년 5월 26일, Ad Agent Pro로 동일한 기준의 재분석을 수행했습니다.
| 순위 | 브랜드 | AI 채택도 | SOV | 콘텐츠 | 테크 | 종합점수 |
|---|---|---|---|---|---|---|
| 1 | T.R. | 80 | 85% | 85 | 75 | 81.2 |
| 2 | M.C. | 78 | 75% | 85 | 70 | 77.0 |
| 3 | F.C. | 75 | 70% | 80 | 70 | 73.8 |
| 4 | C.L. | 70 | 65% | 75 | 65 | 68.8 |
| 5 | C.A.W. | 65 | 50% | 70 | 60 | 66.2 +59.9 |
| 6 | B.B. | 70 | 60% | 40 | 65 | 58.8 |
단 7일, 서버 설정 하나를 바꿨을 뿐입니다. AI 검색 엔진들이 C.A.W.의 B2B 납품 문의 페이지, 커스텀 로스팅 서비스, 사업자용 상품 정보를 비로소 인식하기 시작했습니다.
지금 당장 확인해야 할 3가지
AEO는 콘텐츠만의 문제가 아닙니다. AI 크롤러가 접근조차 할 수 없다면, 아무리 좋은 콘텐츠도 AI 세계에서는 존재하지 않는 것과 같습니다.
- 1robots.txt 확인 —
Disallow: /또는 GPTBot 차단 설정이 있는지 점검하세요. - 2CDN 봇 방어 정책 확인 — Cloudflare 등에서 AI 크롤러를 악성 봇으로 분류하고 있지 않은지 확인하세요.
- 3Google Search Console 크롤링 오류 확인 — 크롤링이 차단된 페이지가 없는지 커버리지 리포트를 점검하세요.