AI 판독 검사
점수를 이렇게 매깁니다
이 점수는 예측이 아닙니다. 아래 체크리스트를 하나씩 확인해 더한 값이고, 그게 전부입니다. 항목마다 직접 확인하는 법을 함께 적어뒀습니다.
총점100점A 40 · B 35 · C 25
A
크롤러가 들어올 수 있나
40점AI 가 문 앞까지 왔을 때 들어올 수 있는지.
AI 크롤러가 robots.txt 에서 차단되지 않음
20점- 어떻게 매기나 ·
- robots.txt 를 읽어서 아래 13개 크롤러가 검사 대상 주소(질의문자열 포함)를 가져갈 수 있는지 각각 판정합니다. 점수 = 20 × (허용된 크롤러 수 ÷ 13), 소수점은 반올림합니다. robots.txt 가 없으면(404 등) 차단이 없는 것이므로 20점입니다. 서버가 429·500번대로 답해서 읽지 못했다면 점수를 매기지 않고 「모름」으로 둡니다 — 못 읽은 것을 "차단 없음"이라고 할 수는 없기 때문입니다.
- 직접 확인하는 법 ·
- 주소창에 사이트주소/robots.txt 를 쳐서 Disallow 줄을 직접 보세요. 결과 화면에는 몇 번째 줄이 어떤 크롤러를 막고 있는지 그대로 적어둡니다.
noindex · nosnippet · max-snippet 제한이 없음
10점- 어떻게 매기나 ·
- <meta name="robots">, <meta name="googlebot">, 그리고 X-Robots-Tag 응답 헤더를 봅니다. noindex · none · nosnippet · max-snippet(-1 제외) 중 하나라도 있으면 0점, 하나도 없으면 10점입니다. max-snippet:-1 은 "제한 없음"이라는 뜻이므로 감점하지 않고, 이 목록에 없는 지시자(noarchive·nofollow 등)로는 감점하지 않습니다. 쉼표로 나눈 것과 공백으로 나눈 것을 모두 읽고, X-Robots-Tag 에 "googlebot: noindex" 처럼 붙는 봇 이름도 벗겨서 봅니다.
- 직접 확인하는 법 ·
- 페이지에서 마우스 오른쪽 → 페이지 소스 보기 → Ctrl+F 로 "noindex" 를 찾아보세요.
정상 응답 · 리다이렉트 3회 이하 · 5초 내 응답
10점- 어떻게 매기나 ·
- 세 조건을 따로 매깁니다 — 최종 응답이 200 이면 4점, 리다이렉트가 3회 이하면 3점, 응답이 5초 안에 끝나면 3점입니다.
- 직접 확인하는 법 ·
- 브라우저 개발자도구 → Network 탭에서 첫 요청의 상태 코드와 소요 시간을 볼 수 있습니다.
B
들어와서 읽을 수 있나
35점들어온 다음 글이 실제로 보이는지.
자바스크립트를 실행하지 않아도 본문이 남아 있음
25점- 어떻게 매기나 ·
- 같은 페이지를 두 번 가져옵니다 — (1) 자바스크립트를 실행하지 않고 받은 HTML, (2) 브라우저로 자바스크립트까지 실행한 뒤. 각각에서 <head>·<script>·<style>·<nav>·<footer> 를 제거하고 남은 본문 글자 수를 세어 비율을 냅니다(비율 = 1 ÷ 2). 제목(<title>)은 본문이 아니므로 세지 않습니다. 0.8 이상이면 25점, 0.5 이상이면 18점, 0.2 이상이면 10점, 그 미만은 0점입니다.
- 직접 확인하는 법 ·
- 브라우저 설정에서 자바스크립트를 끄고 사이트를 열어보세요. 그때 보이는 글이 많은 AI 크롤러가 보는 전부입니다.
<title> 이 있고 길이가 10~70자
4점- 어떻게 매기나 ·
- <title> 이 있고 앞뒤 공백을 뺀 길이가 10자 이상 70자 이하면 4점, 아니면 0점입니다.
- 직접 확인하는 법 ·
- 브라우저 탭에 뜨는 글자가 <title> 입니다.
<h1> 이 정확히 1개
3점- 어떻게 매기나 ·
- <h1> 태그 개수가 정확히 1개일 때만 3점입니다. 0개거나 2개 이상이면 0점입니다.
- 직접 확인하는 법 ·
- 페이지 소스 보기에서 "<h1" 을 찾아 개수를 세어보세요.
<meta name="description"> 이 있음
3점- 어떻게 매기나 ·
- description 메타 태그가 있고 내용이 비어 있지 않으면 3점입니다.
- 직접 확인하는 법 ·
- 페이지 소스 보기에서 name="description" 을 찾아보세요.
C
읽고 이해할 수 있나
25점읽은 내용이 무엇에 관한 것인지 기계가 알 수 있는지.
JSON-LD 가 문법에 맞고, 뜻이 있는 타입이 들어 있음
10점- 어떻게 매기나 ·
- <script type="application/ld+json"> 안의 내용을 실제로 JSON 으로 읽어봅니다. 읽기에 성공하고 @type 이 아래 목록 중 하나면 10점, 아니면 0점입니다. 인정 타입 24종: Organization, Corporation, LocalBusiness, Store, Restaurant, Person, WebSite, WebPage, AboutPage, FAQPage, ContactPage, Product, Service, Offer, SoftwareApplication, WebApplication, MobileApplication, Article, BlogPosting, NewsArticle, Course, Event, Recipe, JobPosting.
- 직접 확인하는 법 ·
- Google 리치 결과 테스트나 Schema Markup Validator 에 주소를 넣으면 같은 걸 확인할 수 있습니다.
sitemap.xml 이 있고 XML 로 읽힘
5점- 어떻게 매기나 ·
- robots.txt 의 Sitemap: 줄과 /sitemap.xml 을 확인합니다. 응답이 200 이고 XML 로 읽히며 <loc> 이 1개 이상이면 5점입니다.
- 직접 확인하는 법 ·
- 주소창에 사이트주소/sitemap.xml 을 쳐보세요.
canonical 이 있음
5점- 어떻게 매기나 ·
- <link rel="canonical"> 이 있고 href 가 비어 있지 않으면 5점입니다.
- 직접 확인하는 법 ·
- 페이지 소스 보기에서 rel="canonical" 을 찾아보세요.
- 근거 ·
- canonical URLs
og:title · og:description · og:image
3점- 어떻게 매기나 ·
- 세 개를 각각 1점씩 셉니다. 있는 개수가 곧 점수입니다.
- 직접 확인하는 법 ·
- 페이지 소스 보기에서 property="og: 를 찾아보세요.
이미지 alt 비율 80% 이상
2점- 어떻게 매기나 ·
- <img> 중 alt 값이 비어 있지 않은 것의 비율이 80% 이상이면 2점입니다. 이미지가 하나도 없으면 감점할 근거가 없으므로 2점을 드리고 화면에 "이미지 없음"이라고 적습니다.
- 직접 확인하는 법 ·
- 페이지 소스 보기에서 <img 를 찾아 alt= 가 붙어 있는지 보세요.
상한 규칙
주요 AI 크롤러가 전부 차단돼 있으면, 나머지 항목이 아무리 좋아도 총점은 40점을 넘지 않습니다. 문이 잠긴 상태에서 안쪽 항목은 의미가 없기 때문입니다.
검사하는 AI 크롤러
robots.txt 에서 아래 13개를 각각 확인합니다. 차단된 만큼 비례해서 감점합니다.
GPTBot— OpenAI 수집 크롤러OAI-SearchBot— ChatGPT 검색 결과용 색인ChatGPT-User— 사용자가 링크를 줬을 때 실시간 방문ClaudeBot— Anthropic 수집 크롤러Claude-User— 사용자 요청 시 Claude 가 실시간 방문PerplexityBot— Perplexity 검색 색인Perplexity-User— 사용자 요청 시 실시간 방문CCBot— 공개 웹 아카이브 — 여러 AI 가 이 데이터를 쓴다Bytespider— ByteDance 수집 크롤러Amazonbot— Amazon 수집 크롤러Meta-ExternalAgent— Meta AI 수집 크롤러Yeti— 네이버 검색 크롤러Daumoa— 다음 검색 크롤러
이건 크롤러가 아닙니다
아래 두 가지는 페이지를 가져가는 크롤러가 아니라, 가져간 내용을 AI 학습에 써도 되는지를 정하는 표시입니다. 차단돼 있어도 감점하지 않고, 「크롤러 차단」과 섞어서 보여주지도 않습니다.
Google-Extended— 구글 Gemini 학습 사용 제어. 페이지 수집은 Googlebot 이 하고, 이 토큰은 학습 사용 여부만 정한다.Applebot-Extended— Apple Intelligence 학습 사용 제어. 페이지 수집은 Applebot 이 한다.
점수에 넣지 않는 것
- llms.txt — 표준으로 확정된 규격이 아닙니다. 참고로만 보여주며 감점 요소가 아닙니다.
- 학습 사용 제어 토큰 (Google-Extended · Applebot-Extended) — 크롤러가 아니라 "가져간 내용을 AI 학습에 써도 되는가"를 정하는 토큰입니다. 차단돼 있어도 감점하지 않습니다.
- 보안 발견 — 보안 점검 결과는 점수와 완전히 분리돼 있습니다. 판독 점수에 섞지 않습니다.
모르는 건 모른다고 합니다
어떤 항목을 확인하지 못하면 0점으로 처리하되 「모름」이라고 표시하고, 그 항목을 뺀 점수라는 것도 함께 알려드립니다. 확인 못 한 것을 나쁜 것으로 단정하지 않습니다.
같은 주소는 같은 점수
점수 계산에는 무작위 값도, AI 판단도 들어가지 않습니다. 같은 관측 결과를 넣으면 언제나 같은 점수가 나옵니다. 딱 하나, 「5초 내 응답」 3점은 검사할 때마다 새로 재는 응답 시간에 달려 있어서, 사이트가 그대로여도 그날 서버가 느리면 이 3점은 달라질 수 있습니다.
채점표 기준일 · 2026-08-02