SEO 원리: 검색엔진은 사이트를 어떻게 읽을까

1단계: 크롤링 — 페이지를 발견한다

검색엔진의 크롤러(봇)는 이미 알고 있는 페이지의 링크를 따라가거나 사이트맵을 읽어 새 페이지를 찾습니다. 이 단계에서 확인해야 할 것은 "봇이 들어올 수 있는가"입니다.

• robots.txt — 사이트 루트의 이 파일이 봇의 출입 규칙입니다. Disallow: / 한 줄이 사이트 전체를 막기도 합니다.
• XML 사이트맵 — 색인되기를 원하는 URL 목록입니다. robots.txt 에 Sitemap: 줄로 위치를 알려 주면 좋습니다.
• 내부 링크 — 다른 페이지에서 링크되지 않은 "고아 페이지"는 발견되기 어렵습니다.
• 응답 상태 — 404 · 5xx 오류, 끝없는 리다이렉트는 크롤러가 내용을 읽지 못하게 합니다.

2단계: 렌더링과 색인 — 내용을 이해하고 저장한다

발견한 페이지의 HTML 을 읽고, 필요하면 JavaScript 를 실행해 화면을 그린 뒤, 무엇에 관한 페이지인지 파악해 색인(검색용 저장소)에 넣습니다.

• 제목과 설명 — <title> 과 meta description 은 페이지의 주제를 알려 주는 가장 직접적인 신호입니다.
• 제목 구조 — H1 하나에 대표 주제를 담고, H2·H3 로 단계를 지켜 목차를 만들면 내용 구조가 분명해집니다.
• canonical — 내용이 같은 URL 이 여러 개일 때 "이 주소가 원본"이라고 알려 줍니다.
• noindex — meta robots 나 X-Robots-Tag 의 noindex 는 색인에서 빼 달라는 요청입니다. 실수로 붙어 있으면 아무리 좋은 페이지도 검색에 나오지 않습니다.
• 구조화 데이터 — JSON-LD 로 "이 페이지는 기사이고, 작성자는 누구이며, 언제 고쳐졌다"를 기계가 읽는 형식으로 알려 줍니다.

3단계: 랭킹 — 어떤 순서로 보여 줄지 정한다

사용자가 검색하면 검색엔진은 색인된 페이지 가운데 그 질문에 가장 알맞은 것을 골라 순서를 매깁니다. 구체적인 공식은 공개되지 않지만, 공식 문서와 업계의 공통된 이해를 정리하면 대체로 다음을 봅니다.

AI 답변 엔진은 출처를 어떻게 고를까요?

생성형 AI 검색은 질문을 받으면 관련 문서를 찾아 읽고, 그 내용을 요약해 답을 만들면서 근거가 된 페이지를 출처로 붙입니다. 공개된 정보만으로 정확한 선택 기준을 알 수는 없지만, 다음 조건을 갖춘 문서가 인용되기 쉽다는 것이 일반적인 관찰입니다.

1. 읽을 수 있다AI 크롤러가 robots.txt 에서 막혀 있지 않고, 본문이 HTML 에 텍스트로 들어 있습니다.
2. 바로 답한다질문 형태의 제목 아래 첫 문장에서 답을 말하고, 용어를 한 문장으로 정의합니다.
3. 떼어 내도 말이 된다앞뒤 맥락 없이 한 문단만 인용해도 뜻이 통하도록, 완결된 문장으로 씁니다.
4. 근거가 있다수치와 출처, 작성자, 작성·수정 날짜를 밝힙니다.

정리: 앞 단계부터 확인하기

순위가 낮다고 콘텐츠부터 고치기 전에, 크롤링과 색인 단계에 막힌 곳이 없는지 먼저 확인하세요. 각 단계에서 무엇을 점검하는지는 SEO 분류에서 영역별로 정리했습니다.