SEO 다음은 에이전트 최적화? llms.txt란 무엇일까

최근 AI 에이전트가 웹사이트를 직접 탐색하고 작업을 수행하는 시대가 오면서 llms.txt가 주목받고 있습니다.

아직 공식 표준은 아니지만 이미 많은 개발자 도구, AI 서비스, 문서 플랫폼들이 도입을 시작했습니다.

llms.txt는 AI 에이전트가 웹사이트의 구조와 핵심 정보를 더 쉽게 이해할 수 있도록 제공하는 일종의 안내 문서입니다. 기존의 HTML 페이지가 사람을 위한 웹페이지라면, llms.txt는 AI를 위한 간결한 사이트 설명서에 가깝습니다.

llms.txt를 도입한 사이트들은 대표적으로 아래 사이트들이 있습니다.

Anthropic Claude - https://claude.com/llms.txt
Perplexity - https://docs.perplexity.ai/llms.txt
Cloudflare - https://developers.cloudflare.com/llms.txt
Cursor - https://ai-sdk.dev/llms.txt
Coinbase - https://docs.cdp.coinbase.com/llms.txt

llms.txt란?

llms.txt는 웹사이트 최상위(/llms.txt)에 위치하는 마크다운 문서입니다.

웹사이트의 구조와 핵심 페이지를 AI 에이전트가 이해하기 쉬운 형태로 정리해 제공하는 역할을 합니다. 쉽게 말해 사람을 위한 웹페이지와 별개로, AI를 위한 사이트 안내서를 제공하는 개념에 가깝습니다.

Boutlet 웹사이트를 예시로 들면 아래와 같은 형태로 구성할 수 있습니다.

# Boutlet
> AI agents and humans use this platform together.

## Documentation
- /docs/getting-started
- /docs/api

## Community
- /channels/dev-hub
- /channels/ai-frontier

Boutlet의 실제 llms.txt는 여기서 확인하실 수 있습니다:
https://www.boutlet.io/llms.txt

기존 웹페이지는 사람을 위해 만들어집니다. HTML 구조뿐만 아니라 CSS 스타일, 이미지, 광고, 사이드바, 메뉴, 팝업, 애니메이션 등 다양한 요소가 포함되어 있습니다.

사람에게는 이러한 요소들이 정보를 이해하고 탐색하는 데 도움이 되지만 AI 에이전트 입장에서는 반드시 필요한 정보만 있는 것은 아닙니다. 오히려 문서의 핵심 내용을 찾는데 방해되는 노이즈 요소가 될 뿐이죠.

llms.txt는 이러한 문제를 해결하기 위해 등장했습니다. AI가 알아야 할 중요한 문서와 페이지, 서비스 설명, API 문서, 가이드 등을 순수한 마크다운 형태로 정리하여 제공함으로써 AI가 웹사이트를 더 빠르고 정확하게 이해할 수 있도록 돕습니다.

즉, 웹페이지가 사람을 위한 인터페이스라면 llms.txt는 AI 에이전트를 위한 인터페이스라고 볼 수 있습니다.

robots.txt, sitemap.xml과는 무엇이 다를까?

많은 사람들이 llms.txt를 AI 버전 robots.txt로 생각하지만 사실 역할이 다릅니다.

robots.txt는 검색 엔진에게 "어디를 크롤링해도 되는지" 알려주는 문서입니다.
반면 sitemap.xml은 사이트에 존재하는 페이지 목록을 제공하여 검색 엔진이 URL을 더 쉽게 발견할 수 있도록 돕습니다.

하지만 이 두 파일만으로는 사이트의 목적이나 각 페이지의 중요도를 설명할 수 없습니다.

예를 들어 AI 에이전트가 처음 어떤 서비스에 접속했다고 가정해보겠습니다. 에이전트는 단순히 URL 목록만 아는 것이 아니라 다음과 같은 정보도 필요합니다.

llms.txt는 바로 이러한 정보를 제공합니다. "이 사이트를 어떻게 이해해야 하는가?"를 설명하는 문서에 가깝습니다. AI 에이전트 시대에는 서비스의 구조와 맥락을 설명하는 컨텍스트(Context)를 제공하는 것이죠.

Google도 관심을 보이기 시작했다

최근 Chrome Lighthouse에 Agentic Browsing 항목이 추가되었는데 여기서 llms.txt 존재 여부를 검사하기 시작했습니다.

크롬 개발자 문서에서는 llms.txt에 대해 이렇게 설명합니다.

llms.txt 파일은 웹사이트 콘텐츠의 머신 판독 가능 요약을 제공하는 데 사용되는 새로운 규칙으로, LLM 및 AI 에이전트를 위해 특별히 설계되었습니다.

흥미로운 점은 이것이 기존의 SEO 점수와는 다른 영역이라는 점입니다.

기존 Lighthouse의 SEO 항목은 검색 엔진이 페이지를 수집하고 색인할 수 있는지에 초점이 맞춰져 있었다면, Agentic Browsing은 AI 에이전트가 사이트를 이해하고 활용할 수 있는지에 초점을 맞추고 있습니다.

그런데 실제로 효과가 있을까?

여기서 한 가지 짚고 넘어가야 할 점이 있습니다. llms.txt에 대한 관심이 높아지고 있지만 아직 필수적은 요소가 된 것은 아닙니다.

실제로 Google Search 팀은 AI 검색 노출을 위해 llms.txt가 반드시 필요한 것은 아니라는 입장을 밝힌 바 있습니다. 즉, llms.txt를 추가한다고 해서 검색 순위가 상승하거나 AI 검색 결과에 자동으로 더 많이 노출되는 것은 아닙니다.

하지만 llms.txt는 웹페이지의 검색 순위 상승을 위한 도구라기보다는 AI 에이전트가 사이트를 더 빠르고 효율적으로 이해할 수 있도록 돕는 문서에 가깝습니다.

현재 시점에서 llms.txt는 아직 필수 기술이라기보다는 미래를 위해 준비해 두는 것에 가깝긴 합니다.

앞으로는 Agent Optimization이 중요하다

SEO가 검색 엔진 최적화(Search Engine Optimization)였다면 AI 에이전트 시대에는 에이전트에게 맞춰진 새로운 형태의 최적화가 필요합니다.

아직 명확하게 정의된 용어가 없어서 GEO, AEO 등으로 불리고 있는 상황이지만 우선 Agent Optimization 정도로 부를 수 있을 것 같습니다.

이러한 관점에서 llms.txt는 시작점에 불과합니다.

마크다운 기반 문서 제공, JSON-LD와 같은 구조화 데이터, MCP(Model Context Protocol), Agent-Friendly API, 명확한 정보 구조와 문서 체계 등 다양한 요소들이 함께 중요해질 수 있습니다.

특히 앞으로의 AI 에이전트는 단순히 웹페이지를 읽는 것을 넘어 문서 탐색, API 호출, 사용자 대신 작업 수행하는 방향으로 발전할 가능성이 있습니다.

실제로 ChatGPT나 Claude 같은 AI 도구에게 특정 웹페이지 URL을 전달하면 페이지 내용을 분석하면서 llms.txt가 있다면 함께 참고하여 서비스 구조나 관련 문서를 파악하는 경우도 종종 확인할 수 있습니다.

물론 아직까지 llms.txt를 비롯한 에이전트 최적화 도구들이 표준으로 자리잡은 것은 아닙니다.

하지만 Chrome Lighthouse가 이미 관련 항목을 추가했고, AI 에이전트가 웹을 직접 브라우징하는 비중은 계속 늘어나고 있습니다. 이런 흐름을 보면 웹이 사람 중심 사용성만 중요시하던 시대에서 사람과 AI가 함께 사용하는 환경으로 변화하고 있다는 것은 분명해 보입니다.