agent.txt와 ai.txt 등장 — AI 에이전트를 위한 웹의 새로운 규칙

인터넷을 돌아다니는 손님 중 사람이 아닌 'AI 에이전트'가 더 많아진다면 웹사이트는 어떻게 변해야 할까요? 지금까지는 검색 로봇을 막는 robots.txt 파일 하나로 충분했습니다. 하지만 단순히 정보를 긁어가는 수준을 넘어, 직접 결제하고 API를 호출하는 똑똑한 에이전트들이 등장하면서 이야기가 완전히 달라졌습니다. 이제 이 새로운 인공지능 손님들을 안전하게 가이드하기 위한 웹의 약속들이 만들어지기 시작했습니다.

왜 기존의 robots.txt만으로는 부족할까?

과거의 검색 엔진 크롤러는 단순히 정보를 복사해 가는 수동적인 존재였습니다. 이를 통제하는 robots.txt 파일 역시 "이 페이지는 들어오지 마세요"라고 일러주는 단순한 차단 표지판에 불과했습니다.

하지만 지금의 AI 에이전트는 완전히 다릅니다. 이들은 웹사이트에 들어와 정보를 읽는 데 그치지 않고, 직접 회원가입을 하거나 API를 호출하고 물건을 결제하는 능동적인 행위자입니다. 정보를 긁어가는 '수집'을 넘어 직접 '행동'을 하는 것입니다.

따라서 이제는 단순한 차단 표지판을 넘어, 에이전트가 우리 사이트에서 어떤 행동을 할 수 있고 어떻게 인증을 받아야 하는지 일러주는 완전히 새로운 약속이 필요해졌습니다. 예컨대 아래처럼 웹사이트 루트 경로에 에이전트 전용 안내장을 남겨두는 방식입니다.

{
  "capabilities": ["search", "checkout"],
  "mcp_server": "https://api.example.com/mcp",
  "auth": "OAuth2"
}

이것이 바로 기존의 robots.txt만으로는 에이전트 시대를 감당할 수 없는 이유입니다. 정보를 보여주는 방식을 조율하는 것을 넘어, 기계가 직접 실행할 기능과 권한을 안전하게 통제할 기준이 필요해졌기 때문입니다.

기계 가독형 웹을 만드는 4가지 파일 스택

국제인터넷표준화기구(IETF)와 오픈소스 커뮤니티를 중심으로 에이전트를 위한 '기계 가독형 웹 스택'이 빠르게 자리를 잡고 있습니다. 사람이 화면을 보고 눈으로 사이트를 파악하듯, AI 에이전트가 웹사이트의 작동 방식을 한눈에 이해할 수 있게 돕는 4가지 핵심 파일 표준입니다.

가장 먼저 쓰이기 시작한 llms.txt는 AI를 위한 친절한 '마크다운 요약본'입니다. 복잡한 HTML 태그를 모두 걷어내고 에이전트가 바로 이해할 수 있는 핵심 정보와 사이트 지도만을 간결하게 담아내는 역할을 합니다.

이에 비해 agents.txt는 정보 수집을 넘어 에이전트가 할 수 있는 '실제 행동'의 범위를 제한합니다. 결제나 예약처럼 실제 트랜잭션이 발생하는 행동을 허용할 것인지 권한 범위를 명확히 규정하며, AI 도구 연동 규격인 모델 컨텍스트 프로토콜(MCP) 서버 주소도 이곳에 적어둡니다.

예를 들어 웹사이트의 .well-known/agents.txt 경로에 아래와 같이 간단한 기계 가독형 설정을 배치해 둘 수 있습니다.

{
  "capabilities": ["search", "checkout"],
  "mcpServers": {
    "booking-helper": {
      "url": "https://api.example.com/mcp"
    }
  }
}

이렇게 선언해 두면 에이전트가 사이트 기능을 안전하고 똑똑하게 활용할 수 있습니다.

그리고 ai.txt는 내 소중한 콘텐츠를 AI 학습에 쓸 수 있는지 선언하는 창구입니다. 특히 유럽 인공지능법(AI Act)과 유럽 저작권 지침의 '텍스트 및 데이터 마이닝 거부' 요건을 기계가 읽을 수 있는 형태로 충족해 줍니다. 긴 이용약관 줄글 대신 기계가 바로 읽고 판단할 수 있어 법적 권리를 한층 더 탄탄하게 보호해 줍니다.

마지막으로 ai-safety.txt는 웹사이트의 안전성 가이드라인입니다. 사이트가 악의적인 프롬프트 주입 공격을 얼마나 잘 방어하고 있는지, 혹은 사람의 개입 없는 자율 실행 루프를 돌려도 안전한 곳인지 정보를 알려주어 예기치 못한 인공지능 오작동 사고를 예방합니다.

에이전트가 웹서비스를 스스로 찾아내고 소통하는 방법

단순히 정보를 적어둔 파일을 사이트에 올려두는 것을 넘어, 이제 에이전트들이 서로의 존재를 식별하고 직접 거래를 조율하는 자동화된 규칙도 만들어지고 있습니다. 예를 들어 웹사이트의 약속된 경로에 저장되는 agents.txt 파일은 해당 사이트가 에이전트에게 어떤 거래 권한과 도구를 허용하는지 명확하게 규정합니다.

{
  "capabilities": ["search", "checkout"],
  "mcp": {
    "url": "https://api.example.com/mcp"
  }
}

여기에 국제인터넷표준화기구를 중심으로 제안된 AID와 AIDIP라는 규격이 더해집니다. 이름은 조금 어렵지만 원리는 단순합니다. AID는 인터넷 주소창의 뼈대인 DNS 시스템을 통해 상대 에이전트의 신원 보증서와 공공 키를 자동으로 확인하는 기술입니다. 마치 상대방의 투명한 명함을 기계적으로 검증하는 것과 같습니다.

신원이 확인되면 에이전트들은 AIDIP 규격에 따라 본격적으로 대화를 시작합니다. 사람이 복잡한 회원가입이나 결제 화면을 일일이 클릭할 필요 없이, 기계끼리 상대방의 기능 명세서를 읽고 안전하게 예약을 진행하거나 결제 API를 호출할 수 있게 규격을 통일해 줍니다. 인간의 개입 없이도 안전하고 똑똑하게 협력하는 새로운 웹 구조가 만들어지고 있습니다.

기계와 인간이 함께 쓰는 웹의 다음 단계

기존의 웹이 사람의 눈에 맞춘 시각적인 공간이었다면, 앞으로의 웹은 AI 에이전트도 함께 읽고 활동하는 공간으로 진화할 것입니다. llms.txt나 agents.txt 같은 파일들은 에이전트가 웹사이트의 작동 방식을 오해 없이 이해하고 약속된 규칙을 지킬 수 있게 돕는 이정표가 되어 줍니다.

이제 웹사이트를 만들고 관리하는 빌더들은 단순한 화면 구성을 넘어, 인공지능이라는 새로운 손님을 정중하게 맞이할 준비를 시작해야 합니다. 기계와 사람이 조화롭게 공존하는 웹의 다음 단계를 지금부터 차근차근 준비해 보는 것은 어떨까요?