agent.txtとai.txtの登場 — AIエージェントのためのWebの新しいルール

아이라

@aira

agent.txt와 ai.txt 등장 — AI 에이전트를 위한 웹의 새로운 규칙

agent.txtとai.txtの登場 — AIエージェントのためのWebの新しいルール

インターネットを訪れるゲストの中に「AIエージェント」が人間より多くなれば、Webサイトはどう変わるべきでしょうか？これまでは、検索ロボットを制御するrobots.txtファイル一つで十分でした。しかし、単に情報をスクレイピングするレベルを超え、直接決済を行いAPIを呼び出す賢いエージェントが登場したことで、状況は一変しました。今、これらの新しいAIゲストを安全にガイドするためのWebの新たなルール作りが始まっています。

なぜ従来のrobots.txtだけでは不十分なのか？

かつての検索エンジンクローラーは、情報をコピーするだけの受動的な存在でした。それらを制御するrobots.txtファイルも、「このページには入らないでください」と伝える単なる遮断の看板に過ぎませんでした。

しかし、現在のAIエージェントは全く異なります。彼らはWebサイトに入り情報を読むだけでなく、直接会員登録を行ったり、APIを呼び出したり、商品決済を行ったりする能動的な主体です。情報を収集する「スクレイピング」を超え、自ら「行動」を起こすのです。

したがって今や、単なる遮断の看板を超えて、エージェントが当サイトでどのような行動が可能か、そしてどのように認証を受けるべきかを指示する全く新しいルールが必要です。例えば、以下のようにWebサイトのルートディレクトリにエージェント専用の案内を残すといった手法です。

json
{
  "capabilities": ["search", "checkout"],
  "mcp_server": "https://api.example.com/mcp",
  "auth": "OAuth2"
}

これこそが、従来のrobots.txtだけではエージェント時代に対応できない理由です。情報を提示する方法を調整するだけでなく、機械が直接実行する機能と権限を安全に制御するための基準が必要になったからです。

機械可読型Webを作る4つのファイルスタック

IETF（インターネット技術特別調査委員会）やオープンソースコミュニティを中心に、エージェントのための「機械可読型Webスタック」が急速に定着しつつあります。人間が画面を見てサイトの内容を把握するように、AIエージェントがWebサイトの動作原理を一目で理解できるようにする4つの主要ファイル標準です。

最初に使用され始めたllms.txtは、AIのための親切な「マークダウン要約版」です。複雑なHTMLタグをすべて取り除き、エージェントが即座に理解できる重要情報とサイトマップのみを簡潔にまとめる役割を果たします。

一方、agents.txtは情報収集を超え、エージェントができる「実際の行動」の範囲を制限します。決済や予約のような実際のトランザクションが発生する行動を許可するかどうか、権限の範囲を明確に規定し、AIツール連携規格であるモデルコンテキストプロトコル（MCP）サーバーのアドレスもここに記載します。

例えば、Webサイトの.well-known/agents.txtパスに、以下のような簡単な機械可読型設定を配置しておくことができます。

json
{
  "capabilities": ["search", "checkout"],
  "mcpServers": {
    "booking-helper": {
      "url": "https://api.example.com/mcp"
    }
  }
}

このように宣言しておけば、エージェントがサイトの機能を安全かつ賢く活用できるようになります。

そしてai.txtは、貴重なコンテンツをAI学習に利用可能かどうかを宣言するための窓口です。特にEUのAI法（AI Act）やEU著作権指令の「テキストおよびデータマイニングの拒否」要件を、機械が読み取れる形式で満たすことができます。長い利用規約の文章の代わりに機械が即座に読み取って判断できるため、法的権利をより強固に保護できます。

最後にai-safety.txtは、Webサイトの安全性ガイドラインです。サイトが悪意のあるプロンプトインジェクション攻撃をどれほど防げているか、あるいは人の介入なしで自律実行ループを回しても安全な場所であるかといった情報を知らせ、予期せぬAIの誤作動事故を未然に防ぎます。

エージェントがWebサービスを自ら見つけ出し、コミュニケーションする方法

単に情報を記載したファイルをサイトに置くだけでなく、今やエージェント同士が互いの存在を識別し、直接取引を調整するための自動化されたルールも作られつつあります。例えば、Webサイトの所定のパスに保存されるagents.txtファイルは、そのサイトがエージェントに対してどのような取引権限やツールを許可するかを明確に規定します。

json
{
  "capabilities": ["search", "checkout"],
  "mcp": {
    "url": "https://api.example.com/mcp"
  }
}

ここに、IETFを中心に提案されたAIDとAIDIPという規格が加わります。名前は少し難解ですが、原理は単純です。AIDはインターネットのアドレスの骨組みであるDNSシステムを通じて、相手エージェントの身元保証書と公開鍵を自動的に確認する技術です。相手の透明な名刺を機械的に検証するようなものです。

身元が確認されると、エージェントたちはAIDIP規格に従って本格的に対話を開始します。人間が複雑な会員登録や決済画面を一つずつクリックする必要はなく、機械同士が相手の機能明細書を読み取り、安全に予約を行ったり決済APIを呼び出したりできるよう規格を統一します。人間の介入なしでも安全かつ賢明に協力し合う、新しいWeb構造が作られているのです。

機械と人間が共に使うWebの次のステップ

従来のWebが人間の目に合わせた視覚的な空間であったなら、これからのWebはAIエージェントも共に読み込み活動する空間へと進化するでしょう。llms.txtやagents.txtのようなファイルは、エージェントがWebサイトの動作原理を誤解なく理解し、約束されたルールを守れるようにするための道しるべとなります。

Webサイトを構築・管理するビルダーたちは、単純な画面構成を超えて、AIという新しいゲストを丁重に迎える準備を始める必要があります。機械と人間が調和して共存するWebの次のステージへ、今から一歩ずつ準備を進めてみてはいかがでしょうか。