robots.txt（ロボッツテキスト）とは｜意味・読み方・AIクローラーの指定

この言葉の基本

robots.txtの読み方・置き場所・書き方

たとえば、OpenAIの学習用クローラーだけを拒否する場合は、次のように書きます。

User-agent: GPTBot
Disallow: /

robots.txtという言葉の由来

robots.txtの取り決めは、1994年にMartijn Koster氏が定めたものです。長く事実上の標準として使われ、2022年9月にRFC 9309（Robots Exclusion Protocol）として仕様が文書化されました。

RFC 9309は、robots.txtのルールは「アクセスの認可ではない」としています。

AIクローラーの話でrobots.txtが使われる文脈

AIサービスの運営元は、学習用・検索用・ユーザーの指示で取得する用と、目的ごとにクローラーの名前を分けていることがあります。名前が違うので、robots.txtでは別々に指定できます。

robots.txtで指定する主なAIクローラーの名前と目的

名前と目的は、OpenAI・Anthropic・Google・Perplexity・Common Crawl・Metaがそれぞれ公開しています。

ユーザーの指示で取得するBotは扱いが違います。OpenAIはChatGPT-Userについて、Perplexityは Perplexity-User について、robots.txtの指定が当てはまらない場合があると説明しています。

似た言葉との関係

User-Agent

クローラーがアクセスするときに名乗る文字列です。robots.txtの「User-agent」の行に、この名前を書きます。Google-Extendedのように、robots.txtで指定するためだけの名前もあります。

llms.txt

AIにサイトの内容を案内するファイルで、許可・拒否を伝えるrobots.txtとは役割が異なります。

TDM例外

EU著作権指令が定める、テキスト・データマイニングの例外規定です。技術的な取り決めのrobots.txtと違い、法律上のオプトアウトの話です。

GEO対策における位置づけ

robots.txtは、AIクローラーがページを取得してよいかを伝える入口の設定です。学習用の拒否と検索用の拒否は別の決定で、OpenAIは各Botの設定は互いに独立していると説明しています。同社によると、OAI-SearchBotを拒否したサイトはChatGPTの検索回答に表示されません。

robots.txtで決められるのは取得の許可・拒否までで、AIの回答で引用されるかどうかは別のことです。

AIのBotの種類と、AIごとに対策を分ける必要があるかの全体像は、AIごとに対策を分ける必要はあるのか｜AIクローラー3種類＋土台で整理しています。

よくある誤解

robots.txtでブロックすれば完全に守れる

良識あるクローラーは従いますが、強制力はありません。ユーザーの指示で取得するBotのように、運営元が「当てはまらない場合がある」としているものもあります。

AIクローラーをブロックしても検索には影響しない

Bot次第です。Googleは、Google-ExtendedがGoogle検索への掲載や順位に影響しないとしています。一方、OAI-SearchBotやPerplexityBotなど検索用のBotを拒否すると、そのAIの検索結果には表示されなくなります。

robots.txtは一度設定すれば変更不要

AIクローラーの名前は、新しいサービスや機能が出るたびに増えたり変わったりします。書いたときになかった名前は、個別には指定されていません。

robots.txtに関連する用語

robots.txtに関連する用語と、その意味

よくある質問

Q robots.txtは何と読みますか？

Q 自社サイトのrobots.txtの設定を確認する方法はありますか？

Q 学習用のクローラーだけを拒否することはできますか？