そもそも、AIごとに対策を分ける必要はあるのか

99個のBotを断っていたAmazonを、ChatGPTは出典にしていた

サイトには robots.txt というファイルを置けます。「このBotは入らないでください」と書いておくファイルです。amazon.co.jp の robots.txt（2026年9月18日取得）には、サイト全体に入らないでくださいと書かれたBotの名前が99個ありました。Botごとに制御しようとした、かなり極端な例です。

私たちは動画配信サービスについての30問を、ChatGPTとGeminiに6回ずつ聞いています。その回答で、Amazon Prime Videoに触れた回答が、amazon.co.jp を出典にしていたかを数えました（この観測はAmazonが生成AIのボットをブロックしているのを、知っていますか？にまとめています）。

同じように断られていて、Geminiは出典にせず、ChatGPTは出典にしました。OpenAIの説明を読むと、手がかりが2つ書かれています。

• OAI-SearchBotを止めたサイトも、「ナビゲーション用のリンク」としては表示されることがある
• ChatGPT-Userはユーザーの操作で動くため、「robots.txtのルールが当てはまらないことがある」

※　出典：OpenAI「Overview of OpenAI Crawlers」

ただし、私たちのデータからは、ChatGPTがどの経路で amazon.co.jp を出典にしたのかまでは分かりません。分かるのは、robots.txt を書くだけでは、AIでの扱いまでは決められなかったということです。

それでもBotの種類を知る意味はどこにあるのか

GEO対策を調べていると、「FAQの形にしろ」「定義文を入れろ」「構造化データを実装しろ」という話が並びます。どれも実務では使われていますが、なぜそれが効くと言われているのかまで説明されていることは少ないと感じています。

その「なぜ」をたどると、AIがどうやってWebから情報を取っているかにぶつかります。そこに出てくるのがAIクローラーのBotです。2026年時点で主要なものだけで10種類以上あり、動くタイミングも目的も違います。

ここで大事なのは、Botの種類を知るのは、Botを制御するためではないということです。上のAmazonの例のとおり、設定を書いても、AIによって扱いは違いました。種類を知るのは、「自分のページが、いつ、どんな目的で読まれているのか」を把握するためです。

AIクローラーの「3＋1」分類

AIクローラーのBotは、いつ動くかと何のために動くかで4つに分けられます。3種類のAI用Botと、その土台になる従来の検索エンジンのBotです。

AIクローラーBotの「3＋1」分類

① インデックス型：事前に集めて、質問のときに参照する

OAI-SearchBot（OpenAI）・PerplexityBot・Claude-SearchBot（Anthropic）が当てはまります。ユーザーが質問する前からWebを巡回して自前のデータベースを作り、質問が来たらそこから取り出して回答を組み立てます。

OAI-SearchBot

ChatGPT Search 向けの索引を作るBotです。OpenAIの公式ドキュメントに、学習用の GPTBot とは別のBotだと明記されています。なお ChatGPT Search が他社の検索インデックスも併用しているという話は各所で報じられていますが、公式ドキュメントで明示されているわけではありません。

PerplexityBot

Perplexity の検索・回答エンジンの情報源です。公式の説明では、基盤モデルの学習ではなく検索インデックスの用途とされています。

Claude-SearchBot

Anthropic の公式ドキュメントでは、検索インデックス用のBotとして分類されています。代理アクセス型の Claude-User とは役割が違います。

公式の説明から読み取れること

各社の説明は、引用するときに見ているものとして次のような点を挙げています。見出しの直下に結論があること、質問と答えが組になっていること、数字と出典があること、そのドメインが信頼できることです。

※　これらが実際に引用されやすさを変えるかどうかは、私たちはまだ確かめていません。

② 学習型：長い時間をかけてAIの知識になる

GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended（Google）が当てはまります。数か月から数年の単位でWebのデータを集め、AIモデルの基礎になる知識として学習させるためのBotです。

厳密には、この3つは同じものではありません。GPTBot と ClaudeBot は独立したクローラーですが、Google-Extended はクローラーそのものではなく、Googleのクローラーに対してAI学習での利用を許可するかどうかを指定するためのトークンです。この記事では便宜上まとめていますが、技術的な位置づけは違います。

公式ドキュメントに書かれていること

• OpenAI：GPTBot は「OpenAIの生成AIの基盤モデルをより有用かつ安全にするために使用する」
• Google：Google-Extended は「GeminiモデルおよびVertex AIのトレーニングと、AI回答のグラウンディングに使用する」

Grok系のBotについて

xAI の Grok 系Botについては、公式ドキュメントが見つかりませんでした。X（旧Twitter）上の言及が影響するという見方もありますが、確かめられていないので、この記事では扱いません。

③ 代理アクセス型：質問の瞬間に取りに来る

ChatGPT-User（OpenAI）と Claude-User（Anthropic）が当てはまります。事前のデータベースを持たず、ユーザーが「このURLを読んで」と指示したその瞬間に、ユーザーの代わりにそのページへ直接アクセスします。

Anthropic は2026年2月に公式ドキュメントを更新し、ClaudeBot（学習用）・Claude-SearchBot（検索インデックス用）・Claude-User の3Bot体制と、それぞれの役割を明示しました。このうち代理アクセス型にあたるのが Claude-User で、「Claudeのユーザーが質問した際に、ウェブサイトへのアクセスを支援するBot」と定義されています。

冒頭のAmazonの例で、OpenAIの説明として引いた「ChatGPT-Userはユーザーの操作で動くため、robots.txtのルールが当てはまらないことがある」という記述は、この型の話です。

【土台】従来の検索エンジンのBot

Googlebot と Bingbot は、AI検索用ではなく従来の検索エンジンのためのBotです。それでもこの記事で別枠にしているのは、AI各社の回答が、検索エンジン側の索引とまったく無関係には動いていないためです。

くわえて、到達しているページ数が桁違いです。次の節で見るCloudflareの調査では、Googlebot がユニークページの11.6%に到達していたのに対し、GPTBot は3.6%でした。

私たちの15業界450問の調査では、AIが引用したURLの75.0%は、同じ質問の検索結果で上位11位以下のサイトでした。検索の上位にいることは、AIに引用されることを保証しません。ただ、検索エンジンに載っていないページがAIの選択肢に入りにくいことは、Botの到達率から見て確かです。

Botはどのくらい来ているのか（海外の調査）

自社サイトへのBotの来訪は、私たちはまだ数えていません。ここでは海外の調査を2つ引きます。

Botごとのユニークページ到達率（Cloudflare、2025年10〜11月）

Googlebot の到達率が、AI各社のBotより大きく上にあります。Bingbot も ClaudeBot と同じかそれ以上です。従来の検索エンジンのBotを「土台」として別枠にしているのは、この差が理由です。

1サイトあたり1日のヒット数の中央値（Digital Applied、12サイト・30日間、2026年4月26日公開）

同じ調査では、GPTBot がよく見られているページを平均2.4日ごとに再訪問するのに対し、ClaudeBot は平均6.8日ごととされています。

なお、AI検索経由の訪問数について、2025年Q1の156億件から2026年Q1の274億件へ増えたという数字もあります（Contently）。出典は「42.8%増」と書いていますが、示されているこの2つの数字からは75.6%増になります。どちらが正しいかはこの記事では確かめられないので、数字だけを引きます。

※　いずれも海外サイトを対象にした調査です。日本語サイトで同じになるかは確かめていません。Cloudflareの調査は2025年10〜11月のもので、この記事を更新した時点から10か月前になります。

どのBotが来ても読める形にする

ここまでを並べると、Botごとに設定を変えて扱いを決めるのは難しい、ということになります。Amazonの例では、99個のBotを断っても、AIによって扱いは違いました（Amazonが生成AIのボットをブロックしているのを、知っていますか？）。Botの種類によって動くタイミングは違いますが、渡しているHTMLは1つです。

Botの分類を知る使い道は、「どのBotに何をするか」を決めることではなく、「いま自分のページは、どのタイミングで、誰に読まれうるのか」を把握することだと考えています。

この記事で確かめたこと、確かめていないこと

この記事のうち、自社で確かめたことと、確かめていないことを分けておきます。

確かめたこと

• robots.txt で99個のBotを断っていた amazon.co.jp を、ChatGPTは108回答中41回答で出典にしていた（Geminiは151回答中0回答）

確かめていないこと

• 日本語サイトへの、Botごとの来訪頻度
• Botが来てから、AIの回答に出るまでの時間
• FAQの形にすると、引用されやすくなるかどうか
• 見出しの構造を直すと、AIの扱いが変わるかどうか
• Botごとに、引用されるページの中身が違うかどうか

確かめたものが出たときに、この節に足します。

よくある質問

Q AIごとに対策を分ける必要はありますか？

Q robots.txt でBotをブロックすべきですか？

Q PerplexityBot は Googlebot や Bingbot と何が違いますか？

参照・出典

• OpenAI「Overview of OpenAI Crawlers」
• Anthropic 公式ドキュメント（ClaudeBot・Claude-SearchBot・Claude-User の3Bot体制は2026年2月の更新で明示）
• Search Engine Journal「Google Updates Gemini & Vertex AI User Agent Documentation」（2025年4月）
• Perplexity「Perplexity Crawlers」
• Cloudflare「AI bot traffic」／Search Engine Journal による紹介（2025年10〜11月）
• Digital Applied「Agentic Crawler Behavior: 30-Day Site Log Study 2026」（2026年4月26日公開、12サイト・30日間）
• Contently「AI Crawlers Explained」（2026年5月）
• No Hacks「AI user agents landscape 2026」