User-Agent（ユーザーエージェント）とは｜意味・定義とGEO対策における位置づけ

AIクローラー対応 2026-06-09

著者：喜多陽平 / Kita Yohei　公開日：2026年06月09日

User-Agent（ユーザーエージェント）とは、WebサーバーにHTTPリクエストを送る際に、クライアント（ブラウザ・ボット・クローラーなど）が自身を識別するために送信する文字列のことです。ChromeブラウザもClaudeBotも、Webサーバーから見ると「User-Agentを持つクライアント」という点では同じです。AIクローラーはそれぞれ固有のUser-Agent文字列を持っており、robots.txtでこの文字列を指定することで、特定のAIクローラーに対するアクセス制御が可能になります。GEO対策においてAIクローラーを個別に許可・拒否するために理解しておくべき基礎概念です。

このページでわかること

User-Agentの意味・定義
主なAIクローラーのUser-Agent文字列
学習用クローラーと検索用クローラーの違い
robots.txtとの関係
なぜGEO対策でUser-Agentが重要なのか
よくある誤解

User-Agentとは

WebブラウザがWebサイトにアクセスするとき、サーバーに対して「自分はどんなクライアントか」を伝えるHTTPリクエストヘッダーが送信されます。このヘッダーに含まれる識別文字列がUser-Agentです。

人間がブラウザで閲覧する場合と異なり、AIクローラーはプログラムとしてWebを自動巡回します。各AIサービスは自社クローラーに固有のUser-Agent文字列を設定しており、Webサーバーはこの文字列を見て「どのAIがアクセスしてきたか」を識別できます。

robots.txtはこのUser-Agentを指定することで、クローラーごとに異なるルールを設定できます。

主なAIクローラーのUser-Agent

GEO対策で把握しておくべき主なAIクローラーのUser-Agent文字列は以下の通りです。AIクローラーごとに役割は異なるため、学習用クローラーと検索・取得用クローラーを区別して考える必要があります。

【主なAIクローラーのUser-Agent（2026年6月時点）】学習用クローラー GPTBot → OpenAI（ChatGPT） ClaudeBot → Anthropic（Claude） Google-Extended → Google（生成AI関連機能向け学習制御）検索・取得用クローラー PerplexityBot → Perplexity bingbot → Microsoft（Copilot） xAI系クローラー → xAI（Grok） ※User-Agentは変更される可能性があるため公式情報を参照 ※ User-Agent文字列は各社のアップデートにより変更される場合があります。 ※ 最新情報は各社の公式ドキュメントで確認してください。

学習用クローラー（GPTBot・ClaudeBotなど）はコンテンツをAIの学習データとして収集することを目的とします。検索・取得用クローラー（PerplexityBotなど）はRAGベースの推論でリアルタイムにコンテンツを取得することを目的とします。それぞれ目的が異なるため、GEO対策における制御の判断も変わります。

→ AIボットクロールとは

robots.txtとUser-Agentの関係

robots.txtでUser-Agentを指定する基本的な書き方は以下の通りです。

【robots.txtの記述例】 # すべてのクローラーに対してデフォルト許可 User-agent: * Disallow: # OpenAIの学習用クローラーのみ拒否 User-agent: GPTBot Disallow: / # AnthropicのクローラーをGEO対策ページのみ許可 User-agent: ClaudeBot Allow: /glossary/ Allow: /learn/ Disallow: / # GoogleのAI学習関連機能向けクローラーを拒否 User-agent: Google-Extended Disallow: /

User-agentに「*」を指定するとすべてのクローラーに適用されます。AIクローラーごとに異なるルールを設けたい場合は、それぞれのUser-Agentを個別に記述します。

→ robots.txtとは

なぜGEOでUser-Agentが語られるのか

GEO対策においてUser-Agentが重要な理由は2つあります。

ひとつはAIクローラーを個別に制御するためです。「学習用クローラーは許可するが検索用クローラーは制限する」「特定のAIだけ特定のディレクトリを許可する」といった細かい制御は、User-Agentの指定なしには実現できません。AIクローラーごとに役割は異なるため、学習用クローラーと検索・取得用クローラーを区別した上で判断することが重要です。

もうひとつはGEO対策の対象を明確にするためです。どのAIサービスのクローラーがサイトを巡回しているかを把握することで、どのプラットフォームへの対策が実際に機能しているかを理解できます。サーバーログでUser-Agentを確認することで、実際のAIクローラーのアクセス状況を把握できます。

→ llms.txtとは

GEO対策における位置づけ

GEO対策においてUser-Agentは「AIクローラー制御の識別子」として位置づけられます。

AIクローラーを許可するか拒否するかの判断はGEO戦略の根幹に関わります。学習用クローラーを拒否すればAIの学習データへの収録が制限され、長期的なEntityの形成に影響する可能性があります。逆に許可することでAIの学習データに組み込まれ、パラメトリック推論での引用可能性が高まります。

ただし注意が必要なのは、robots.txtはクローラーへの「お願い」であり、法的な強制力はないという点です。大手AIサービスは通常robots.txtを遵守しますが、すべてのクローラーが従うとは限りません。クロールを法的に拒否したい場合はTDM例外の宣言が必要です。

→ TDM例外とは

Genviewによる定義

GEO対策の文脈において、User-Agentとは「AIクローラーがWebサーバーへのリクエスト時に送信する自己識別文字列であり、robots.txtによるAIクローラーの個別制御を実現するための識別子」です。

Genviewでは、User-Agentを「GEO対策におけるクローラー制御の入口」として位置づけています。どのAIにどこまでアクセスを許可するかという判断は、User-Agentの理解なしには実装できません。

この定義はGenviewの見解であり、業界の総意ではありません。

よくある誤解

誤解①：「robots.txtにUser-Agentを書けばAIクローラーは必ず従う」

robots.txtはクローラーへの「お願い」であり、法的な強制力はありません。大手AIサービスのクローラーは通常robots.txtを遵守しますが、すべてのクローラーが従うとは限りません。法的に拒否したい場合はTDM例外の宣言が必要です。

誤解②：「User-Agentは変わらない」

AIサービスは機能追加・サービス変更に伴いUser-Agent文字列を更新することがあります。定期的に各社の公式ドキュメントを確認し、最新のUser-Agentを把握しておくことが推奨されます。

誤解③：「AIクローラーをすべて拒否する方がGEO対策になる」

AIクローラーを拒否することは、AIの学習データへのコンテンツ収録を制限します。GEO対策の観点では、優良なコンテンツを持つサイトはAIクローラーに積極的にアクセスを許可することで、パラメトリック推論での引用可能性が高まります。拒否すべきかどうかはコンテンツの性質と戦略によって判断すべきです。

よくある質問

Q: AIクローラーが実際にサイトを訪問しているか確認できますか？: A: サーバーのアクセスログを確認することで、どのUser-Agentがいつアクセスしたかを把握できます。GPTBot・ClaudeBotなどのUser-Agent文字列でログをフィルタリングすることで、AIクローラーのアクセス状況を把握できます。
Q: GEO対策として、どのAIクローラーを許可すべきですか？: A: 原則としてGEO対策に積極的な場合はすべてのAIクローラーを許可することを推奨します。ただし学習用クローラーと検索・取得用クローラーでは目的が異なります。特定のAIに対して学習を拒否したい場合は該当するUser-Agentをrobots.txtで指定してDisallowを設定します。GEO対策とコンテンツ保護のバランスを考慮した上で判断してください。

参考文献

OpenAI「GPTBot」（OpenAI公式のGPTBotに関するドキュメント）
Google「Overview of Google crawlers」（Google-ExtendedなどGoogleクローラーの公式一覧）

Author: Kita Yohei　Published: June 9, 2026

A User-Agent is the string that a client (browser, bot, or crawler) sends to identify itself when making HTTP requests to a web server. Whether it's Chrome or ClaudeBot, both are "clients with User-Agents" from a web server's perspective. AI crawlers each have unique User-Agent strings, and by specifying these in robots.txt, access control for specific AI crawlers becomes possible. It is a foundational concept for AI crawler management in GEO strategy.

What You'll Learn on This Page

The meaning and definition of User-Agent
User-Agent strings of major AI crawlers
The difference between learning crawlers and search crawlers
The relationship with robots.txt
Why User-Agent matters in GEO strategy
Common misconceptions

What Is a User-Agent?

When a web browser accesses a website, an HTTP request header is sent to the server communicating "what kind of client I am." The identification string included in this header is the User-Agent.

Unlike humans browsing with a browser, AI crawlers automatically traverse the web as programs. Each AI service sets a unique User-Agent string for its crawler, allowing web servers to identify "which AI is accessing" from this string.

robots.txt can set different rules per crawler by specifying this User-Agent.

User-Agents of Major AI Crawlers

The major AI crawler User-Agent strings to know for GEO strategy are as follows. Since the roles of AI crawlers differ, it's important to distinguish between learning crawlers and search/retrieval crawlers.

[Major AI Crawler User-Agents (as of June 2026)] Learning crawlers GPTBot → OpenAI (ChatGPT) ClaudeBot → Anthropic (Claude) Google-Extended → Google (learning control for generative AI features) Search / retrieval crawlers PerplexityBot → Perplexity bingbot → Microsoft (Copilot) xAI crawlers → xAI (Grok) * User-Agent may change; refer to official documentation * User-Agent strings may be updated with each company's updates. * Check each company's official documentation for the latest information.

Learning crawlers (GPTBot, ClaudeBot, etc.) collect content for AI training data. Search/retrieval crawlers (PerplexityBot, etc.) retrieve content in real time for RAG-based inference. Their purposes differ, so GEO strategy control decisions also vary.

→ What Is AI Bot Crawl?

The Relationship Between robots.txt and User-Agent

The basic syntax for specifying User-Agents in robots.txt is as follows.

[robots.txt example] # Default: allow all crawlers User-agent: * Disallow: # Block only OpenAI's learning crawler User-agent: GPTBot Disallow: / # Allow Anthropic's crawler only for GEO strategy pages User-agent: ClaudeBot Allow: /glossary/ Allow: /learn/ Disallow: / # Block Google's generative AI learning crawler User-agent: Google-Extended Disallow: /

Specifying "*" for User-agent applies the rule to all crawlers. To set different rules per AI crawler, write each User-Agent individually.

→ What Is robots.txt?

Why Is User-Agent Discussed in GEO?

There are two reasons User-Agent matters in GEO strategy.

The first is to control AI crawlers individually. Fine-grained control — such as "allow learning crawlers but restrict retrieval crawlers" or "allow only a specific AI access to a specific directory" — can't be achieved without specifying User-Agents. Since AI crawlers differ in their roles, it's important to distinguish between learning crawlers and search/retrieval crawlers before making control decisions.

The second is to clarify GEO strategy targets. Understanding which AI service's crawlers are visiting a site helps understand which platform's strategy is actually functioning. Server log User-Agent analysis lets you grasp actual AI crawler access patterns.

→ What Is llms.txt?

Its Role in GEO Strategy

In GEO strategy, User-Agent is positioned as "the identifier for AI crawler control."

Whether to allow or block AI crawlers touches on the foundation of GEO strategy. Blocking learning crawlers restricts content from being included in AI training data, potentially affecting long-term Entity formation. Allowing them increases the possibility of citation in parametric inference.

One important caveat: robots.txt is a "request" to crawlers — it carries no legal force. Major AI service crawlers typically respect robots.txt, but not all crawlers necessarily comply. A TDM exception declaration is needed to legally refuse crawling.

→ What Is a TDM Exception?

Genview's Definition

In the context of GEO strategy, a User-Agent is defined as "the self-identification string an AI crawler sends when making requests to a web server — the identifier that enables individual AI crawler control through robots.txt."

Genview positions User-Agent as "the entry point of crawler control in GEO strategy." The judgment of which AI to grant how much access to cannot be implemented without understanding User-Agents.

This definition reflects Genview's perspective and is not an industry consensus.

Related Terms

robots.txt: A file specifying URL patterns to allow or disallow for crawlers. Used in combination with User-Agent.
AI Bot Crawl: The collective term for AI services crawling the web. User-Agent is the string that identifies each crawler.
llms.txt: A file placed for AI crawlers. Complementary to robots.txt + User-Agent.
noindex: A tag excluding pages from indexing. A page-level control method separate from robots.txt + User-Agent.
TDM Exception: A rights declaration legally refusing AI text and data mining. Functions as legal control where robots.txt + User-Agent is technical control.

Common Misconceptions

Misconception 1: "AI crawlers must comply if you write User-Agent in robots.txt"

robots.txt is a "request" to crawlers — it carries no legal force. Major AI service crawlers typically respect robots.txt, but not all crawlers necessarily comply. A TDM exception declaration is needed to legally refuse.

Misconception 2: "User-Agents don't change"

AI services may update their User-Agent strings with feature additions and service changes. Regularly checking each company's official documentation to stay current on User-Agents is recommended.

Misconception 3: "Blocking all AI crawlers is better GEO strategy"

Blocking AI crawlers restricts content from being included in AI training data. From a GEO strategy perspective, sites with quality content benefit from actively allowing AI crawlers, which raises citation possibilities in parametric inference. Whether to block should be judged based on content nature and strategy.

Frequently Asked Questions

Q: Can I check whether AI crawlers are actually visiting my site?: A: You can check server access logs to see which User-Agents accessed your site and when. Filtering logs for User-Agent strings like GPTBot and ClaudeBot lets you understand AI crawler access patterns.
Q: Which AI crawlers should I allow in GEO strategy?: A: When actively pursuing GEO strategy, allowing all AI crawlers is generally recommended. However, learning crawlers and search/retrieval crawlers have different purposes. To refuse training for a specific AI, specify that User-Agent in robots.txt with Disallow. Make judgments weighing GEO strategy goals against content protection needs.

References

OpenAI, "GPTBot" (OpenAI's official documentation on GPTBot)
Google, "Overview of Google crawlers" (Official list of Google crawlers including Google-Extended)

← GEO用語集に戻る