robots.txtとは｜意味・定義・GEO対策における位置づけ

AIクローラー対応 2026-06-10

著者：喜多陽平 / Kita Yohei　公開日：2026年06月02日

robots.txt（ロボッツテキスト）とは、ウェブサイトのルートディレクトリに設置するテキストファイルで、クローラー（自動巡回プログラム）に対してアクセス可否を伝える仕組みです。GEO対策においては、AIの学習用クローラーと検索・引用用クローラーを区別して設定することが重要であり、「全部ブロック」か「全部許可」かではなく、目的に応じた使い分けが求められます。

このページでわかること

robots.txtの意味・定義
AIクローラーの2種類と使い分け
主なAIクローラーの一覧
GEO対策における位置づけ
よくある誤解

robots.txtとは

robots.txt（ロボッツテキスト）とは、サイトのルートURL（例：https://genview.io/robots.txt）に設置するテキストファイルです。User-agent（クローラーの名前）ごとにAllow（許可）またはDisallow（不許可）を記述することで、そのクローラーがアクセスできるページを制御します。

重要な前提として、robots.txtは法的拘束力のない技術的な慣例です。良識あるクローラーはrobots.txtを尊重しますが、無視することも技術的には可能です。Capconvert（2026年3月）の調査では2025年Q4にAIボットリクエストの13%がrobots.txtを無視していたことが報告されています。法的拘束力を持つオプトアウトについてはTDM例外を参照してください。

なぜGEOでrobots.txtが語られるのか

2026年時点で、AIクローラーは大きく2種類に分かれています。そしてGEO対策においては、この2種類を区別して設定することが非常に重要です。

No Hacks（2026年4月）は「学習クロールをブロックすること・検索クロールをブロックすること・ユーザートリガーのフェッチをブロックすることは、それぞれ別の決定だ。1つのrobots.txtルールでこの3つを正しく制御することはできない」と指摘しています。

GEO対策の観点では「学習クロールをブロックしながら検索・引用クロールは許可する」という使い分けが、多くのブランドにとって合理的な選択です。

AIクローラーの2種類

種類	目的	ブロックした場合の影響
学習用クローラー	AIモデルの学習データとして収集	自社コンテンツがAIの学習データに含まれない（IP保護）
検索・引用用クローラー	リアルタイムの検索・引用のために取得	そのAIの検索結果・引用から除外される（GEO的に大きな損失）

Mersel AI（2026年）は「GPTBot（学習用）をブロックしてもGoogle検索順位には影響がない。しかしOAI-SearchBot（検索用）をブロックするとChatGPTの検索結果から完全に除外される」と報告しています。

主なAIクローラー一覧（2026年）

クローラー名	提供元	種類
GPTBot	OpenAI	学習用
OAI-SearchBot	OpenAI	検索・引用用
ChatGPT-User	OpenAI	ユーザートリガー（引用リンク取得）
ClaudeBot	Anthropic	学習用
Claude-SearchBot	Anthropic	検索・引用用
Google-Extended	Google	学習用（Googlebot検索には影響しない）
PerplexityBot	Perplexity	検索・引用用
CCBot	Common Crawl	学習用（多数のオープンソースLLMが使用）
Meta-ExternalAgent	Meta	学習用（リファラルトラフィックはほぼゼロ）

Cloudflare（2025年8月）の報告では、250万以上のサイトがAI学習クロールを完全にブロックする設定を選択していることが示されています。

GEO対策におけるトレードオフ

Rutgers Business SchoolとWharton Schoolの研究（2025年12月）では、robots.txtでAIクローラーをブロックしたサイトはトラフィックが平均23%低下したことが示されています。これはブロックにリスクがあることを示す学術的根拠です。

Genviewでは、robots.txtの設定を「全部ブロックか全部許可か」ではなく、以下の観点で判断することを推奨しています。

学習用クローラー：自社コンテンツをAIの学習データとして提供したくない場合はDisallow。GEO的な影響は限定的
検索・引用用クローラー：GEO対策を重視するならばAllow。ブロックするとそのAIの検索・引用から完全に除外される
機密コンテンツ・管理ページ：すべてのクローラーに対してDisallow

Genviewによる定義

GEO対策の文脈において、robots.txtとは「クローラーへのアクセス可否を伝える技術的慣例ファイルであり、AIの学習用クローラーと検索・引用用クローラーを区別して設定することでGEO対策とIP保護のバランスを取るための手段」です。

robots.txtは法的拘束力がなく、あくまで技術的な慣例です。法的なオプトアウトが必要な場合はTDM例外・TDMRepの活用が必要です。GEO対策においてはrobots.txtを「守り」と「攻め」の両方の観点から設計することが推奨されます。

この定義はGenviewの見解であり、業界の総意ではありません。

AI検索時代に備える本格的なGEO対策を、今すぐ始めませんか？

Genviewをご契約いただくと、主要なAIクローラーの最新仕様に準拠した、「ほぼコピペでそのまま使えるrobots.txtのテンプレート・解説ページ」をご利用いただけます。守りと攻めの具体的な記述例を今すぐ確認・実装したい方は、管理画面よりご活用ください

料金プランの確認・お申込みはこちら

よくある誤解

誤解①：「robots.txtでブロックすれば完全に守れる」

robots.txtは法的拘束力のない技術的慣例です。良識あるクローラーは遵守しますが、強制力はありません。2025年Q4にはAIボットの13%がrobots.txtを無視していたという報告もあります。完全な保護が必要な場合はサーバーレベルの制御（WAFルール・403応答）との併用が必要です。

誤解②：「AIクローラーをブロックしてもSEOには影響しない」

Google-ExtendedやGPTBotのブロックはGoogleの検索順位に影響しないとされています。しかし検索・引用用クローラー（OAI-SearchBot・PerplexityBotなど）をブロックするとそのAIの検索結果から除外されます。ブロックの対象と影響範囲を正確に理解することが重要です。

誤解③：「robots.txtは一度設定すれば変更不要」

AIクローラーの種類は急速に増加・変化しています。新しいAIサービスが登場するたびに新しいクローラーが追加されるため、定期的な見直しが必要です。廃止されたクローラー名の削除・新しいクローラーの追加を少なくとも四半期ごとに確認することが推奨されます。

よくある質問

Q: GEO対策を重視する場合、robots.txtはどう設定すれば良いですか？
A: 基本方針として「検索・引用用クローラー（OAI-SearchBot・PerplexityBot・Claude-SearchBotなど）はAllow、学習用クローラー（GPTBot・ClaudeBot・CCBotなど）はDisallow」という使い分けが多くのブランドにとって合理的です。ただし自社のコンテンツ戦略・IP保護方針に応じて判断してください。

Q: robots.txtの設定を確認する方法はありますか？
A: ブラウザでhttps://[ドメイン]/robots.txtにアクセスすることで現在の設定を確認できます。Google Search Consoleの「robots.txtテスター」を使うと特定のクローラーに対する設定が正しく機能しているかも確認できます。

参考文献

Rutgers Business School・Wharton School「AI Crawler Blocking Impact Study」2025年12月（robots.txtでAIクローラーをブロックしたサイトはトラフィックが平均23%低下）
No Hacks「The AI User-Agent Landscape in 2026: A Complete Reference」2026年4月（学習クロールと検索クロールの制御は別々の決定であるという指摘）
Mersel AI「How to Block AI Bots in robots.txt: GPTBot, ClaudeBot & More (2026)」2026年3月（GPTBotブロックはGoogle検索順位に影響なし・OAI-SearchBotブロックはChatGPT検索から除外）
Cloudflare「AI Bot Blocking Report」2025年8月（250万以上のサイトがAI学習クロールを完全ブロック）

Author: Kita Yohei　Published: June 2, 2026

robots.txt is a text file placed in the root directory of a website that communicates crawler access permissions to automated web crawlers. In GEO strategy, it is important to distinguish between AI training crawlers and search/citation crawlers — the right approach is not blanket blocking or blanket allowing, but deliberate configuration based on your goals.

What You'll Learn on This Page

The meaning and definition of robots.txt
The two types of AI crawlers and how to configure them
A reference list of major AI crawlers
Its role in GEO strategy
Common misconceptions

What Is robots.txt?

robots.txt is a text file placed at a site's root URL (e.g., https://genview.io/robots.txt). By writing Allow or Disallow for each User-agent (crawler name), it controls which pages that crawler can access.

An important caveat: robots.txt is a technical convention with no legal force. Well-behaved crawlers respect it, but ignoring it is technically possible. Capconvert's March 2026 research found that 13% of AI bot requests bypassed robots.txt in Q4 2025. For legally binding opt-out, see TDM Exception.

Why Is robots.txt Discussed in GEO?

As of 2026, AI crawlers fall into two main categories. Distinguishing between them in your robots.txt configuration is critical for GEO strategy.

No Hacks (April 2026) noted that "blocking training crawls, blocking search crawls, and blocking user-triggered fetches are three separate decisions. One robots.txt rule cannot make all three correctly."

From a GEO perspective, blocking training crawlers while allowing search and citation crawlers is the rational configuration for most brands.

The Two Types of AI Crawlers

Type	Purpose	Effect of Blocking
Training crawlers	Collect content for AI model training data	Your content excluded from AI training data (IP protection)
Search / citation crawlers	Retrieve content for real-time search and citations	Excluded from that AI's search results and citations (significant GEO loss)

Mersel AI (2026) reported that "blocking GPTBot (training) has no measurable impact on Google Search rankings, but blocking OAI-SearchBot (search) removes you from ChatGPT search answers entirely."

Major AI Crawlers Reference (2026)

Crawler Name	Provider	Type
GPTBot	OpenAI	Training
OAI-SearchBot	OpenAI	Search / citation
ChatGPT-User	OpenAI	User-triggered (citation link retrieval)
ClaudeBot	Anthropic	Training
Claude-SearchBot	Anthropic	Search / citation
Google-Extended	Google	Training (does not affect Googlebot for search)
PerplexityBot	Perplexity	Search / citation
CCBot	Common Crawl	Training (used by many open-source LLMs)
Meta-ExternalAgent	Meta	Training (generates virtually zero referral traffic)

Cloudflare's August 2025 report showed that over 2.5 million websites had chosen to completely block AI training crawls.

The GEO Trade-Off

Research from Rutgers Business School and Wharton School (December 2025) found that sites blocking AI crawlers via robots.txt experienced an average traffic decline of 23% — academic evidence that blocking carries risk.

Genview recommends approaching robots.txt configuration not as "block everything or allow everything," but through the following framework:

Training crawlers: Disallow if you don't want your content included in AI training data. GEO impact is limited.
Search / citation crawlers: Allow if GEO strategy is a priority. Blocking removes you entirely from that AI's search and citations.
Confidential content / admin pages: Disallow for all crawlers.

Genview's Definition

In the context of GEO strategy, robots.txt is defined as "a technical convention file that communicates crawler access permissions — a tool for balancing GEO strategy and IP protection by distinguishing between AI training crawlers and search/citation crawlers in configuration."

robots.txt has no legal force and remains a technical convention. When legally binding opt-out is needed, TDM Exception and TDMRep are required. In GEO strategy, robots.txt is recommended to be designed from both a "defensive" and "offensive" perspective.

This definition reflects Genview's perspective and is not an industry consensus.

Related Terms

TDM Exception: The legal opt-out right for AI training crawlers under EU copyright law. Unlike robots.txt, it carries legal force.
llms.txt: A supplementary file that tells AI which pages are most important. Used alongside robots.txt to optimize information delivery to AI.
Grounding: The mechanism by which AI anchors responses to specific sources. Allowing search/citation crawlers makes it more likely your content becomes a grounding source.
Zero Click Search: The state where users complete searches without clicking any link. Being cited by AI maintains brand exposure in a zero-click environment.

Common Misconceptions

Misconception 1: "Blocking with robots.txt provides complete protection"

robots.txt is a technical convention with no legal enforcement. Well-behaved crawlers comply, but there is no enforcement mechanism. Reports indicate 13% of AI bot requests bypassed robots.txt in Q4 2025. For complete protection, server-level controls (WAF rules, 403 responses) should be used alongside robots.txt.

Misconception 2: "Blocking AI crawlers has no impact on SEO"

Blocking Google-Extended or GPTBot does not affect Google Search rankings. However, blocking search/citation crawlers (OAI-SearchBot, PerplexityBot, etc.) removes you from that AI's search results. Understanding the exact scope of what you're blocking and its effects is essential.

Misconception 3: "robots.txt only needs to be configured once"

AI crawler types are rapidly expanding and changing. New AI services launch new crawlers regularly. At minimum quarterly reviews — removing deprecated crawler names and adding new ones — are recommended.

FAQ

Q: How should I configure robots.txt if GEO strategy is a priority?
A: The recommended baseline is to Allow search/citation crawlers (OAI-SearchBot, PerplexityBot, Claude-SearchBot, etc.) and Disallow training crawlers (GPTBot, ClaudeBot, CCBot, etc.). Adjust based on your content strategy and IP protection priorities.

Q: How can I check my current robots.txt configuration?
A: Visit https://[domain]/robots.txt in a browser to see your current settings. Google Search Console's robots.txt Tester can verify whether settings for specific crawlers are functioning correctly.

References

Rutgers Business School / Wharton School, "AI Crawler Blocking Impact Study," December 2025 (Sites blocking AI crawlers via robots.txt saw an average 23% traffic decline)
No Hacks, "The AI User-Agent Landscape in 2026: A Complete Reference," April 2026 (Training and search crawler control are separate decisions)
Mersel AI, "How to Block AI Bots in robots.txt: GPTBot, ClaudeBot & More (2026)," March 2026 (GPTBot block has no impact on Google rankings; OAI-SearchBot block removes from ChatGPT search)
Cloudflare, "AI Bot Blocking Report," August 2025 (2.5 million+ sites chose to completely block AI training crawls)

← GEO用語集に戻る