AIは質問によって検索しているのか？｜同じAIでも回答が変わる理由を観察してみた
GEO対策を考えるうえで、私はAIに「学習型モード」と「RAG型モード」の2つがあると考えています。学習済みの知識だけで答えるのが学習型、外部の情報を取得して答えるのがRAG型です。AIが回答を作る流れは、AI検索の仕組みとは｜情報取得からLLMによる回答生成までで解説しています。では実際にAIはどんな時に外部情報を取得し、どんな時に学習済み知識だけで回答しているのでしょうか。今回は簡単な実験をしてみます。
なお、AIの内部処理はブラックボックスです。この記事では「検索している・していない」を断定するのではなく、「質問によって回答の生成プロセスが変わっているように見える」という観察として読んでください。
実験方法
同じAIに対して、以下の2つの質問を行います。
- パターン①：おすすめのメンズスニーカー
- パターン②：最近おすすめのメンズスニーカー
違いは「最近」の2文字だけです。これをChatGPTとPerplexityの2つのAIで試しました。いずれもゲストモードで実施しています（パーソナライズを排除するため）。
実験結果
ChatGPT
質問①「おすすめのメンズスニーカー教えてください。」
- 引用元の表示なし
- New Balance・オニツカタイガー・ASICSなど定番ブランドが中心
- 学習済み知識だけで答えているように見える
質問②「最近おすすめのメンズスニーカー教えてください。」
- 「WEAR2AM +2」「Street Sneakers +2」など引用元が表示された
- ASICS NOVABLAST・SALOMON・Onなど最新トレンドモデルが登場
- 外部のWeb情報を取得しているように見える
Perplexityでも試してみた
質問①「おすすめのメンズスニーカー教えてください。」
- 引用は最初から存在（Perplexityは常時Web参照）
- kakaku・verarusなどレビュー・比較系メディアを参照
- New Balance・adidas・ASICSなど定番系が中心
質問②「最近おすすめのメンズスニーカー教えてください。」
- 引用は引き続き存在
- 参照先がkakaku・itmedia・sakidoriなどトレンド・新商品記事に変化
- U9060など「いまっぽいモデル」が登場
面白かったこと
2つのAIを比較すると、興味深い違いが見えてきました。
- ChatGPT：「おすすめ」では引用なし、「最近おすすめ」では引用あり。引用が出るかどうか自体が変わった。
- Perplexity：どちらの質問でも引用は存在した。しかし引用先のメディアが変わった。「おすすめ」ではレビュー・比較系、「最近おすすめ」ではトレンド・新商品系へ。
もしGEO対策が「FAQを増やすこと」だけなら、質問によってここまで挙動は変わらないはずです。AIは質問の意図を解釈し、その意図に応じて取得する情報や参照先を変えているように見えます。
共通しているのは、AIは質問を理解した上で、必要な情報を探しているように見えるということです。
何が起きているように見えるのか
私の観察では、「おすすめ」だけなら学習済み知識で答えられる質問でも、「最近おすすめ」になると最新性が必要になるため、外部情報を取得しているように見えます。
これはAIが質問の意図を解釈して、回答生成のプロセスを変えているように見える、と言えるかもしれません。繰り返しになりますが、内部処理はブラックボックスです。あくまでも観察です。
学習型モードとRAG型モードで考える
以前紹介した考え方に当てはめると、以下のように整理できます。
- 「おすすめのメンズスニーカー」→ 学習済み知識から回答（学習型モード）
- 「最近おすすめのメンズスニーカー」→ 外部情報を取得して回答（RAG型モード）
「最近」という2文字が、AIの情報参照プロセスを変えているように見えます。
だからRAG対策だけで良いのか？
この実験を見ると「検索されるならRAG対策だけやればいい」と思うかもしれません。しかし私はそうは考えていません。
検索した情報を理解するのは誰か
外部情報を取得した後に、その情報を要約・比較・推薦するのはAI自身です。つまり：
- 目 ＝ RAG（情報を取りに行く）
- 脳 ＝ 学習モデル（取得した情報を理解・解釈する）
検索できても、ブランドを正しく理解していなければ正確に推薦できません。「最近のトレンド記事を取得できた」としても、そのブランドがどんな会社で誰向けなのかをAIが理解していなければ、適切な文脈で推薦されません。
GEO対策への示唆
この実験から見えるのは、GEO対策には2つのアプローチが必要だということです。
- 学習型対策：言及頻度・一貫性・関連性。AIがブランドを正しく概念形成できるよう、Web上に一貫した情報を蓄積する。
- RAG型対策：クロール性・構造化・引用しやすさ。AIが外部取得するとき、自社のコンテンツが選ばれやすい状態を作る。
私は「AIに何を学習させるか」と「AIが何を取得しやすいか」の両方が重要だと考えています。
まとめ
- AIは質問によって回答プロセスを変えているように見える
- 「最近」など最新性を求める質問では外部情報取得が増える傾向がある
- Perplexityのような常時RAG型でも、質問によって取得先のメディアが変わる
- 検索できることと理解できることは別問題
- GEO対策は学習型対策とRAG型対策の両方が必要
関連記事：GEO対策でよくある失敗についてはGEO対策でやってはいけないこと10選をご覧ください。
関連記事：引用・推薦・選定の違いについてはAIに引用されても売上は増えないをご覧ください。