AIは質問によって検索しているのか？｜同じAIでも回答が変わる理由を観察してみた

実験方法

同じAIに対して、以下の2つの質問を行います。

• パターン①：おすすめのメンズスニーカー
• パターン②：最近おすすめのメンズスニーカー

違いは「最近」の2文字だけです。これをChatGPTとPerplexityの2つのAIで試しました。いずれもゲストモードで実施しています（パーソナライズを排除するため）。

実験結果

ChatGPT

質問①「おすすめのメンズスニーカー教えてください。」

• 引用元の表示なし
• New Balance・オニツカタイガー・ASICSなど定番ブランドが中心
• 学習済み知識だけで答えているように見える

質問②「最近おすすめのメンズスニーカー教えてください。」

• 「WEAR2AM +2」「Street Sneakers +2」など引用元が表示された
• ASICS NOVABLAST・SALOMON・Onなど最新トレンドモデルが登場
• 外部のWeb情報を取得しているように見える

Perplexityでも試してみた

質問①「おすすめのメンズスニーカー教えてください。」

• 引用は最初から存在（Perplexityは常時Web参照）
• kakaku・verarusなどレビュー・比較系メディアを参照
• New Balance・adidas・ASICSなど定番系が中心

質問②「最近おすすめのメンズスニーカー教えてください。」

• 引用は引き続き存在
• 参照先がkakaku・itmedia・sakidoriなどトレンド・新商品記事に変化
• U9060など「いまっぽいモデル」が登場

面白かったこと

2つのAIを比較すると、興味深い違いが見えてきました。

• ChatGPT：「おすすめ」では引用なし、「最近おすすめ」では引用あり。引用が出るかどうか自体が変わった。
• Perplexity：どちらの質問でも引用は存在した。しかし引用先のメディアが変わった。「おすすめ」ではレビュー・比較系、「最近おすすめ」ではトレンド・新商品系へ。

もしGEO対策が「FAQを増やすこと」だけなら、質問によってここまで挙動は変わらないはずです。AIは質問の意図を解釈し、その意図に応じて取得する情報や参照先を変えているように見えます。

共通しているのは、AIは質問を理解した上で、必要な情報を探しているように見えるということです。

何が起きているように見えるのか

私の観察では、「おすすめ」だけなら学習済み知識で答えられる質問でも、「最近おすすめ」になると最新性が必要になるため、外部情報を取得しているように見えます。

これはAIが質問の意図を解釈して、回答生成のプロセスを変えているように見える、と言えるかもしれません。繰り返しになりますが、内部処理はブラックボックスです。あくまでも観察です。

学習型モードとRAG型モードで考える

以前紹介した考え方に当てはめると、以下のように整理できます。

• 「おすすめのメンズスニーカー」→ 学習済み知識から回答（学習型モード）
• 「最近おすすめのメンズスニーカー」→ 外部情報を取得して回答（RAG型モード）

「最近」という3文字が、AIの情報参照プロセスを変えているように見えます。

だからRAG対策だけで良いのか？

この実験を見ると「検索されるならRAG対策だけやればいい」と思うかもしれません。しかし私はそうは考えていません。

検索した情報を理解するのは誰か

外部情報を取得した後に、その情報を要約・比較・推薦するのはAI自身です。つまり：

• 目 ＝ RAG（情報を取りに行く）
• 脳 ＝ 学習モデル（取得した情報を理解・解釈する）

検索できても、ブランドを正しく理解していなければ正確に推薦できません。「最近のトレンド記事を取得できた」としても、そのブランドがどんな会社で誰向けなのかをAIが理解していなければ、適切な文脈で推薦されません。

GEO対策への示唆

この実験から見えるのは、GEO対策には2つのアプローチが必要だということです。

• 学習型対策：言及頻度・一貫性・関連性。AIがブランドを正しく概念形成できるよう、Web上に一貫した情報を蓄積する。
• RAG型対策：クロール性・構造化・引用しやすさ。AIが外部取得するとき、自社のコンテンツが選ばれやすい状態を作る。

私は「AIに何を学習させるか」と「AIが何を取得しやすいか」の両方が重要だと考えています。

まとめ

• AIは質問によって回答プロセスを変えているように見える
• 「最近」など最新性を求める質問では外部情報取得が増える傾向がある
• Perplexityのような常時RAG型でも、質問によって取得先のメディアが変わる
• 検索できることと理解できることは別問題
• GEO対策は学習型対策とRAG型対策の両方が必要

関連記事：AIの2つのモードと3つのメディア層については私が考えるGEOの本質をご覧ください。

関連記事：GEO対策でよくある失敗についてはGEO対策でよくある失敗7選をご覧ください。

関連記事：引用・推薦・選定の違いについてはAIに引用されても売上は増えないをご覧ください。