ChatGPTなどの生成AIは毎回違う回答をするのに、GEO対策は効果があるのか
「AIに同じ質問をしたら、毎回違う回答になった。GEO対策をしても意味がないのでは」。商談やお問い合わせで、この話をよくうかがいます。
毎回違う、というのは誰でも感じていることではないでしょうか。ただ、どのくらい違うのかを測らないまま「意味がない」と決めてしまうと、その先が考えられません。AIの回答に出てくる企業・ブランド・サービスは半分が入れ替わるのか、9割が入れ替わるのか、それとも毎回まったく同じ顔ぶれがあるのか。そこをきちんと調べた結果は、国内ではあまり見たことがありません。
確かめたのは、化粧品・法律事務所・会計ソフト・クレジットカード・動画配信・転職エージェントの16のセットです。2026年8月と9月に、同じ質問をChatGPTとGeminiに2〜6回ずつ聞き、引用されたサイトがどれだけ同じだったかを数えました。
え、全部？ 法律事務所の1回目と2回目の引用元を並べたときの、正直な感想です。同じ質問を聞き直すと、
3回に1回ほどは、引用元が総入れ替わりでした。
1回目に出てきたサイトが、2回目にはひとつも出てこないんです……
同じ質問をもう一度聞くと、AIが引用するサイトは半分ほど入れ替わります。
- 同じ質問を聞き直したとき、引用されたサイトが同じだった割合は、多くても6割程度
- 一方で、同じ質問なのに、引用されたサイトが全部違うことがある
- 同じ日に数分おきに聞いても、日を空けて聞いても、この割合は変わらない
- 「毎回違うから意味がない」ではなく、1回の結果では判断できない、というのが今回の結論です。
この記事で扱う範囲引用されたサイトがどれだけ同じだったか／日を空けた場合と、同じ日に聞き直した場合で違いはあるのか／毎回違うなら、GEO対策に意味はあるのか／この調査から言えないこと
同じ質問を聞き直すと、引用されたサイトは半分程度変わる
16のセットで、同じ質問を繰り返し聞きました。1回目と2回目で引用されたサイトがどれだけ同じだったかを数えると、ChatGPTは32.6〜63.0%、Geminiは38.0〜53.2%でした。
サイト単位で数えています。同じサイトの中で別のページが引用された場合も、同じサイトとして数えています（例：example.com/a と example.com/b は同じ1サイト）。
一番高かったのは会計ソフトのChatGPTで63.0%、一番低かったのは法律事務所のChatGPTで32.6%でした。どのセットでも、100%からは遠い位置にあります。
半分が同じということは、残りの半分は入れ替わっているということです。1回目に出てきたサイトの半分は、2回目には出てきません。これが「GEO対策をしても意味がない」と感じる正体だと思います。ただ、逆に考えると、半分は同じサイトが出てくるということです。
同じ質問なのに、引用されたサイトが全部入れ替わることもある
平均だけを見ていると、この部分が隠れます。質問ごとに数えると、1回目と2回目で同じサイトが1つも出てこなかった組がありました。
| 対象 | ChatGPT | Gemini |
|---|---|---|
| 法律事務所（別の日6回） | 110 / 413組（27%） | 106 / 396組（27%） |
| クレジットカード（別の日6回） | 149 / 433組（34%） | 63 / 429組（15%） |
| 会計ソフト（別の日6回） | 51 / 410組（12%） | 52 / 441組（12%） |
| 法律事務所（同じ日3回） | 27 / 85組（32%） | 28 / 83組（34%） |
法律事務所では、同じ質問を聞き直すと、3回に1回ほどは引用元が総入れ替わりでした。クレジットカードのChatGPTでは34%です。
一方で、会計ソフトでは12%にとどまります。同じ「毎回違う」でも、程度はテーマによってこんなに違いました。
日を空けても、同じ日に聞き直しても、変わらなかった
「時間が経ったから変わった」のか、「聞くたびに変わる」のかは、分けて考える必要があります。日を空けた観測と、同じ日に数分おきで聞いた観測を、同じ数え方で比べました。
| 対象 | 同じ日に3回 | 別の日（法律事務所は6回、動画配信は9/2〜9/3の3回） |
|---|---|---|
| 法律事務所 ChatGPT | 34.4% | 32.6% |
| 法律事務所 Gemini | 40.1% | 38.0% |
| 動画配信 ChatGPT | 54.6% | 57.1% |
| 動画配信 Gemini | 40.4% | 38.0% |
3分後に聞き直しても、数日空けて聞いても、引用されたサイトが同じだった割合はほとんど変わりません。入れ替わりは、時間の経過で起きているのではなく、聞くたびに起きています。
結論：GEO対策は意味がないのか
「意味がない」とは言えません。今回のデータから言えることを、順に並べます。
1. 1回の結果では判断できない
引用されるサイトは、聞くたびに半分ほど入れ替わります。法律事務所では、1回目と2回目で1つも同じサイトが出てこない組が27%ありました。AIに聞いて自社が出てこなかったとしても、それは1回ぶんの結果です。出てこなかった回のあとに、出てくる回があってもおかしくありません。
2. ただし、入れ替わりはゼロか100かではない
同じだった割合は32.6〜63.0%です。毎回ゼロから選び直しているわけではありません。前回の調査では、30問のうち6回とも同じサイトが引用された質問が、会計ソフトで73.3%、法律事務所で40.0%ありました（ChatGPT）。中身は、会計ソフトでは各社の自社サイト、法律事務所では法テラスです。毎回引用され続ける場所は、実際に存在します。
半分が入れ替わるということは、裏を返せば半分は残るということです。そこに入れるかどうかは、確かめて、手を入れる余地があります。
3. 業界によって程度が違う理由は、まだ分からない
引用元が総入れ替わりになる割合は、法律事務所で27%、会計ソフトで12%でした。同じ「毎回違う」でも、程度は倍以上ちがいます。
この差がどこから来ているのかは、今回の調査では分かりません。サイトの作り方の違いかもしれませんし、業界ごとの情報源の数や、質問の型の違いかもしれません。いずれも仮説で、確かめていません。
4. まず、自社の質問で確かめる
ここまでは、私たちが選んだ16セットの結果です。実際に知りたいのは、自社のお客様が聞く質問で、自社がどれくらい出てくるのかだと思います。
確かめ方は、この記事と同じです。自社にとって重要な質問を選び、同じ質問を繰り返し聞いて、引用されるサイトがどれくらい同じなのかを見る。そのうえで、どこに手を入れるかを決めていきます。
それと並行して、私たちも角度を変えて調べ続けます。いま分かっているのは「毎回違う」という事実と、その程度です。何がその程度を決めているのかは、これから確かめる部分です。業界を広げ、質問の型を変え、同じ質問を繰り返しながら、観測を続けます。分かったことは、この Lab で順に公開していきます。
この調査から言えないこと
データを正しく読んでいただくために、今回の調査では分からないことも書いておきます。
- テーマどうしの比較。「会計ソフトはブレにくい」とは言えません。テーマごとに質問の型（知りたい・比べる・選ぶ）の構成がそろっておらず、テーマの差か質問の型の差か分けられないためです。
- 対策の効果。サイトを直したあとに引用が増えるかどうかは、直す前と後を比べていません。
- 7日を超える間隔。8月の化粧品40問は最大3日、9月の業界セットは最大7日（9月4日と11日など）です。1か月後にどうなるかは観測していません。
- 言及（回答の本文に社名が出たか）。今回数えたのは引用URLのサイトだけです。
- 比べられなかった組がありました。どちらの回も引用がなかった組は、平均から除いています（法律事務所のGeminiで450組中54組など）。
調査方法
使ったAI：ChatGPT、Gemini（どちらもWeb版。モデルは指定していません）
| 対象 | 質問数 | 回数 | 期間 |
|---|---|---|---|
| 化粧品40問（8セット） | 各40問 | 2〜3回 | 2026年8月10日〜13日 |
| 法律事務所・会計ソフト | 各30問 | 6回（別の日） | 2026年9月4日〜11日 |
| 化粧品 | 30問 | 6回（別の日） | 2026年9月5日〜11日 |
| クレジットカード | 30問 | 6回（別の日） | 2026年9月6日〜13日 |
| 法律事務所 | 30問 | 3回（同じ日に数分おき） | 2026年9月13日 |
| 動画配信サービス | 30問 | 3回（1回目と2回目は別の日。2回目と3回目は同じ日に約7時間あけて） | 2026年9月2日〜3日 |
| 動画配信サービス | 30問 | 3回（同じ日に数分おき） | 2026年9月14日 |
| 転職エージェント | 30問 | 3回（同じ日に数分おき） | 2026年9月15日 |
数え方：回答に付いた引用URLを、サイト（ドメイン）単位にまとめます。2回の観測を比べ、両方に出たサイトの数 ÷ どちらかに出たサイトの総数を計算しました。3回以上の観測では、すべての組み合わせで計算して平均しています。
データの取り方：Genview の管理画面で質問を実行し、回答本文と引用URLをCSVで書き出しました。回答本文と引用URLは、手を加えずにそのまま保存しています。
よくある質問
ChatGPTに同じ質問をしても、毎回違う回答になるのはなぜですか？
生成AIは、質問ごとに参照するサイトを選び直しているため、同じ質問でも引用元は毎回入れ替わります。実際に16のセットで確認したところ、1回目と2回目で引用元が重なっていたのは、ChatGPTで32.6〜63.0%、Geminiで38.0〜53.2%という結果でした。この入れ替わりは、時間の経過によるものではなく、数分後に聞き直しても同じ幅で起きています。1回の結果だけで判断せず、何度か聞いた上での傾向として見ることをおすすめします。
AIでの見え方は、何回くらい確認すればいいですか？
1回では足りません。今回の調査では2回から6回繰り返しました。3回あれば、たまたま出た回と何度も出る回の区別がつきはじめます。ただし、何回あれば十分かという線は、今回の調査では出していません。
毎日チェックすれば、AIでの見え方の変化が分かりますか？
毎日の差を、そのまま変化として読むことはできません。同じ日に数分おきで聞いた場合と、日を空けて聞いた場合で、引用されたサイトが同じだった割合はほとんど変わりませんでした。昨日と今日で違っていても、1日経ったからとは限りません。
まとめ
同じ質問をもう一度聞くと、AIが引用するサイトは半分ほど入れ替わります。法律事務所では、引用元がまったく重ならない組が27%ありました。
これは時間が経ったから変わったのではなく、聞くたびに起きています。だからこそ、1回の結果に一喜一憂せず、何度か聞いた上での傾向で見ることが必要です。
そのうえで、入れ替わりはゼロか100かではありません。同じだった割合は3割から6割で、毎回引用され続ける場所も実際にあります。「毎回違うから、GEO対策をしても意味がない」とは言えません。
AIは、企業とお客様の間に新しく増えた接客の場所だと考えています。主役はお客様で、AIはその間に入った存在です。新しく入ったスタッフの接客を、一度だけ横で聞いて判断する人はいないはずです。何度か聞いて、いつも同じ説明ができているかを見る。AIでの見え方も、同じ見方でよいと思っています。
業界によって入れ替わりの程度が違う理由は、まだ分かっていません。サイトの作り方の違いかもしれませんし、別の理由かもしれません。角度を変えて調べ続けます。
まずは自社の大事な質問を1つ選んで、3回聞いてみませんか。どこまで同じで、どこが入れ替わるか。まずはそれを数えてみてください。