AIの回答は毎回違う。それでも同じ企業名は毎回言及される

まずは、同じ質問への6回の回答で、文章そのものが一致したかを数えました

同じ質問・同じAIの6回の回答を、2回ずつ全部の組み合わせで突き合わせました。1問あたり15組、30問で450組です。

回答の文章が完全に一致した組の数（同じ質問・同じAIの6回の回答を、2回ずつ比べた）

6業界と2つのAIを合わせて、一致したのは5,400組中6組でした。ChatGPTでは1組もありません。

昨日と今日で回答の文章が変わっていても、それ自体はめずらしいことではありません。文章を見比べるだけでは、自社の見え方が変わったのかどうかは判断できません。そこで、見る場所を名前に移しました。

6回とも同じ名前が挙がった質問は、6つの業界のどれにもありました

回答の本文に出てきた名前を、質問ごとに数えました。ここでいう名前は、業界ごとに人が確認して登録した企業・ブランド・サービス・団体の名前です。1つの質問について、6回の回答のうち何回その名前が出てきたかを見ています。

名前が挙がった質問のうち、6回とも挙がった名前が1つ以上あった質問の割合（各業界30問、6回ずつ）

どの業界でも、どちらのAIでも、6回とも同じ名前が挙がる質問がありました。一番高かったのは会計ソフトのChatGPTで95.7%、一番低かったのは法律事務所のGeminiで32.1%です。

AIは、聞かれるたびに名前をゼロから選び直しているわけではありませんでした。1回聞いて自社が出てこなかったとしても、それだけでは「毎回出てこない」のか「その回はたまたま出なかった」のかは分かりません。何回聞いて何回出たか、で見る必要があります。

AIの回答に毎回挙がる名前と、1回だけで消える名前

6回とも挙がった名前は、一部に偏っていました。

6回とも挙がった名前の例（かっこ内は、その名前が6回とも挙がった質問の数）

会計ソフトでは、freeeとマネーフォワードが、ChatGPTの22問で6回とも挙がっています。法律事務所では、個別の事務所ではなく、公的な相談窓口の法テラスが、ChatGPTの11問で6回とも挙がりました。

同じ質問の中には、出たり消えたりする名前もあります。質問と名前の組ごとに、6回のうち何回挙がったかを分けました。

質問と名前の組ごとに、6回のうち何回挙がったか（その質問で1回以上挙がった名前が対象）

1回だけ挙がって、ほかの5回には出てこなかった名前が、組の10.5〜43.7%ありました。毎回挙がる名前と、1回で消える名前が、同じ質問の中に並んでいます。

競合の名前が6回とも挙がる質問と、自社の名前が出たり消えたりする質問を、同じ回数で並べてみる。自社がどちらの側にいるかは、そこで初めて見えてきます。

「おすすめの〇〇」と聞く質問で、企業名の出方は違いますか

各業界の30問は、調べ始めの質問（選び方や基準を聞く9問）、比べる質問（10問）、決める質問（おすすめを聞く11問）に分けてあります。

化粧品では、調べ始めの9問に対して、6回を通して名前が1つも挙がりませんでした。ChatGPTでもGeminiでも同じです。おすすめを聞く11問では、どちらのAIでも名前が挙がっています。

業界によって、ここは大きく違いました。動画配信サービスのGeminiでは、同じ調べ始めの9問で、質問と名前の組が78ありました。

自社がAIに出てくるかを調べるときは、どの段階の質問を聞くかで結果が変わります。選び方の質問で出てこないことと、おすすめの質問で出てこないことは、分けて見たほうが実態に近づきます。

6業界の調査から言えること

Q 競合は毎回出てくるのに、自社は出てこない。何を見ればいいですか？

引用の調査との違い：今回数えたのは、サイトではなく名前です

AIの回答が毎回ちがうことは、引用サイトの面からも調べています。2つの調査は、数えているものが違います。

引用の調査と今回（名前の調査）で、数えたものと結果の言い方

数える対象の数も違います（サイトは1回に十数〜二百あまり、名前は数個〜数十）。そのため、サイトと名前のどちらが安定しているかは比べていません。

6業界の調査から言えないこと

• 対策の効果。 直せば6回とも挙がるようになるかは、直す前と後を比べていません。
• おすすめされたかどうか。 数えたのは、名前が本文に出てきたかだけです。おすすめとして挙がったのか、注意点として挙がったのかは見ていません。
• 業界どうし・AIどうしの比較。 業界ごとに登録した名前の数（13件〜81件）と、1回の回答に挙がる名前の数が違います。「会計ソフトのほうが安定している」とは言えません。
• 登録していない名前。 人が確認して登録した名前以外は、数えていません。出てこなかったのではなく、数えていないという意味です。
• 1か月以上の変化。 観測した期間は、長い業界でも9月1日〜16日です。

調査方法

使ったAI：ChatGPT、Gemini（どちらもWeb版。モデルは指定していません）

対象と回数

質問の分け方：どの業界も、調べ始めの質問9問・比べる質問10問・決める質問11問にそろえています。

数え方

• 名前：業界ごとに人が確認して登録した企業・ブランド・サービス・団体の名前が、回答の本文に出てきたかを数えました。同じ会社の別の書き方（dodaとデューダなど）は1つにまとめています。その業界以外の名前（会計ソフトの回答に出てきたクレジットカードの名前など）も数えています。
• 6回のうち何回：1つの質問・1つのAIについて、6回の回答のうち何回その名前が出てきたかを数えました。
• 6回とも挙がった名前がある質問の割合：名前が1つ以上挙がった質問を母数にしています。名前が1つも挙がらなかった質問は、別に数えました。
• 文章の一致：同じ質問・同じAIの6回の回答を2回ずつ比べ、本文が1文字も違わずに一致した組を数えました。

データの取り方：Genview の管理画面で質問を実行し、回答本文と引用URLをCSVで書き出しました。回答本文は、手を加えずにそのまま保存しています。

よくある質問

Q GEOの効果はどう測る？

まとめ

同じ質問を6回聞くと、回答の文章はほぼ毎回ちがいました。一致したのは5,400組中6組です。

それでも、6つの業界のどれにも、6回とも同じ名前が挙がる質問がありました。変わっているのは文章で、言及される名前には、毎回残るものがあります。

AIでの見え方は、1回の回答では決まりません。同じ質問を何度か聞いて、自社と競合の名前が何回中何回挙がるかを並べれば、見え方は数字で追えます。

数字で追えるようになったら、次は差のある質問に絞ります。

1. 1

   自社の名前が出たり消えたりしている質問と、競合だけが6回とも挙がっている質問を書き出す

2. 2

   その質問で、AIがどのサイトを引用しているかを見る（自社サイトか、比較サイトか、報道か）

3. 3

   手を入れる場所を決め、直したあとに、同じ質問を同じ回数で聞き直して比べる

直したことで6回とも挙がるようになるかは、今回の調査では確かめていません。3番目の聞き直しは、それを自社の質問で確かめる手順です。