LLMとは?意味・仕組みと生成AI・AI検索との関係を解説
著者:吉田 清登(株式会社FID CMO / Genview PM)
公開日:
LLM(エルエルエム/Large Language Model/大規模言語モデル)とは、大量のテキストなどから言語のパターンや関係を学習し、文章の生成・要約・質問応答・分類などの自然言語処理を行うAIモデルです。
ChatGPTなどの生成AIサービスでは、LLMが自然言語を処理・生成するための中核的な技術として利用されています。
ただし、LLMそのものとChatGPTなどのAIサービス、Web検索、Retrieval、RAG、Groundingはそれぞれ別のものです。
LLMとは
LLM(エルエルエム)は、Large Language Modelの略で、日本語では「大規模言語モデル」と呼ばれます。
大量のテキストなどから言語のパターンや関係を学習し、入力された情報をもとに文章を生成したり、質問に回答したりするAIモデルです。
LLMは、たとえば次のような処理に利用できます。
- 質問への回答
- 文章の生成
- 文章の要約
- 翻訳
- 分類
- 情報の抽出
- 文章の言い換え
- コード生成
現在の生成AIサービスの多くでは、LLMが自然言語を扱うための重要な技術として利用されています。
一方で、LLMは学習した文章をそのまま保存し、質問された内容に対応する文章を検索して返すだけのデータベースではありません。
学習を通じて調整されたモデル内部のパラメータを使い、入力された文脈に応じて出力を生成します。
LLMはどのように文章を生成するのか
LLMは、大量のデータから言語のパターンや関係を学習します。
ユーザーから文章が入力されると、その文脈を処理し、次に続くトークンの可能性を計算しながら出力を生成していきます。
トークンとは、AIがテキストを処理するときの単位です。
単語そのものが1つのトークンになる場合もあれば、単語の一部、文字、記号などがトークンとして扱われる場合もあります。
概念的には、
入力された文脈を処理 → 次に続くトークンの可能性を計算 → トークンの生成を繰り返して文章を作る
という流れで考えると理解しやすくなります。
ただし、これはLLMの生成過程を初心者向けに単純化した説明です。
また、LLMには「パラメータ」と呼ばれる多数の数値があります。
パラメータは学習によって調整されるモデル内部の値で、入力された情報をどのように処理し、どのような出力につなげるかに関係します。
ただし、LLMの能力は単純にパラメータ数だけで決まるわけではありません。
学習データ、学習方法、モデル設計、推論時の仕組みなど、複数の要素が影響します。
LLMでできること
LLMは文章生成だけでなく、さまざまな自然言語処理に利用できます。
| 用途 | 例 |
|---|---|
| 質問応答 | ユーザーの質問に文章で回答する |
| 文章生成 | メール、記事、説明文などを作成する |
| 要約 | 長い文章の要点をまとめる |
| 翻訳 | 異なる言語へ文章を変換する |
| 分類・抽出 | 文章を分類したり、必要な情報を抽出したりする |
さらに、実際のAIサービスでは、LLMにWeb検索、画像処理、コード実行、外部ツールなどを組み合わせることで、モデル単体より幅広い処理を行える場合があります。
LLMと生成AI・ChatGPTの違い
LLMと生成AI、ChatGPTなどのAIサービスは混同されることがありますが、同じものではありません。
| 用語 | 主な意味 |
|---|---|
| LLM | 主に言語を処理・生成する大規模言語モデル |
| 生成AI | 文章、画像、音声、動画など、新しいコンテンツを生成するAIを含む広い概念 |
| ChatGPT | OpenAIが提供するAIサービス |
| Gemini | GoogleのAIモデル群、およびAIサービスの名称 |
| Claude | AnthropicのAIモデル群・AIサービスの名称 |
簡単に言えば、LLMはモデルであり、ChatGPTなどはLLMを含む複数の技術や機能を組み合わせて提供されるAIサービスです。
たとえばAIサービスでは、LLMだけでなく、
- Web検索
- 外部情報の取得
- ファイル処理
- 外部ツール
- 会話のコンテキスト管理
などが組み合わされる場合があります。
そのため、ChatGPTなどのAIサービス全体の機能を、そのままLLMそのものの能力と考えるのは正確ではありません。
また、生成AIもLLMと同義ではありません。
生成AIには文章だけでなく画像・音声・動画などを扱う仕組みも含まれ、LLMは主に言語処理で利用されるモデルです。
LLMとWeb検索は同じものではない
LLMそのものとWeb検索は別の仕組みです。
従来の検索エンジンは、ユーザーの検索に関連するWebページを探し、検索結果として提示します。
一方、LLMは入力された情報やモデルが学習によって獲得したパターンなどをもとに、文章を生成します。
LLMを利用している=常にWebを検索している、というわけではありません。
実際のAIサービスでは、必要に応じてWeb検索やRetrievalなどの機能をLLMと組み合わせる場合があります。
この違いは、LLMの能力とAIサービス全体の能力を区別するうえで重要です。
LLMとRAG・Retrieval・Groundingの関係
AI検索や生成AIシステムの仕組みを理解するときは、LLMとRetrieval、RAG、Groundingを分けて考えると分かりやすくなります。
| 用語 | 主な意味 |
|---|---|
| LLM | 言語情報を処理・生成するモデル |
| Retrieval | 質問に関連する情報を検索・取得する処理 |
| RAG | Retrievalで取得した情報をLLMによるGenerationに利用する仕組み |
| Grounding | 回答を情報源・データ・事実などの根拠に基づかせること |
LLMそのものが、常に必要な外部情報を検索・取得するわけではありません。
AIサービスでは必要に応じて外部情報を検索し、その情報をLLMへ渡して回答生成に利用する場合があります。
たとえばRAGでは、概念的に、
質問 → Retrievalで関連情報を取得 → 取得した情報をLLMによる生成に利用 → 回答
という流れになります。
一方、GroundingはRetrievalやRAGそのものを指す言葉ではありません。
Groundingは、AIの回答を特定の情報源・データ・事実などの根拠に基づかせることです。
RAGはGroundingを実現する際に利用される代表的な方法の一つですが、GroundingとRAGは同義ではありません。
また、Retrievalで情報を取得しただけで、その情報が実際の回答生成の根拠として利用されていなければ、Groundingされているとは限りません。
詳しくは、Retrievalとは?意味・仕組みとAI検索における役割、RAGとは?意味・仕組みとAI検索における役割、Groundingとは?意味・仕組みとAI検索における役割をご覧ください。
LLMとLLMOの違い
LLMとLLMOは名前が似ていますが、同じものではありません。
LLMは、言語を処理・生成するAIモデルです。
一方、LLMOはLarge Language Model Optimizationの略称として使われる言葉で、LLMやLLMを利用するAIサービスで、自社やコンテンツの情報が適切に理解・利用・提示される状態を整えるための考え方や施策を指します。
LLM=AIモデル
LLMO=LLMやLLMを利用するAIサービスを意識した情報最適化
LLMOそのものの定義については、LLMOとは?をご覧ください。
LLMの限界とハルシネーション
LLMは自然で流暢な文章を生成できますが、その内容が事実と一致することが保証されているわけではありません。
LLMは事実確認データベースそのものではなく、入力された文脈などをもとに出力を生成します。
そのため、事実とは異なる内容を、もっともらしい文章として生成する場合があります。
こうした現象は一般にハルシネーションと呼ばれます。
また、LLMそのものが常に最新のWeb情報を取得しているわけでもありません。
AIサービスによっては、検索、Retrieval、RAG、Groundingなどを通じて外部情報を回答生成に利用することがあります。
これによって回答を根拠となる情報に基づかせやすくなる場合がありますが、正確性が保証されるわけではありません。
たとえば、
- 取得した情報自体が誤っている
- 関連性の低い情報を取得する
- 取得した情報を適切に利用できない
- 根拠情報にない内容を生成する
といった可能性は残ります。
ハルシネーションについては、ハルシネーションとはで詳しく解説しています。
LLMとAI検索の関係
LLMは、現在のAI検索で回答生成に利用される重要な技術の一つです。
AI検索サービスによっては、ユーザーから質問を受け取ったあと、Webや検索インデックスなどから関連情報を取得し、その情報をLLMなどが整理・生成に利用して回答を提示する場合があります。
概念的には、
ユーザーの質問 → 必要に応じて情報を取得 → LLMなどが取得情報を利用して回答を生成 → AI回答
という流れです。
ただし、すべてのAI検索が同じ仕組みで動作するわけではありません。
また、
- AI検索=LLM
- AI検索=RAG
- AI検索は必ずRAGを利用する
というわけでもありません。
検索方法、情報取得方法、使用するモデル、Groundingや引用の方法などは、AIサービスによって異なります。
AI検索全体の情報取得から回答生成までの流れについては、AI検索の仕組みとは|情報取得からLLMによる回答生成までをご覧ください。
LLMについてよくある誤解
誤解①:LLMとChatGPTは同じものである
同じものではありません。
LLMは大規模言語モデルというAIモデルの種類を指します。
ChatGPTは、LLMに加えて検索やツールなど複数の仕組みを組み合わせて提供されるAIサービスです。
誤解②:LLMはインターネットを常に検索して回答している
LLMそのものとWeb検索は別の仕組みです。
AIサービスによってはWeb検索やRetrievalなどをLLMと組み合わせ、外部情報を利用する場合があります。
誤解③:LLMは学習した文章を検索して返している
LLMは、学習データの中から質問に一致する文章をそのまま検索して返すだけのデータベースではありません。
学習によって調整されたモデル内部のパラメータを使い、入力された文脈に応じて出力を生成します。
誤解④:LLMが自然に回答しているなら内容も正しい
自然で説得力のある文章と、事実として正しいことは同じではありません。
LLMは事実と異なる内容を生成する場合があるため、重要な情報については根拠や一次情報を確認する必要があります。
誤解⑤:RAGやGroundingを使えば回答は必ず正確になる
必ず正確になるわけではありません。
外部情報を取得して回答生成に利用しても、取得した情報が不正確であったり、関連性が低かったり、LLMが適切に利用できなかったりする可能性があります。
RAGやGroundingによって外部情報を回答の根拠として利用しやすくなりますが、正確性そのものを保証する仕組みではありません。
誤解⑥:LLMとLLMOは同じものである
同じものではありません。
LLMは言語を処理・生成するAIモデルです。
LLMOは、LLMやLLMを利用するAIサービスで情報が適切に理解・利用・提示される状態を整えるための考え方・施策を指します。
よくある質問
まとめ
LLM(エルエルエム/Large Language Model/大規模言語モデル)とは、大量のテキストなどから言語のパターンや関係を学習し、文章の生成・要約・質問応答などを行うAIモデルです。
生成時には、入力された文脈を処理し、次に続くトークンの可能性を計算しながら出力を生成します。
一方、LLMそのものとChatGPTなどのAIサービス、Web検索、Retrieval、RAG、Groundingは同じものではありません。
Retrievalは関連情報を検索・取得する処理、RAGは取得した情報をLLMによる生成に利用する仕組み、Groundingは回答を情報源・データ・事実などの根拠に基づかせることです。
また、LLMとLLMOも別の概念です。LLMはAIモデルであり、LLMOはLLMやLLMを利用するAIサービスを意識した情報最適化の考え方・施策を指します。
LLMは自然な文章を生成できますが、その内容が事実と一致することが保証されるわけではありません。Web検索やRAG、Groundingなどを組み合わせても、回答の正確性が保証されるわけではない点にも注意が必要です。
AI検索では、サービスによっては取得した外部情報をLLMなどが利用して回答を生成します。
AI検索全体の仕組みについては、AI検索の仕組みとは|情報取得からLLMによる回答生成までをご覧ください。
参考文献・参考ページ
外部参考ページ
- Introduction to Large Language Models|Google for Developers
- What is a Large Language Model?|AWS
- What are tokens and how to count them?|OpenAI Help Center
- Retrieval augmented generation (RAG)|Google Cloud
- Generative AI: Grounding and RAG|Google Cloud