チャンク（Chunk）とは｜意味・読み方・分割方法・セクションとの違い

この言葉の基本

チャンクという言葉の読み方・もとの意味・使われる分野

チャンクが使われる文脈

LLMは、一度に処理できるテキストの量に上限があります。また、長い文書をそのまま検索の対象にすると、どの部分が質問に関係するかを見分ける精度が下がります。そのためRAGでは、文書をあらかじめチャンクに分割してインデックス化しておき、検索の際に質問と関連性の高いチャンクだけを取得する設計が一般的です。

RAGという仕組みは、Lewisらが2020年に発表した論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」で提案されました。チャンクは、この仕組みのRetrieval（検索・取得）の段階で文書を扱うときの単位として使われる言葉です。

チャンクの分割方法

どう分割するかは実装によって異なります。主な方法は次の3つです。

チャンクの主な分割方法と特徴

ChatGPTやGeminiなど、各AIサービスがどの方法・どの大きさでチャンキングしているかは、公開されていない部分が多くあります。

チャンクとセクションの違い

2つは近い言葉ですが、同じものではありません。

チャンクとセクションの違い

構造ベースで分割する場合は、セクションがチャンクの区切りとして使われることがあります。ただ、固定サイズで分割すればセクションの途中で切れることもあり、いつも1対1で対応するわけではありません。

似た言葉との関係

Retrieval・ベクトル検索

Retrievalは、ユーザーの質問をもとに関連する情報を検索・取得する処理で、RAGの最初の段階にあたります。このとき探す対象の単位がチャンクです。ベクトル検索は、テキストの意味の近さをもとに関連するチャンクを探す技術で、Retrievalの段階で広く使われています。

トークン・コンテキストウィンドウ

トークンは、AIが文章を処理するときの最小単位で、チャンクの大きさを数える単位としても使われます。コンテキストウィンドウは、LLMが1回の推論で処理できるトークンの最大量です。Retrievalで取得されたチャンクはコンテキストウィンドウに渡され、その範囲の中でLLMの回答生成に使われます。

セマンティックHTML

<article>・<section>・<h2>などのタグは、構造ベースで分割するときの手がかりになりうるものです。ただ、各社がこれらのタグを分割に使っていると公式に明らかにしているわけではありません。

GEO対策における位置づけ

チャンクは、AI検索がWebページのどの部分を検索の対象にしているかを考えるときの基礎の言葉です。1つのページはそのまま扱われるのではなく、複数のチャンクに分けられてインデックス化されることがあります。

チャンクとして検索で見つけ出されることと、実際の回答に引用されることは別の段階です。検索で取得された情報は、そのあと順位づけや回答の生成を経て、最終的に回答で使われるかどうかが決まります。

チャンクが、AI検索の仕組みの中でどこに当たるかは、AI検索の仕組みとはで解説しています。

よくある誤解

チャンクはWebページ単位で決まる

チャンクはページ単位ではなく、ページの中のセクション・段落・Q&Aの組など、より細かい単位で分けられます。

AI検索のために、文章を細かく分けて書く必要がある

Googleは「Google 検索における生成 AI 機能への最適化のための Google ガイド」で、AIがコンテンツをより深く理解できるようにするためにコンテンツを細かく分割する必要はない、と説明しています。

チャンクとして取得されれば、回答に引用される

取得されることと引用されることは別です。取得されたチャンクがすべて回答に使われるわけではなく、回答に使われた情報が引用として表示されるとも限りません。

チャンクに関連する用語

チャンクに関連する用語と、その意味

よくある質問

Q チャンクとチャンキングはどう違いますか？

Q チャンクとセクションは同じですか？

Q チャンクの大きさは決まっていますか？