モデル・技術

LLM(大規模言語モデル)とは?仕組み・特徴・言語モデルとの違い

読み:えるえるえむ / 英:Large Language Model

更新日: 読了目安:約7分

LLM(Large Language Model/大規模言語モデル)は、インターネット規模のテキストで学習した巨大な言語モデルのことです。生成AIの中核を担い、ChatGPTやClaude、Geminiなど多くのサービスの「頭脳」になっています。本記事はプロンプトの書き方ではなく、モデルが何をしているか——言語モデルの系譜、規模の意味、次トークン予測——に焦点を当てます。

試験で問われる見方

G検定では、LLMをTransformerベースの大規模ニューラルネットとして位置づけ、決定木やn-gramと混同しないことが問われます。また「自然な文章=正確な内容」ではない点も頻出です。

生成AIパスポートでは、LMとLLMの定義の取り違え(n-gramの説明をLLMに当てはめる等)や、専門分野の最終判断をLLMに任せてよいか、といった活用の限界が出題されます。

LLMとは

LLMは、大量のテキストコーパスを用いて学習した言語モデルで、与えられた文脈に続く次のトークン(語の断片)の確率分布を推定します。人間が「次に何と言いそうか」を予測するイメージに近いですが、数学的には確率モデルとして実装されています。

現代のLLMの多くはTransformerアーキテクチャを基盤とし、長い文脈の依存関係を効率よく扱えます。学習後にファインチューニング(効率化にはLoRAなど)やアライメントRLHF等)で、対話向けの振る舞いに調整されることもあります。

言語モデル(LM)との違い

「言語モデル」は広い概念で、LLMはその中の大規模版です。試験では次の対比が効きます。

比較 古典的LM(例:n-gram) LLM
予測の根拠 直前の数語の統計 文脈全体(アテンション等)
規模 比較的小さい パラメータ・データが巨大
できること 次語予測・補完 要約・翻訳・推論風の出力など多様
試験での注意 「LLM=n-gram」は× 「LLM=決定木」も×

次トークン予測という仕組み

LLMの生成は、おおまかに次のループで進みます。

  • 入力(プロンプト)をトークン列に分割

    文字数とトークン数は一致しません。詳細はトークンの記事を参照。

  • 各候補トークンの確率を計算

    文脈全体を見て「次に来やすい断片」をスコアリング。

  • 1つ選び、出力に追加

    温度(temperature)などの設定でランダム性が変わり、同じ入力でも出力が変わることがあります。

  • 終了条件まで繰り返す

    最大長や停止トークンで終了。長文ほどコンテキスト上限の圧迫に注意。

この仕組みのため、LLMは「知識を検索している」わけではなく、統計的に続きを生成していると理解すると、ハルシネーション(事実誤り)の説明につながります。

「大規模」とは何が大きいのか

「大規模」は曖昧に使われますが、試験・実務で押さえるのは主に次の3点です。

パラメータ数

モデル内部の重みの数。数十億〜数千億規模のモデルがLLMと呼ばれることが多い。

学習データ量

Webテキスト、書籍、コードなど膨大なコーパス。データの偏りが出力の偏りにもつながる。

計算資源

学習・推論にGPUクラスタが必要。クラウドAPIの料金体系にも影響する。

モデルとサービスの違い

説明
モデル(LLM) GPT系列、Claude、Gemini 推論エンジン本体。APIやアプリの裏側
サービス ChatGPT、Claude.ai UI・履歴・課金を含む製品。ツール解説はAIツール一覧
概念 生成AI テキスト以外の生成も含む上位概念

LLMの限界(試験でも重要)

  • 事実の保証がない — もっともらしい誤り(ハルシネーション)が起きうる
  • 学習データの時点で知識が止まる — 最新ニュースは別途検索・RAGが必要なことも
  • 専門判断の代替にならない — 医療・法律・税務などは専門家確認が前提
  • 機密入力のリスク — プロンプトに社外秘を入れない運用が必要

すり替えに注意

誤った説明正しい理解
LLM=決定木ニューラルネット vs 木構造(TF-132)
LLM=n-gram大規模深層モデル vs 古典的LM(HQ-0741)
LLM=ChatGPTモデル vs サービス
自然な文章=正確次トークン予測の限界(TF-171)

よくある質問

LLMと言語モデル(LM)の違いは?

LMは広い概念で、LLMはその大規模版です。n-gramはLMの一種ですがLLMではありません。HQ-0741で定義の取り違えに慣れておきましょう。

LLMとChatGPTは同じもの?

LLMはモデル、ChatGPTはサービスです。ChatGPTの解説生成AIの記事で層の違いを整理できます。

LLMはなぜ事実と違う回答をすることがある?

次トークンを「自然さ」で選ぶため、正確さより文脈整合が優先されることがあります。G検定 TF-171の論点です。

プロンプトやトークンは別の記事で学べる?

はい。入力の書き方はプロンプト、処理単位と料金はトークン、文脈の上限はコンテキストウィンドウを参照してください。