モデル・技術

GPTとは?Generative Pre-trained Transformer・LLMとの違い

読み:じーぴーてぃー / 英:GPT(Generative Pre-trained Transformer)

更新日: 読了目安:約7分

GPT(Generative Pre-trained Transformer)は、Transformerを基盤とする自己回帰型の言語モデル系列です。OpenAIが広く知られる開発元ですが、本記事は個別バージョンの性能比較ではなく、モデル・LLM・サービスの三層——試験で混同されやすい主語の整理——に焦点を当てます。

試験で問われる見方

○:GPT系は文脈に続くトークンを予測する自己回帰的な言語モデルTF-427)。Transformerを基盤とする言語モデル系列TF-0140HQ-0261)。

×:GPTはGANの生成器・識別器だけで構成される画像生成モデル(TF-0140)。×:画像分類専用で文章を扱えないTF-428)。

「生成AIの定義」「RLHFの定義」「ChatGPTの定義」を、GPTの説明として選ぶ問題では主語と説明の対応を確認してください(HQ-0247は生成AIの説明が正解で、GPTの定義は別文脈)。

演習で確認する

G検定:TF-427TF-428ディープラーニングの要素技術

生成AIパスポート:TF-0140HQ-0261

名前の意味

  • Generative(生成的) — 与えられた文脈から新しいトークン列を生成する
  • Pre-trained(事前学習済み) — 大規模コーパスでまず学習し、その後ファインチューニングRLHFなどで調整されることが多い
  • TransformerAttentionを中核とするアーキテクチャを採用

構造の詳細はGPTアーキテクチャの記事で補完します。

三層の区別

試験で最も重要な整理です。上から下へ「具体」になります。

覚え方
サービスChatGPTユーザーが触るアプリ・API
モデルGPT系列、LLM学習済みの重み・能力
アーキテクチャTransformer(デコーダ系)ネットワークの設計図

生成AIはさらに広い概念で、「GPT=生成AI全体」ではありません。逆に、GPTは生成AIを実現する代表的モデルの一つです。

GPTは何をするか

入力テキスト(プロンプト)をトークン列に分割し、次のトークンを順に予測して文章を伸ばします。翻訳・要約・質問応答・コード生成など、多様なタスクはプロンプト設計や追加学習で実現されます。

出力の信頼性は別問題で、ハルシネーションRAGによる根拠付けは利用側の設計が重要です。

すり替えに注意

誤った説明正しい整理
GPT=ChatGPTモデルとサービスは別
GPT=GAN/VAE言語モデル系列。画像生成専用の別系譜(HQ-0261)
GPT=Transformer全体GPTはTransformerの派生モデルの一つ
GPT=RLHFRLHFは調整手法RLHF
Transformer=ChatGPTアーキテクチャとサービスは別(Transformer

よくある質問

GPTとClaude・Geminiは同じ?

いずれも大規模言語モデル系ですが、開発元・学習データ・提供形態は異なります。試験では「GPT=OpenAIの系列」程度で十分なことが多いです。

GPT-4などバージョンは覚える?

試験では世代の細かい暗記より、自己回帰・Transformer基盤・サービスとの区別が中心です。

BERTとの違いは?

BERTはエンコーダ中心のモデル、GPTはデコーダ中心の自己回帰生成が典型です(TF-425)。