GPT-3は、OpenAIが2020年に発表した1750億パラメータ規模の大規模言語モデルです。Few-shot(少数例示)による汎用性とAPI経由の提供が注目され、生成AIビジネスの転換点となりました。本記事はベンチマークの細部より、試験で押さえる系列の位置づけとモデル・サービスの区別に焦点を当てます。
試験で問われる見方
生成AIパスポートでは、GPT-3はChatGPTの歴史を理解するうえで扱われる重要なモデルとして出題されます(TF-0137)。GPT-1・GPT-2・GPT-3.5・GPT-4と並べ、系列の発展として整理するのが基本です。
G検定では個別のGPT-3の仕様より、GPT系列が自己回帰型の言語モデルであること、Transformer基盤であることが問われることが多いです。
GPT-3とは
GPT-3は、GPTアーキテクチャに基づく自己回帰型の言語モデルで、当時としては突出した規模(1750億パラメーター)を持ちました。大規模な事前学習により、追加のファインチューニングなしでも多様なタスクに対応できる可能性が示されました。
一般ユーザー向けのチャットUIとして広まったのはChatGPT(GPT-3.5系を搭載)以降であり、GPT-3は主に開発者向けAPIとして提供された段階のモデルです。
Few-shotと汎用性
GPT-3の注目点の一つはFew-shot学習です。プロンプト内に少数の入出力例を示すだけで、翻訳・要約・分類など異なるタスクに適応できる性質が報告されました。
| 方式 | 概要 | 試験での整理 |
|---|---|---|
| Zero-shot | 例示なしで指示のみ | ゼロショットプロンプト |
| Few-shot | 少数の例をプロンプトに含める | ファインチューニングなしの汎用性の話題に |
| Fine-tuning | 追加データで重みを更新 | 別の調整手法(ファインチューニング) |
GPT系列の中での位置
| モデル | 試験で覚えるポイント |
|---|---|
| GPT-2 | 規模拡大で生成品質が話題に |
| GPT-3 | 大規模化+Few-shot。API提供の転換点 |
| GPT-3.5 | インストラクション追従。ChatGPTの基盤へ |
| GPT-4 | マルチモーダル対応など次世代へ |
すり替えに注意
| 誤った説明 | 正しい理解 |
|---|---|
| GPT-3=ChatGPT | モデル vs サービス。ChatGPTはGPT-3.5系から本格普及 |
| GPT-3=GPT-3.5 | 系列内の別世代。試験では順序を区別 |
| Few-shot=ファインチューニング | プロンプト内の例示 vs 重みの追加学習 |
| 大規模=常に正確 | ハルシネーションのリスクは残る |
よくある質問
GPT-3とChatGPTの関係は?
GPT-3は基盤となる大規模言語モデル、ChatGPTは対話型のサービスです。ChatGPTの初期版はGPT-3.5系を使い、GPT-3そのものを直接触る一般向けチャットとは別の整理です。
GPT-3のFew-shotとは?
少数の例示(プロンプト内のサンプル)だけで新しいタスクに適応できる性質を指します。試験ではファインチューニングなしでも多様なタスクが可能になった点が重要です。
1750億パラメータは暗記必須?
試験によっては出ることがありますが、多くの問題では「GPT-3は大規模化の転換点」という位置づけの方が重要です。細かな数値より系列の流れを優先してください。