モデル・技術

GPT-3とは?大規模言語モデルの転換点・Few-shotとAPI

読み:じーぴーてぃーすリー / 英:GPT-3

更新日: 読了目安:約6分

GPT-3は、OpenAIが2020年に発表した1750億パラメータ規模大規模言語モデルです。Few-shot(少数例示)による汎用性とAPI経由の提供が注目され、生成AIビジネスの転換点となりました。本記事はベンチマークの細部より、試験で押さえる系列の位置づけモデル・サービスの区別に焦点を当てます。

試験で問われる見方

生成AIパスポートでは、GPT-3はChatGPTの歴史を理解するうえで扱われる重要なモデルとして出題されます(TF-0137)。GPT-1GPT-2・GPT-3.5・GPT-4と並べ、系列の発展として整理するのが基本です。

G検定では個別のGPT-3の仕様より、GPT系列が自己回帰型の言語モデルであること、Transformer基盤であることが問われることが多いです。

演習で確認する

生成AIパスポート:TF-0137(GPT-3)TF-0138(GPT-3.5)TF-0139(GPT-4)

G検定:TF-427(自己回帰モデル)

GPT-3とは

GPT-3は、GPTアーキテクチャに基づく自己回帰型の言語モデルで、当時としては突出した規模(1750億パラメーター)を持ちました。大規模な事前学習により、追加のファインチューニングなしでも多様なタスクに対応できる可能性が示されました。

一般ユーザー向けのチャットUIとして広まったのはChatGPT(GPT-3.5系を搭載)以降であり、GPT-3は主に開発者向けAPIとして提供された段階のモデルです。

Few-shotと汎用性

GPT-3の注目点の一つはFew-shot学習です。プロンプト内に少数の入出力例を示すだけで、翻訳・要約・分類など異なるタスクに適応できる性質が報告されました。

方式概要試験での整理
Zero-shot例示なしで指示のみゼロショットプロンプト
Few-shot少数の例をプロンプトに含めるファインチューニングなしの汎用性の話題に
Fine-tuning追加データで重みを更新別の調整手法(ファインチューニング

GPT系列の中での位置

モデル試験で覚えるポイント
GPT-2規模拡大で生成品質が話題に
GPT-3大規模化+Few-shot。API提供の転換点
GPT-3.5インストラクション追従。ChatGPTの基盤へ
GPT-4マルチモーダル対応など次世代へ

すり替えに注意

誤った説明正しい理解
GPT-3=ChatGPTモデル vs サービス。ChatGPTはGPT-3.5系から本格普及
GPT-3=GPT-3.5系列内の別世代。試験では順序を区別
Few-shot=ファインチューニングプロンプト内の例示 vs 重みの追加学習
大規模=常に正確ハルシネーションのリスクは残る

よくある質問

GPT-3とChatGPTの関係は?

GPT-3は基盤となる大規模言語モデル、ChatGPTは対話型のサービスです。ChatGPTの初期版はGPT-3.5系を使い、GPT-3そのものを直接触る一般向けチャットとは別の整理です。

GPT-3のFew-shotとは?

少数の例示(プロンプト内のサンプル)だけで新しいタスクに適応できる性質を指します。試験ではファインチューニングなしでも多様なタスクが可能になった点が重要です。

1750億パラメータは暗記必須?

試験によっては出ることがありますが、多くの問題では「GPT-3は大規模化の転換点」という位置づけの方が重要です。細かな数値より系列の流れを優先してください。