モデル・技術

GPT-2とは?GPT系列の第2世代・テキスト生成の転換点

読み:じーぴーてぃーつー / 英:GPT-2

更新日: 読了目安:約5分

GPT-2は、OpenAIが2019年に発表したGPT系列の第2世代モデルです。GPT-1より大規模化し、高品質なテキスト生成が話題となりました。本記事は性能の細部より、試験で押さえる系列の流れと、モデル公開における悪用懸念の文脈を中心に書いています。

試験で問われる見方

生成AIパスポートでは、GPT-2はGPTモデル系列の変遷を学ぶ際に扱われるモデルの一つとして出題されます(TF-0136)。GPT-1に続く世代であり、GPT-3へと続く流れの中で位置づけます。

試験では個別ベンチマークの暗記より、系列としてどう発展したか——規模拡大と生成品質の向上——を答えられることが重要です。

演習で確認する

生成AIパスポート:TF-0136(GPT-2)TF-0117(GPT-1)TF-0137(GPT-3)

GPT-2とは

GPT-2は、GPTアーキテクチャに基づく自己回帰型の言語モデルで、GPT-1の約10倍規模(約15億パラメーター)に拡大されました。与えられた文脈から次のトークンを予測して文章を生成する点はGPT-1と同じ枠組みですが、生成の自然さと一貫性が大きく向上しました。

オープンソースとして公開された版もあり、研究・開発コミュニティでの言語モデル実験の基盤の一つとなりました。

GPT系列の中での位置

モデル試験で覚えるポイント
GPT-1系列の初代。Transformer言語モデルの原型
GPT-2規模拡大で生成品質が話題に。悪用懸念も議論
GPT-3さらなる大規模化とFew-shotの汎用性
GPT-3.5以降インストラクション追従・ChatGPTへ

公開と社会への影響

GPT-2は、生成テキストの品質が高まったことで偽情報・悪用の懸念が報じられ、モデルや重みの段階的公開が行われました。試験では詳細な公開スケジュールより、「大規模言語モデルの能力向上と社会リスクが同時に議論され始めた転換点の一つ」として押さえると十分です。

この文脈は、後の生成AIガバナンスやAIガバナンスの議論にもつながります。

すり替えに注意

誤った説明正しい理解
GPT-2=ChatGPT2019年のモデル vs 2022年以降のサービス
GPT-2=GPT-3系列内の別世代。試験では順序と位置づけを区別
高品質な生成=常に正確自然な文章でもハルシネーションは起こりうる(後世代でも同様)

よくある質問

GPT-2が話題になった理由は?

生成テキストの品質が大幅に向上し、悪用の懸念から段階的公開が行われたことも含め、大規模言語モデルの社会への影響が広く議論されたためです。試験では系列の発展として位置づけることが中心です。

GPT-2はGPT-1の何倍規模ですか?

おおよそ10倍規模(約15億パラメーター)と紹介されることが多いです。試験では正確な数値より、GPT-1より大きくなり生成品質が向上したという流れを押さえれば十分なことが多いです。