モデル・技術

Foundation Modelとは?事前学習の汎用基盤——下流への転移

読み:ふぁうんでーしょん もでる / 英:Foundation Model(基盤モデル)

更新日: 読了目安:約7分

Foundation Model(基盤モデル)は、大規模データで一度事前学習し、ファインチューニングプロンプトなどで多様な下流タスクに転用する——というパラダイムを指す用語です。タスクごとに専用モデルを一から作る時代から、「汎用の土台+適応」へ——本記事は個別製品の暗記ではなく、なぜ現代AIがこの設計になったかに焦点を当てます。

試験で問われる見方

定義の骨格は「大規模データで事前学習され、多様な下流タスクに適用できる汎用的なモデル」G-396)。ファインチューニングやプロンプトで適応させる、という文脈もセットです。

基盤モデルは決定木著作権法の条文名ではありません(G-396の誤答パターン)。モデルのクラスとして答えます。

LLMマルチモーダルモデルがとして挙げられますが、基盤モデル=LLMだけ、とは限りません。

演習で確認する

G検定:G-396(基盤モデルの定義)

関連:TF-425(BERT)TF-427(GPT)

基盤モデルとは

「Foundation(基盤)」は、建物の土台の比喩です。一度大きなコーパス——テキスト、画像、音声など——で汎用的な能力を学び、その上に翻訳・要約・分類・生成など個別タスク用の適応を載せる——という設計思想を表します。

2020年代に Stanford などで体系化された概念として広まり、GPTBERTの成功体験を一般化した言葉として使われます。試験では学術の出自より定義と転移学習のパラダイムが問われます。

事前学習と適応の二段構え

段階内容試験向け
事前学習大規模データで汎用能力を獲得コスト大・一度だけ
適応下流タスクへ転用FT・プロンプト・LoRA
下流タスク翻訳・QA・分類・対話などタスクごとに設計が異なる

従来は「感情分析用モデル」「翻訳用モデル」をタスクごとに独立して作ることが多かった。基盤モデルは共通の土台から枝分かれする——転移学習の極致、と理解すると試験と実務の両方に効きます。

代表例の整理

モダリティ基盤としての特徴
GPT系列主にテキスト大規模事前学習→対話・生成へ
BERTテキスト事前学習→分類・理解タスクへ
BARTテキスト破損復元→要約・翻訳など系列変換へ
LLMテキスト基盤モデルの言語版クラス名
BEiT画像マスク画像モデリングでViTを事前学習
マルチモーダルモデル文+画像など複数モダリティの基盤

基盤モデルは一つの製品名ではなく、上記のように複数モデルが該当しうるカテゴリ名です。

LLM・単一タスクモデルとの違い

用語指すもの関係
基盤モデル事前学習+転移のパラダイム上位概念
LLM大規模言語モデル基盤モデルの代表例(言語)
タスク特化モデル一用途に最適化基盤の対極(一から学習)
ChatGPT対話サービス基盤モデル+調整+UIの別層

GPT-3が示した「ファインチューニングなしでも多タスク」は、基盤モデル思想の象徴的エピソードとして試験文脈に出ます。

マルチモーダルへの拡張

基盤モデルは言語だけに限りません。GPT-4oGeminiのように、テキスト・画像・音声を統合したマルチモーダル基盤も基盤モデルの延長です(G-396の解説)。

試験では「基盤=テキストのみ」と狭く覚えず、大規模事前学習+下流適応の骨格で答えるのが安全です。

すり替えに注意

誤った説明正しい理解
基盤モデル=LLMLLMは代表例の一つ
基盤モデル=ChatGPTパラダイム vs サービス
基盤モデル=決定木G-396の誤答
事前学習=ファインチューニング二段構えの別フェーズ
基盤=一社の単一製品クラス・パラダイムの名称

よくある質問

基盤モデルの定義として正しいのは?

大規模データで事前学習され、多様な下流タスクに適用できる汎用的なモデル、と整理します。ファインチューニングやプロンプトで用途に適応させる点が試験の要点です。

基盤モデルとLLMは同じですか?

同じではありません。LLMは言語に特化した大規模モデルのクラス名であり、基盤モデルはより広い概念で、マルチモーダルモデルも含み得ます。LLMは基盤モデルの代表例の一つです。

基盤モデル=単一の製品名ですか?

いいえ。GPTやBERTなど複数のモデルが基盤モデルに該当しうる、モデルのクラス・パラダイムを指す用語です。特定企業のサービス名そのものではありません。