PEFT（Parameter-Efficient Fine-Tuning）は、巨大なLLMの全重みを更新せず、一部の差分だけを学習するファインチューニングの総称です。LoRAが低ランク行列を足す具体手法なのに対し、PEFTは「効率よく微調整する手法の傘」——本記事は手法の暗記より、Full FT・プロンプト・RLHFとの地図に焦点を当てます。
なぜ一部だけ更新するか
基盤モデルは大規模データで事前学習され、汎用の言語能力を持ちます（G-383）。社内用語や特定フォーマットへ合わせるにはファインチューニング——追加学習——が有効ですが、70B・100B級のモデルで全パラメータを更新するFull Fine-tuningはGPUメモリと時間が膨大です。
PEFTの発想は「巨大な基底は凍結し、小さな差分だけ学ぶ」。学習するパラメータが少ないほど、コストと保存サイズを抑えやすい——TF-177が示すLoRAの「全パラメータを必ず更新するわけではない」は、まさにPEFTの典型です。
傘の中身
PEFTは単一アルゴリズムではなく、効率的微調整の手法群の名称です。
| 手法の例 | 更新の仕方 | 試験での整理 |
|---|---|---|
| LoRA | 低ランク行列を追加し、その部分だけ学習 | PEFTの代表例（TF-177） |
| QLoRA | 量子化した基底の上でLoRAだけ学習 | LoRA＋量子化の省メモリ版 |
| Adapter | 層の間に小さなボトルネックモジュールを挿入 | 追加パラメータ型PEFT |
| Prefix / Prompt Tuning | 入力に学習可能な前置トークンを付与 | 重み本体は固定のことも |
| Full Fine-tuning | モデル重み全体を更新 | PEFTに含まれない |
試験では個別手法の数式より、「一部パラメータだけ更新する効率的FTの総称」と覚えれば十分です。
事前学習から用途適応へ
- 1. 事前学習 — 大規模コーパスで汎用能力を獲得（G-383の「あ」）
- 2. PEFT — 凍結した基底に差分だけ学習し用途へ適応（G-383の「い」の効率版）
- 3. 推論 — 基底＋差分（アダプタ）を載せて推論
- 4. 切り替え — 同一基底に複数のPEFTアダプタを用途ごとに差し替え可能
1つのLLMに、営業用・法務用・英語用のアダプタを載せ替える——ベースは共通、差分だけ差し替え——がPEFTの実務的な魅力です。
他の調整手法との違い
| 手法 | 重みを変えるか | PEFTとの関係 |
|---|---|---|
| プロンプト設計 | 変えない | FTではない（プロンプトエンジニアリング） |
| PEFT | 一部だけ更新 | 本記事の主題 |
| Full Fine-tuning | 全体を更新 | FTだがPEFTではない |
| RLHF | 振る舞い調整が目的 | ドメイン適応PEFTとは文脈が異なることも |
| RAG | 重みを変えない | 外部知識を渡す。学習手法ではない |
HQ-0193のファインチューニング定義——事前学習済みモデルの追加学習——はPEFTの上位概念です。PEFTはその効率化された実装群と位置づけます。
試験で押さえるポイント
- 定義 — Parameter-Efficient Fine-Tuning＝一部パラメータだけ更新するFTの総称
- 目的 — 計算・メモリ・保存コストを抑えつつ用途適応
- 代表例 — LoRA（全パラメータ更新ではない：TF-177）
- 対比 — Full FT、プロンプトのみ、RAG、RLHF
すり替えに注意
| 誤った説明 | 正しい理解 |
|---|---|
| PEFT＝LoRA | 総称 vs 一手法 |
| PEFT＝Full Fine-tuning | 一部更新 vs 全パラメータ更新 |
| PEFT＝ファインチューニング全体 | 効率化アプローチの傘 vs FT全般 |
| PEFT＝人が出力を手直し | モデル学習 vs 人手修正（TF-434、TF-0128） |
| PEFT＝RAG | 重み更新 vs 外部検索で知識を渡す |
よくある質問
PEFTは何を指す用語ですか？
Parameter-Efficient Fine-Tuningの略で、事前学習済みモデルの全重みを動かさず、一部のパラメータだけを更新して用途に適応させるファインチューニング手法の総称です。LoRAやアダプタなどが含まれ、計算コストと保存容量を抑えやすい点が特徴です。
PEFTとLoRAは同じですか？
同じではありません。PEFTはパラメータ効率的な微調整手法の総称（傘）です。LoRAはその中の一手法で、低ランク行列を追加して学習する技法です。LoRAはPEFTの一例、という関係で整理します。
PEFTとファインチューニングは同じですか？
同じではありません。ファインチューニングは事前学習済みモデルを特定用途に追加学習する手法全般を指します。PEFTはそのうち全パラメータ更新ではなく一部だけを更新する効率化アプローチの総称です。Full Fine-tuningはPEFTに含まれません。