正則化(Regularization)は、過学習を抑え汎化性能を高めるために、モデルの複雑さや重みに制約を加える技法の総称です。本記事は数式の導出ではなく、試験で問われる代表手法の対応表・ドロップアウトとの関係・正規化層との混同に焦点を当てます。
試験で問われる見方
○:正則化は過学習を抑えて汎化性能を高める(TF-068)。L1・L2・ドロップアウトが代表例。
×:ドロップアウトの説明を「重みにペナルティを課する」だけで済ませる——これはL1/L2のイメージ(HQ-0133)。
演習で確認する
正則化とは
損失関数にペナルティ項を足す、または学習の仕方を変えることで、訓練誤差だけを追いすぎないようにします。「複雑すぎるモデル」を抑え、未知データでも安定する解を求めます。
代表手法
| 手法 | 仕組み | 試験のキーワード |
|---|---|---|
| L1正則化 | 重みの絶対値和にペナルティ | スパース化・特徴選択 |
| L2正則化 | 重みの二乗和にペナルティ | リッジ回帰 |
| ドロップアウト | 学習時にユニットを無効化 | 共依存の抑制 |
| 早期終了 | 検証悪化で学習停止 | エポック制御 |
正規化層との違い
バッチ正規化などは中間表現の分布を整え学習を安定化します。名称が似ていますが、正則化は主に過学習抑制が目的です(G-299)。
よくある質問
正則化を強くしすぎると?
未学習(Underfitting)に近づき、訓練誤差も下がりにくくなります。検証性能でバランスを取ります。
データ拡張は正則化?
広い意味では正則化効果がありますが、試験ではL1/L2・ドロップアウト・早期終了と並べて覚えるのが安全です。