基礎・機械学習

正則化とは?Regularization・L1/L2とドロップアウト

読み:せいそくか / 英:Regularization

更新日: 読了目安:約6分

正則化(Regularization)は、過学習を抑え汎化性能を高めるために、モデルの複雑さや重みに制約を加える技法の総称です。本記事は数式の導出ではなく、試験で問われる代表手法の対応表・ドロップアウトとの関係・正規化層との混同に焦点を当てます。

試験で問われる見方

○:正則化は過学習を抑えて汎化性能を高めるTF-068)。L1・L2・ドロップアウトが代表例。

×:ドロップアウトの説明を「重みにペナルティを課する」だけで済ませる——これはL1/L2のイメージ(HQ-0133)。

演習で確認する

G検定:TF-068TF-437G-299ディープラーニングの概要

正則化とは

損失関数にペナルティ項を足す、または学習の仕方を変えることで、訓練誤差だけを追いすぎないようにします。「複雑すぎるモデル」を抑え、未知データでも安定する解を求めます。

代表手法

手法仕組み試験のキーワード
L1正則化重みの絶対値和にペナルティスパース化・特徴選択
L2正則化重みの二乗和にペナルティリッジ回帰
ドロップアウト学習時にユニットを無効化共依存の抑制
早期終了検証悪化で学習停止エポック制御

正規化層との違い

バッチ正規化などは中間表現の分布を整え学習を安定化します。名称が似ていますが、正則化は主に過学習抑制が目的です(G-299)。

よくある質問

正則化を強くしすぎると?

未学習(Underfitting)に近づき、訓練誤差も下がりにくくなります。検証性能でバランスを取ります。

データ拡張は正則化?

広い意味では正則化効果がありますが、試験ではL1/L2・ドロップアウト・早期終了と並べて覚えるのが安全です。