正則化とは？Regularization・L1/L2とドロップアウト

試験で問われる見方

○：正則化は過学習を抑えて汎化性能を高める（TF-068、TF-437）。L1・L2・ドロップアウトが代表例。

○：過学習対策として正則化・データ拡張・早期終了・交差検証などを組み合わせて考える（G-008、G-112）。正則化単体が「魔法の銀弾」ではない。

○：正則化係数（λなど）は学習前に設定するハイパーパラメータ。モデル重みとは別（G-086）。

×：ドロップアウトの説明を「重みにペナルティを課する」だけで済ませる——これはL1/L2のイメージ（HQ-0133）。ドロップアウトはユニットの無効化が要点。

なぜ正則化が必要か

モデルが複雑すぎると、訓練データのノイズまで覚えてしまい、訓練誤差は下がるのに検証誤差が上がる——いわゆる過学習——に陥ります（G-088）。表現力を上げることと汎化することはトレードオフの関係にあります。

正則化は「訓練誤差だけを最小化する」のではなく、シンプルで安定した解を選ぶようモデルに働きかけます。データ量が少ない、特徴量が多い、ニューラルネットが深い、といった状況で特に効果が問われます。

正則化の考え方

代表的なイメージは、損失関数にペナルティ項を足すことです。

最適化する量 ＝ 予測誤差 ＋ λ ×（モデルの複雑さへの罰）

λ（ラムダ）は正則化係数で、大きいほど「複雑さへの罰」が強くなり、モデルは控えめな重みを選びやすくなります。小さすぎれば過学習、大きすぎれば未学習に近づくため、検証データで調整します。

ペナルティを損失に足さない手法——ドロップアウトや早期終了——も、広い意味では正則化の一族として試験に登場します。

L1とL2の違い

線形モデルやニューラルネットの重みに対するペナルティとして、L1とL2が頻出です。

試験では「L1＝スパース」「L2＝リッジ」の対応と、どちらも過学習抑制が目的である点を押さえます（G-037の（あ）（い）の並び問題など）。

代表手法一覧

正則化は一つの技法ではなく、過学習を抑える工夫の総称です。試験では次の対応が重要です。

実務では複数を組み合わせることが多いです。例：CNNでデータ拡張＋ドロップアウト＋早期終了、線形モデルでL2正則化、など。

正則化係数とハイパーパラメータ

L1/L2の強さを決める λ は、勾配降下法で更新されるモデル重みとは別物です。学習率や木の深さと同様、ハイパーパラメータとして学習前（または検証セットを使った探索で）設定します（G-086）。

グリッドサーチやランダムサーチで λ を探索するのは、正則化の「強さ」と汎化性能のバランスを取るためです。訓練データだけで決めると過学習した設定を選びやすいため、検証データや交差検証がセットで問われます。

正規化層との違い

名称が似ているため、試験で混同されやすいのが正規化層（バッチ正規化・レイヤー正規化など）です。

G-299の正解は「正規化層は分布を整える層、正則化は過学習抑制の考え方」という整理です。「正則化＝プーリング層の別名」などは明確な×です。

すり替えに注意

選択肢の主語と説明の対応がずれているパターンが頻出です。

よくある質問