Huber損失とは？二乗と絶対値のあいだ——外れ値に翻訳されない回帰損失

Huber損失（Huber Loss）は、回帰で予測と正解のずれを測る損失関数の一つです。誤差が小さいときは二乗誤差（MSE）のように滑らかに、大きいときは絶対誤差（MAE）のように線形に罰する——外れ値一つで学習が引きずられないよう、損失の形を切り替える——本記事はδの式より、「なぜMSEとMAEの弱点を同時に避けたいのか」に焦点を当てます。

回帰損失の二択

連続値を予測する回帰では、学習中に損失関数で誤差を数値化し、勾配降下でパラメータを更新します（TF-388）。

損失	誤差の扱い	特徴
MSE（二乗誤差）	誤差を二乗	小さな誤差に敏感・滑らか。外れ値に弱い
MAE（絶対誤差）	誤差の絶対値	外れ値に比較的頑健。大誤差の罰が線形
Huber損失	小→二乗、大→線形	両者の中間を狙う

評価指標としてもMSE・RMSE・MAEは使われます（G-090）が、Huber損失は学習時の損失として設計されたもの——評価と損失は対応し得ますが、同義ではありません。

Huber損失の形

予測値と正解値の差を |e| とすると、閾値 δ（デルタ）を境に振る舞いが変わります。

|e| ≤ δ — 二乗誤差に近い領域。勾配が滑らかで、通常の誤差を効率よく減らせる
|e| > δ — 線形ペナルティに近い領域。外れ値でも損失・勾配が暴走しにくい
δの役割 — 「どこから外れ値扱いに切り替えるか」のノブ。データのスケールに合わせて調整

直感としては、近くの誤差は丁寧に、遠くの誤差は強く抑えすぎない——MSEだけだと遠い点に引きずられ、MAEだけだと小さな誤差の学習効率が落ちる——Huberはその間を取ります。

外れ値が学習を壊す理由

外れ値は測定ミス・入力ミス・まれな正常値など複数の理由で現れます（TF-466）。前処理で確認することも重要ですが（TF-189）、損失の選び方も影響します。

MSEは誤差を二乗するため、一つの大きな外れ値が損失全体を支配し、モデルが「外れ値に合わせる」方向へ引かれます。Huber損失は大誤差域で線形に切り替わるため、外れ値の翻訳（モデル全体の予測が大きく歪むこと）を抑えやすい——頑健回帰の文脈で覚えると試験に効きます。

他の損失との位置づけ

損失	主なタスク	Huberとの関係
交差エントロピー	分類	別タスク。MSEを分類に使うのは誤り（TF-064、G-131）
Focal Loss	不均衡分類	難例の重み付け。回帰・外れ値とは目的が異なる
Dice Loss	セグメンテーション	重なり率を直接最適化。回帰損失ではない
Huber損失	回帰	MSEとMAEのハイブリッド

損失はタスクとデータの性質に合わせて選びます。Huber損失は「回帰＋外れ値が気になる」ときの選択肢の一つ——万能ではありませんが、二乗と絶対値のトレードオフを一つの関数にまとめた点が名前の価値です。

試験で押さえるポイント

定義 — 回帰用。小誤差は二乗、大誤差は線形に近い頑健損失
目的 — 外れ値の影響を抑えつつ、通常誤差では滑らかに学習
対比 — MSE＝外れ値に弱い、MAE＝頑健だが小誤差の学習効率が落ちる
タスク — 分類の交差エントロピーとは別。回帰の損失として整理

演習で確認する

G検定：TF-064、TF-388、G-090、G-131、TF-466

すり替えに注意

誤った説明	正しい理解
Huber損失＝MSE	小誤差域は近いが、大誤差域で線形に切り替わる
Huber損失＝MAE	大誤差域は近いが、小誤差域は二乗に近い
Huber損失＝交差エントロピー	回帰損失 vs 分類損失
Huber損失＝評価指標	学習損失として設計（評価に使うこともあるが同義ではない）
Huber損失＝Focal Loss	外れ値への頑健性 vs 不均衡分類の難例重み付け

よくある質問

Huber損失は何をする損失関数ですか？

回帰問題で予測値と正解値のずれを測る損失です。誤差が閾値δより小さいときは二乗誤差（MSE）のように滑らかに罰し、δより大きいときは絶対誤差（MAE）のように線形に罰します。外れ値で損失と勾配が極端に膨らむのを抑えつつ、通常の誤差では効率よく学習できるよう設計されています。

Huber損失とMSEは同じですか？

同じではありません。MSE（平均二乗誤差）は誤差を常に二乗するため、外れ値の影響を強く受けます。Huber損失は小さな誤差ではMSEに近いですが、大きな誤差では線形ペナルティに切り替わり、外れ値への頑健性が高くなります。

Huber損失は分類問題で使いますか？

主に回帰問題の損失として使われます。分類では交差エントロピーが標準的です。MSEを分類にそのまま当てはめるのは誤りであり（TF-064）、タスクに応じて損失を選ぶ必要があります。