活性化関数

問題

ReLUが深いニューラルネットワークで広く使われる理由として、最も適切な選択肢を1つ選べ。

1. A. 正の入力領域で勾配が一定であり、シグモイド関数などに比べて勾配消失を緩和しやすいため
2. B. すべての入力を0から1の確率に変換できるため
3. C. 多クラス分類の出力を必ず合計1にできるため
4. D. 重みの二乗和にペナルティを加えるため

解説（正解: A）

正解はA。ReLUは正の入力に対して入力値をそのまま出力するため、その領域では勾配が一定になり、シグモイド関数やtanh関数に比べて勾配消失を緩和しやすい。計算が単純である点も利点である。Bはシグモイド、Cはソフトマックス、DはL2正則化の説明である。