活性化関数

問題

Leaky ReLUに関する説明として、最も適切な選択肢を1つ選べ。

1. A. 負の入力に対しても小さな傾きを持たせ、ReLUの一部の問題を緩和する関数である
2. B. 入力を必ず0から1の範囲に変換する関数である
3. C. 多クラス分類の出力を合計1に正規化する関数である
4. D. 誤差を二乗して平均する損失関数である

解説（正解: A）

正解はA。Leaky ReLUは、通常のReLUが負の入力に対して0を返すのに対し、負の入力にも小さな傾きを持たせる活性化関数である。これにより、負側で勾配が完全に0になる問題を緩和する狙いがある。Bはシグモイド関数、Cはソフトマックス関数、Dは平均二乗誤差関数の説明である。