問題
以下の説明に対応する活性化関数の組み合わせとして、最も適切な選択肢を1つ選べ。（あ）負の入力を0にする（い）負の入力にも小さな傾きを持たせる
- A. （あ）ReLU （い）Leaky ReLU
- B. （あ）Leaky ReLU （い）ReLU
- C. （あ）ソフトマックス （い）交差エントロピー
- D. （あ）L1正則化 （い）L2正則化
活性化関数
G検定 実践演習の問題です。解説付きで個別に学習できます。
解説（正解: A）
正解はA。ReLUは入力が0以下の場合に0を出力する。一方、Leaky ReLUは負の入力に対しても小さな傾きを持たせ、勾配が完全に0になる問題を緩和する狙いがある。Cは出力関数と損失関数、Dは正則化の組み合わせである。