活性化関数

問題

Leaky ReLUは、負の入力に対しても小さな傾きを持たせる。

正解: ○

解説

通常のReLUは負の入力で出力が0になり、勾配も0になる。Leaky ReLUは負側にも小さな傾きを持たせることで、その問題を緩和する。