活性化関数

問題

勾配消失問題は、深いネットワークで前の層へ伝わる勾配が非常に小さくなり、学習が進みにくくなる問題である。

正解: ○

解説

勾配消失問題は、深いネットワークやRNNで重要な論点である。ReLU、正規化、スキップ結合、LSTMなどは、この問題の緩和と関係する。