勾配消失問題

問題

勾配消失問題は、深いネットワークで前の層に伝わる勾配が非常に小さくなり学習が進みにくくなる問題である。

正解: ○

解説

シグモイド関数などを深く重ねると、勾配が小さくなり、初期層の重みが十分に更新されない場合があります。ReLUや正規化、残差接続などが対策になります。