AI-MASTER WIKI

オートエンコーダ

ニューラルネットワーク

ae_image.png

オートエンコーダは入力と出力が同じになるニューラルネットワークです。

オートエンコーダは多層パーセプトロンで勾配消失問題により計算がうまくいかないのを回避するための事前学習や, 欠損値の補完に用います。

また, 入力次元の多いデータを中間層によりもっと少ない次元で表現することが出来るため, データの特徴を抽出することにも用います。

オートエンコーダ

最も単純なオートエンコーダは三層パーセプトロンで構成されています。

ae.png

オートエンコーダの学習は入力データに対して出力データを全く同じものを用いて学習させます。 入力データに対して別の値となる出力データ(教師データ)を用いて学習させることを教師あり学習と呼びますが、オートエンコーダ学習のように入力データと出力データが同じものである場合の学習はは教師なし学習と呼びます。

積層オートエンコーダ

積層オートエンコーダはオートエンコーダ多層化したオートエンコーダです。

stacked_ae.png

ただし、多層のまま学習した場合勾配消失問題によりうまく学習できないことがあるため、中間層は各層を3層のオートエンコーダに分割してそれぞれ別個に学習させます。

ae.png stacked_ae_mid1.png stacked_ae_mid2.png

スパース・オートエンコーダ

スパース・オートエンコーダは、中間層をあまり発火させず、スパースな構造となるようにするオートエンコーダです。

中間層内で隠れ変数を多く抱えているような複雑な構造のニューラルネットワークは一般的に過学習を引き起こしやすいです。そのため、隠れ変数は少なくシンプルな構造であると過学習を抑制できるだろうという思想の下で中間層がなるべく発火しないようにスパース化させます。 (オッカムの剃刀の哲学)

中間層をスパースにするために学習のコスト関数にスパース正則化項と呼ばれるペナルティ関数を導入します。

デノイジング・オートエンコーダ

デノイジング・オートエンコーダは、学習の度に入力データにわざとノイズを与えて学習させるオートエンコーダです。 これによりロバスト性(ノイズ耐性)のあるようなオートエンコーダとなり、未知のデータに対する推定性能が向上が期待されます。

変分オートエンコーダ


添付ファイル: fileae_image.png 139件 [詳細] filestacked_ae_mid2.png 101件 [詳細] filestacked_ae_mid1.png 104件 [詳細] fileae.png 130件 [詳細] filestacked_ae.png 112件 [詳細]