基礎・モデル技術

ニューラルネットワークとは?Neural Network・層と重み

読み:にゅーらるねっとわーく / 英:Neural Network(NN)

更新日: 読了目安:約7分

ニューラルネットワーク(Neural Network/NN)は、脳の神経回路を簡略化した層状の計算モデルです。本記事はCNNの畳み込み式の詳細ではなく、試験で頻出の層構造・順伝播・学習のパイプライン——データがどう流れ、重みがどう更新されるか——に焦点を当てます。

試験で問われる見方

○:多層パーセプトロンは入力・隠れ・出力層を持つフィードフォワード型NN(TF-053)。隠れ層の活性化関数で非線形を表現。

○:GRUなど系列モデルもNNであり、データからパラメータを学習する(TF-416)。ルール手入力の決定木とは別。

×:学習率やバッチサイズも重みと同様に誤差逆伝播で自動学習される(TF-052)。これらはハイパーパラメータ。

演習で確認する

G検定:TF-051TF-056G-117ディープラーニングの概要

層の構造

基本ブロックは次の三要素です。

  • ノード(ニューロン) — 前層からの入力を集約
  • 重み・バイアス — 学習で更新されるモデルパラメータ
  • 活性化関数 — ReLU、シグモイドなど。非線形性の源泉
役割
入力層特徴量・ピクセル・トークン埋め込みを受け取る
隠れ層中間表現を学習(層が多いとディープ
出力層クラス確率・回帰値・次トークンなどを出力

順伝播

入力から出力へ一方向に信号が流れるのがフィードフォワード型NNです(TF-053)。各層で「加重和+活性化」が繰り返され、最終出力が得られます。

TransformerAttentionはこの基本を発展させたアーキテクチャで、現代のLLMの中核です。

学習の流れ

  1. 順伝播で予測を計算
  2. 損失関数で正解との差を数値化
  3. 誤差逆伝播法で各重みの勾配を計算
  4. 勾配降下法で重みを更新

過学習を抑えるにはドロップアウトや正則化が加わります(過学習記事)。

ディープラーニングとの関係

ニューラルネットはモデルの形、ディープラーニングは隠れ層を深くしたNNを学習する分野・手法です。1層のパーセプトロンから始まり、多層化・畳み込み・注意機構へと発展してきました。

よくある質問

パーセプトロンとニューラルネットの違いは?

単層パーセプトロンは最も単純な形。試験では多層パーセプトロン(隠れ層あり)がニューラルネットの代表として出ます。

推論時もドロップアウトする?

いいえ。ドロップアウトは学習時のみ。推論時は通常すべてのユニットを使います(TF-395の誤答パターン)。

NNは教師ありだけ?

教師ありが典型ですが、オートエンコーダなど教師なし、強化学習でもNNは広く使われます。