シグモイド関数とは？S字で確率に写す——深層の主役を退いた古典の出口

試験で問われる見方

シグモイドの定義は「入力を0から1の範囲に変換する活性化関数」です（G-121、G-157）。二値分類の確率表現（G-121）と、出力範囲の誤り（-1〜1は×——G-157、TF-060）が定番です。

活性化関数全体では、G-203のように「ないと線形の重ね合わせになる」——非線形性の導入——と、G-193の層・タスクごとの使い分けが問われます。

S字カーブの直感

シグモイドは、入力が小さいときは0に近い、大きいときは1に近い——その間をなだらかなS字でつなぎます。いわば「0か1かの境界を、ソフトに確率へ変換する」関数です。

G-032のロジスティック回帰は、このシグモイドでクラスに属する確率を推定する分類手法です。名称に「回帰」とあるため連続値予測と混同しやすい——試験では分類として押さえます。

使われる場所

シグモイドは「どこに置くか」で意味が変わります。試験では層とタスクの対応が重要です（G-193）。

• 二値分類の出力層 「このメールはスパムか？」→ 確率0.87（G-121）
• ロジスティック回帰 古典的な分類の確率出力（G-032）
• LSTM・GRUのゲート どれだけ情報を通すかを0〜1で制御——LSTM内部でもシグモイドが使われる
• 隠れ層（過去） 深層化以前は隠れ層の活性化にも使われたが、今のCNNの主役はReLU

ReLU・Softmaxとの役割分担

G-121の正解パターン——（あ）シグモイド　（い）ソフトマックス——は暗記どころか、二値 vs 多クラスの出口の違いを表しています。ReLUを出力層の確率変換に使うのは通常の設計ではありません。

飽和と勾配消失

シグモイドの弱点は、入力の絶対値が大きい領域——カーブがほぼ水平になる飽和域——で勾配が小さくなることです（G-157、G-122）。

• 勾配消失 — 深い層ほど誤差が伝わりにくい（G-124、TF-392）
• ReLUの台頭 — 正の領域で勾配が一定 → 深層でも学習しやすい（G-158）
• He初期化 — ReLU時代の重み初期化（He初期化）。シグモイド時代はXavier（Glorot）想定

だから「シグモイド＝悪」ではなく、深い隠れ層の主役を退いた——一方、出力層の二値確率やLSTMゲートでは今も現役——という整理が試験向けです。

深層学習史での位置

初期のニューラルネットでは、隠れ層にもシグモイドやtanhが使われました。AlexNet（2012）以降、ReLUが隠れ層のデフォルトに——G-319——シグモイドは「深層を育てる活性化」から「確率に写す出口」へ役割が狭まった、と歴史を一望すると理解が定着します。

G-160が列挙する活性化関数の代表——ReLU、シグモイド、tanh、ソフトマックス——は、時代と層で使い分けられた道具箱です。名前だけでなく「どの層で何のために」をセットで覚えると、G-193のような総合問題にも対応できます。

すり替えに注意

よくある質問