Self-Attention

G検定 一問一答の問題です。解説付きで個別に学習できます。

ディープラーニングの要素技術 標準 ID: TF-421

問題

Self-Attentionでは、同じ系列内の要素同士の関係を重み付けして表現できる。

正解: ○

解説

Self-Attentionは、入力系列の各要素が他の要素をどの程度参照するかを計算します。文脈依存の表現を得るために重要な仕組みです。

演習モードで解く 前の問題 次の問題