Attention

問題

RNNとAttentionの関係に関する説明として、最も適切な選択肢を1つ選べ。

1. A. Attentionは系列中の重要な位置に重みを置けるため、長い系列で必要な情報を参照しやすくする
2. B. AttentionはRNNの隠れ状態を必ずすべて0にするためだけに使われる
3. C. Attentionを使うと誤差関数が不要になる
4. D. Attentionは画像の周囲に0を追加する処理である

解説（正解: A）

正解はA。Attentionは、系列中のどの部分を重視するかを重みとして計算できるため、長い系列でも必要な情報を参照しやすくする。RNNの長期依存の課題を補う技術として説明されることがある。BからDはAttentionの役割ではない。