Attention

問題

Transformerが長距離依存関係を扱いやすい理由として、最も適切な選択肢を1つ選べ。

1. A. Self-Attentionにより、系列内の離れた位置同士の関係を直接重み付けできるため
2. B. 必ず系列を1文字ずつRNNで逐次処理するため
3. C. 入力データをすべて削除するため
4. D. 学習率を法律で固定するため

解説（正解: A）

正解はA。Self-Attentionでは、系列内の各位置が他の位置を直接参照できるため、離れた単語や要素同士の関係を扱いやすい。RNNでは遠い過去の情報を伝える際に勾配消失などが問題になりやすい。BからDはTransformerの説明として不適切である。