Attention

問題

Transformerにおいて位置情報を補う必要がある理由として、最も適切な選択肢を1つ選べ。

1. A. Self-Attention自体は系列順序を直接持たないため、位置エンコーディングなどで順序情報を加える必要がある
2. B. 畳み込み層が必ず位置情報を削除するため
3. C. 正解ラベルに著作権があるため
4. D. 報酬を最大化するためには位置情報を法律で禁止する必要がある

解説（正解: A）

正解はA。Self-Attentionは系列内の要素間の関係を計算するが、それ自体には単語の順序情報が直接含まれない。そのためTransformerでは位置エンコーディングなどを加え、系列の順序情報をモデルに与える。BからDは位置情報を補う理由として不適切である。