Attention

問題

Transformerで使われるSelf-Attentionの役割として、最も適切な説明を1つ選べ。

1. A. 同じ入力系列内の各要素が、系列内の他の要素との関係を考慮して表現を更新する仕組みである
2. B. 入力画像の局所領域に固定フィルタを適用する仕組みである
3. C. 正解ラベルを使わずにクラスタ中心を更新する仕組みである
4. D. 報酬を使わずに方策を必ず最適化する仕組みである

解説（正解: A）

正解はA。Self-Attentionは、同じ系列内の各要素同士の関係を計算し、その重みに基づいて表現を更新する仕組みである。文章中の離れた単語同士の関係を扱いやすい点が特徴である。Bは畳み込み、Cはk-means法、Dは強化学習の誤った説明である。