Attention

問題

以下の文章を読み、空欄に最もよく当てはまる選択肢を1つ選べ。Transformerの中核となる、系列内の各要素同士の関係を重み付けして扱う仕組みは（　）である。

1. A. Self-Attention
2. B. 最大値プーリング
3. C. L1正則化
4. D. k-means法

解説（正解: A）

正解はA。Self-Attentionは、同じ系列内の要素同士の関係を重みとして計算する仕組みで、Transformerの中核技術である。文章中の離れた単語同士の関係も捉えやすい。Bはプーリング、Cは正則化、Dはクラスタリング手法である。