Attention

問題

Self-Attentionに関する説明として、最も適切な選択肢を1つ選べ。

1. A. 入力系列内の各要素が、同じ系列内の他の要素との関係を考慮して表現を更新する仕組みである
2. B. 画像データの画素値をすべて0か1に変換する仕組みである
3. C. 教師なし学習でクラスタ数を自動的に1つにする仕組みである
4. D. 誤差関数を使わずにモデルを学習させる仕組みである

解説（正解: A）

正解はA。Self-Attentionは、入力系列内の各要素が、同じ系列内の他の要素との関連度を計算し、その重みに基づいて表現を更新する仕組みである。文章処理では、離れた単語同士の関係を捉えやすい点が重要である。TransformerではSelf-Attentionが中核技術として使われ、BERTや大規模言語モデルにもつながっている。BからDはいずれもAttentionの説明ではない。