Attention

問題

Scaled Dot-Product Attentionの「scaled」の目的として、最も適切な選択肢を1つ選べ。

1. A. 内積値が大きくなりすぎてソフトマックスが極端になることを抑えるため、次元数に応じてスケーリングする
2. B. 画像の縦横サイズを必ず2倍にするため
3. C. 正解ラベルを標準化するため
4. D. 法律上の利用目的を明示するため

解説（正解: A）

正解はA。Scaled Dot-Product Attentionでは、QueryとKeyの内積を次元数に応じてスケーリングしてからソフトマックスに通す。内積値が大きくなりすぎるとソフトマックスの出力が極端になり、勾配が小さくなりやすいためである。BからDはAttentionの説明ではない。