問題
Self-AttentionがRNNに比べて並列化しやすい理由として、最も適切な選択肢を1つ選べ。
- A. 系列内の各位置間の関係をまとめて計算でき、時刻順に逐次処理する制約が小さいため
- B. 必ず畳み込みフィルタだけで計算するため
- C. 正解ラベルをすべて削除するため
- D. 学習率を常に0にするため
Attention
G検定 実践演習の問題です。解説付きで個別に学習できます。
解説（正解: A）
正解はA。RNNは基本的に前の時刻の状態に依存して逐次的に処理する。一方、Self-Attentionは系列内の各位置間の関係をまとめて計算できるため、並列化しやすい。Transformerが大規模学習に適している理由の一つである。