Transformer

問題

Transformerは、Self-Attentionを中心に構成されるニューラルネットワークアーキテクチャである。

正解: ○

解説

TransformerはRNNを使わず、Self-Attentionにより系列内の要素間関係を捉える構造として提案されました。大規模言語モデルの基盤として重要です。