Attention

Attention は 2014 年に Bahdanau et al. が翻訳タスクで提唱、2017 年の Transformer で Self-Attention が一般化しました。Query / Key / Value の 3 つのベクトルから、各位置の重み付き和を計算します。これにより 'this it that' のような代名詞が何を指すかを学習でき、長距離依存関係を捉えられます。Multi-Head Attention で複数の注目パターンを並列学習するのが現代の標準。