Self-Attention(自己注意機構)SA

Self-Attention(自己注意機構、セルフアテンション)は、Transformer の中核となる演算で、入力系列の各位置のトークン表現を、同じ系列内のすべてのトークンとの関連度に応じて重み付き和として再構成します。各トークン埋め込みを線形変換して Query(Q)、Key(K)、Value(V) の3つの行列を作り、QK^T を次元数の平方根 sqrt(d_k) でスケーリングして softmax を適用したアテンション重みで V を加重平均する Scaled Dot-Product Attention の形式が標準です。RNN と異なり全位置を同時並列計算できるため GPU 親和性が高く、長距離依存もシングルステップで捉えられます。一方で計算量・メモリ量が系列長 N の2乗でスケールするため、長文や高解像度入力では Flash Attention・Sliding Window・Linear Attention などの最適化が用いられます。デコーダでは未来トークンを参照しないよう因果マスク(causal mask)を適用します。LLM の事実上の標準演算として、推論最適化・量子化・分散学習のあらゆる議論の出発点になります。