Multi-Head Attention(マルチヘッド注意)MHA

Multi-Head Attention(マルチヘッド注意、MHA)は、単一の Self-Attention を h 個(典型的には8〜128個)の小さな「ヘッド」に分割し、それぞれが独立した Query・Key・Value 行列を学習して並列に Attention を計算したのち、結果を連結して再投影する仕組みです。各ヘッドは d_model / h 次元の部分空間で動作するため、計算量は単一ヘッドと同等のままで、文法的依存関係・意味的類似性・位置パターンなど異なる種類の関係性を分担して捉えられるとされています。Vaswani らの原論文ではヘッド数 h=8、d_model=512 で d_k=d_v=64 という設定が採られました。LLM のスケールアップに伴い、すべてのヘッドが独立した K・V を持つ素朴な MHA は KV キャッシュメモリを浪費するため、Multi-Query Attention(MQA)や Grouped Query Attention(GQA)で K・V を共有する派生形が Llama 2/3、Mistral、Gemini などで標準化しています。ヘッド数の最適値はモデルサイズと下流タスクに依存し、過剰なヘッドは「不要なヘッド」として刈り込み(head pruning)対象になることもあります。