Grouped Query Attention(GQA)GQA

GQA(Grouped Query Attention、グループドクエリアテンション)は、Ainslie ら(Google Research)が2023年5月に発表した Multi-Head Attention の変種で、Multi-Head Attention(MHA: 各ヘッドが独立した K・V を持つ)と Multi-Query Attention(MQA: 全ヘッドが K・V を共有)の中間に位置する設計です。例えば Query ヘッドが32個ある場合、GQA-8(group 8)では32 Query を8グループに分け、各グループ内の4つの Query ヘッドが1つの K・V ヘッドを共有します。これにより、(1) KV キャッシュサイズが MHA の H_kv/H_q 倍(GQA-8 なら8分の1)に圧縮され推論時メモリと帯域が大幅削減、(2) MQA で発生しがちな品質低下を抑えて MHA とほぼ同等のスコアを維持、という両立を実現しました。Ainslie らの実験では、既存 MHA モデルから5%の追加学習(uptraining)で MQA・GQA に変換可能なことも示されました。Llama 2 70B(group 8、Q=64・KV=8)、Llama 3 全サイズ、Mistral・Mixtral、Qwen 2、DeepSeek V2/V3、Gemma などほぼ全ての2023年後半以降の主要 LLM が GQA を採用しており、長コンテキスト推論サービングの実現可能性を支える重要技術となっています。Flash Attention 2/3、PagedAttention(vLLM)、TensorRT-LLM など主要推論エンジンが GQA 専用カーネルで最適化対応します。