RoPE(回転位置埋め込み)RoPE

RoPE(Rotary Position Embedding、回転位置埋め込み、ロープ)は、Su らが2021年に提案した位置符号化手法で、Query・Key の各次元ペアを位置 m に応じた回転行列で変換することにより、内積計算 Q_m · K_n が自然に相対位置 (m-n) に依存する形になるという数学的な性質を利用します。具体的には次元 d を2次元ずつのペアに分け、各ペアに角度 m * theta_i (theta_i = 10000^(-2i/d))の回転を適用します。絶対位置を加算する正弦波 PE と異なり Query・Key への乗算で実装されるため、線形 Attention や Flash Attention とも統合しやすく、相対位置の自然な表現と長文外挿性を両立します。Llama・Llama 2/3、Mistral、Mixtral、Qwen、GPT-NeoX、PaLM など2023年以降の主要オープン/クローズド LLM のほとんどが RoPE を採用しており、事実上の標準となりました。長コンテキスト拡張のための調整手法として、ベース周波数を変更する PI(Position Interpolation)、NTK-aware scaling、YaRN などが提案されており、Llama 3.1 の128K対応や Mistral の Sliding Window との併用などで実用化されています。