Positional Encoding(位置符号化)PE

Positional Encoding(位置符号化、ポジショナルエンコーディング)は、Self-Attention が順序情報を本質的に持たないという欠点を補うために、トークン埋め込みに位置情報を付与する仕組みです。Vaswani らの原論文では、次元 i に対して周期 10000^(2i/d_model) の sin/cos 関数値を加算する正弦波エンコーディング(sinusoidal PE)が用いられ、外挿性と相対距離の表現性を両立しました。BERT・GPT-2 は学習可能な絶対位置埋め込み(learned absolute PE)を採用し、シンプルですが学習時の最大長を超える系列に弱いという課題があります。これに対し相対位置エンコーディング(T5 の relative attention bias、Transformer-XL など)は2トークン間の相対距離のみを符号化し、長さ外挿性に優れます。近年の主要 LLM では Query・Key を回転行列で変換する RoPE(Rotary Position Embedding、Llama/Mistral/GPT-NeoX で採用)と、アテンションスコアに位置依存バイアスを加える ALiBi(MPT/BLOOM で採用)が二大勢力で、いずれも長コンテキスト拡張(YaRN・NTK-aware scaling など)との相性が良いとされています。