Speculative Decoding(投機的デコーディング)SpecDec

Speculative Decoding(投機的デコーディング、スペキュレイティブデコーディング)は、Leviathan ら(Google Research)・Chen ら(DeepMind)が2022-23年に独立に提案した LLM 推論高速化手法で、小型で高速な「ドラフトモデル」が次の K トークン(典型 4-8トークン)を先読み生成し、本体モデルが1パスでまとめて検証して受理または棄却する仕組みです。重要な性質は「Rejection Sampling により本体モデルの出力分布と数学的に厳密に等価」である点で、品質低下なしに高速化できます。本体モデル単体での1トークンあたり1回の forward pass を、複数トークンを並列検証する1回に置き換えるため、メモリ帯域律速だった LLM 推論で大きな効果が出ます。Llama 3 70B + Llama 3 8B のドラフトで2.5倍程度、より工夫した EAGLE-2 では3-4倍の高速化が報告されています。発展形として、(1) 追加学習不要の Lookahead Decoding(Jacobi 反復ベース)、(2) 自己ドラフトする Medusa(本体モデルに追加ヘッド)、(3) 動的ツリー検証の EAGLE/EAGLE-2、(4) n-gram 統計でドラフトする Prompt Lookup などが派生し、vLLM・TensorRT-LLM・SGLang・llama.cpp などの主要推論エンジンが標準機能として実装しています。