Continuous Batching(連続バッチング)CB

Continuous Batching(連続バッチング、コンティニュアスバッチング、Iteration-level Scheduling や In-flight Batching とも呼ばれる)は、Yu ら(Seoul National University)が2022年の OSDI で発表した Orca システムで提案された LLM サービング手法で、生成長がバラバラなリクエスト群を効率的にバッチ処理する仕組みです。従来の静的バッチング(static batching)では、バッチ内で最も長いリクエストが完了するまで次のバッチを開始できず、短いリクエストの分の GPU が遊んでしまいパディングコストも生じました。Continuous Batching では、デコードの各イテレーション(1トークン生成)ごとにスケジューラがバッチ構成を再評価し、完了したリクエストのスロットを待機キューの新リクエストで即座に埋めることで、GPU の利用率を常に高く保ちます。これにより、vLLM が公開した実測ではスループットが Hugging Face Transformers 比で最大23倍、TGI 比でも数倍向上し、p99 レイテンシも短縮されます。実装には、可変長バッチに対応した Attention カーネル、Prefill(プロンプト処理)と Decode(生成)の分離スケジューリング、KV Cache の動的確保(PagedAttention 等)が必要です。vLLM・Hugging Face TGI・NVIDIA TensorRT-LLM・SGLang など、現在の主要 LLM サービング基盤すべてが採用する事実上の標準技術です。