最近のLarge Language Model (LLM) 推論の高速化を巡る研究において、システム設計の限界を押し広げる画期的なアプローチが発表された。Flash Attentionの著者であるTri Daoらと共同でTanishq Kumarらが提案した「Speculative Speculative Decoding (SSD)」フレームワークおよびその最適化アルゴリズム「Saguaro」である。本稿では、従来のLLM推論が抱える構造的なボトルネックから出発し、SSDがどのようにして非同期アーキテクチャを導入し、世界最速クラスの推論エンジンに対して2倍、標準的な自己回帰生成に対して5倍という驚異的な高速化を実現したのか、その基本原理から最適化手法までを詳細に解説する。
LLM推論におけるボトルネックと現状の課題
本番環境におけるLarge Language Model (LLM) の推論は、本質的に autoregressive decode loop（自己回帰デコードループ） のシーケンシャルな性質による制約を受けている。各トークンの生成が過去の全ての出力に依存するため、システムは純粋な計算能力ではなく、メモリとGPU間のデータ転送速度に律速される「メモリバウンド」な状態に陥りやすい。
このボトルネックは、個々のリクエストに即座に応答してスムーズなユーザー体験を提供する「latency（レイテンシ）」と、リクエストをバッチ処理してハードウェア効率を最大化する「throughput（スループット）」の間に致命的なトレードオフ生む。トラフィックが急増すると、以下のような問題が顕在化する。
- TTFT Spikes: prefill計算の飽和による Time-to-First-Token (TTFT) の増大。
- Inter-Token Latency: トークン間の予測不可能な遅延による、ユーザーとのインタラクションの停滞感。
- KV Cache Pressure: コンテキスト長が増加するにつれて状態保持に必要なメモリが肥大化し、並行処理数が制限される問題。
Speculative Decoding (SD) の台頭と限界
これらの課題に対する有力な解決策として、Speculative Decoding (SD) が現代の推論エンジンにおける標準的な最適化手法として定着している。SDの基本的なメカニズムは、軽量で高速な「draft model」を用いて複数のトークン列の候補（speculation）を生成し、それをより大規模で精度の高い「target model」が並列に検証（verification）するというものである。
2026年現在、SDのエコシステムは進化を続けており、ツリー構造のドラフトをシーケンスに変換する hierarchical frameworks や、draft model と target model の語彙アライメントの制約を排除する decoupling 技術、さらには推論時のみならず training workflows にSDを統合するアプローチなどが提案されている。
しかし、最適化が進んだSDであっても、システム設計上の根本的な壁が存在する。それが「待機（wait）」のボトルネック、すなわち drafting と verification の同期的（synchronous）な依存関係 である。
従来のSDワークフローは厳密にシーケンシャルに進行する。 1. Drafting: draft model がトークン列を生成する。 2. Verification: target model がそれらのトークンを1回のフォワードパスで並列に検証する。 3. Idle Time: target model が検証を終えるまで、draft model はアイドル状態（待機）となる。
このブロッキング呼び出しのような同期型アーキテクチャでは、計算リソースの利用効率に限界がある。このシーケンシャルな依存関係を排除することはできないのだろうか？
Speculative Speculative Decoding (SSD) の基本原理
Kumar et al. (2026) によって導入された Speculative Speculative Decoding (SSD) フレームワークは、この問いに対するエレガントな解答である。その核心的なアイデアは極めてシンプルかつ強力であり、drafting と verification の完全な並列化（非同期化） にある。
SSDは、High-Performance Computing (HPC) や現代のCPUアーキテクチャにおける speculative execution（投機的実行）の概念をLLM推論に応用している。CPUの分岐予測が、条件分岐の評価を待たずに次の命令を投機的に実行するように、SSDにおける draft model は、target model が現在のシーケンスを検証してアイドル状態になっている時間を活用して、「次に起こり得る検証結果（verification outcomes）」を予測し、それに対応するトークン列を並行して事前に生成（pre-speculate）しておく。
具体的なアルゴリズムのフローは以下のようになる。
- target model と draft model は別々のハードウェア上で非同期に稼働する。
- target model がラウンド \(T\) の検証を行っている最中に、draft model はラウンド \(T+1\) のための投機を開始する。
- draft model は、検証結果として可能性の高いものを複数予測し、それぞれに対する事前投機（pre-speculation）を並列に計算して「speculation cache」に保存する。
- target model から実際の検証結果が返された際、それが予測してキャッシュしておいた結果と一致（cache hit）していれば、draft model は即座に次のトークン列を target model へ送信する。
これにより、「drafting overhead」を事実上ゼロにすることが可能となる。さらに、標準的なSDと同様に、SSDは「lossless」であり、出力されるトークンの分布は target model 単独で自己回帰生成した場合と完全に一致する。
Saguaro：SSDを最適化する実践的アルゴリズム
SSDフレームワークの理論的な優位性を実際のシステムで発揮させるためには、幾つかの高度な技術的課題をクリアする必要がある。検証結果の組み合わせは爆発的に多く、すべてを計算することは不可能であるからだ。研究チームはこれらの課題を解決するため、最適化されたアルゴリズム Saguaro を開発した。Saguaroは以下の3つの主要なコンポーネントから構成される。
1. Outcome Prediction (The Saguaro Cache)
target model が draft model の提案をどこまで accept し、どのような「bonus token」（draftが reject された、あるいは全て accept された際に追加でサンプリングされるターゲットトークン）を生成するかを正確に予測することは極めて困難である。可能な検証結果の空間は \(\mathcal{O}(KV)\) （\(K\) は speculative lookahead の長さ、\(V\) は語彙サイズ）となり、限られた時間内にすべてを網羅することはできない。
Saguaroはこれを制約付き最適化問題として定式化する。限られたコンピュート予算 \(B\) の中で、どの検証結果をキャッシュに含めるべきか？ Saguaroは、draft logits の上位トークンを利用して bonus token を予測する手法を導入した（Saguaro Verification Outcome Prediction Algorithm）。 定理に基づいた最適化により、シーケンスの各位置において幾つの bonus token 候補を探索するか（fan-out 戦略）を決定し、最大90%の精度で検証結果を予測することに成功している。
2. Sampling Strategy (Saguaro Sampling)
ここには微妙だが重要なトレードオフが存在する。draft model が純粋に「target distribution に近い高品質な speculation」を生成しようとすると、その分、draft model 自身にとって確信度の低い（エントロピーの高い）サンプリングを行うことになり、結果として「検証結果の予測精度」が低下してしまうのである。
Saguaroはこの問題を解決するため、特化したサンプリングスキーム（Saguaro Sampling）を導入した。この手法は、cache hit rate を向上させるためにキャッシュされたトークンの確率を意図的に高めつつ、エンドツーエンドでの acceptance rate を損なわないようバランスを取る。理論的な構築により、このサンプリング手法がシステム全体の speedup を必然的にもたらすことが数学的に保証されている。
3. Fallback Mechanism (Saguaro Fallback)
予測が外れた場合（cache miss）、システムはどう振る舞うべきか？ 事前計算したキャッシュに実際の検証結果が含まれていなかった場合、フォールバック戦略が必要となる。
単純にその場で再度 drafting をやり直す（just-in-time speculation）手法は、batch size が1であったり temperature が低い場合には有効に機能する。しかし、batch size が大きくなるにつれて cache miss の確率は必然的に上昇し、全体の推論プロセスがフォールバック処理の遅延によってストール（stall）してしまう。 Saguaroは、バッチサイズや利用可能な draft model の速度に応じた動的なフォールバック戦略を採用している。大規模なバッチサイズにおいては、システム全体が遅いバックアップモデルに律速されるのを防ぐため、より軽量で高速なバックアップモデル（例えば n-gram ベースのモデルなど）に切り替えるなど、予測ミスが起きた際にもシステムが効率的な状態を維持できるよう洗練された設計がなされている。
なぜSSDとSaguaroが重要なのか？
SSDとSaguaroの登場は、単なるインクリメンタルな改善ではなく、LLM推論アーキテクチャの根本的なパラダイムシフトを意味する。
圧倒的なパフォーマンスと効率性
Saguaroの実装は、高度に最適化された既存の Speculative Decoding ベースラインに対して最大2倍、標準的な autoregressive decoding に対して最大5倍のスピードアップを記録している。特に注目すべきは、これが throughput-latency のパレートフロンティアを様々なバッチサイズにおいて厳密に押し広げている点である。
同期から非同期アーキテクチャへの移行
伝統的な同期型アーキテクチャでは、リソースの未稼働状態が避けられなかった。しかし、SSDのように draft model を独立したハードウェア（例えば、target model を 4x H100 で動かし、draft model を別の 1x H100 で動かす構成）に配置し、非同期化することで、計算、メモリへのアクセス、通信をオーバーラップさせることができる。 これにより、ボトルネックであった「待機時間」を並列実行パイプラインへと変換し、target model に余分な負荷をかけることなく、token-per-second スループットを飛躍的に高めることが可能となった。
まとめ
データサイズとパラメータ規模が指数関数的に増大し、リアルタイムでのインタラクションへの要求が高まる中、Speculative Speculative Decoding (SSD) とSaguaroアルゴリズムは、次世代のAI推論基盤における重要なマイルストーンとなる。
単なる「推測と検証」のメカニズムから、事前の結果予測と非同期実行を伴う洗練された推論システムへの昇華は、数ミリ秒のレイテンシ削減が極めて重要となるプロダクション環境において絶大な価値をもたらす。推論ループのシーケンシャルな呪縛を解き放つこのアプローチは、今後のLLMシステム設計の新たなスタンダードとなるだろう。
本技術のさらなる詳細や実装に興味がある開発者および研究者は、GitHubにて公開されているSaguaroのソースコード (https://github.com/tanishqkumar/ssd) を参照されたい。
参考文献
- Kumar, Tanishq, Tri Dao, and Avner May. “Speculative Speculative Decoding.” arXiv 2026.
- Leviathan, Yaniv, et al. “Fast inference from transformers via speculative decoding.” ICML 2023.
- Chen, Charlie, et al. “Accelerating large language model decoding with speculative sampling.” arXiv 2023.
- González, José, and Antonio González. “Speculative execution via address prediction and data prefetching.” ACM ICS 1997.