AI研究の歴史において、「スケーリング（Scaling）」ほど大きな影響を与えた概念は少ない。Large Language Model (LLM) において、スケーリングは主に事前学習（Pretraining）の文脈で研究されてきた。厳密なスケーリング則（Scaling Laws）の確立により、研究者は計算量とモデル性能の関係を明確に定義し、計算資源の投資効果を予測することが可能になった。
しかし近年、推論モデル（Reasoning Models）の台頭により、パラダイムシフトが起きている。モデルの能力を引き出すための計算資源の投資先が、事前学習から強化学習（Reinforcement Learning, RL）へと拡大しているのだ。Cameron R. Wolfe氏による詳細な論考に基づき、本稿では、事前学習におけるスケーリング則の基礎を振り返りつつ、LLMの強化学習プロセスにおけるスケーリング則がどのように進化し、どのような実践的洞察をもたらしているのかを詳細に解説する。
事前学習におけるスケーリング則の基礎
LLMの初期のブレイクスルーの多くは、事前学習プロセスのスケールアップによってもたらされた。より大規模なデータセットでより大きなモデルを訓練するために計算量を投下すれば、それに比例して性能が向上するというシンプルな原則である。
べき乗則（Power Law）による定式化
LLMの事前学習プロセスは、べき乗則（Power Law）を用いてモデル化することができる。最も基本的なべき乗則は \(y = a x^p\) という関係で表されるが、LLMのスケーリング則の研究では通常、テスト損失（交差エントロピー損失など）の減少をモデル化するため、負の指数を用いた逆べき乗則が用いられる。
対数スケール（Log-log space）でプロットした際、テスト損失 \(L\) と以下の要素との間には、きれいな直線関係（線形関係）が観察される。
- モデルのパラメータ数 \(N\)
- 学習データ量 \(D\)
- 訓練に使用される計算量 \(C\) （FLOPs）
訓練時の計算量 \(C\) は、LLMが各ステップで1回の順伝播（Forward pass）と逆伝播（Backward pass）を行うという前提に基づき、一般的に以下のように近似される。
\[C = 6 N D\]
順伝播はトークンあたり約 \(2N\) FLOPs、逆伝播はその2倍のコストがかかるため、合計で約 \(6N\) FLOPs/トークンとなる。これに学習データの総トークン数 \(D\) を掛けたものが総計算量となる。
Compute-Optimal なリソース配分
Kaplan et al. (2020) の研究は、計算量、データ量、パラメータ数と性能の間に滑らかなべき乗則が存在することを示した。その後、DeepMindの「Chinchilla」論文 (Hoffmann et al., 2022) は、固定された計算量予算をモデルサイズとデータ量にどう最適配分（Compute-optimal allocation）するかを厳密に調査した。
Chinchillaの研究により、事前学習を計算量最適にするためには、モデルサイズとデータ量を比例して増加させるべきであることが判明した。これにより、スケーリング則は単なる現象の観察から、膨大なコストがかかる訓練プロセスを設計するための強力な「予測ツール」へと進化したのである。
強化学習（RL）への進化と背景技術
これまでLLMの訓練計算量の大部分は事前学習に費やされ、事後学習（Post-training）はモデルの挙動やスタイルを調整するための比較的安価なプロセスとみなされていた。しかし、OpenAIの「o1」シリーズやDeepSeekの「DeepSeek-R1」に代表される推論モデルの登場により、状況は一変した。
これらのモデルは、最終的な回答を生成する前に、長い推論プロセス（Chain of Thought）を <think> トークンで囲んで生成する。この高度な推論能力やコーディング能力を引き出すためには、検証可能な報酬（Verifiable Rewards）を用いた大規模なRLトレーニングが不可欠である。結果として、LLMの訓練プロセスにおけるRL計算量の割合は劇的に増加している。
GRPO：大規模RLの標準アルゴリズム
RLのスケーリングを理解するためには、その基礎となるアルゴリズムを理解する必要がある。RLHF時代にはProximal Policy Optimization (PPO) が主流であったが、現在の大規模な推論モデルのRLでは、Group Relative Policy Optimization (GRPO) が広く採用されている。
GRPOの最大の特徴は、PPOで必要だった価値モデル（Value Model）を廃止した点にある。代わりに、バッチ内の各プロンプトに対して複数の出力（Rollouts）を生成し、その「グループ」内での相対的なスコアからアドバンテージ（Advantage）を推定する。
特定の出力 \(i\) の報酬を \(r_i\)、グループ内の報酬の平均を \(\mu\)、標準偏差を \(\sigma\) とした場合、アドバンテージ \(A_i\) は以下のように計算される。
\[A_i = \frac{r_i - \mu}{\sigma}\]
これにより、メモリと計算のオーバーヘッドが劇的に削減される。損失関数自体はPPOに似ており、クリッピングされたポリシー比率（Policy Ratio）を用いてモデルの更新幅を制限する。
GRPOの派生アルゴリズムと進化
GRPOの実装はオープンリサーチのコミュニティで急速に洗練され、安定性とサンプル効率を向上させるための多くの派生手法が提案されている。
- GSPO (Group Sequence Policy Optimization): トークンレベルのポリシー比率は分散が大きく、訓練の不安定化を招きやすい。GSPOは、ポリシー比率をシーケンス（文全体）レベルで計算し、幾何平均（Geometric Mean）を用いて長さを正規化することで、特に長文やMixture-of-Experts (MoE) モデルの訓練を安定させる。
- DAPO (Dynamic Sampling Policy Optimization): GRPOの課題であるエントロピー崩壊（モデルが特定の出力に過剰に自信を持つ現象）を防ぐため、上限と下限のクリッピング幅を非対称にする手法。また、正解率が100%に達したプロンプトを動的に除外し、バッチを再構成する「動的サンプリング」により効率を高める。
- Dr. GRPO (GRPO Done Right): 応答の長さによるバイアス（長い回答ほど勾配への影響が歪む）や、問題の難易度によるアドバンテージの極端な変動（標準偏差による正規化の弊害）を取り除くための補正を導入。
- TIS (Truncated Importance Sampling): 効率化のために、ロールアウトの生成（vLLMなど）とポリシーの更新（FSDPなど）で異なるエンジンや精度を使用すると、トークンの確率にズレが生じる。TISは、このエンジンの不一致を補正するための重要度サンプリング（Importance Sampling）項を損失関数に組み込む。
- CISPO: PPOスタイルのクリッピングでは、確率が大きく変動したトークン（推論における “Wait” や “Aha” といった重要なフォークトークン）の勾配が完全にカットされる問題がある。CISPOは、クリッピングされた比率にストップ勾配を適用し、重要なトークンが学習から除外されるのを防ぐ。
また、RLの訓練が極端な分布に陥るのを防ぐため、事前学習モデルからの乖離をペナルティとする KL Divergence や、トークン分布の不確実性を維持する Entropy Bonus といった正則化技術も、状況に応じて損失関数に組み込まれる。
RLトレーニングのスケーリング則
事前学習とは異なり、RLには予測のための確立された標準的なスケーリング則が存在しなかった。RLの設計空間は広大であり、「科学というより芸術（more art than science）」と揶揄されることも多かった。しかし最新の研究により、RLトレーニングにおける予測可能なスケーリングの法則性が明らかになりつつある。
1. シグモイド曲線によるRLスケーリングモデリング
RLの性能向上を計算量（GPU時間）の関数としてモデル化した研究では、パフォーマンスの推移がシグモイド曲線（S字カーブ）を描くことが示されている。
初期段階では報酬の増加は平坦だが、あるポイントから急速に性能が向上し、最終的に漸近的な上限（Asymptotic Ceiling）に達してプラトー（飽和状態）となる。この曲線をモデル化することで、以下の2つの指標を切り分けて評価することが可能になる。
- 漸近的パフォーマンス（A）: 限界まで計算量を投下した場合に到達可能な最高性能。
- 計算効率（B）: 性能が向上する曲線の急峻さ。
このアプローチの最大の利点は、小規模なRLトレーニングの初期動態から、数万GPU時間を要する大規模な実行結果を正確に外挿（Extrapolate）できる点にある。研究者らはこの手法を用いて数々の設計選択を評価し、非同期RL（PipelineRL）、CISPO損失、フル精度（float32）の言語モデリングヘッド、そして難易度に基づくデータカリキュラムを統合した「ScaleRL」と呼ばれる最適化レシピを開発した。
2. 数学推論タスクにおけるべき乗則
別の研究では、数学推論タスクにおけるRLのテスト損失（エラー率）が、計算量（Compute）やデータ量（Data）に対して明確なべき乗則に従うことが実証されている。
RLの文脈において、このべき乗則は以下の2つの強力な外挿を可能にする。 * Inter-model extrapolation: 小規模モデル（0.5B〜32B）の学習結果から、大規模モデル（72B）の最終性能を予測する。 * Intra-model extrapolation: 単一モデルの学習軌跡の前半から、より長く訓練を続けた際の後半の性能を予測する。
興味深い洞察として、「学習効率（Learning Efficiency）」はモデルサイズが大きくなるにつれて向上するが、ある時点で飽和（Saturate）することが分かっている。そのため、固定された限られた計算量予算の条件下では、小規模なモデルの方がより多くの「訓練ステップ」を実行できるため、大規模モデルよりも優れた性能を発揮する交差点（Crossover）が存在する。ただし、データと計算量が十分にスケールすれば、最終的には常により大きなモデルが勝利する。
3. サンプリング計算量への最適配分
RLの計算量 \(C\) は、事前学習の単純な \(6ND\) とは異なり、以下のような要素の積としてモデル化される。
\[C = B_p \times n \times M\] （\(B_p\): バッチ内のプロンプト数、\(n\): プロンプトあたりのロールアウト数、\(M\): 訓練ステップ数）
限られた計算量予算をこれら3つのリソースにどう配分すべきかという問いに対し、最新の分析は明確な答えを出している。それは、計算量が増加するにつれて、プロンプトあたりのロールアウト数（\(n\)）を増やすことに投資すべきだという点である。
単純に訓練ステップ数（\(M\)）を増やすよりも、一度により多くのロールアウトをサンプリングする方が有利に働く。これは特に難易度の高いタスクで顕著である。易しい問題ではロールアウトの増加がポリシーの堅牢性を高める一方、難しい問題では探索空間が広がり、稀な正解軌跡（Rare solutions）を発見する確率が高まるためである。
また、問題の難易度によって適切な正則化戦略が異なることも判明している。易しい問題ではEntropy BonusとKL Divergenceを併用してエントロピー爆発を遅らせるのが有効だが、難しい問題では一切の正則化を行わない方が良い結果をもたらすケースが多い。
事前学習とRLのスケーリング則の比較
事前学習とRLのスケーリング則は「予測可能である」という根本的な哲学を共有しているが、その実態には明確な違いがある。
- パフォーマンス指標の違い: 事前学習は「交差エントロピー損失」という極めて安定的で普遍的な指標を用いる。対してRLは「報酬」や「正解率（Accuracy, Pass@Kなど）」といった下流タスクのノイジーな指標を使用するため、トレンドがタスクやベンチマークに依存しやすい。
- 計算量の定義: 事前学習の計算量はFLOPsとして明確に定義される。一方、RLは推論（サンプリング）と訓練（アップデート）の比率がフレームワークによって異なるため、計算量をGPU時間で測るかFLOPsで測るかが定まっておらず、一意なX軸を定義しづらい。
- 外挿のアプローチ: 事前学習は主にモデル間の外挿（Inter-model）に関心がある。RLはハイパーパラメータやセットアップに対する感度が極めて高いため、単一の訓練実行がどう推移するかを予測するモデル内（Intra-model）の外挿も同様に重要視される。
- 標準化の欠如（Bespokeな性質）: 事前学習のレシピは業界全体でほぼ標準化されているが、RLは設計空間が広大である。「この設定を変えればスケーリング則自体が変化する」という事態が頻繁に起こるため、RLのスケーリング則はそのセットアップに依存した「特注（Bespoke）」のものになりがちである。
まとめ：実践的Takeaways
RLのスケーリングにはまだ未解明な部分が多く、本質的にノイジーでセットアップに依存する性質を持っている。しかし、近年蓄積された研究から得られる以下の実践的な洞察は、AI開発者にとって極めて有益である。
- 所与のセットアップ内では予測可能である： RLの挙動はランダムではない。小規模な予算で初期動態を観察し、S字カーブやべき乗則を用いてIntra-modelの外挿を行うことで、コストの高い大規模実行の成否を事前に判断できる。
- 設計選択の二面性を理解する： アルゴリズムの変更が「学習の計算効率」を改善しているのか、それとも「漸近的な最高性能」の天井を引き上げているのかを区別して評価する必要がある。効率の悪化は訓練時間を延ばすことでカバーできるが、最高性能の低下は取り返しがつかない。
- サンプリング計算量への投資： RLに利用可能な計算量が増えた場合、安易に訓練ステップを増やすのではなく、推論エンジン側でのサンプリング（プロンプトあたりのロールアウト数やバッチサイズ）にリソースを割く戦略が、漸近的性能の向上に直結する。
- モデルサイズと計算量のトレードオフ： 基本的に「より大きなモデル」は常に優れた最終性能をもたらす。しかし、計算量に厳しい制約がある環境下では、より多くステップを踏める小規模モデルが有利になる領域が存在することを念頭に置くべきである。
推論モデルへの移行に伴い、LLMの能力を決定づける重心はRLへと移行しつつある。事前学習におけるスケーリング則がAI開発を「錬金術から科学へ」と変えたように、RLスケーリングの法則性を探求する試みは、次世代のフロンティアモデルを構築するための最も重要なマイルストーンとなるだろう。
参考・出典: * RL Scaling Laws for LLMs | Deep (Learning) Focus by Cameron R. Wolfe, Ph.D.