AI業界が日夜Foundation Modelのパラメータ数やベンチマークのスコアを競い合い、スケール則の恩恵に酔いしれる中、MITの若きリサーチャーであるAlex ZhangがLatent Space podcastで語った内容は、現在のエコシステムが抱える構造的な盲点を鋭く突くものであった。
彼はRecursive Language Models (RLMs) の筆頭著者として知られるが、その議論の本質は単なる新しい推論手法の提案に留まらない。Large Language Model (LLM) を取り巻く「原始的なシステム（primitive systems）」がいかにモデルの真の能力を制限しているか、そしてHarnessの再定義がもたらすブレイクスルーについての深い洞察である。計算リソースの暴力でねじ伏せる力技が正義とされる現在のトレンドにおいて、彼のようなResearch Tasteを持ったアカデミアの人間が、業界のメインストリームが見落としているWeirdな領域に大きな賭けをしていることは非常に興味深い。
Harnessは単なるラッパーではない
プロダクトとしてのClaude Code、Codex、あるいはPiなどは、それぞれ独自の洗練されたUXを提供しているように見える。しかしZhangに言わせれば、Harnessの根底にある設計思想という観点では「どれも同じ」である。現状のHarnessの多くは、単に過去の実行履歴をコンテキストの末尾に繋ぎ合わせる「Trajectory as a prompt」という単調なループ構造を採用しているに過ぎない。
例えばSWE-benchのような複雑なコードベースのナビゲーションを考えてみればわかるが、単一のLLM呼び出しだけでタスクを完了させることは不可能だ。だからこそ我々はHarnessに頼るわけだが、Harnessとは本来、LLMを特定のタスクに適応させるための「強いオピニオンを持ったプログラム（opinionated programs）」でなければならない。ZhangはHarnessをCompositional Generalizers（構成的汎化器）と表現する。Harnessの設計次第で、モデルの汎化能力とタスク遂行能力は桁違いに引き出されるのだ。
RLMがもたらすパラダイムシフトとContext Rotの克服
RLMsのコアアイデアは極めてシンプルかつ強力である。モデルに自身のプロンプトを外部メモリ（IPythonやBashのREPL環境など）の変数として扱わせ、プログラムを介して自己再帰的に呼び出しを行わせることだ。Prime AgentのようなRLMシステムでは、ツールの実行環境そのものがIPythonにオフロードされており、モデルはコードを書くことによってのみ外界と作用する。
これにより何が起きるか。従来のアーキテクチャでは、入力コンテキスト長が増すにつれてモデルのパフォーマンスが理不尽に劣化するContext Rot（コンテキストの腐敗）という問題が避けられなかった。しかしRLMでは、LLMがプロンプト全体を一度にパッシブに読み込むのではなく、自らコードを書いて情報をアクティブに探索し、タスクを分解する。
さらに興味深いのは、汎化能力の劇的な向上である。RLMの環境下では、短いタスクで学習した問題解決の戦略が、8〜30倍の長さのタスクに対してもそのまま適用できることが確認されている。さらに、数学のタスクと執筆のタスクという全く異なるドメインであっても、高次元のメタ戦略は共有される。サブエージェントが直面する細分化された問題の性質は、元のタスクのスケールや表面的なジャンルが変わっても本質的に同じだからだ。
しかし、魔法の杖は存在しない。RLMは計算コストを消し去るわけではなく、単にシフトさせているだけである。長大な一回の推論コストの代わりに、多数の小さなモデル呼び出しと、コード実行・オーケストレーションのオーバーヘッドが発生する。また、LLMが確実に終了条件を満たす堅牢なコードを書けるかどうかに依存しており、一歩間違えればサブエージェントの過剰な再帰呼び出しによる無限ループ（非停止問題）に陥るリスクを孕んでいる。つまり、単にモデルの知能を上げるだけでは不十分であり、ツールの実行制御、メモリ管理、安全性のガードレールを実装するHarness Engineeringの巧拙が、プロダクトの信頼性を決定づけるフェーズに入っているのだ。
Autoregressive Decoderからの脱却とJevの示唆
Zhangは現在の「言語モデル＝Autoregressive Decoder」という凝り固まった前提にも疑問を投げかける。Jevのような特異なプロジェクトは、言語モデルのバックボーンを活用しつつも出力空間を大胆に改変することで、低レイテンシが求められる分類タスクなどにおいて推論スピードと効率を劇的に向上させた。
全てのタスクに対して、一文字ずつトークンを生成する巨大なDecoderを起動する必要が本当にあるのか。ビデオゲームのリアルタイムプレイ（DoomやPokemonなど）のように、極限の低レイテンシが求められる環境では、従来のAutoregressiveな推論では太刀打ちできない。用途に合わせてHarnessやモデルのアーキテクチャを根本から見直すことこそが、次なるフロンティアである。
Sakana AIが取り組むOpen-endedness（特定の目的関数を持たない探索）への言及も示唆に富む。圧倒的な量の生成結果（slop）の中から未知の有用な発見を拾い上げるアプローチは、目的志向が強すぎる現在のML（Machine Learning）研究に対する強力なアンチテーゼである。彼が指摘するように、アカデミアの最大の武器は、巨大なIndustry Labsが「無意味だ」と切り捨てるようなWeirdな問題にこそ、時間とリソースを投じることができる点にある。
PhD学生の特権： 巨大な計算資源を持つIndustry Labsと同じ土俵（例えば事前学習のスケール則の追及など）で戦うのは無謀である。一見すると自明すぎる、あるいは奇妙に見えるアイデアにこそBig Betsを置くべきだ。
不可視のSwarmsとCapability Overhangのゆくえ
OpenAIがARC-AGI-3の課題やNavier-Stokes方程式の解決において、10,000のエージェントからなるSwarmsを稼働させ、130Bトークン、推定4,000万ドル相当のコンピューティングリソースを投下したという事実は記憶に新しい。Zhangはこれを、優れたHarnessがなくともSwarmsと圧倒的な探索空間の力技によって正解に辿り着けることの証明だと評価しつつも、同時にその探索の大半が「無駄（slop）」であっただろうと推測している。
ここで重要なのは、エンドユーザーの体験である。エンドユーザーは、裏側で10,000のエージェントが乱痴気騒ぎを起こし、膨大なコストを垂れ流しながら情報収集と推論を繰り返しているプロセスを見たいわけではない。Zhangが予測するように、未来の私たちがLarge Language Model (LLM) と呼んでクエリを投げる対象は、単一のモデルではなく、裏側で複雑なSwarmsや自己進化するHarnessが暗躍する「不可視のシステム」になるだろう。
さらに、現在のFrontier Modelsには巨大なCapability Overhang（能力のオーバーハング）が存在する。コーディングや数学で圧倒的なスコアを叩き出す賢いモデルであっても、一ヶ月間安定して継続的なタスクをこなすことはできない。これはモデルが馬鹿なのではなく、長期実行を前提としたHarness設計が圧倒的に欠如しているからだ。例えば、Speculative Programmatic Tool Callingのようなツールの並列実行による最適化や、サブエージェント間の永続的な状態管理プロトコルなど、インフラ寄りの課題は山積みである。このギャップを埋め、Capability Overhangを回収することこそが、我々AIエンジニアの主戦場となる。
Alex Zhangの議論は、AI開発が「より大きなモデルを学習させる」という単一の軸から、「モデルと環境をいかに相互作用させるか」という複雑系のシステムデザインへと移行しつつあることを如実に示している。計算リソースに物を言わせるアプローチは確かに強い。しかし、モデルの出力を制約し、方向付け、構成的な汎化を促すHarnessの設計にこそ、まだ見ぬAlphaが眠っている。我々はいつまでも、愚直にトークンを吐き出し続けるAutoregressive Decoderの奴隷でいるべきではないのだ。