Latent SpaceのpodcastにSemiAnalysisのDylanとJordanが登場し、AI特化型クラウドインフラを格付けするプラットフォーム「ClusterMax 3.0」の全貌を語った。
ChatGPTの登場以降、狂騒とも言えるAIブームの中で雨後の筍のように誕生したのが、AIワークロード（学習、推論、RL：強化学習）に特化してGPUやアクセラレータを貸し出す「NeoCloud」と呼ばれる新興プロバイダー群である。AWS、Azure、GCPといった旧来のHyperscalerとは一線を画す彼らだが、その実態は玉石混交だ。手作業のベンチマークから始まったClusterMax 1.0から進化を遂げ、323以上のプロバイダーを自動テストで追跡するに至ったClusterMax 3.0は、もはや単なるカタログスペックの比較表ではない。それは、熾烈を極めるAI計算資源市場の「生々しい現実」を浮き彫りにする残酷な踏み絵である。
本稿では、表面的なランキングの順位には留まらず、その背後でうごめくセキュリティの惨状、GB300 NVL72がもたらすインフラの断絶、そしてNVIDIAの防衛的買収戦略に至るまで、AIインフラ市場の深層を分析する。
NeoCloudのセキュリティは「終わっている」
Ilya Sutskeverが指摘し、SemiAnalysisが幾度となく警鐘を鳴らしてきた最大の懸念事項、それがNeoCloudにおけるサイバーセキュリティの致命的な欠陥である。
テストのためにクラスタにアクセスしたJordanらが目撃したのは、他ユーザーのジョブやデータ、ストレージが丸見えになっているという目を疑うような光景だった。中には、某国の国家安全保障や軍事情報機関のデータが平文同然で晒されているケースすらあったという。もし彼らが悪意を持ったハッカーであれば、AI覇権を揺るがす大惨事になっていたことは想像に難くない。
問題の根源は高度なハッキング技術にあるのではない。基本的なネットワークセキュリティ制御の欠如、数年前の古いソフトウェアやドライバの放置、そして既知の脆弱性（CVE）に対するパッチ未適用という、インフラ管理者としての怠慢にある。最先端のFrontier modelなど使わずとも、少し知識のある人間であれば容易にエクスプロイトを実行できる状態なのだ。SemiAnalysisはこの現状を危惧し、ユーザー自身がクラスタのソフトウェアバージョンをチェックできる無料のCLIツール cmax を公開せざるを得なかった。セキュリティの担保すらユーザー側で自衛しなければならないというのが、多くのNeoCloudの偽らざる現状である。
GB300 NVL72という新たな「踏み絵」
ClusterMaxはバージョンを重ねるごとに評価のハードルを意図的に引き上げている。かつてGoldティアにいたプロバイダーが、3.0で一気に格下げされるケースも珍しくない。その最大の要因が、最新ハードウェアアーキテクチャへの適応能力だ。
現在、1億ドルの資金を調達したAIラボが最も欲しがるのは、NVIDIAのGB300 NVL72クラスタである。しかし、これを提供できるNeoCloudは限られている。「戦略的判断としてGB300は見送った」と嘯くプロバイダーもいるが、実態は「技術的・資本的に対応できない」だけである。
GB300 NVL72の導入は、これまでのGPUサーバをラックにマウントするだけの作業とは次元が違う。1ラックあたりの消費電力は約120kW（ピーク時には150kW）に達し、液冷システム（Direct Liquid Cooling）が必須となる。アーキテクチャ面でも、36基のArmベースGrace CPUと72基のBlackwell Ultra GPUが統合され、GPU間通信には800 Gb/sのConnectX-8 NIC、ネットワークには400 Gb/sのBlueField-3 DPUを利用したSpine-Leafネットワーク設計が求められる。当然、ストレージもRDMAとGPUDirect Storageに対応していなければ真価を発揮できない。
物理的な電力供給（NVIDIAリファレンスデザインのバスバー構成など）から、Kubernetesを前提としたOSのデプロイ、ネットワークトポロジの最適化に至るまで、データセンターの設計思想そのものを根本から覆す必要があるのだ。このインフラのパラダイムシフトに追いつけないプロバイダーは、容赦なくランキングから転落していく。
血みどろのパイ奪い合いと、Big Techのジレンマ
計算資源の確保は「かつてないほど困難」な状況に陥っている。その背景にあるのは、単なる需要の増加ではなく、プレイヤーの質的変化である。
かつてAIラボは、利益度外視で研究に没頭する他のAIラボとGPUを奪い合っていた。しかし現在、彼らの強力なコンペティターとなっているのは、高い粗利率（最大60%に達することもある）を叩き出す推論特化型プロバイダーたちだ。オープンモデルの進化により、API経由で推論を提供するビジネスが極めて儲かるようになった結果、わずか数ノードからでもGPUを掻き集めようとする推論プロバイダーが市場に溢れかえっている。その結果、これまで8,000 GPU単位でしか契約しなかったOpenAIやAnthropicでさえ、1,000 GPU規模の細かいクラスタまで手を伸ばさざるを得なくなっている。
このリソース枯渇の状況下において、非常に興味深い（そして時に滑稽な）動きを見せているのがGoogleである。
Googleは圧倒的な計算資源を保有しつつも、GCPの売上高と営業利益を追及するあまり、自社の貴重なリソースを競合であるAnthropicやSSI、さらにはGoogle自身からスピンアウトした元社員のスタートアップに売り渡している。結果として、DeepMindがR&Dに使える計算資源は、OpenAIやAnthropicがそれぞれ確保している量よりも少なくなってしまった。自社の最強の武器を切り売りして、最大の敵を育て上げているこの構造は、巨大コングロマリットが陥る古典的なイノベーターのジレンマと言えよう。
対照的なのがSpaceX（およびxAI）の戦略である。彼らもGoogleやAnthropicと計算資源の取引を行っているが、そこには「相互に90日前の通知で契約解除可能」という条項が組み込まれている。自社のAI研究で大規模なHero run（学習プロセス）が必要になった瞬間に、貸し出していたリソースを即座に引き剥がして自社に還流させるためだ。インフラを収益化しつつも、本丸であるAI開発のオプション権は絶対に手放さない。このしたたかさこそが、次世代のNeoCloudが持つべき姿なのかもしれない。
マルチシリコン時代の到来と、複雑化するインフラの悪夢
NVIDIAの一強体制が続くAIチップ市場だが、水面下では地殻変動が起きている。コスト効率と特定用途への特化を求め、異種混合（Heterogeneous）な計算環境への移行が避けられない情勢となっているからだ。
AmazonのTrainium（年換算250億ドルの売上ペース）やGoogleのTPUといった内製チップに加え、Cerebras、SambaNova、Groqといったスタートアップ群が台頭している。さらに無視できないのが中国勢だ。米国の輸出規制を跳ね返すように、HuaweiのAscend 940/950/960は急速に進化を遂げており、中国内のAIラボは推論用途を中心にNVIDIAからの脱却（CUDAからの脱却）を図っている。歩留まりと生産規模こそまだNVIDIAに及ばないものの、国家主導のスケールアップが始まれば脅威となるのは確実だ。
インフラ提供者（NeoCloud）にとって、このマルチシリコン化は悪夢のような複雑さをもたらす。
従来、Pre-training（事前学習）には高価なNVIDIA GPUを使い、推論には安価な別チップを使うという程度の棲み分けで済んでいた。しかし、現在のLLM開発においてはRL（強化学習）の比重が極めて大きくなっており、そのプロセスには膨大なForward pass（推論処理）が含まれる。つまり、学習プロセスの中に異なるアーキテクチャのチップを混在させ、ネットワーク越しに非同期でモデルの重みを更新（Weight update）するという、インフラエンジニアが発狂しそうなアーキテクチャを組まざるを得なくなっているのだ。光の速度（レイテンシ）と戦いながら、別々のデータセンターにある異種チップ間で分散RLを同期させる技術。これからのNeoCloudには、単発のベンチマーク性能ではなく、このカオスな環境をKubernetes等でシームレスに抽象化し、マネージドサービスとして提供するオーケストレーション能力が問われることになる。
お門違いな批判と、バイサイド・リサーチの矜持
最後に、ClusterMaxに向けられる批判についても触れておく。最も多いのは「あの会社は株価が上がっているのに、なぜランキングが低いのか」といった類のものや、「データセンター建設能力が高いのに過小評価されている」といった見当違いの指摘である。
大前提として、ClusterMaxが評価しているのはあくまで「マネージド・クラスタ（Managed Slurm, Kubernetes等）」の品質である。Crusoeのようにデータセンター（ベアメタル）の構築能力が世界トップクラスであっても、マネージドサービスの品質が基準に達していなければ容赦なくダウングレードされる。また、API経由で推論エンドポイントを提供するサービス（これは将来的に Endpoint X として別評価される予定だ）と、クラスタ貸しの評価は全く別物である。
さらには、「金をもらってランキングを操作しているのではないか」という下衆な勘繰りも後を絶たない。Dylanらが一笑に付すように、彼らのビジネスモデルの根幹は「計算資源を買いたい巨大なバイサイド（買い手）」に対するインテリジェンスの提供にある。ランキング操作という違法行為に手を染めずとも、真実を語ることで得られるリサーチ購読料やコンサルティングフィーの方が遥かに巨額なのだ。
「我々の業界に対する存在意義は、真実を語ることにある。それを曲げれば、我々の言葉など虚空への叫びと同じになる」
株の銘柄選び（セルサイド的な視点）のためにClusterMaxを読んでいるとしたら、それは根本的にツールを間違えている。これは、数千万ドル、数億ドルという血税（あるいはVCマネー）を投じてAIインフラを構築しようとする本気のプレイヤーのための、冷酷なまでにリアリスティックなサバイバルガイドなのである。