Unsupervised LearningのpodcastにNebiusのCTOであるDanila Shtan（Dima）氏が出演し、最前線のAI cloudインフラストラクチャにおける血みどろの現実を語った。
AIインフラ界隈を少しでも観察している人間ならば、雨後の筍のように乱立するGPUホスティング業者を前に「どうせAWSかGCPが本気を出したら全員吹き飛ぶんでしょ」と冷笑した経験があるはずだ。資金力に物を言わせてNVIDIAのGPUを買い漁り、雑なbare metal環境を時間貸しするだけのいわゆる「neocloud」の群れ。彼らの多くが数年後には淘汰される運命にあることは想像に難くない。しかし、Nebiusが目指しているのはその次元ではない。Yandexのハードウェア運用経験を持つコアチームと、新たに構築された強大なソフトウェアチームを擁する彼らは、自らを単なるGPUプロバイダーではなく「AI cloud」と定義し、真っ向からハイパースケーラーの牙城を崩しにかかっている。
本稿では、Dima氏のインサイトと最新のハードウェア動向を元に、なぜAWSやGCPといった巨人がこの市場を完全制覇できていないのか、そして現代のAIデータセンターにおける狂気じみたスケーリングの現実について考察する。
「Neocloud」というレッテルへの嫌悪と、ソフトウェアファーストの真髄
Dima氏を始めとするNebiusの経営陣は、「neocloud」と呼ばれることを親の仇のように嫌っている。初期こそ少数の特異なプレイヤーを指す言葉だったが、今やGPUを買ってきてネットワークに繋いだだけの有象無象（今や300〜500社とも言われる）を指すバズワードに成り下がったからだ。Nebiusの競争優位性、すなわちモート（moat）はハードウェアではなくソフトウェアにある。
暗号資産（crypto）やエネルギー界隈から参入してきた多くのプレイヤーが「GPUを買って動かせば客は来る」というハードウェア起点の思想を持つのに対し、Nebiusは仮想化、ストレージ、ネットワークの分離とオーケストレーションをソフトウェアレベルで構築している。例えば2024年当時、ハードウェアの構築チームが約40〜50人だったのに対し、ソフトウェアエンジニアリング組織は既に200人を数えていたという事実が、彼らの「ソフトウェアファースト」な姿勢を如実に物語っている。
単一のクラスターで何万基ものGPUを稼働させる超巨大なAIラボのワークロードと、30分だけ1基のGPUを借りたいエンドユーザーのセルフサービスを、全く同じプラットフォーム上でシームレスに提供すること。特定のハードウェア仕様に依存せず、普遍的なcloudプラットフォームとしての高いベースラインを担保することに、彼らの真髄がある。
ハイパースケーラーのジレンマとGPU配分の悲劇
ここで最大の疑問が生じる。なぜAWS、GCP、Azureといったハイパースケーラーは、このAI cloud市場の覇権を最初から握りきれなかったのか。
答えは単純かつ残酷だ。NVIDIAのチップ供給量が絶対的に不足しているからである。仮にNVIDIAが現在の10倍のGPUを製造できていたなら、市場は全く異なる様相を呈していただろう。だが現実のチップ供給は限られており、ハイパースケーラーは常に「自社の内部利用（OpenAIやAnthropicなどのパートナー向けトレーニングや自社のAI研究開発）」と「外部市場へのパブリック提供」の間でリソースのジャグリングを強いられている。
さらに構造的な問題がある。AWSやGCPの既存のインフラストラクチャは、従来のウェブトラフィックや一般的なコンピューティングタスクに向けてスケールするように構築されてきた。これを現代のAIワークロード、特に極端なスループットを要求するAIインフラに合わせて再設計・刷新することは、とてつもない規模の設備投資（CapEx）を要求する。ハイパースケーラーの巨大な全体売上から見れば、現在のパブリックAIコンピュート市場は数兆円規模とはいえ、彼らにとっては「全社を挙げてインフラを大改造するにはまだ小さい」ビジネスなのだ。
この「巨人の足が止まっている間隙」こそが、Nebiusのような独立系AI cloudにとって最大の勝機となっている。数年後にチップ不足が解消され、ハイパースケーラーが本腰を入れてこの市場を獲りに来る日までに、彼らと対等に殴り合える規模に成長できるかどうかが勝負の分かれ目となる。
狂気のストレージ要件とGB300がもたらすラック単位のスケーリング
AIインフラを従来のcloud infraの延長として捉えるのは極めて危険だ。顕著なのがストレージとネットワークの異常な要件である。
数年前まで、ネットワークアタッチトストレージ（NAS）といえば数GB/sのスループットが出れば御の字だった。しかし現在、Nebiusの最上位顧客は、8,000基のGPUクラスターに接続された単一の共有ファイルシステムから、日常的に「700GB/s」という常軌を逸したスループットを要求してくるという。このレベルのI/O要求を満たすためには、software-defined storage（SDS）およびsoftware-defined networking（SDN）による動的なリソース管理とトラフィック制御が不可欠である。物理ハードウェアと制御レイヤーを分離し、トラフィックの変動に合わせてポリシーベースで動的ルーティングできなければ、即座にインフラが破綻する。
さらにハードウェア・アーキテクチャの進化が、インフラ管理のパラダイムを根本から変えようとしている。NVIDIAのB300とGB300のアーキテクチャ比較がその好例だ。B300は従来のx86 CPUを用いた8基のGPUノードを構成する堅実なビルディングブロックであり、メモリ（263GB）やメモリ帯域幅（8.0 TB/s）に優れるため、単一GPUに収まるモデルや2,000億パラメータ未満のエージェント群の推論に適している。
対してGB300 NVL72は、72基のGPUと36基のGrace CPUを次世代NVLinkファブリックで結合した「ラックスケールの単一スーパーアクセラレータ」である。ノード単位ではなくラック単位でのコヒーレンスを持つため、兆パラメータを超えるフロンティアモデルの推論や学習において絶対的なスループットを発揮する。しかし運用側から見れば、これは「サーバー1台の電源を落として別のサーバーにワークロードを移す」という従来の手法が全く通用せず、「ラック全体でのメンテナンスとワークロードの分離（isolation）」をゼロから設計しなければならないことを意味する。AI cloudの主戦場は、すでに単一のサーバーからラックレベルのオーケストレーションへと完全に移行しているのだ。
究極のボトルネックは電力でもGPUでもなく「実行能力」
現在のAIデータセンター構築において、世間では「電力不足」「冷却能力」「HBMの歩留まり」などが最大のボトルネックとして盛んに議論されている。しかし、Dima氏に言わせれば、真の単一のボトルネックは「実行能力（ability to execute）」に尽きる。
市場にはGPUも足りなければ、CPUもNVMeも足りない。データセンターを建設するための熟練労働者も圧倒的に不足している。極めつけは変圧器やスイッチギアといった大型電力設備のリードタイムであり、現在では発注から納品まで数年単位の待ちが発生している状況だ。
全てが不足し、全てが不確実なこのカオスの中で最も価値が高いのは、各拠点間でリソースを柔軟に融通し、コーナーを切り詰め、プロジェクトを強引にでも推進できる「経験豊富なプロジェクトマネージャー」の存在である。サプライチェーンが崩壊し、従来型の計画的調達が一切通用しない現代のAIインフラ構築においては、泥臭く現場を回し切るオペレーション能力こそが最大の競争力となる。
推論の最適化とエージェント駆動の世界へ
推論（inference）の領域でも、潮目は大きく変わっている。世間では次々と新しいオープンウェイトモデルが発表されているが、Nebiusの顧客の95%はバニラなオープンソースモデルをそのまま動かすようなことはしていない。微調整（fine-tuning）され、特定のドメインに特化してプルーニング（pruning）や圧縮（compression）が施された独自モデルを利用している。
コスト度外視で汎用的なLLMをぶん回すフェーズは終わり、予測可能な結果（outcome）を確実かつ高速に得るための特化型モデルへの移行が始まっている。界隈で持て囃されているprefill（プロンプト処理）とdecode（トークン生成）を分離するdisaggregatedアーキテクチャについても、Dima氏は「誰もが話題にしているが、まともに本番運用できている者はいない」と一刀両断する。SLAsを保証しながら安定稼働させるには極めて難易度が高く、また推論サーバーの設定やカーネルの最適化など、もっと低い位置にぶら下がっている果実（lower hanging fruits）が山ほどあるからだ（ただし、前述のGB300のような超高速なNVLink interconnectを備えたラックスケール環境であれば、このdisaggregationの課題の多くは解消される可能性も示唆されている）。
さらに今後のパラダイムとして、ユーザーの単発のプロンプトに応答するだけの単純なAPI呼び出しから、自律的に思考し外部ツールを活用する長期実行型のAI agentsへのシフトが挙げられる。agentがバックエンドで数分間にわたって延々と検証や検索を繰り返すようになれば（NebiusがTavilyを買収してウェブ検索技術を取り込んでいるのもこのためだ）、モデルそのものの性能以上に「確実な成果に辿り着くための外的ループの最適化」が問われるようになる。
結局のところ、AI cloudの戦場は「どれだけ多くのGPUを並べられるか」という単純な筋肉勝負から、「巨大で複雑なAIワークロードを、ソフトウェアの力でどれだけ安定して顧客の望む成果へと落とし込めるか」という総合格闘技へと移行している。OpenAIやAnthropicが実質的な自社AI cloudを構築しつつある中、全ての層が少数のメガプレイヤーに飲み込まれるのか、それともNebiusのような尖ったAI cloudが独自の生態系を築くのか。DigitalOceanやHetznerがAWSの覇権下でも逞しく生き残ったように、狂気のスケーリングをソフトウェアで制した独立系プレイヤーには、我々が想像する以上に広大なフロンティアが広がっているのかもしれない。