AnthropicのHead of Product for AI Research and LabsであるDianne Penn氏のインタビューが公開されてしばらくが経った。
AIモデルが自律的にコードを書き上げ、複雑なツールチェーンを使いこなす未来の到来を以て、もはやPM（Product Manager）やリサーチャーの業務はオワコンになると確信をもって言い切る人が後を絶たないが、一旦そのような無責任極まりない未来観測的与太話は無視し、当記事では最前線を走る同社におけるプロダクト開発の現在地に焦点を当てる。
Claude 3以降、OpenAIの背中を完全に捉え、Claude Opus 4.5やClaude Codeの投入で世界中のプログラマーの熱狂的な支持を集めるAnthropic。彼らがいかにしてAIプロダクトを開発し、市場の覇権争いに食い込んできたのかを紐解くことは、LLM（Large Language Model）を活用したプロダクト開発に関わる全ての人間にとって必修科目と言えよう。
フロンティアモデルと体験の不可分性
Penn氏がAnthropicに参画した2023年当時、業界におけるOpenAIの絶対王政は揺るぎなく、「Anthropic」と「コーディング」を同列の文脈で語る者など皆無であったという。圧倒的後発という絶望的な状況下で同社が取った戦略は、単なる基盤モデルのベンチマーク競争に終始するのではなく、「フロンティアモデルの開発」と「それをユーザーが直接触れる体験（Claude Codeなど）」を不可分なものとして両輪で回すことであった。
基礎研究的な観点で述べるならば、優れたモデルを作るだけで勝てる時代はとうの昔に終わっている。いくらパラメータ数を増やそうが、要素技術の束をそのままAPIとして投げるだけではキャズムは越えられない。Anthropicが優れていたのは、強力なAIの能力をユーザーが直接的に体感できるプロダクト体験を早期に作り込んだことだ。これによってユーザーは自らの業務プロセスのどこにAIを組み込むべきかを発見し、そのフィードバックがさらなるモデルの進化を促すという強力なフライホイールが回り始めたのである。
Evals are the new PRDs: 新時代の要件定義
当記事が最も注目したいのは、プロダクト開発における伝統的な手法の崩壊と再構築である。「Evals are the new PRDs（Evalこそが新しいPRDである）」。Penn氏が明言するこのチーム内の標語は、AI時代のプロダクトマネジメントの本質を見事に突いている。
旧来のソフトウェア開発において、PMはまず綿密なPRD（Product Requirements Document）を書き上げ、仕様と要件を静的に定義してからエンジニアに渡すのが定石であった。しかし、出力が確率論的にブレるLLMを前提とした世界において、静的なドキュメントで要件を縛る行為の価値は著しく低下している。昨日まで不可能だったことが、モデルのバージョンアップ一つで明日には可能になる世界線において、詳細な機能要件定義書などすぐに陳腐化するゴミでしかない。
代わりに求められるのは、ユーザーのペインやフィードバックを抽出し、それをモデルがクリアすべき「Evals（評価指標）」として実装することだ。「こういう機能を作れ」と文書で定義するのではなく、「このプロンプトに対して、こういうJSONフォーマットで、この知識を参照して回答できなければならない」というテストケースの集合体、すなわちEvalsを継続的に拡充し、それをリサーチャーへのインプットとする。このテスト駆動開発ならぬ「Eval駆動開発」へのシフトこそが、AIプロダクトにおける最大のパラダイムシフトである。PRDという静的な青写真から、Evalsという動的な羅針盤への移行をいち早く完了させた組織だけが、この狂ったスピードの開発競争に追従できるのだ。
第一原理思考とTokenの泥臭い消費
この非決定的なモデルを相手に立ち回る上で、PMに求められるスキルセットも根本から変容している。Penn氏は、既存のUI/UXのベストプラクティスを当てはめるだけのパターンマッチングから脱却し、First Principles Thinking（第一原理思考）に立ち返る重要性を説く。
さらに興味深いのが、「Sweat the tokens as much as you sweat the pixels（ピクセルに汗をかくように、トークンに汗をかけ）」というマインドセットだ。UIのピクセル単位のズレにこだわるのと同じ熱量で、実際に自らAIモデルにプロンプトを投げ、プロトタイプを作り、Tokenを大量に消費しながらHands-on（ハンズオン）で限界と可能性を探る泥臭さが求められる。机上の空論でAIのユースケースを描くのではなく、技術の最前線に身を置き、Agility（俊敏性）をもって不確実性に適応し続ける者だけが、実用に耐えうるプロダクトを設計できる。
実験を尊ぶ狂気的なボトムアップ文化
Anthropicの強さを語る上で欠かせないのが、失敗や不確実性を許容する実験的なアプローチである。象徴的なのが「Golden Gate Bridge」モデルのエピソードだろう。AIモデルの内部特徴（Feature）を操作した結果、何を聞いてもゴールデンゲートブリッジの話に結びつけてしまうという奇妙な研究結果を、同社はわずか24時間で一般公開レベルのプロダクト体験として仕立て上げ、リリースしてしまった。
研究チームとプロダクトチームの垣根を完全に取り払い、Bottoms-up（ボトムアップ）な提案を即座に世に問うこの異常な実行力は賞賛に値する。トップダウンの硬直化した意思決定ではなく、個々人の好奇心と野心を原動力に実験を繰り返すこの狂気的なカルチャーこそが、AnthropicをAI革命の最前線に立たせている最大の要因だろう。
AIはPMを駆逐するのではなく、PMの解像度を強制的に引き上げる
技術の進化スピードがかつてないほどに加速する中、PRDを体裁よくまとめるだけの「ドキュメント作成屋」としてのPMは確実に淘汰される。しかし、モデルの挙動を身をもって知り、ユーザーの真の課題をEvalsという形でシステムにフィードバックし続ける泥臭いPMの存在は、不要になるどころかその重要性を増している。
AIが自律的にコードを書くようになっても、そのコードがユーザーにとって真に価値あるものかを定義し、AIの出力の品質を評価し続けるのは、結局のところ人間の深い洞察と判断力（Judgment）である。Dianne Penn氏の視座は、不確実性の極みとも言えるこの新しいパラダイムにおいて、我々がいかにして考え、適応し、プロダクトを創り上げていくべきかに対する、極めて示唆に富む羅針盤と言えよう。PRDを捨て、Evalsを抱えよ。AIの進化に文句を言う暇があるなら、まずは自らの手でTokenを消費し尽くすべきである。