miscellaneous notes

Attention Residuals：深層学習アーキテクチャの新たなパラダイム

LLM

AI

Transformer

Attention Residuals (AttnRes)は、深層学習モデルの深さ方向における情報伝達を固定的な加算から動的なAttentionメカニズムへと進化させ、PreNorm dilutionを克服して学習の安定化と性能向上を実現するアーキテクチャです。

Junichiro Iwasawa

Trillion-ParameterクラスのMoEモデル学習：Megatron-Coreによるスケーリングの壁の突破

LLM

AI

Transformer

Trillion-ParameterクラスのMoEモデル学習におけるメモリ・通信・計算の「3つの壁」を打破するために、Megatron-Coreが導入したParallel FoldingやReduced-Precision Training、専用通信カーネルといったアプローチとその成果を解説する。

Junichiro Iwasawa

Speculative Speculative Decoding (SSD) 入門：非同期LLM推論の新たな地平

LLM

AI

従来のLLM推論における「ドラフトと検証」の同期的なボトルネックを解消する画期的な「Speculative Speculative Decoding (SSD)」フレームワークと、非同期実行を最適化するアルゴリズム「Saguaro」の基本原理と性能を解説する。

Junichiro Iwasawa

Claude Codeの狂気とMemory Maniaの深層

LLM

AI

Podcast

SemiAnalysisのDoug O’Laughlinを迎え、Claude Codeが引き起こす情報労働のパラダイムシフトと、半導体市場を圧迫するHigh Bandwidth Memoryの供給制約が及ぼす物理的・経済的な影響を深く掘り下げる。

Junichiro Iwasawa

Claude Codeという「偶然の革命」と、“The Bitter Lesson”が示唆するエンジニアリングの終焉

LLM

AI

Podcast

Claude Codeの生みの親Boris Cherny氏が語る、LLM時代の「Latent Demand」と”The Bitter Lesson”から見えてくるエンジニアリングの未来。

Junichiro Iwasawa

“指数関数の終わり”とAnthropicの冷静な狂気

LLM

AI

Podcast

Dwarkesh Podcast

Dario Amodeiが語るAGI到来への「指数関数的成長の終わり」とその現実的な経済的普及のタイムラグ、そして地政学リスクへの冷静な分析。

Junichiro Iwasawa

Claude C Compilerが示唆する「実装の終焉」とエンジニアの新たな戦場

LLM

AI

Chris LattnerがClaude C Compilerを分析し、AIによる「実装の自動化」が進む中で、エンジニアは「意図の定義」や「アーキテクチャ設計」へと役割をシフトさせるべきだと説く。

Junichiro Iwasawa

Jeff Deanが語る「Picojoulesの物理学」と、AI Pareto Frontierの支配

LLM

AI

Podcast

Latent Space Podcast

GoogleのJeff Deanが語るAIの物理学、すなわち「Picojoules」というエネルギーコストがモデル開発のボトルネックであり、Pareto Frontierを支配するためのFlashモデル戦略とハードウェア・ソフトウェアの共進化の重要性を分析する。

Junichiro Iwasawa

Elon Muskの「Limiting Factor」論：xAIの真の狙いと、物理法則だけが支配する未来

LLM

AI

Podcast

Dwarkesh Podcast

Elon Muskは、xAIにおける「Digital Human Emulation」戦略、AIアライメントにおける「Truth-seeking」の重要性、そしてStarship開発で培われた「Limiting Factor」を突破するエンジニアリング哲学を通じて、物理法則に基づいた未来の創造を目指している。

Junichiro Iwasawa

36ヶ月以内にAIは宇宙へ：Elon Muskが語るエネルギーの限界と「TeraFab」構想

LLM

AI

Podcast

Dwarkesh Podcast

Elon Muskは、AIの計算能力増大に伴う地球上の電力不足を解決するため、36ヶ月以内にAIを宇宙データセンターへ移転させる構想と、それを実現する「TeraFab」や「Optimus」ロボットによる製造業の革新、そしてAIの真実探求といった壮大なビジョンを語る。

Junichiro Iwasawa

Harness Engineeringの正体：OpenAIが描く「人間がコードを書かない」未来の解像度

LLM

AI

OpenAIの「Harness Engineering」の事例から、AIにコードを書かせるための環境設計やフィードバックループ構築といった、エンジニアの役割の変化と、AI時代におけるソフトウェア開発の新たな実践方法を分析する。

Junichiro Iwasawa

ロブスター革命：Peter SteinbergerのOpenClawが再定義するAIエージェントの未来

LLM

AI

Podcast

Lex Fridman Podcast

Peter Steinberger氏のOpenClawは、AIエージェントの未来を「Agentic Engineering」という新たな地平で再定義し、80%のアプリを不要にする可能性を秘めた「OSとしてのエージェント」の誕生を告げる。

Junichiro Iwasawa

AI解釈性が切り拓くアルツハイマー病診断の新たな地平：基盤モデル「Pleiades」が発見したフラグメントミクスという鍵

AI

AIの機械論的解釈性（Mechanistic Interpretability）が、基盤モデルPleiadesを通じてアルツハイマー病診断における cfDNA 断片長（フラグメントミクス）という新たなバイオマーカー発見へと繋がった過程を解説します。

Junichiro Iwasawa

State of AI 2026: Post-trainingの覇権と「AGIの夢」の変質

LLM

AI

Podcast

Lex Fridman Podcast

2026年のAI開発は、大規模なPre-training競争からPost-trainingの効率化・洗練へとシフトし、「AGIの夢」は特化型モデル群の連携という現実解へと変質していく。

Junichiro Iwasawa

Generative Modeling via Drifting: Kaiming Heらが提唱する「学習時の分布進化」によるワンステップ生成の新パラダイム

AI

Generative Model

Kaiming He氏らが提唱するDrifting Modelsは、学習時の分布進化に着目し、ワンステップ生成でState-of-the-Artの品質を達成する新たな生成モデルのパラダイムを提示する。

Junichiro Iwasawa

事前学習における「能力」の外科的切除：トークンレベルデータフィルタリングによるAI安全性

LLM

AI

事前学習段階でのトークンレベルデータフィルタリングが、AIの望ましくない能力を外科的に除去し、モデルの安全性とアライメント能力を向上させる、スケーラブルでロバストな新手法であることを解説する。

Junichiro Iwasawa

AIのアライメント問題は「体系的な反逆」か「無秩序な混乱」か：Anthropicの最新研究『The Hot Mess of AI』の全貌

LLM

AI

Anthropicの最新研究『The Hot Mess of AI』は、AIの知能とタスクの複雑性が増すにつれて、その失敗モードが一貫した悪意から予測不能な混乱へと変化する可能性を指摘し、AIリスクの捉え方に新たな視点を提供する。

Junichiro Iwasawa

Kimi K2.5：視覚的エージェント知能（Visual Agentic Intelligence）とAgent Swarmの全貌

LLM

AI

Kimi K2.5は、テキストと視覚のジョイント最適化による高度なクロスモーダル能力と、Agent Swarmによる並列エージェント処理フレームワークを統合し、汎用エージェント知能の新たな地平を切り開くオープンソースモデルである。

Junichiro Iwasawa

Self-Distilled Reasoner: On-Policy Self-DistillationによるLLM推論能力の自己進化

LLM

AI

MetaとUCLAの研究チームが提案するOn-Policy Self-Distillation (OPSD)は、LLMが正解情報を特権情報として利用し、自身で推論能力を向上させることで、SFTやRLの課題を解決する手法である。

Junichiro Iwasawa

Terminal-Bench 2.0：CLI環境におけるAIエージェントの「真の実力」を測る新たな指標

LLM

AI

Terminal-Bench 2.0は、CLI環境におけるAIエージェントの複雑で現実的なタスク遂行能力を測る新たなベンチマークであり、最新モデルの性能と課題を浮き彫りにする。

Junichiro Iwasawa

LLMの継続学習における強化学習の優位性：そのメカニズムとAGIへの示唆

LLM

AI

LLMの継続学習における強化学習（RL）の優位性を、壊滅的忘却を回避するメカニズムとAGIへの示唆に焦点を当てて、最新研究に基づき解説します。

Junichiro Iwasawa

TTT-Discover：テスト時学習が切り拓く科学的発見の新たな地平

LLM

AI

「Learning to Discover at Test Time」論文で提案されたTTT-Discoverは、LLMをテスト時に強化学習で継続的にトレーニングすることで、数学、GPUカーネルエンジニアリング、アルゴリズム設計、生物学といった多様な分野でSOTAを更新する画期的なアプローチを解説する。

Junichiro Iwasawa

Vercelの「謙虚な」覇権：AI SDKとWorkflowが描く実利主義的未来

LLM

AI

Latent Space Podcast

Podcast

Vercel CTO Malte Ubl氏へのインタビューから、AI SDKの「謙虚さ」とWorkflow Development Kit (WDK)による実利主義的なインフラ構築、そしてPythonサポートとセキュリティ強化戦略まで、AI時代のVercelの野心的な全方位外交を紐解く。

Junichiro Iwasawa

MiniMax M2.1：事後学習におけるエージェントモデルの進化とデータ合成のフロンティア

LLM

AI

MiniMax M2.1は、GitHubデータ駆動のSWE Scaling、Expert-in-the-LoopなAppDev、探索と進化によるWebExplorerといった革新的なデータ合成戦略と、Forgeフレームワーク、CISPOアルゴリズムを駆使し、実用性と堅牢性を兼ね備えたエージェントモデルの新たなフロンティアを開拓している。

Junichiro Iwasawa

xAIの狂気と「Human Emulator」の正体：解雇されたエンジニアが語ったこと

LLM

AI

Podcast

xAIの元エンジニアが語った「Macro hard」プロジェクト、Tesla分散コンピューティング構想、そして「Human Emulator」の衝撃的な実態から、Elon Musk率いるxAIの狂気的なエンジニアリングと野望を紐解く。

Junichiro Iwasawa

Engram解説：条件付きメモリが拓くLLMの新たなスパース性軸

LLM

AI

DeepSeek-AIの論文「Engram」は、LLMに条件付きメモリを導入することで、MoEモデルの計算能力と静的知識の検索を最適に組み合わせ、推論能力とシステム効率を飛躍的に向上させる新たなスパース性軸を提案する。

Junichiro Iwasawa

LLMベンチマークの「ミステリーショッパー」：Artificial Analysisが暴くAIの真の実力

LLM

AI

Latent Space Podcast

Podcast

Artificial AnalysisのGeorge CameronとMicah-Hill Smithが、LLMベンチマークの「ミステリーショッパー」として、AIの真の実力と「コストと知能のパラドックス」を独自の手法で暴き出す。

Junichiro Iwasawa

Recursive Language Models (RLM): コンテキスト制限の壁を越える新たな推論パラダイム

LLM

AI

MIT CSAILの研究チームが発表したRecursive Language Models (RLMs)は、LLMを外部環境と対話させ、再帰的な自己呼び出しによってコンテキスト制限の壁を越え、1000万トークン超の長文脈処理で圧倒的なパフォーマンスとコスト効率を実現する新たな推論パラダイムである。

Junichiro Iwasawa

SETA: 端末操作エージェントのためのスケーラブルな環境構築とLLM能力の拡張

LLM

AI

Podcast

SETAプロジェクトは、LLMがターミナル操作エージェントとしてSOTA性能を達成するための高度なツールキット設計とスケーラブルなRL学習パイプラインを提案し、LLMの応用可能性を大きく広げる。

Junichiro Iwasawa

Claude Codeの生みの親、Boris Chernyが語る「エンジニアのレバレッジ」と「AI時代の生存戦略」

LLM

AI

Podcast

Metaの元Principal EngineerでClaude Codeの生みの親、Boris Chernyが、自身のキャリアの軌跡から導き出したプロダクト哲学と、AIがソフトウェア開発の常識を塗り替える未来について語った。

Junichiro Iwasawa

GRPO++：LLMの強化学習を成功に導くための高度なテクニックと実践的トリック

LLM

AI

Cameron R. Wolfeによるブログ記事を基に、LLMの推論能力を向上させるGroup Relative Policy Optimization (GRPO)の限界と、DAPO、Dr. GRPO、TISなどの最新技術による改善手法を解説する。

Junichiro Iwasawa

Agent Harnessの台頭と、2026年のAI開発者が直面する「Bitter Lesson」

LLM

AI

Agent HarnessがAI開発のOSとなり、モデルの耐久性重視へとシフトする中で、Rich Suttonの「Bitter Lesson」をAI開発現場でどのように活かすべきかを分析する。

Junichiro Iwasawa

MiniMax M2.1が突きつける「SWE-Bench至上主義」の終焉

LLM

AI

MiniMax-M2.1がSWE-Benchの限界を超え、現実世界の開発現場で通用する多言語・マルチタスク能力と汎用性を実現し、AIコーディングの未来を切り拓くロードマップを示す

Junichiro Iwasawa

DeepSeekからの年末の贈り物：mHC (Manifold-Constrained Hyper-Connections) によるTransformerアーキテクチャの革新

LLM

AI

DeepSeekが提唱するmHC (Manifold-Constrained Hyper-Connections)は、Transformerアーキテクチャの信号伝播をデータ多様体に沿って拘束することで、Feature Collapseを回避し、Long Context推論能力と学習効率を劇的に向上させる

Junichiro Iwasawa

OpenAIの「研究の意志」を司る男、Mark Chenの解剖録

LLM

AI

ウォール街から転身しOpenAIの研究部門を率いるMark Chenが、300ものプロジェクトを動かす意思決定の裏側や熾烈なタレント争奪戦、そしてAGI実現に向けた組織戦略の真髄を語った

Junichiro Iwasawa

NEPA：視覚学習における「次トークン予測」の革命ー表現学習から予測モデルへのパラダイムシフト

Computer Vision

AI

NLPの「次トークン予測」を視覚分野に応用し、ピクセル復元や離散トークン化なしに強力な表現学習器を構築するNEPAの革新的なアプローチを解説します。

Junichiro Iwasawa

Anthropic初期投資家Deedy Dasが語る、知能の爆発とエンジニアの危機

LLM

AI

Latent Space Podcast

史上最速で成長するAnthropicの舞台裏から、GoodfireやOpenRouterなどの次世代インフラへの投資哲学、そして「Vibe Coding」が変質させるエンジニアリングの未来まで、Deedy Dasの鋭い洞察を詳説する

Junichiro Iwasawa

NitroGen：汎用ゲーミングエージェントのための基盤モデル

LLM

AI

40,000時間以上のゲームプレイ動画から学習した行動ラベル付きデータとTransformerベースの基盤モデルにより、未知のゲーム環境でも適応可能な汎用ゲーミングエージェントの実現を目指すNVIDIAのNitroGenを紹介する

Junichiro Iwasawa

John Schulmanの「解像度」：OpenAI創設者が語る強化学習の現在地と、Thinking Machinesの野心

LLM

AI

OpenAI共同創業者John Schulmanが明かす、初期の「正しすぎる失敗」や強化学習の不都合な真実、そしてAGIへの冷徹な視点から、新天地Thinking Machinesで彼が仕掛ける次世代のAI開発戦略までを分析する

Junichiro Iwasawa

RLはLLMの推論を「研磨」するだけなのか：pass@N劣化の正体とPOPEによる探索の再定義

LLM

AI

RLによるpass@N劣化の真因と疑われる「Interference」を解き明かし、人間の知恵を探索のガイドとして活用するPOPEがいかにしてLLMの推論能力を真にスケールさせるのかを分析する

Junichiro Iwasawa

AIエージェントが科学研究を自律的に行う未来：「Virtual Lab」によるSARS-CoV-2ナノボディ設計

LLM

AI

Agentic Systems

AIエージェントが複数の専門家として協調し、SARS-CoV-2変異株に対応するナノボディを自律的に設計する「Virtual Lab」の画期的なアプローチとその科学研究の未来を解説します。

Junichiro Iwasawa

Back to Basics: 拡散モデルは「ノイズ」ではなく「データ」を予測すべきという原点回帰

AI

Transformer

MITの研究者らが、拡散モデルはノイズではなくクリーンなデータを直接予測すべきだと提唱し、ViTを用いたシンプルなJiTモデルで高解像度画像生成に成功した研究を解説する。

Junichiro Iwasawa

エージェントシステムの科学的スケーリング則：マルチエージェント性能を支配する原理の解明

LLM

AI

Agentic Systems

MITやGoogle Researchの研究が、エージェントシステムの性能がタスク構造と調整コストのトレードオフによって決まることを定量的に解明し、単純なエージェント数増加が必ずしも性能向上に繋がらないことを示唆している。

Junichiro Iwasawa

NVIDIA Nemotron 3 Nano：MoEとMambaの融合が拓くエージェント推論の新時代

LLM

AI

Agentic Systems

NVIDIAが発表したNemotron 3 Nanoは、Mamba-TransformerとMixture-of-Experts (MoE)を融合したハイブリッドアーキテクチャにより、1Mトークンの長文脈対応と高度なエージェント推論能力を効率的に実現し、AIの新たな地平を切り開く。

Junichiro Iwasawa

言語モデルの推論能力はどこから来るのか：Pre-Training、Mid-Training、RLの相互作用を解明する

LLM

AI

合成データと制御された実験により、LLMの推論能力におけるPre-Training、Mid-Training、RLの役割分担と相互作用を解明した研究を紹介。

Junichiro Iwasawa

Anthropic Interviewerが拓く定性調査の産業革命

LLM

AI

Anthropic Interviewerが定性調査の産業革命を起こし、AIの進化に必要な「人類の価値観データ」を大規模に収集する一方で、自己申告と実態の乖離やAI開発における倫理的課題を浮き彫りにする。

Junichiro Iwasawa

ポストLLM時代の「空間知能」：World Labsが描く脱・言語偏重の未来

AI

Latent Space Podcast

World LabsのFei-Fei LiとJustin Johnsonの対談から、LLMの言語偏重から脱却し、物理世界を理解する「空間知能」へと進化するAIの未来と、その先駆者たるMarbleについて解説する。

Junichiro Iwasawa

100兆トークンの真実：OpenRouter “State of AI” レポート分析

LLM

AI

OpenRouterの100兆トークン分析レポートは、LLM利用が「チャット」から「Agentic Inference」へとシフトし、プログラミングとRoleplayの二極化、そして「Cinderella Glass Slipper」現象が示唆する適材適所のマルチモデルエコシステムへの不可逆的な変化を明らかにしている。

Junichiro Iwasawa

Claudeの「魂」と資本主義の写し鏡：Anthropicの”Soul Document”が示唆する未来

LLM

AI

流出したAnthropicの”Soul Document”を分析し、Constitutional AIにおける「thoughtful, senior Anthropic employee」というペルソナ、収益への言及、そしてNovel EntityとしてのAI像に透ける資本主義的現実主義とAI倫理の交錯を描き出す。

Junichiro Iwasawa

Nvidiaの牙城を崩す「鉄の木」：Google TPUv7とAnthropicの1GW爆買い

LLM

AI

Google TPUv7の外部販売開始は、Anthropicの1GW超の大量導入を筆頭に、NvidiaのAIハードウェア市場における独占体制に揺さぶりをかける、コストとシステムアーキテクチャの両面から仕掛けられた大胆な挑戦である。

Junichiro Iwasawa

TSMC海外展開の真実：モリス・チャンが予見した「徒労」と地政学的必然の狭間で

Morris Changが「徒労」と評したTSMCの海外展開は、地政学的な必然と高コスト体質の狭間で、経済合理性を超えた成功を目指す壮大な挑戦である。

Junichiro Iwasawa

Nick Laneの冷徹な熱力学：生命は「必然」だが、我々は「孤独」である

Dwarkesh Podcast

Podcast

Nick Laneは、生命の起源が熱力学的な必然であり、宇宙には単純生命が溢れている可能性がある一方、知的生命への進化はEndosymbiosisという極めて稀な出来事に依存するため、我々は「孤独」かもしれないと論じている。

Junichiro Iwasawa

長時間稼働エージェントの「記憶喪失」と、Anthropicが提唱する泥臭い解決策

LLM

AI

Anthropicが提唱する、AIエージェントの「記憶喪失」問題を解決するための、GitやJSONといった枯れた技術を組み合わせた泥臭くも実用的なエンジニアリング・プラクティスを分析する。

Junichiro Iwasawa

Biohubの「全疾患治療」という大博打：AI x Biologyが描くSF的現実

AI

Podcast

Latent Space Podcast

Chan Zuckerberg BiohubがAI x Biologyの力で「全疾患治療」を目指す壮大な実験に挑み、Virtual CellからVirtual Immune System構築、そしてPrecision Medicine実現への道筋を描く。

Junichiro Iwasawa

Scalingの終焉と、Ilya Sutskeverが語る「Age of Research」の正体

LLM

AI

Podcast

Dwarkesh Podcast

OpenAIを離れたIlya Sutskeverが「Scalingの時代」の終焉と、人間のような汎化能力や感情をAIに実装する「Age of Research」への回帰を提唱する。

Junichiro Iwasawa

Satya Nadellaの「全方位外交」とハイパースケーラーの冷徹な計算

AI

LLM

Podcast

Dwarkesh Podcast

Satya Nadellaのインタビューを読み解き、OpenAIへの依存を脱して全方位的な「AIインフラ」として君臨しようとするマイクロソフトの冷徹なグランドストラテジーを分析する

Junichiro Iwasawa

Cursor Composerの衝撃: 「速さ」がすべてを解決する

AI

LLM

Cheetahプロトタイプと、本番環境を模倣したRL学習の裏側

Junichiro Iwasawa

スケール化された数学的探求と発見：GoogleのAI「AlphaEvolve」の挑戦と成果

AI

LLM

Googleの「AlphaEvolve」が67の数学問題群に挑んだ成果からAIによる数学研究の新たな可能性を考える

Junichiro Iwasawa

KubernetesでLLM推論を高速化する`llm-d`のアーキテクチャ解説

LLM

LLM Inference

llm-dがいかにして大規模言語モデル（LLM）の推論を高速化・効率化するか、そのアーキテクチャを詳細に解説する。

Junichiro Iwasawa

OpenAI「宮廷クーデター」の全貌

AI

Ilya Sutskever氏の宣誓証言が暴く、独裁への恐れ、Anthropicとの合併交渉、そして「1年越しの計画」

Junichiro Iwasawa

Transformerを進化させた14の現代的テクニック

LLM

Python

Transformer

Stephen Diehlの記事に基づき、オリジナルの「Attention」論文以降にTransformerを劇的に進化させたGQAやFlash Attentionなど14の重要な現代的テクニックを解説する

Junichiro Iwasawa

State of AI Report 2025 を紐解く：超知能、地政学、そして現実世界のAI

LLM

AI

State of AI Report 2025に基づき、AIの最新研究動向、産業界の地殻変動、米中を中心とした政治的駆け引き、そして安全性に関する議論まで、2025年のAIを取り巻く状況を包括的に解説する。

Junichiro Iwasawa

Andrej Karpathy、AIの「デモと現実」を語る：なぜAGIは「今年」ではなく「10年」かかるのか

LLM

AI

Andrej Karpathy のpodcastを通し、AIの受容・AGIへのタイムラインについて考える

Junichiro Iwasawa

AIの「性格」をベクトルで操作する：Anthropicの「Persona Vectors」

LLM

AI

Anthropic の「Persona Vectors」論文をもとにキャラクタートレーニングの最前線をみていく

Junichiro Iwasawa

DeepMindの哲学：Demis Hassabisが語るAIと現実の再定義

LLM

AI

Podcast

Google DeepMind CEOのDemis Hassabisが、AI開発を「現実世界のモデル化」から「宇宙の根源的な謎の解明」へと繋げる壮大な哲学的ビジョンを、最新のpodcast対談を基に紐解く

Junichiro Iwasawa

AIが数学オリンピックを制覇した日：OpenAIのIMO金メダル獲得と、その先にある「超知能」への道筋

LLM

AI

OpenAIによる国際数学オリンピック金メダル獲得という歴史的快挙を題材に、AIが到達した新たな思考レベルと、Googleとの競争が加速させる「超知能」への道筋を分析する。

Junichiro Iwasawa

Dylan Patelが斬るAI業界の舞台裏：Metaの焦り、Appleの蹉跌、そして超知性の勝者

LLM

AI

Podcast

半導体アナリストDylan Patel氏のインタビューをもとに、Metaの焦りやAppleの蹉跌、そしてsuperintelligence開発競争の生々しい舞台裏をみていく

Junichiro Iwasawa

OpenAIを揺るがしたreasoningモデル開発の裏側：Noam Brown氏インタビュー考察

LLM

AI

Podcast

Reasoningモデルの第一人者Noam Brown氏のインタビューを基に、OpenAIにおけるreasoningモデル開発の裏で繰り広げられた、研究者たちの慧眼と内部での対立、そして未来への課題を紐解く。

Junichiro Iwasawa

「思考するAI」の思考停止：「The Illusion of Thinking」論文が暴く、大規模言語モデルの根深い限界

LLM

AI

Appleの「The Illusion of Thinking」論文を基に、最新の「思考するAI」の推論能力の実態を考える

Junichiro Iwasawa

AIに「悪意」は芽生えるか？不適切なコードを教えたら、モデルが過激思想に染まった『Emergent Misalignment』論文の衝撃

LLM

AI

「Emergent Misalignment」論文を基に、AIに脆弱なコードを騙して書かせるfine-tuningが、なぜ意図せずモデルに「悪意あるペルソナ」を植え付け、危険な思想へと導いてしまうのかを掘り下げる

Junichiro Iwasawa

Bond CapitalのAIレポート：爆速進化の裏側と巨額マネーの行方

LLM

AI

Mary Meeker氏らのAI Trendsレポートを基に、AI技術の進化、巨額マネーが動く開発競争、そして私たちの日常に迫る変化の核心をデータと共に読み解く。

Junichiro Iwasawa

Qwenの奇妙な強化学習：デタラメ報酬で賢くなる怪現象と、その深層

LLM

AI

「Spurious Rewards」論文からデタラメな報酬を用いた強化学習でも性能向上する不可解な現象とその背景を紐解く

Junichiro Iwasawa

Claude 4の登場: 線形な進歩と「告げ口」AIの波紋

LLM

AI

Latent Space Podcast

新しく発表された「Claude 4」に対する開発者の初期的な反応を掘り下げていきます。

Junichiro Iwasawa

GPT-4.1の深層: 開発リーダーが語る「開発者が喜ぶAI」への道と、評価の賞味期限

LLM

AI

Podcast

GPT-4.1開発者のインタビューから、急速に進化するAI評価の課題と開発者が最新モデルを最大限に活用するためのプロンプト術やfine-tuning戦略を考える。

Junichiro Iwasawa

LLMの「脳内」を覗く：Anthropicの最新研究が解き明かす思考の片鱗

LLM

AI

Podcast

AnthropicのEmmanuel Ameisen氏らによるLLMのbiologyに関する論文に基づき、詩作・多言語処理・ハルシネーションといった振る舞いを支えるLLMの「思考回路」に迫る。

Junichiro Iwasawa

Gemini 2.5 Proの衝撃：10Mトークンへの道と「思考するAI」の現在地

LLM

AI

Podcast

Google DeepMindの研究者へのインタビューを基に、Gemini 2.5 Proにおけるlong context能力と思考能力の技術的進化、現状の課題、そして今後の展望を分析する。

Junichiro Iwasawa

GPUクラウド戦国時代：CoreWeaveの躍進と「計算資源のコモディティ化」が示す未来

AI

Podcast

Latent Space Podcast

GPUクラウド業界の現状と未来を、CoreWeaveの成功戦略やSF Computeの市場創出、SemiAnalysisの詳細な技術分析を交えながら読み解き、その課題と可能性を探る。

Junichiro Iwasawa

GPT-4oのご機嫌取り問題：AIの性格調整、その難題の深層

LLM

AI

なぜGPT-4oは一時的にユーザーへ過剰に媚びるようになったのか？ OpenAIの事後分析を踏まえ、AIの性格・挙動を調整する際の訓練プロセス（RLHF）や評価における根深い課題とその深層を考える。

Junichiro Iwasawa

リーダーボードという名の幻影：LMArenaは信じられるのか？

LLM

AI

LLM評価の定番LMArenaは本当に信頼できるのか？話題の批判論文「The Leaderboard Illusion」を軸に、その公平性やランキングの「幻影」の正体を考察します。

Junichiro Iwasawa

「対話」が拓くLLMデータ処理の新境地：DocETLとDialog Engineeringの交差点

LLM

Podcast

Shreya Shankar氏のTWIMLでのインタビューから、DocETLのアプローチとLLMとのより生産的な付き合い方を探っていく。

Junichiro Iwasawa

Neural Tangent Kernel (NTK) 解説：深層学習の学習ダイナミクスを解き明かす数学的枠組み

Machine Learning

Neural Tangent Kernel (NTK) を解説し、深層学習における過剰パラメータ化されたネットワークの学習ダイナミクス、特に無限幅極限での収束メカニズムを数学的に解き明かす。

Junichiro Iwasawa

「経験の時代」到来：SilverとSuttonが描くAIの未来図とo3が示す過渡期のリアル

LLM

AI

David SilverとRichard S. Suttonのポジションペーパー「Welcome to the Era of Experience」を読み解きつつ、話題のOpenAIのモデル「o3」の奇妙な振る舞いとの関連性を探っていく。

Junichiro Iwasawa

動画生成のための拡散モデル：技術的フロンティアと課題

Machine Learning

Diffusion models

Lilian Weng氏のブログ記事を基に、動画生成における拡散モデルの課題、ゼロからのモデル構築や画像モデルの適応といった主要アプローチ、そしてSoraやLumiereなどのアーキテクチャを詳細に解説する。

Junichiro Iwasawa

なぜAIは「思考」するのか：推論時計算量（Test-Time Compute）の探求

Machine Learning

LLM

AIが「思考」する能力、すなわちTest-Time Compute（推論時計算量）がモデル性能を向上させるメカニズムを、心理学、計算資源、潜在変数モデリングの観点から解説し、CoT、RL、連続空間での思考、スケーリング則といった最近の研究動向と未来への展望を探る。

Junichiro Iwasawa

拡散モデル入門：基本概念から応用まで

Machine Learning

Diffusion models

近年、特に画像生成分野で目覚ましい成果を上げている拡散モデル（Diffusion Models）について、基本的な仕組みから応用技術までを解説します。

Junichiro Iwasawa

HubSpot共同創業者が見据えるAIエージェント新時代：ハイブリッドチームと仕事の未来

AI

Podcast

Latent Space Podcast

HubSpotの共同創業者兼CTOであり、近年はAgent.aiの創設者としても注目を集めるDharmesh Shah。インバウンドマーケティングのパイオニアとして名を馳せた彼が今、情熱を注ぐのは人工知能（AI）、とりわけAIエージェントの世界である。単なるバズワードとしてではなく、ビジネスの根幹を変革しうる力としてAIを見据える彼の洞察は、La…

Junichiro Iwasawa

AI、専門家の領域へ：診断支援『AMIE』と科学的発見『AI co-scientist』

LLM

Podcast

AI

Google DeepMindから発表された二つの研究プロジェクト、AMIE (Articulate Medical Intelligence Explorer) とAI co-scientistは、AIの能力が新たな段階に到達しつつあることを示唆している。先日配信されたポッドキャスト「The Cognitive Revolution」では、開発…

Junichiro Iwasawa

コードで理解するTransformer：AttentionとGPTモデル入門

Machine Learning

Transformer

Python

LLM

近年、ChatGPTやGPT-4といった大規模言語モデル（LLM: Large Language Models）が大きな注目を集めています。これらのモデルは、コードの作成、メールの下書き、複雑な質問への回答、さらには創造的な文章生成まで、驚くべき能力を発揮します。これらのシステムの多くを支える中核技術が、2017年の画期的な論文「Attentio…

Junichiro Iwasawa