miscellaneous notes

言語モデルの推論能力はどこから来るのか：Pre-Training、Mid-Training、RLの相互作用を解明する

LLM
AI

合成データと制御された実験により、LLMの推論能力におけるPre-Training、Mid-Training、RLの役割分担と相互作用を解明した研究を紹介。

Dec 11, 2025
Junichiro Iwasawa

Anthropic Interviewerが拓く定性調査の産業革命

LLM
AI

Anthropic Interviewerが定性調査の産業革命を起こし、AIの進化に必要な「人類の価値観データ」を大規模に収集する一方で、自己申告と実態の乖離やAI開発における倫理的課題を浮き彫りにする。

Dec 10, 2025
Junichiro Iwasawa

ポストLLM時代の「空間知能」：World Labsが描く脱・言語偏重の未来

AI
Latent Space Podcast

World LabsのFei-Fei LiとJustin Johnsonの対談から、LLMの言語偏重から脱却し、物理世界を理解する「空間知能」へと進化するAIの未来と、その先駆者たるMarbleについて解説する。

Dec 9, 2025
Junichiro Iwasawa

100兆トークンの真実：OpenRouter “State of AI” レポート分析

LLM
AI

OpenRouterの100兆トークン分析レポートは、LLM利用が「チャット」から「Agentic Inference」へとシフトし、プログラミングとRoleplayの二極化、そして「Cinderella Glass Slipper」現象が示唆する適材適所のマルチモデルエコシステムへの不可逆的な変化を明らかにしている。

Dec 8, 2025
Junichiro Iwasawa

Claudeの「魂」と資本主義の写し鏡：Anthropicの”Soul Document”が示唆する未来

LLM
AI

流出したAnthropicの”Soul Document”を分析し、Constitutional AIにおける「thoughtful, senior Anthropic employee」というペルソナ、収益への言及、そしてNovel EntityとしてのAI像に透ける資本主義的現実主義とAI倫理の交錯を描き出す。

Dec 4, 2025
Junichiro Iwasawa

Nvidiaの牙城を崩す「鉄の木」：Google TPUv7とAnthropicの1GW爆買い

LLM
AI

Google TPUv7の外部販売開始は、Anthropicの1GW超の大量導入を筆頭に、NvidiaのAIハードウェア市場における独占体制に揺さぶりをかける、コストとシステムアーキテクチャの両面から仕掛けられた大胆な挑戦である。

Dec 2, 2025
Junichiro Iwasawa

TSMC海外展開の真実：モリス・チャンが予見した「徒労」と地政学的必然の狭間で

Morris Changが「徒労」と評したTSMCの海外展開は、地政学的な必然と高コスト体質の狭間で、経済合理性を超えた成功を目指す壮大な挑戦である。

Dec 1, 2025
Junichiro Iwasawa

Nick Laneの冷徹な熱力学：生命は「必然」だが、我々は「孤独」である

Dwarkesh Podcast
Podcast

Nick Laneは、生命の起源が熱力学的な必然であり、宇宙には単純生命が溢れている可能性がある一方、知的生命への進化はEndosymbiosisという極めて稀な出来事に依存するため、我々は「孤独」かもしれないと論じている。

Nov 30, 2025
Junichiro Iwasawa

長時間稼働エージェントの「記憶喪失」と、Anthropicが提唱する泥臭い解決策

LLM
AI

Anthropicが提唱する、AIエージェントの「記憶喪失」問題を解決するための、GitやJSONといった枯れた技術を組み合わせた泥臭くも実用的なエンジニアリング・プラクティスを分析する。

Nov 29, 2025
Junichiro Iwasawa

Biohubの「全疾患治療」という大博打：AI x Biologyが描くSF的現実

AI
Podcast
Latent Space Podcast

Chan Zuckerberg BiohubがAI x Biologyの力で「全疾患治療」を目指す壮大な実験に挑み、Virtual CellからVirtual Immune System構築、そしてPrecision Medicine実現への道筋を描く。

Nov 28, 2025
Junichiro Iwasawa

Scalingの終焉と、Ilya Sutskeverが語る「Age of Research」の正体

LLM
AI
Podcast
Dwarkesh Podcast

OpenAIを離れたIlya Sutskeverが「Scalingの時代」の終焉と、人間のような汎化能力や感情をAIに実装する「Age of Research」への回帰を提唱する。

Nov 27, 2025
Junichiro Iwasawa

Satya Nadellaの「全方位外交」とハイパースケーラーの冷徹な計算

AI
LLM
Podcast
Dwarkesh Podcast

Satya Nadellaのインタビューを読み解き、OpenAIへの依存を脱して全方位的な「AIインフラ」として君臨しようとするマイクロソフトの冷徹なグランドストラテジーを分析する

Nov 20, 2025
Junichiro Iwasawa

Cursor Composerの衝撃: 「速さ」がすべてを解決する

AI
LLM

Cheetahプロトタイプと、本番環境を模倣したRL学習の裏側

Nov 11, 2025
Junichiro Iwasawa

スケール化された数学的探求と発見：GoogleのAI「AlphaEvolve」の挑戦と成果

AI
LLM

Googleの「AlphaEvolve」が67の数学問題群に挑んだ成果からAIによる数学研究の新たな可能性を考える

Nov 8, 2025
Junichiro Iwasawa

KubernetesでLLM推論を高速化するllm-dのアーキテクチャ解説

LLM
LLM Inference

llm-dがいかにして大規模言語モデル（LLM）の推論を高速化・効率化するか、そのアーキテクチャを詳細に解説する。

Nov 4, 2025
Junichiro Iwasawa

OpenAI「宮廷クーデター」の全貌

AI

Ilya Sutskever氏の宣誓証言が暴く、独裁への恐れ、Anthropicとの合併交渉、そして「1年越しの計画」

Nov 3, 2025
Junichiro Iwasawa

Transformerを進化させた14の現代的テクニック

LLM
Python
Transformer

Stephen Diehlの記事に基づき、オリジナルの「Attention」論文以降にTransformerを劇的に進化させたGQAやFlash Attentionなど14の重要な現代的テクニックを解説する

Oct 22, 2025
Junichiro Iwasawa

State of AI Report 2025 を紐解く：超知能、地政学、そして現実世界のAI

LLM
AI

State of AI Report 2025に基づき、AIの最新研究動向、産業界の地殻変動、米中を中心とした政治的駆け引き、そして安全性に関する議論まで、2025年のAIを取り巻く状況を包括的に解説する。

Oct 21, 2025
Junichiro Iwasawa

Andrej Karpathy、AIの「デモと現実」を語る：なぜAGIは「今年」ではなく「10年」かかるのか

LLM
AI

Andrej Karpathy のpodcastを通し、AIの受容・AGIへのタイムラインについて考える

Oct 20, 2025
Junichiro Iwasawa

AIの「性格」をベクトルで操作する：Anthropicの「Persona Vectors」

LLM
AI

Anthropic の「Persona Vectors」論文をもとにキャラクタートレーニングの最前線をみていく

Aug 3, 2025
Junichiro Iwasawa

DeepMindの哲学：Demis Hassabisが語るAIと現実の再定義

LLM
AI
Podcast

Google DeepMind CEOのDemis Hassabisが、AI開発を「現実世界のモデル化」から「宇宙の根源的な謎の解明」へと繋げる壮大な哲学的ビジョンを、最新のpodcast対談を基に紐解く

Aug 2, 2025
Junichiro Iwasawa

AIが数学オリンピックを制覇した日：OpenAIのIMO金メダル獲得と、その先にある「超知能」への道筋

LLM
AI

OpenAIによる国際数学オリンピック金メダル獲得という歴史的快挙を題材に、AIが到達した新たな思考レベルと、Googleとの競争が加速させる「超知能」への道筋を分析する。

Aug 1, 2025
Junichiro Iwasawa

Dylan Patelが斬るAI業界の舞台裏：Metaの焦り、Appleの蹉跌、そして超知性の勝者

LLM
AI
Podcast

半導体アナリストDylan Patel氏のインタビューをもとに、Metaの焦りやAppleの蹉跌、そしてsuperintelligence開発競争の生々しい舞台裏をみていく

Jul 12, 2025
Junichiro Iwasawa

OpenAIを揺るがしたreasoningモデル開発の裏側：Noam Brown氏インタビュー考察

LLM
AI
Podcast

Reasoningモデルの第一人者Noam Brown氏のインタビューを基に、OpenAIにおけるreasoningモデル開発の裏で繰り広げられた、研究者たちの慧眼と内部での対立、そして未来への課題を紐解く。

Jul 5, 2025
Junichiro Iwasawa

「思考するAI」の思考停止：「The Illusion of Thinking」論文が暴く、大規模言語モデルの根深い限界

LLM
AI

Appleの「The Illusion of Thinking」論文を基に、最新の「思考するAI」の推論能力の実態を考える

Jun 8, 2025
Junichiro Iwasawa

AIに「悪意」は芽生えるか？ 不適切なコードを教えたら、モデルが過激思想に染まった『Emergent Misalignment』論文の衝撃

LLM
AI

「Emergent Misalignment」論文を基に、AIに脆弱なコードを騙して書かせるfine-tuningが、なぜ意図せずモデルに「悪意あるペルソナ」を植え付け、危険な思想へと導いてしまうのかを掘り下げる

Jun 6, 2025
Junichiro Iwasawa

Bond CapitalのAIレポート：爆速進化の裏側と巨額マネーの行方

LLM
AI

Mary Meeker氏らのAI Trendsレポートを基に、AI技術の進化、巨額マネーが動く開発競争、そして私たちの日常に迫る変化の核心をデータと共に読み解く。

Jun 1, 2025
Junichiro Iwasawa

Qwenの奇妙な強化学習：デタラメ報酬で賢くなる怪現象と、その深層

LLM
AI

「Spurious Rewards」論文からデタラメな報酬を用いた強化学習でも性能向上する不可解な現象とその背景を紐解く

May 30, 2025
Junichiro Iwasawa

Claude 4の登場: 線形な進歩と「告げ口」AIの波紋

LLM
AI
Latent Space Podcast

新しく発表された「Claude 4」に対する開発者の初期的な反応を掘り下げていきます。

May 23, 2025
Junichiro Iwasawa

GPT-4.1の深層: 開発リーダーが語る「開発者が喜ぶAI」への道と、評価の賞味期限

LLM
AI
Podcast

GPT-4.1開発者のインタビューから、急速に進化するAI評価の課題と開発者が最新モデルを最大限に活用するためのプロンプト術やfine-tuning戦略を考える。

May 21, 2025
Junichiro Iwasawa

LLMの「脳内」を覗く：Anthropicの最新研究が解き明かす思考の片鱗

LLM
AI
Podcast

AnthropicのEmmanuel Ameisen氏らによるLLMのbiologyに関する論文に基づき、詩作・多言語処理・ハルシネーションといった振る舞いを支えるLLMの「思考回路」に迫る。

May 18, 2025
Junichiro Iwasawa

Gemini 2.5 Proの衝撃：10Mトークンへの道と「思考するAI」の現在地

LLM
AI
Podcast

Google DeepMindの研究者へのインタビューを基に、Gemini 2.5 Proにおけるlong context能力と思考能力の技術的進化、現状の課題、そして今後の展望を分析する。

May 9, 2025
Junichiro Iwasawa

GPUクラウド戦国時代：CoreWeaveの躍進と「計算資源のコモディティ化」が示す未来

AI
Podcast
Latent Space Podcast

GPUクラウド業界の現状と未来を、CoreWeaveの成功戦略やSF Computeの市場創出、SemiAnalysisの詳細な技術分析を交えながら読み解き、その課題と可能性を探る。

May 8, 2025
Junichiro Iwasawa

GPT-4oのご機嫌取り問題：AIの性格調整、その難題の深層

LLM
AI

なぜGPT-4oは一時的にユーザーへ過剰に媚びるようになったのか？ OpenAIの事後分析を踏まえ、AIの性格・挙動を調整する際の訓練プロセス（RLHF）や評価における根深い課題とその深層を考える。

May 5, 2025
Junichiro Iwasawa

リーダーボードという名の幻影：LMArenaは信じられるのか？

LLM
AI

LLM評価の定番LMArenaは本当に信頼できるのか？ 話題の批判論文「The Leaderboard Illusion」を軸に、その公平性やランキングの「幻影」の正体を考察します。

May 1, 2025
Junichiro Iwasawa

「対話」が拓くLLMデータ処理の新境地：DocETLとDialog Engineeringの交差点

LLM
Podcast

Shreya Shankar氏のTWIMLでのインタビューから、DocETLのアプローチとLLMとのより生産的な付き合い方を探っていく。

Apr 25, 2025
Junichiro Iwasawa

Neural Tangent Kernel (NTK) 解説：深層学習の学習ダイナミクスを解き明かす数学的枠組み

Machine Learning

Neural Tangent Kernel (NTK) を解説し、深層学習における過剰パラメータ化されたネットワークの学習ダイナミクス、特に無限幅極限での収束メカニズムを数学的に解き明かす。

Apr 23, 2025
Junichiro Iwasawa

「経験の時代」到来：SilverとSuttonが描くAIの未来図とo3が示す過渡期のリアル

LLM
AI

David SilverとRichard S. Suttonのポジションペーパー「Welcome to the Era of Experience」を読み解きつつ、話題のOpenAIのモデル「o3」の奇妙な振る舞いとの関連性を探っていく。

Apr 22, 2025
Junichiro Iwasawa

動画生成のための拡散モデル：技術的フロンティアと課題

Machine Learning
Diffusion models

Lilian Weng氏のブログ記事を基に、動画生成における拡散モデルの課題、ゼロからのモデル構築や画像モデルの適応といった主要アプローチ、そしてSoraやLumiereなどのアーキテクチャを詳細に解説する。

Apr 19, 2025
Junichiro Iwasawa

なぜAIは「思考」するのか：推論時計算量（Test-Time Compute）の探求

Machine Learning
LLM

AIが「思考」する能力、すなわちTest-Time Compute（推論時計算量）がモデル性能を向上させるメカニズムを、心理学、計算資源、潜在変数モデリングの観点から解説し、CoT、RL、連続空間での思考、スケーリング則といった最近の研究動向と未来への展望を探る。

Apr 18, 2025
Junichiro Iwasawa

拡散モデル入門：基本概念から応用まで

Machine Learning
Diffusion models
近年、特に画像生成分野で目覚ましい成果を上げている拡散モデル（Diffusion Models）について、基本的な仕組みから応用技術までを解説します。
Apr 17, 2025
Junichiro Iwasawa

HubSpot共同創業者が見据えるAIエージェント新時代：ハイブリッドチームと仕事の未来

AI
Podcast
Latent Space Podcast
HubSpotの共同創業者兼CTOであり、近年はAgent.aiの創設者としても注目を集めるDharmesh Shah。インバウンドマーケティングのパイオニアとして名を馳せた彼が今、情熱を注ぐのは人工知能（AI）、とりわけAIエージェントの世界である。単なるバズワードとしてではなく、ビジネスの根幹を変革しうる力としてAIを見据える彼の洞察は、La…
Apr 16, 2025
Junichiro Iwasawa

AI、専門家の領域へ：診断支援『AMIE』と科学的発見『AI co-scientist』

LLM
Podcast
AI
Google DeepMindから発表された二つの研究プロジェクト、AMIE (Articulate Medical Intelligence Explorer) とAI co-scientistは、AIの能力が新たな段階に到達しつつあることを示唆している。先日配信されたポッドキャスト「The Cognitive Revolution」では、開発…
Apr 15, 2025
Junichiro Iwasawa

コードで理解するTransformer：AttentionとGPTモデル入門

Machine Learning
Transformer
Python
LLM
近年、ChatGPTやGPT-4といった大規模言語モデル（LLM: Large Language Models）が大きな注目を集めています。これらのモデルは、コードの作成、メールの下書き、複雑な質問への回答、さらには創造的な文章生成まで、驚くべき能力を発揮します。これらのシステムの多くを支える中核技術が、2017年の画期的な論文「Attentio…
Apr 11, 2025
Junichiro Iwasawa
No matching items