CSET AIがAIを構築するとき - AI研究開発の自動化に関するワークショップの知見 (2026.01)

こんにちは、丸山満彦です。

AIがAIを開発するようになったとき、AIの出力に対して人間が関与するというプロセスはどこまで機能するのか？

AIによるAI開発の自動化は、2028年の実現を目指している企業もあり、近い将来の実務上の課題となっていますよね。。。である。技術の進歩が人間の制御を離れないよう、ガバナンスと安全性の議論を並行して進める必要があるということなのでしょうが...

AIを利用している人はすでに気づいていると思うが、AIの出力に人間が関与しつづけるのは物理的に無理がありそうですね。人間が関与しきれていないAIの結果が溢れる時、人間の社会はどこまで事実に基づいた判断、行動ができるのか？

中国では、AIが出力したものにはマークをつけることになっているが、国外からもAIに生成された結果はどんどん入ってくるだろうしね。。。

今は、人間が意識して作ったものの中に人間が関与していないAI生成物がすこーし混じっているくらいだが、その比率が完全に逆転してしまったら...

いろいろと考えることはありそうですね...

● Center for Security and Emerging Technology: CSET

・2026.01 When AI Builds AI - Findings From a Workshop on Automation of AI R&D

Executive Summary	エグゼクティブサマリー
For decades, scientists have speculated about the possibility of machines that can improve themselves. Today, artificial intelligence (AI) systems are increasingly integral parts of the research pipeline at leading AI companies. Some observers see this as evidence that fully automated AI research and development (R&D) is on the way, potentially leading to a rapid acceleration of AI capabilities and impaired ability for humans to understand and control AI. Others see the use of AI for research as a mundane extension of existing software tools.	何十年もの間、科学者たちは自らを改善できる機械の可能性について推測してきた。今日、人工知能（AI）システムは、主要なAI企業における研究プロセスの不可欠な要素となりつつある。一部の観察者は、これを完全自動化されたAI研究開発（R&D）が目前に迫っている証拠と見なし、AI能力の急速な加速と、人間がAIを理解し制御する能力の低下につながる可能性があると指摘する。 一方で、研究におけるAIの活用を既存ソフトウェアツールの平凡な拡張と見る者もいる。
This Workshop Report shares findings and conclusions from an expert workshop CSET hosted in July 2025. The workshop covered a range of issues related to automation of AI R&D. In this report, ‘AI R&D’ refers to scientific and engineering work that improves the capabilities of AI systems and ‘AI R&D automation’ refers broadly to any use of AI that accelerates progress in AI R&D.	本ワークショップ報告書は、CSETが2025年7月に主催した専門家ワークショップの知見と結論を共有するものである。ワークショップではAI R&Dの自動化に関連する多様な課題が議論された。本報告書において「AI R&D」とはAIシステムの能力向上を図る科学技術的作業を指し、「AI R&D自動化」とはAI R&Dの進展を加速させるあらゆるAIの活用を広く意味する。
Key takeaways from the workshop were as follows:	ワークショップの主な要点は以下の通りである：
1. Increasingly automated AI R&D is a potential source of major strategic surprise. While experts disagree on likelihood, scenarios are possible in which AI R&D becomes highly automated, the pace of AI R&D accelerates dramatically, and the resulting systems pose extreme risks. This warrants preparatory action now.	1. AI研究開発の自動化が進むことは、重大な戦略的サプライズの潜在的な要因である。専門家はその可能性について意見が分かれるものの、AI研究開発が高度に自動化され、そのペースが劇的に加速し、その結果として生み出されるシステムが極度のリスクをもたらすシナリオはあり得る。これは今、準備的な行動を取ることを正当化する。
2. Frontier AI companies are already using AI to accelerate AI R&D, and usage is increasing as AI models get more advanced. New models are often used internally to advance AI R&D before they are released to the public.	2. 最先端のAI企業は既にAIを活用してAI研究開発を加速させており、AIモデルの高度化に伴いその利用は増加している。新モデルは一般公開前に、内部でAI研究開発を推進するために使用されることが多い。
3. Experts’ views differ on how rapid and impactful AI R&D automation is likely to be. Even if the use of AI in AI R&D continues to increase, there is no consensus on whether AI progress is more likely to accelerate or plateau. What’s more, because different views are associated with different assumptions about how AI R&D works, new data on how AI R&D automation is progressing in practice may be insufficient to resolve conflicting perspectives. It thus may be difficult to either detect or rule out extreme ‘intelligence explosion’ scenarios in advance.	3. AI研究開発の自動化がどれほど急速かつ影響力を持つかについて、専門家の見解は分かれている。AI研究開発におけるAIの活用が今後も増加するとしても、AIの進歩が加速するか、それとも頭打ちになるかについては合意が得られていない。 さらに、異なる見解はAI研究開発の仕組みに関する異なる仮定に基づいているため、AI研究開発自動化の進捗状況に関する新たな実データだけでは、相反する見解を解決するには不十分かもしれない。したがって、極端な「知能爆発」シナリオを事前に検知したり排除したりすることは困難かもしれない。
4. Despite challenges in interpreting new evidence, better access to indicators of progress in AI R&D automation would be valuable. Existing empirical evidence, including existing benchmark evaluations, is insufficient for measuring, understanding, and forecasting the trajectory of automated AI R&D. More systematic collection of existing indicators—as well as developing ways of gathering new indicators—could provide a significantly clearer picture.	4. 新たな証拠の解釈には課題があるものの、AI研究開発の自動化進捗を示す指標へのアクセス向上は価値がある。既存の実証的 証拠（既存のベンチマーク評価を含む）は、自動化されたAI研究開発の軌跡を測定・理解・予測するには不十分だ。既存指標の体系的な収集と新たな指標収集手法の開発により、状況は大幅に明確化されるだろう。
5. Thoughtfully designed transparency efforts could improve access to valuable empirical information about AI R&D automation, which at present is almost fully dependent on patchy, voluntary releases of information from companies. While some early transparency mandates on frontier AI development have recently been enacted, they do not focus on indicators of progress in AI R&D automation. Policymakers have a range of options for how to increase visibility of these indicators.	5. 慎重に設計された透明性向上策は、AI研究開発の自動化に関する貴重な実証情報へのアクセスを改善し得る。現状では、こうした情報はほぼ完全に、企業による断片的で任意の情報開示に依存している。最先端AI開発に関する初期の透明性義務化措置が最近導入されたものの、AI研究開発自動化の進捗指標には焦点を当てていない。政策立案者は、これらの指標の可視性を高めるために様々な選択肢を有している。
The full report elaborates on these takeaways, including providing examples of how frontier AI companies are using AI for R&D, delving into experts’ differing views and assumptions, suggesting priority indicators to track, and laying out policy options and implications.	本報告書では、これらの要点を詳細に解説している。具体的には、最先端AI企業がAIを研究開発に活用する事例の提供、専門家の異なる見解や前提条件の掘り下げ、追跡すべき優先指標の提案、政策オプションと示唆の提示などである。

・[PDF]

・[DOCX][PDF] 仮訳

---

AIがAIを創る時代：AI R&D自動化に関する報告書要約

1. エグゼクティブ・サマリー (Executive Summary)

AI R&D（AIの研究開発）の自動化は、AIシステムが自らを改良するプロセスを指し、将来的にAI能力の劇的な加速を招く可能性がある。

• 戦略的驚愕の源泉： 自動化が高度に進むことで、人類の理解と制御を超えた「知能爆発」が起こり、極端なリスクが生じる恐れがある。

• 現状と具体的目標： フロンティアAI企業は既に自社モデルをR&Dに活用している。特にOpenAIは、2028年3月までに「真の自動AI研究者（Automated AI Researcher）」を構築するという具体的な目標を掲げている。

• 不確実性： 専門家の間でも、進歩が加速するか早期に停滞（プラトー）するかで見解が分かれており、現状のデータだけでは将来の予測が困難である。

• 提言： 進行状況を把握するための指標（インジケーター）の収集と、政策的な透明性の確保が急務である。

2. 背景と動機 (Background and Motivation)

AIを用いてAI開発を加速させる概念は、理論から実務へと移行している。背景には、計算資源の増大と、LLM（大規模言語モデル）がコーディングや論理推論において高い能力を示していることがある。

3. AI R&D自動化の現状と展望

3.1. 役割の分担

AIは現在、研究における以下の2つの役割を補完・代替し始めている。

• リサーチ・サイエンティスト： 仮説の生成、実験の設計、結果の解釈（科学的発見）。

• リサーチ・エンジニア： コーディング、バグ修正、データセット構築（工学的実装）。

3.2. 現在の活用状況

• エンジニアリング支援： コーディング支援ツール（Claude Code等）により、デバッグや解析が3倍速化するなど、実地で広く普及している。

• LLM-as-a-judge： データのフィルタリングや評価にLLM自身を活用し、人間の判断を代替・高速化している。

3.3. 自動化はどこまで進むか？（4つの将来モデル）

将来の進展については、以下の4つのメンタルモデルが提示されている。

• 生産性倍増モデル (爆発的拡大)： AIが複雑なタスクを次々こなし、指数関数的に進歩が加速する。

• 生産性倍増モデル (早期停滞)： 投入資源に対する成果が飽和し、初期の加速後は早期に成長が鈍化する。

• アムダールの法則モデル： 特定のボトルネック（物理的ハードウェア、データ供給等）により、システム全体の進歩が制限される。

• パイ拡大モデル： 自動化により新たな難問が次々と生じ、常に人間が中心的な役割として残り続ける。

3.4. 現実世界への影響

AI R&Dの自動化が、外部の世界（材料科学、製造等）に波及するかは、**「サンプル効率（少ないデータで学べるか）」と「逐次実験の必要性（シミュレーションが可能か）」**の2点に依存する。

4. 注視すべき指標 (Indicators to Watch For)

予測不可能な進歩を捉えるため、以下のカテゴリーを監視する必要がある。

• 長期タスクの遂行能： 数ヶ月かかるプロジェクトを、自律的に完遂できるか。

• 自律的な発見： 人間が気づかなかった新しいアルゴリズムや最適化手法をAI自身が発見できるか。

• 計算資源の効率化： AI自身のアルゴリズム改善により、必要な計算コストを劇的に削減できるか。