米国 AI政策戦略研究所（IAPS）AIエージェントのガバナンス： フィールドガイド (2025.04.17)

こんにちは、丸山満彦です。

米国のAI政策戦略研究所（IAPS）が、AIエージェントのガバナンス： フィールドガイドを公表していますね...

AI政策戦略研究所 (the Institute for AI Policy and Strategy: IAPS) は、国家安全保障と国際安定の観点からAI政策を考える団体ですね...

多くの組織に影響を与えるという意味では、AIの開発に関するガバナンスも重要ですが、多くの組織が利用するという意味では、AIの利用に関するガバナンスも重要ですよね...

政策としてはAI開発、提供、利用と一体で考えるべきですが、細かい点では、開発、提供、利用をそれぞれ分けても良いかもですね...対象者が異なってくるケースが多いでしょうし...

AIエージェントのリスクについて次の４つをあげていますね...

1 Malicious use	1 悪意のある利用
2 Accidents and loss of control	2 事故と制御不能
3 Security risks	3 セキュリティリスク
4 Other systemic risks	4 その他のシステミックリスク

● the Institute for AI Policy and Strategy: IAPS

・2025.04.17 AI Agent Governance: A Field Guide

AI Agent Governance: A Field Guide	AIエージェントのガバナンス： フィールドガイド
This report serves as an accessible guide to the emerging field of AI agent governance. Agents—AI systems that can autonomously achieve goals in the world, with little to no explicit human instruction about how to do so—are a major focus of leading tech companies, AI start-ups, and investors. If these development efforts are successful, some industry leaders claim we could soon see a world where millions or billions of agents autonomously perform complex tasks across society. Society is largely unprepared for this development.	本レポートは、AIエージェント・ガバナンスという新たな分野についてわかりやすく解説したものである。エージェントとは、人間の明示的な指示をほとんど受けることなく、自律的に目標を達成するAIシステムのことで、大手ハイテク企業やAIベンチャー企業、投資家たちが大きな関心を寄せている。こうした開発努力が成功すれば、何百万、何十億というエージェントが社会全体で複雑なタスクを自律的にこなす世界がまもなく実現すると主張する業界リーダーもいる。社会はこのような発展に対する備えをほとんどしていない。
A future where capable agents are deployed en masse could see transformative benefits to society but also profound and novel risks. Currently, the exploration of agent governance questions and the development of associated interventions remain in their infancy. Only a few researchers, primarily in civil society organizations, public research institutes, and frontier AI companies, are actively working on these challenges.	有能なエージェントが大量に展開される未来は、社会に変革的な利益をもたらすかもしれないが、同時に重大で斬新なリスクもはらんでいる。現在、エージェント・ガバナンスに関する問題の探求と、それに関連する介入策の開発は、まだ初期段階にある。これらの課題に積極的に取り組んでいるのは、主に市民社会組織、公的研究機構、フロンティアAI企業など、ごく少数の研究者に限られている。
Highlights from the report include:	報告書のハイライトは以下の通りである：
What’s coming: Vivid scenarios show what life with millions of AI agents could look like.	これから起こること： 何百万ものAIエージェントがいる生活がどのようなものになるのか、生き生きとしたシナリオで示す。
The pace of change: Today’s AI agents struggle with tasks over an hour, but that limit has been doubling every few months.	変化のペース： 現在のAIエージェントは1時間以上のタスクに苦戦しているが、その限界は数カ月ごとに倍増している。
The governance gap: We map out the biggest unsolved challenges and introduce a new framework for understanding agent governance solutions.	ガバナンスのギャップ： 最大の未解決課題を明らかにし、エージェント・ガバナンス・ソリューションを理解するための新しい枠組みを紹介する。

・[PDF] AI Agent Governance: A Field Guide

エグゼクティブサマリー...

Executive Summary	エグゼクティブサマリー
Agents—AI systems that can autonomously achieve goals in the world, with little to no explicit human instruction about how to do so—are a major focus of leading tech companies, AI start-ups, and investors. If these development efforts are successful, some industry leaders claim we could soon see a world where millions or billions of agents are autonomously performing complex tasks across society. Society is largely unprepared for this development.[1]	エージェントとは、人間の明示的な指示をほとんど受けずに、自律的に目標を達成するAIシステムのことである。こうした開発努力が成功すれば、何百万、何十億ものエージェントが社会全体で複雑なタスクを自律的にこなす世界がまもなく実現すると主張する業界リーダーもいる。
Today, the leading approach for developing agents leverages recent advances in foundation models like ChatGPT and Claude. Scaffolding software is built around these models which allow them to interact with various tools and services—enabling them to have long-term memory, plan and interact with other agents, and take actions in the world.	今日、エージェントを開発するための主要なアプローチは、ChatGPTやClaudeのような基盤モデルの最近の進歩を活用している。スキャフォールディング・ソフトウェアは、エージェントが様々なツールやサービスと相互作用することを可能にするこれらのモデルを中心に構築され、長期記憶を持ち、計画を立て、他のエージェントと相互作用し、世界で行動を起こすことを可能にする。
While today’s agents can do a variety of things—from identifying critical vulnerabilities in software to ordering books on Amazon—they still face serious limitations in completing more complex, open-ended, longer time-horizon tasks.[2] Agents have major issues with reliability, as well as limitations in reasoning and digital tool use. There are also potential barriers to adoption if the processing power needed to run agents is cost-prohibitive. For example, newer AI systems that can 'think through' complex problems step-by-step (like the recently developed 'reasoning models') require much more processing power when answering questions or performing tasks, which can substantially drive up the energy and server costs needed to operate these systems.	今日のエージェントは、ソフトウェアの重大な脆弱性の特定からAmazonでの本の注文まで、様々なことができる一方で、より複雑で、オープンエンドで、時間軸の長いタスクを完了するには、まだ深刻な限界に直面している。また、エージェントを実行するために必要な処理能力がコスト高になる場合、採用の障壁となる可能性もある。例えば、最近開発された「推論モデル」のように、複雑な問題を段階的に「考え抜く」ことができる新しいAIシステムは、質問に答えたり、タスクを実行したりする際に、より多くの処理能力を必要とする。
Benchmarks designed to evaluate the performance of agents on real-world tasks consistently find that while current agents perform comparably to humans on shorter tasks, they tend to perform considerably worse than humans on tasks that would take an equivalent human one or more hours to complete.	実世界のタスクにおけるエージェントのパフォーマンスを評価するために設計されたベンチマークでは、現在のエージェントは、短時間のタスクでは人間と同等のパフォーマンスを発揮するものの、人間が同等のタスクを完了するのに1時間以上かかるようなタスクでは、人間よりもかなりパフォーマンスが低下する傾向があることが一貫して判明している。
Table 1: Agent performance on various benchmarks representing real-world tasks (as of December 2024)[3]	表1：実世界のタスクを表す様々なベンチマークにおけるエージェントのパフォーマンス（2024年12月現在）[3]
Agent benchmark	エージェントベンチマーク
Performance	パフォーマンス
General AI Assistants (GAIA)	一般的なAIアシスタント（GAIA）
Tests real-world assistant capabilities across personal tasks, science, and general knowledge. Human accuracy (92%) far exceeds best agent performance (15%), with agents completely failing on complex multi-step tasks.	個人タスク、科学、一般知識にわたる実世界のアシスタント能力をテスト。人間の精度（92％）はエージェントの最高性能（15％）をはるかに上回り、複雑な複数ステップのタスクではエージェントは完全に失敗する。
METR Autonomy	METR Autonomy
Evaluates skills in cybersecurity, software engineering, and machine learning.	サイバーセキュリティ、ソフトウェアエンジニアリング、機械学習のスキルを評価する。
Capability Evals	Capability Evals
Agents perform comparably to humans on tasks taking ~30 minutes, but complete less than 20% of tasks requiring 1+ hours of human time.	エージェントは、30分程度のタスクでは人間と同等のパフォーマンスを発揮するが、人間の時間を1時間以上必要とするタスクの完了率は20%未満である。
RE-Bench	RE-Bench
A benchmark for evaluating the AI agents' ability to automate the work of experienced AI R&D researchers. Agents outperform humans in 2-hour tasks (4× better scores), but humans excel with longer timeframes—slightly better at 8 hours and doubling agent performance when given 32 hours.	経験豊富なAI研究開発者の作業を自動化するAIエージェントの能力を評価するためのベンチマーク。エージェントは2時間のタスクでは人間を上回るが（スコアは4倍）、人間はより長い時間枠で優れており、8時間ではわずかに上回り、32時間ではエージェントのパフォーマンスは2倍になる。
CyBench	CyBench
Assesses cybersecurity capabilities through professional-level Capture the Flag challenges. Agents struggled with tasks that take human teams more than 11 minutes to complete.	プロレベルのCapture the Flag課題を通じてサイバーセキュリティ能力をアセスメントする。エージェントは、人間のチームが11分以上かかるタスクに苦戦した。
SWE-bench Verified	SWE-bench Verified
Features real-world software engineering problems from GitHub issues. Agent performance drops dramatically for problems taking humans 1+ hour to resolve (20.8% → 4.8% → 0% as task complexity increases).	GitHubの課題から実世界のソフトウェアエンジニアリングの問題を取り上げる。人間が解決するのに1時間以上かかる問題では、エージェントのパフォーマンスは劇的に低下する（タスクの複雑さが増すにつれ、20.8% → 4.8% → 0%）。
WebArena	WebArena
Evaluates how agents navigate and extract information from websites. The best agent achieved only 14.41% success rate compared to human performance of 78.24%.	エージェントがどのようにウェブサイトをナビゲートし、情報を抽出するかを評価。人間の78.24％の成功率に対し、最高のエージェントは14.41％の成功率しか達成できなかった。
However, despite these limitations, today's agents are already providing economic value in a variety of early-adoption fields such as customer service, AI R&D, and cybersecurity. For instance, a fintech company, Klarna, claims it has agents performing the customer service work of ~700 FTE human employees with no reduction in customer satisfaction (Klarna 2024), and Google's CEO has stated over a quarter of all new code at Google is now generated by coding assistants (Pichai 2024). Researchers found that for specific tasks that both humans and agents perform well at, “the average cost of using a foundation model-based agent is around 1/30th of the median hourly wage of a US bachelor’s degree holder” (METR 2024). Also, researchers have found that the length of tasks that AIs can complete is doubling every 7 months (Kwa et al. 2025).	しかし、このような限界にもかかわらず、今日のエージェントは、カスタマーサービス、AIの研究開発、サイバーセキュリティなど、さまざまな初期採用分野ですでに経済的価値を提供している。例えば、フィンテック企業のKlarnaは、顧客満足度を下げることなく、人間の従業員700人分のカスタマーサービスをエージェントが行っていると主張している（Klarna 2024）。研究者たちは、人間とエージェントの両方が得意とする特定のタスクについて、「基礎モデルベースのエージェントを使用する平均コストは、米国の学士号取得者の時給中央値の約30分の1」であることを発見した（METR 2024）。また、研究者たちは、AIがこなせるタスクの長さが7ヶ月ごとに倍増していることを発見している（Kwa et al.2025）。
Some researchers have claimed that widespread deployment of agents as digital workers could lead to ‘explosive economic growth,’ i.e., an acceleration of growth rates by an order of magnitude, similar to the impact of the Industrial Revolution (Erdil and Besiroglu 2024). However, skeptics argue that significant bottlenecks remain, including AI systems' limited ability to perform physical tasks, the challenges of integrating digital and physical production processes, and the possibility that AI capabilities might plateau before reaching the level needed to perform most if not all tasks currently performed by humans (Clancy and Besiroglu 2023).	一部の研究者は、デジタルワーカーとしてのエージェントの広範な展開は、「爆発的な経済成長」、すなわち産業革命の影響に似た、成長率の桁違いの加速につながる可能性があると主張している（Erdil and Besiroglu 2024）。しかし、懐疑論者たちは、AIシステムが物理的なタスクを実行する能力が限られていること、デジタルと物理的な生産プロセスを統合する際の課題、現在人間が行っているタスクのすべてではないにせよ、そのほとんどを実行するのに必要なレベルに達する前にAIの能力が頭打ちになる可能性など、重大なボトルネックが残っていると主張している（Clancy and Besiroglu 2023）。
Additionally, there are several promising pathways to improve agent performance and strengthen institutional capacity to deploy AI systems safely—which means that leading AI companies expect many of these limitations to be overcome over the coming months and years.[4] One promising development is the emergence of the “test-time compute” paradigm. These models, such as Open AI’s o1 and o3, are able to dynamically allocate compute during inference to essentially think longer and harder about any given task . An o3-based agent reportedly scored 71.7% on SWE-bench Verified, a widely used benchmark for testing software engineering capabilities (Franzen and David 2024). This far outperformed the next highest-ranking agent, which scored 48.9%.[5]	さらに、エージェントのパフォーマンスを改善し、AIシステムを安全に展開するための機構能力を強化するための有望な道筋がいくつかある。オープンAIのo1やo3のようなこれらのモデルは、推論中に動的に計算能力を割り当てることができ、基本的に与えられたタスクについてより長く、より難しく考えることができる。o3ベースのエージェントは、ソフトウェアエンジニアリング能力をテストするために広く使われているベンチマークであるSWE-bench Verifiedで71.7%のスコアを出したと報告されている（Franzen and David 2024）。これは、48.9%という次に高いスコアを出したエージェントをはるかに凌駕している[5]。
A future where capable agents are deployed en masse could see transformative benefits to society, but also profound and novel risks:	能力のあるエージェントが大量に展開される未来は、社会に変革的な利益をもたらす可能性がある一方で、重大で斬新なリスクもはらんでいる：
● Malicious use: AI agents can amplify malicious activities, such as spreading disinformation, automating cyberattacks, or advancing dual-use scientific research like bioweapon development. Their ability to execute multi-step plans autonomously heightens the potential for abuse by lowering barriers to entry and costs involved in these activities.	● 悪意のある利用：AIエージェントは、偽情報の拡散、サイバー攻撃の自動化、生物兵器開発のような二重使用の科学研究の推進など、悪意のある活動を増幅させる可能性がある。多段階の計画を自律的に実行できるAIエージェントは、こうした活動への参入障壁やコストを引き下げることで、悪用の可能性を高める。
● Accidents and loss of control: Failures in agent systems range from mundane errors (e.g., incorrect outputs or navigation mishaps) to severe “loss of control” scenarios, where humans lose visibility into the operation of agents, the ability to identify and redirect harmful behaviors, and the ability to re-implement control of AI-driven systems in society. This includes risks like rogue replication or agents pursuing goals that are not aligned with human values.	● 事故と制御不能： エージェント・システムにおける失敗は、ありふれたエラー（誤った出力やナビゲーションの誤作動など）から、深刻な「制御不能」シナリオにまで及ぶ。これには、不正な複製や、人間の価値観と一致しない目標を追求するエージェントなどのリスクが含まれる。
● Security risks: Agents, with their expanded access to tools and external systems, face vulnerabilities such as memory manipulation, exploitation through weak integrations, and cascading effects in multi-agent environments. These risks make them more susceptible to severe breaches compared to conventional AI.	● セキュリティリスク： ツールや外部システムへのアクセスが拡大したエージェントは、メモリ操作、脆弱な統合による搾取、マルチエージェント環境におけるカスケード効果などの脆弱性に直面する。これらのリスクは、従来のAIに比べて深刻な侵害を受けやすくする。
● Other systemic risks: Large-scale agent deployment could lead to labor displacement and extreme power concentration among technological and political elites, and potential erosion of democratic accountability. Agents could exacerbate inequality or be leveraged for societal control.	● その他のシステムリスク： その他のシステミック・リスク：大規模なエージェント展開は、技術的・政治的エリート層における労働力の移動と極端な権力集中を引き起こし、民主的説明責任を侵食する可能性がある。エージェントは不平等を悪化させたり、社会支配のために活用される可能性がある。
Agent governance is a nascent field focused on preparing for a world in which AI agents can carry out a wide array of tasks with human-level-or-above proficiency. Some of the major areas in agent governance include:	エージェント・ガバナンスは、AIエージェントが人間並みかそれ以上の熟練度で様々なタスクを遂行できる世界に備えることに焦点を当てた、まだ始まったばかりの分野である。エージェントガバナンスの主な分野には、以下のようなものがある：
● Monitoring and evaluating agent performance and risks: How can we effectively monitor and evaluate the performance and associated risks of increasingly autonomous and complex agents over time?	● エージェントのパフォーマンスとリスクのモニタリングと評価： エージェントのパフォーマンスとリスクの監視と評価：自律的で複雑さを増すエージェントのパフォーマンスと関連リスクを、どのように効果的に監視・評価できるか？
● Develop mechanisms and structures for managing risks from agents across their lifecycle: What technical, legal, and policy-based interventions should be implemented to ensure agents operate safely and transparently, while maintaining accountability? What are the systemic risks and consequences of widespread agent adoption on political and economic structures? The ‘Agent interventions taxonomy’ table below outlines governance outcomes interventions can help achieve.	● エージェントのライフサイクル全般にわたるリスクマネジメントの仕組みと構造を構築する： エージェントの安全性と透明性を確保し、説明責任を果たすために、どのような技術的、法的、政策的介入を行うべきか？エージェントの普及が政治・経済構造に及ぼすシステミックなリスクと影響とは何か？以下の「エージェント介入分類表」は、介入が達成するのに役立つガバナンスの成果を概説している。
● Incentivizing beneficial uses of agents: What beneficial use cases of agents should be prioritized and how?	● エージェントの有益な利用を奨励する： エージェントのどのような有益な利用事例を、どのように優先させるべきか？
● Adapting existing policy and legal frameworks and developing new instruments for agent governance: Anticipating what policy and legal instruments will be needed in a world with mass deployment of advanced agent systems.	● 既存の政策や法的枠組みを適応させ、エージェントガバナンスのための新たな手段を開発する： 高度なエージェントシステムが大量に展開する世界で、どのような政策や法的手段が必要になるかを予測する。
● Agents for governance: To what extent should agents themselves participate in governance tasks? Advanced agents could potentially act as monitors, mediators, or enforcers within governance frameworks.	● ガバナンスのためのエージェント： エージェント自身はどの程度までガバナンスに参加すべきか？先進的エージェントは、ガバナンスの枠組みの中で、監視者、調停者、執行者として機能する可能性がある。
One of the pressing needs in agent governance is to develop agent interventions, i.e., measures, practices, or mechanisms designed to prevent, mitigate, or manage the risks associated with agents. These aim to ensure that agents operate safely, ethically, and in alignment with human values and intentions. We have developed an outcomes-based taxonomy of agent interventions[6]:	エージェントガバナンスにおける緊急のニーズの一つは、エージェント介入、すなわちエージェントに関連するリスクを予防、緩和、管理するために設計された対策、実践、メカニズムを開発することである。これらの目的は、エージェントが安全に、倫理的に、人間の価値観や意図に沿った形で活動することを保証することである。我々は、エージェントの介入に関する成果ベースの分類法を開発した[6]：
Currently, exploration of agent governance questions and development of associated interventions remains in its infancy. Only a small number of researchers, primarily in civil society organizations, public research institutes, and frontier AI companies, are actively working on these challenges. Many proposed interventions exist primarily as theoretical concepts rather than tested solutions, and there are significant gaps in our understanding of how to implement them effectively. While some organizations have begun providing targeted funding for agent governance research, and the topic is gaining increased attention at academic conferences, the field remains relatively neglected compared to other areas of AI governance.	現在、エージェントのガバナンスに関する疑問の探求と、関連する介入の開発は、まだ初期段階にとどまっている。主に市民社会組織、公的研究機構、フロンティアAI企業など、少数の研究者だけがこれらの課題に積極的に取り組んでいる。提案されている介入策の多くは、検証された解決策ではなく、主に理論的な概念として存在しており、それらを効果的に実施する方法についての理解には大きなギャップがある。エージェント・ガバナンスの研究に的を絞った資金を提供する政府も出てきており、学会での注目度も高まっているが、AIガバナンスの他の分野と比べると、この分野は相対的に軽視されたままである。
The pace of progress in developing agent capabilities is rapidly outstripping our advancement in governance solutions—we lack robust answers to fundamental questions about how to ensure safe agents or manage their broader societal impacts. There is tremendous opportunity and need for researchers and technologists from civil, industry, and government to help progress the field, from fleshing out and testing theoretical proposals to creating solutions that can be implemented by AI developers and policymakers.	エージェントの能力開発の進歩のペースは、ガバナンス・ソリューションの進歩を急速に上回っており、エージェントの安全性をどのように確保し、より広範な社会的影響をどのように管理するかという基本的な疑問に対する確かな答えが得られていない。理論的な提案を具体化し、テストすることから、AI開発者や政策立案者が実行できる解決策を生み出すことまで、民間、産業、政府の研究者や技術者がこの分野の進展を支援する絶好の機会とニーズがある。
[1] Meta’s CEO, Mark Zuckerberg, told investors he wants to “introduce AI agents to billions of people” (Heath 2023) and Salesforce CEO Marc Benioff predicted there would be one billion AI agents in service by the end of FY2026 (Sozzi 2024).	[1] メタ社のCEOであるマーク・ザッカーバーグは、「AIエージェントを数十億の人々に紹介したい」と投資家たちに語っており（ヒース 2023年）、セールスフォース社のCEOであるマーク・ベニオフも、2026年度末までに10億のAIエージェントがサービスを開始すると予測している（ソッツィ 2024年）。
[2] For an example of an agent identifying critical vulnerabilities in real-world code, see Google’s Project Zero blog on Big Sleep (Project Zero 2024). For a visual demo of a browser agent being used to make an online shopping purchase, see this demo (AI Digest 2024).	[2] 実世界のコードに存在する重大な脆弱性を識別するエージェントの例については、Big Sleepに関するGoogleのProject Zeroブログを参照のこと（Project Zero 2024）。ブラウザ・エージェントがオンライン・ショッピングの購入に使われる視覚的なデモについては、このデモを参照のこと（AI Digest 2024）。
[3] See Appendix for more detailed breakdown of agent performance across various agentic benchmarks	[3] 様々なエージェントのベンチマークにおけるエージェントのパフォーマンスのより詳細な内訳については附属書を参照
[4] For example, the CEO of OpenAI, Sam Altman stated that “In 2025, we may see the first AI agents join the workforce and materially change the output of companies” (Altman 2025).	[4] 例えば、OpenAIのCEOであるサム・アルトマンは、「2025年には、最初のAIエージェントが労働力に加わり、企業のアウトプットを大きく変えるかもしれない」と述べている（Altman 2025）。
[5] SWE-bench Verified is an evaluation suite composed of realistic software engineering tasks (OpenAI 2024a).	[5] SWE-bench Verifiedは、現実的なソフトウェア工学タスクで構成された評価スイートである（OpenAI 2024a）。
[6] A majority of these interventions have been proposed by civil society or industry researchers, but many have not been developed or implemented at scale.	[6] こうした介入策の大半は、市民社会や産業界の研究者によって提案されてきたが、その多くは開発されておらず、大規模に実施されてもいない。

目次...

Executive Summary	エグゼクティブサマリー
Table of Contents	目次
1. Introduction	1. 序文
1.1 Two visions of an agent-filled future	1.1 エージェントに満ちた未来についての2つのビジョン
2. What are AI agents?	2. AIエージェントとは何か？
2.1 How capable are agents today?	2.1 現在のエージェントの能力は？
2.2 Pathways to better agents	2.2 より優れたエージェントへの道
2.3 AI agent adoption	2.3 AIエージェントの採用
3. Risks from AI agents	3. AIエージェントがもたらすリスク
3.1 Malicious use	3.1 悪意のある利用
3.2 Accidents and loss of control	3.2 事故と制御不能
3.3 Security risks	3.3 セキュリティリスク
3.4 Other systemic risks	3.4 その他のシステミックリスク
4. What is agent governance?	4. エージェントガバナンスとは何か？
5. Agent interventions	5. エージェントの介入
5.1 Alignment	5.1 アライメント
5.2 Control	5.2 コントロール
5.3 Visibility	5.3 可視性
5.4 Security and robustness	5.4 セキュリティと堅牢性
5.5 Societal integration	5.5 社会的統合
6. Conclusion	6. 結論
Acknowledgements	謝辞
Appendix	附属書
Bibliography	参考文献