米国 CSET AIの偶発事故：新たな脅威となる可能性

こんにちは、丸山満彦です。

米国ジョージタウン大学のCenter for Security and Emerging Technology: CSET が、AIの偶発事故が将来の人類の脅威になるという論文を7月に公表していました。。。

AIが偶発事故 (Accident) を起こす要因として、次の３つの失敗をあげています。

• robustness failures　（堅牢性の失敗）
• specification failures　（要件の失敗）
• assurance failures　（保証の失敗）

です。

そして、その失敗を引き起こす要因として、

• fast-paced operation　（高速処理）
• system complexity　（システムの複雑化）
• competitive pressure.　（競争上の圧力）
• など

をあげています。

● Center for Security and Emerging Technology: CSET

・2021.07 AI Accidents: An Emerging Threat - What Could Happen and What to Do

AI Accidents: An Emerging Threat	AIの偶発事故:新たな脅威となる可能性
What Could Happen and What to Do	何が起こりうるか、何をすべきか
As modern machine learning systems become more widely used, the potential costs of malfunctions grow. This policy brief describes how trends we already see today—both in newly deployed artificial intelligence systems and in older technologies—show how damaging the AI accidents of the future could be. It describes a wide range of hypothetical but realistic scenarios to illustrate the risks of AI accidents and offers concrete policy suggestions to reduce these risks.	最新の機械学習システムがより広く使用されるようになるにつれ、誤作動による潜在的なコストは増大しています。このポリシー・ブリーフでは、新たに導入された人工知能システムと旧来のテクノロジーの両方において、現在すでに見られる傾向が、将来のAI事故がどれほどの被害をもたらすかを示していることを説明しています。また、AI事故のリスクを説明するために、様々な仮想的かつ現実的なシナリオを説明し、これらのリスクを軽減するための具体的な政策提案を行っています。
Executive Summary	エグゼクティブサマリー
Modern machine learning is powerful in many ways, but profoundly fragile in others. Because of this fragility, even the most advanced artificial intelligence tools can unpredictably fail, potentially crippling the systems in which they are embedded. As machine learning becomes part of critical, real-world systems, from cars and planes to financial markets, power plants, hospitals, and weapons platforms, the potential human, economic, and political costs of AI accidents will continue to grow.	現代の機械学習は多くの点で強力であるが、他の点では深く脆弱である。この脆さゆえに、最先端の人工知能ツールであっても、予期せぬ失敗をして、組み込まれたシステムを崩壊させる可能性があります。機械学習が、自動車や飛行機、金融市場、発電所、病院、兵器プラットフォームなど、重要な実世界のシステムに組み込まれるようになるにつれ、人工知能の事故がもたらす潜在的な人的、経済的、政治的コストは増大し続けるでしょう。
Policymakers can help reduce these risks. To support their efforts, this brief explains how AI accidents can occur and what they are likely to look like “in the wild.” Using hypothetical scenarios involving AI capabilities that already exist or soon will, we explain three basic types of AI failures—robustness failures, specification failures, and assurance failures—and highlight factors that make them more likely to occur, such as fast-paced operation, system complexity, and competitive pressure. Finally, we propose a set of initial policy actions to reduce the risks of AI accidents, make AI tools more trustworthy and socially beneficial, and support a safer, richer, and healthier AI future. Policymakers should:	政策立案者はこれらのリスクを軽減することができます。本報告書では、政策立案者の取り組みを支援するために、AIの偶発事故がどのようにして起こりうるか、また、「自然界」ではどのような形で起こりうるかを説明します。すでに存在している、あるいは近い将来登場するであろうAIの能力を想定したシナリオを用いて、AIの失敗の3つの基本的なタイプ（堅牢性の失敗、要件の失敗、保証の失敗）を説明し、これらの失敗が発生しやすい要因として、操作の高速化、システムの複雑化、競争上の圧力などを取り上げています。最後に、AIの偶発事故のリスクを低減し、AIツールの信頼性を高めて社会的に有益なものとし、より安全で豊かで健康的なAIの未来を支えるための一連の初期政策を提案します。政策立案者は以下のことを実行すべきです。
Facilitate information sharing about AI accidents and near misses, working with the private sector to build a common base of knowledge on when and how AI fails.	AIの偶発事故やヒヤリハットに関する情報共有を促進し、民間企業と協力して、AIがいつ、どのように失敗するかについての共通の知識基盤を構築する。
Invest in AI safety research and development (R&D), a critical but currently underfunded area.	AIの安全性に関する研究開発（R&D）に投資すること。
Invest in AI standards development and testing capacity, which will help develop the basic concepts and resources needed to ensure AI systems are safe and reliable.	AIシステムの安全性と信頼性を確保するために必要な基本的な概念とリソースの開発に役立つ、AI標準開発とテスト能力に投資する。
Work across borders to reduce accident risks, including through R&D alliances and intergovernmental organizations.	R&Dアライアンスや政府間組織など、国境を越えて協力し、事故リスクを低減する。

・[PDF] AI Accidents: An Emerging Threat - What Could Happen and What to Do

Executive Summary	エグゼクティブ・サマリー
1. What are AI accidents?	1.AIの偶発事故とは？
2. What could AI accidents look like?	2.AIの偶発事故はどのようなものか？
Robustness	堅牢性
Specification	仕様
Assurance	保証
3. When are AI accidents more likely?	3.AIの偶発事故が起こりやすいのはどんなとき？
4. What to do	4.何をすべきか
Authors	著者
Acknowledgments	謝辞
Endnotes	巻末資料

・[DOCX] 仮訳

---

これをベースに戦争に関連したことについての対談もあります。。。

● National Defense

・2021.0.9.08 Algorithmic Warfare: How AI Could Go Disastrously Wrong

もちろん、そういうことは通常の場合はあらかじめ組み込まれているFail Safe機能により、障害が拡大しないようになるのですが、今までのシステムはそうかもしれませんが、これからでてくる新しいシステムでは、そのFail Safe機能を入れ忘れてしまうかもしれません。。。そうならないように気をつけましょうという話ですね。。。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2021.09.09 紹介 AIインシデントデータベース

・2021.08.20 MITRE AIの5つの失敗例とそこから学ぶべきこと

・2021.03.31 米国 CSET AI安全性の主要概念：概要

-----

・2021.03.11 「失敗を恐れると何もできない！」？

・2020.02.26 高信頼性組織を思い出そう！

・2011.03.29 金融庁 みずほ銀の事故の根本原因を検査

・2011.03.29 これも仕分けられたん？　「失敗知識データベース」サービス終了

・2005.04.15 論よりRUN

・2005.03.24 失敗知識データベース　これはイイ