米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10)
こんにちは、丸山満彦です。
昨年やり残していたことをしばらく...サイバー空間と新興技術に関する安全保障政策を主導する組織である米国のワシントンDCにあるCenter for Security and Emerging Technology:CSET（安全保障・新興技術センター）[wikipedia]から公表されている報告書をいくつか紹介します...
非常に興味深い内容と思います。
この報告書の分析のもととなった、AI Incident Database (AIID) では、現在は1200件を超えるAIインシデントデータが蓄積されています...それぞれの内容の精度はどうなのか分かりませんが、これほどのデータが集まっているのはそれなりの価値がありそうです。
昔、畑村先生（東京電力福島原子力発電所における事故調査・検証委員会の委員長）がつくった失敗知識データベースのAI版ですかね...
内容ですが、危害を構造的に整理したことから、危害の種類から、対策についても構造的に分析できるようになっています。これは、政策を考える上、企業が対策を考える上でも有益な整理だと思いました。
さらに、この整理を踏まえて、AIIDの内容をより精査していくことでより良い対策ができるような気がします。。。
この報告書では、危害を意図的な危害３、非意図的な危害３の合計６に分類しています。
| 意図性 | Mechanism | メカニズム | 概要 | 主体 |
| 意図的 | Harm by Design | 設計による危害 | 有害な目的で設計・開発されたAIシステムによる危害 | 開発者 |
| AI Misuse | AIの悪用 | 開発者の意図に反する危害を及ぼすためのAIシステムの使用 | 利用者 | |
| Attacks on AI Systems | AIシステムへの攻撃 | サイバー攻撃によって引き起こされたAIの行動または（不）作為による危害 | 攻撃者 | |
| 非意図的 | AI Failures | AIの失敗 | AIのエラー、誤動作、またはバイアスによって引き起こされる危害 | AIシステム |
| Failures of Human Oversight | 人間の監視の失敗 | 間と機械のチームが機能しなかった結果生じる危害 | 人間 | |
| Integration Harm | 統合的な危害 | 特定の文脈での展開が意図せぬ結果として引き起こす危害 | 組織・社会 |
対応...
| 意図性 | メカニズム | 典型的な事例 | 発生原因 | 政策・ガバナンス上の論点 | 主な対策 |
| 意図的 | 設計による危害 | 監視AI、兵器AI、ディープフェイク生成ツール | 開発段階で害を目的化 | 禁止・規制の対象、国際ルール必要 | 法規制、輸出管理、開発許可制 |
| AIの悪用 | フィッシング生成、マルウェア生成、詐欺支援 | 汎用モデルの悪用 | 開発者責任の範囲、利用者規制の難しさ | ガードレール、利用規約、監査ログ | |
| AIシステムへの攻撃 | Jailbreak、データ汚染、モデル盗難 | AIの脆弱性、攻撃耐性不足 | AIセキュリティの標準化不足 | レッドチーム、堅牢化、サイバー防御 | |
| 非意図的 | AIの失敗 | 誤認識、バイアス、誤判断 | データ品質、モデル限界 | 評価指標の不備、透明性の欠如 | テスト、監視、バイアス対策 |
| 人間の監視の失敗 | 自動運転事故、医療AIの誤用 | 過信、理解不足、介入遅れ | 人間中心設計、教育訓練の不足 | トレーニング、説明性、介入権限 | |
| 統合的な危害 | 監視強化、差別の制度化、業務崩壊 | 社会制度との不整合 | モデル性能ではなく制度設計の問題 | 影響評価、社会的ガバナンス、制度調整 |
「設計による危害」については、社会で受け入れられない危害を生み出すAIを法的に禁止するというアプローチが有用となりうる。EUは禁止領域を法制化しましたね...日本も社会で受け入れられない危害を生み出すAIの開発（利用も）は明確に禁止すべきですね...ただ、そのときに、社会で受け入れられない危害というのはどういうものか？というのがある程度明確にならないと新たに禁止することを決めるのは難しい。
「AIの悪用」はソフトローによる事前のガイドと、説明責任の明確化というのが考えられそうです。これは日本がとっているアプローチですね...利用に重きを置いているからそうなるような気がしました。
この報告書では政策に対する示唆として次の３つを挙げていますね...
| 1. A one-size-fits-all approach to harm mitigation will not work. | 1. 危害軽減への画一的なアプローチは機能しない。 |
| The pathways to harm are diverse, as this report illustrates, and require equally diverse mitigation strategies. Purely technical approaches will fall short, especially in addressing integration harms and failures of human oversight. | 本報告書が示す通り、危害に至る経路は多様であり、同様に多様な緩和戦略を必要とする。純粋に技術的なアプローチでは不十分であり、特に統合的な危害や人間の監視の失敗に対処する上で限界がある。 |
| 2. Model capabilities, as proxied by computing power, are an inadequate predictor for the propensity to do harm. | 2. 計算能力で測られるモデルの能力は、危害発生の傾向を予測する上で不十分である。 |
| This report showcases many examples of single-purpose AI systems being implicated in harm. Concentrating risk mitigation efforts on advanced AI systems would fail to address the very real risks stemming from the irresponsible design, deployment, and use of specialized AI systems. | 本報告書は、単一目的のAIシステムが危害に関与した事例を数多く示している。高度なAIシステムにリスク緩和策を集中させても、専門的なAIシステムの無責任な設計・展開・使用から生じる現実的なリスクには対処できない。 |
| 3. Comprehensive incident tracking is necessary to enhance our capacity to identify and respond to risks posed by AI. | 3. AIがもたらすリスクを識別し対応する能力を高めるには、包括的なインシデント追跡が不可欠である。 |
| While implementing broad, sociotechnical mitigation strategies can significantly reduce the occurrence of harm from AI, it will not prevent incidents entirely. As AI innovation reveals new capabilities with new failure modes, deployers design new use cases, and nefarious actors find new ways to attack and misuse AI systems, new harms will emerge. Agile responses and rapid adaptation of mitigating approaches, enabled by effective learning from incident reporting, are necessary to keep pace with technological innovation. | 広範な社会技術的緩和策を実施すればAIによる被害発生を大幅に減らせるが、インシデントを完全に防ぐことはできない。 AIの革新が新たな機能と新たな故障モードを明らかにし、展開者が新たな利用ケースを設計し、悪意ある主体がAIシステムを攻撃・悪用する新たな方法を見出すにつれ、新たな被害が発生する。技術革新に追いつくためには、インシデント報告からの効果的な学習によって可能となる、機敏な対応と緩和策の迅速な適応が必要である。 |
これから、AIIDはより充実してくると思うので、見ておくと良いかもですし、日本からもどんどんデータを入れていけば良いように思いました...
● CSET
・2025.10 The Mechanisms of AI Harm: Lessons Learned from AI Incidents
・[PDF]
● まるちゃんの情報セキュリティ気まぐれ日記
・2011.03.29 これも仕分けられたん？ 「失敗知識データベース」サービス終了
ちなみに、失敗知識データベースは、畑村創造工学研究所に移った後、今は、特定非営利活動法人失敗学会でメンテされています...
・2005.03.24 失敗知識データベース これはイイ
Comments