NIST AI 100-2e2023 敵対的機械学習：攻撃と緩和策の分類と用語集

こんにちは、丸山満彦です。

NISTがAIに対する攻撃と緩和策の分類と用語についての報告書を公表していますね。。。2023年の3月にドラフトを公表し、意見募集をしていたものです。。。

AIとセキュリティ・プライバシーの接点という感じですかね。。。

2020年のサイバー犯罪に関する白浜シンポジウムで私が発表した内容の一部を精緻にしたような感じかもです。。。

● NIST - ITL

・2024.01.04 NIST AI 100-2 E2023 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations

NIST AI 100-2 E2023 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations	NIST AI 100-2 E2023 敵対的機械学習： 攻撃と緩和策の分類と用語
Abstract	概要
This NIST Trustworthy and Responsible AI report develops a taxonomy of concepts and defines terminology in the field of adversarial machine learning (AML). The taxonomy is built on surveying the AML literature and is arranged in a conceptual hierarchy that includes key types of ML methods and lifecycle stages of attack, attacker goals and objectives, and attacker capabilities and knowledge of the learning process. The report also provides corresponding methods for mitigating and managing the consequences of attacks and points out relevant open challenges to take into account in the lifecycle of AI systems. The terminology used in the report is consistent with the literature on AML and is complemented by a glossary that defines key terms associated with the security of AI systems and is intended to assist non-expert readers. Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems, by establishing a common language and understanding of the rapidly developing AML landscape.	このNIST Trustworthy and Responsible AI報告書は、敵対的機械学習（AML）の分野における概念の分類法を作成し、用語を定義している。この分類法は、AMLに関する文献の調査に基づいて構築されており、主要なタイプのML手法と攻撃のライフサイクル段階、攻撃者の目標と目的、攻撃者の能力と学習プロセスに関する知識を含む概念階層に整理されている。また、攻撃の結果を緩和・管理するための対応策を示し、AIシステムのライフサイクルで考慮すべき関連する未解決の課題を指摘している。本報告書で使用されている用語は、AMLに関する文献と一致しており、AIシステムのセキュリティに関連する主要な用語を定義した用語集によって補完されている。この分類法と用語集は、急速に発展しているAMLの状況について共通の言語と理解を確立することで、AIシステムのセキュリティを評価・管理するための他の基準や将来の実践ガイドに情報を提供することを目的としている。

・[PDF] NIST.AI.100-2e2023

・[DOCX] 仮訳

目次...

Executive Summary	エグゼクティブ・サマリー
1. Introduction	1. 序文
2. Predictive AI Taxonomy	2. 予測AI分類法
2.1. Attack Classification	2.1. 攻撃の分類
2.1.1. Stages of Learning	2.1.1. 学習の段階
2.1.2. Attacker Goals and Objectives	2.1.2. 攻撃者の目標と目的
2.1.3. Attacker Capabilities	2.1.3. 攻撃者の能力
2.1.4. Attacker Knowledge	2.1.4. 攻撃者の知識
2.1.5. Data Modality .	2.1.5. データのモダリティ
2.2. Evasion Attacks and Mitigations	2.2. 回避攻撃と緩和策
2.2.1. White-Box Evasion Attacks	2.2.1. ホワイトボックス回避攻撃
2.2.2. Black-Box Evasion Attacks	2.2.2. ブラックボックス回避攻撃
2.2.3. Transferability of Attacks	2.2.3. 攻撃の移譲性
2.2.4. Mitigations	2.2.4. 緩和策
2.3. Poisoning Attacks and Mitigations	2.3. ポイズニング攻撃と緩和策
2.3.1. Availability Poisoning .	2.3.1. アベイラビリティ・ポイズニング
2.3.2. Targeted Poisoning	2.3.2. 標的型ポイズニング攻撃
2.3.3. Backdoor Poisoning	2.3.3. バックドア・ポイズニング攻撃
2.3.4. Model Poisoning .	2.3.4. モデル・ポイズニング
2.4. Privacy Attacks	2.4. プライバシー攻撃
2.4.1. Data Reconstruction	2.4.1. データ最構築
2.4.2. Membership Inference	2.4.2. メンバーシップ推論
2.4.3. Model Extraction .	2.4.3. モデル抽出
2.4.4. Property Inference	2.4.4. 特性推論
2.4.5. Mitigations	2.4.5. 緩和策
3. Generative AI Taxonomy	3. 生成的AI分類法
3.1. Attack Classification	3.1. 攻撃の分類
3.1.1. GenAI Stages of Learning	3.1.1. GenAIの学習段階
3.1.2. Attacker Goals and Objectives	3.1.2. 攻撃者の目標と目的
3.1.3. Attacker Capabilities	3.1.3. 攻撃者の能力
3.2. AI Supply Chain Attacks and Mitigations	3.2. AIサプライチェーン攻撃と緩和策策
3.2.1. Deserialization Vulnerability	3.2.1. デシリアライズ脆弱性
3.2.2. Poisoning Attacks	3.2.2. ポイズニング攻撃
3.2.3. Mitigations	3.2.3. 緩和策
3.3. Direct Prompt Injection Attacks and Mitigations	3.3. 直接的プロンプト・インジェクション攻撃と緩和策
3.3.1. Data Extraction	3.3.1. データ抽出
3.3.2. Mitigations	3.3.2. 緩和策
3.4. Indirect Prompt Injection Attacks and Mitigations	3.4. 間接的プロンプト・インジェクション攻撃と緩和策
3.4.1. Availability Violations .	3.4.1. 可用性違反
3.4.2. Integrity Violations .	3.4.2. 完全性違反
3.4.3. Privacy Compromises .	3.4.3. プライバシー侵害
3.4.4. Abuse Violations .	3.4.4. 乱用違反
3.4.5. Mitigations	3.4.5. 緩和策
4. Discussion and Remaining Challenges	4. 議論と残された課題
4.1. The Scale Challenge	4.1. 規模の課題
4.2. Theoretical Limitations on Adversarial Robustness .	4.2. 敵対的堅牢性の理論的限界
4.3. The Open vs. Closed Model Dilemma	4.3. オープンとクローズのジレンマ
4.4. Supply chain challenges .	4.4. サプライチェーンの課題
4.5. Tradeofs Between the Attributes of Trustworthy AI .	4.5. 信頼できるAIの属性間のトレードオフ
4.6. Multimodal Models: Are They More Robust?	4.6. マルチモーダルモデル：より頑健か？
4.7. Quantized models	4.7. 量子化モデル
References	参考文献
Appendix: Glossary	附属書：用語集

AIの用語については国際標準では、ISO/IEC 22989:2022 Information technology Artificial intelligence: Artificial intelligence concepts and terminology

があります。。。

日本では、JIS X22989 情報技術－人工知能－人工知能の概念及び用語

です。

● 経済産業省

・2023.08.21 日本産業規格（JIS）を制定・改正しました（2023年8月分）

 JISは登録すれば閲覧は可能です。。。

● 日本産業標準調査会

・JIS検索

登録した上で、ここで、X22989と入力すれば該当ページに飛び、PDFの閲覧ができます。。。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2023.03.11 NIST ホワイトペーパー NIST AI 100-2e2023（ドラフト）敵対的機械学習：攻撃と緩和策の分類と用語集

・2020.10.25『スマートサイバー AI活用時代のサイバーリスク管理』第24回 サイバー犯罪に関する白浜シンポジウムの発表資料

---

スマートサイバー　AI活用時代のサイバーリスク管理　丸山 満彦 氏（PwCコンサルティング合同会社）

機械学習、深層学習をはじめとするいわゆる人工知能技術（AI）の社会での実装が進んできています。サイバーリスクの防御の面でも機械学習、深層学習を活用したサイバー防御製品やサービスが広がってきています。サイバーリスク管理にAIがどのように活用できるのか、人間とのかかわりはどうすべきか、そしてAIを活用したサイバー攻撃、AIに対するサイバー攻撃といったことにも触れていきながら、これからの課題を考えていきたいと思います。

・[PDF] スマートサイバー　AI活用時代のサイバーリスク管理（配布用）

---