NIST ホワイトペーパー NIST AI 100-2e2023（ドラフト）敵対的機械学習：攻撃と防御の分類と用語集
こんにちは、丸山満彦です。
NISTがAIに対する攻撃と防御の分類と用語についての報告書のドラフトを公開し、意見募集をしていますね。。。
AIとセキュリティ・プライバシーの接点という感じですかね。。。
2020年のサイバー犯罪に関する白浜シンポジウムで私が発表した内容の一部を精緻にしたような感じかもです。。。
● NIST - ITL
| Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations | NIST Draft Available for Comment | 敵対的な機械学習：攻撃と防御の分類と用語｜NIST 意見募集中 |
| The initial public draft of NIST AI 100-2 (2003 edition), Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, is now available for public comment. | NIST AI 100-2（2003年版）「敵対的機械学習」の初期パブリックドラフト：攻撃と防御の分類と用語の解説」のパブリックコメントを募集している。 |
| This NIST report on artificial intelligence (AI) develops a taxonomy of attacks and mitigations and defines terminology in the field of adversarial machine learning (AML). Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems by establishing a common language for understanding the rapidly developing AML landscape. Future updates to the report will likely be released as attacks, mitigations, and terminology evolve. | 人工知能（AI）に関するこのNISTの報告書は、敵対的機械学習（AML）の分野における攻撃と緩和の分類法を開発し、用語を定義している。この分類法と用語は、急速に発展しているAMLの状況を理解するための共通言語を確立することで、AIシステムのセキュリティを評価・管理するための他の標準や将来の実践ガイドを提供することを目的としている。攻撃、緩和策、用語の進化に伴い、将来的に報告書の更新が発表される可能性がある。 |
| NIST is specifically interested in comments on and recommendations for the following topics: | NISTは、特に以下のトピックに関するコメントや提言に関心を寄せている。 |
| ・What are the latest attacks that threaten the existing landscape of AI models? | ・AIモデルの既存の状況を脅かす最新の攻撃は何か？ |
| ・What are the latest mitigations that are likely to withstand the test of time? | ・時の試練に耐える可能性の高い最新の緩和策とは何か？ |
| ・What are the latest trends in AI technologies that promise to transform the industry/society? What potential vulnerabilities do they come with? What promising mitigations may be developed for them? | ・業界/社会の変革を約束するAI技術の最新トレンドは何か？それらにはどのような潜在的な脆弱性があるのか？それらに対して、どのような有望な緩和策が開発される可能性があるのか？ |
| ・Is there new terminology that needs standardization? | ・標準化が必要な新しい用語はあるか？ |
| White Paper NIST AI 100-2e2023 (Draft) Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations | ホワイトペーパー NIST AI 100-2e2023（ドラフト）敵対的機械学習：攻撃と防御の分類と用語集 |
| Announcement | 発表 |
| This NIST report on artificial intelligence (AI) develops a taxonomy of attacks and mitigations and defines terminology in the field of adversarial machine learning (AML). Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems by establishing a common language for understanding the rapidly developing AML landscape. Future updates to the report will likely be released as attacks, mitigations, and terminology evolve. | 人工知能（AI）に関するこのNISTの報告書は、敵対的機械学習（AML）分野における攻撃と緩和策の分類法を開発し、用語を定義している。この分類法と用語は、急速に発展しているAMLの状況を理解するための共通言語を確立することにより、AIシステムのセキュリティを評価・管理するための他の標準や将来の実践ガイドを提供することを目的としている。攻撃、緩和策、用語の進化に伴い、将来的に報告書の更新が発表される可能性がある。 |
| NIST is specifically interested in comments on and recommendations for the following topics: | NISTは、特に以下のトピックに関するコメントや提言に関心を寄せている。 |
| ・What are the latest attacks that threaten the existing landscape of AI models? | ・AIモデルの既存の状況を脅かす最新の攻撃は何か？ |
| ・What are the latest mitigations that are likely to withstand the test of time? | ・時の試練に耐える可能性の高い最新の緩和策とは何か？ |
| ・What are the latest trends in AI technologies that promise to transform the industry/society? What potential vulnerabilities do they come with? What promising mitigations may be developed for them? | ・業界/社会の変革を約束するAI技術の最新トレンドは何か？それらにはどのような潜在的な脆弱性があるのか？それらに対して、どのような有望な緩和策が開発される可能性があるのか？ |
| ・Is there new terminology that needs standardization? | ・標準化が必要な新しい用語はあるか？ |
| NIST intends to keep the document open for comments for an extended period of time to engage with stakeholders and invite contributions to an up-to-date taxonomy that serves the needs of the public. | NISTは、この文書を長期間コメント募集し、ステークホルダーと関わり、人々のニーズに応える最新の分類法への貢献を呼びかけたいと考えている。 |
| Abstract | 概要 |
| This NIST AI report develops a taxonomy of concepts and defines terminology in the field of adversarial machine learning (AML). The taxonomy is built on survey of the AML literature and is arranged in a conceptual hierarchy that includes key types of ML methods and lifecycle stage of attack, attacker goals and objectives, and attacker capabilities and knowledge of the learning process. The report also provides corresponding methods for mitigating and managing the consequences of attacks and points out relevant open challenges to take into account in the lifecycle of AI systems. The terminology used in the report is consistent with the literature on AML and is complemented by a glossary that defines key terms associated with the security of AI systems and is intended to assist non-expert readers. Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems, by establishing a common language and understanding of the rapidly developing AML landscape. | この NIST AI 報告書は、敵対的機械学習（AML）の分野における概念の分類法を開発し、用語を定義している。この分類法は、AMLの文献の調査に基づいて構築されており、主要なML手法の種類と攻撃のライフサイクル段階、攻撃者の目標と目的、攻撃者の能力と学習プロセスに関する知識を含む概念階層に整理されている。また、攻撃の結果を緩和・管理するための対応方法を示し、AIシステムのライフサイクルで考慮すべき関連するオープンな課題を指摘している。本報告書で使用されている用語は、AMLに関する文献と一致しており、AIシステムのセキュリティに関連する主要な用語を定義し、専門家でない読者を支援することを目的とした用語集によって補完されている。この分類法と用語集は、急速に発展しているAMLの状況について共通の言語と理解を確立することにより、AIシステムのセキュリティを評価・管理するための他の標準や将来の実践ガイドに情報を提供することを目的としている。 |
・[PDF]
目次...
| Audience | 想定読者 |
| Background | 背景 |
| Trademark Information | 商標情報 |
| How to read this document | 本書の読み方 |
| Executive Summary | エグゼクティブサマリー |
| 1. Introduction | 1. 序文 |
| 2. Attack Classification | 2. 攻撃の分類 |
| 2.1. Stages of Learning | 2.1. 学習のステージ |
| 2.2. Attacker Goals and Objectives | 2.2. 攻撃者の目標・目的 |
| 2.3. Attacker Capabilities | 2.3. 攻撃者の能力 |
| 2.4. Attacker Knowledge | 2.4. 攻撃者の知識 |
| 2.5. Data Modality | 2.5. データのモダリティ |
| 3. Evasion Attacks and Mitigations | 3. 回避攻撃と緩和策 |
| 3.1. White-Box Evasion Attacks | 3.1. ホワイトボックス回避攻撃 |
| 3.2. Black-Box Evasion Attacks | 3.2. ブラックボックス回避攻撃 |
| 3.3. Transferability of Attacks | 3.3. 攻撃の転送性 |
| 3.4. Mitigations | 3.4. ミティゲーション |
| 4. Poisoning Attacks and Mitigations | 4. ポイズニング攻撃とその対策 |
| 4.1. Availability Poisoning | 4.1. 可用性ポイズニング |
| 4.2. Targeted Poisoning | 4.2. 標的型ポイズニング |
| 4.3. Backdoor Poisoning | 4.3. バックドアポイズニング |
| 4.4. Model Poisoning | 4.4. モデルポイズニング |
| 5. Privacy Attacks | 5. プライバシー攻撃 |
| 5.1. Data Reconstruction | 5.1. データの再構築 |
| 5.2. Memorization | 5.2. 記憶する |
| 5.3. Membership Inference | 5.3. メンバーシップ推論 |
| 5.4. Model Extraction | 5.4. モデル抽出 |
| 5.5. Property Inference | 5.5. プロパティの推論 |
| 5.6. Mitigations | 5.6. ミティゲーション |
| 6. Discussion and Remaining Challenges | 6. ディスカッションと残された課題 |
| 6.1. Trade-O↵s Between the Attributes of Trustworthy AI | 6.1. 信頼できるAIの属性の間のトレードオフ↵。 |
| 6.2. Multimodal Models: Are They More Robust? | 6.2. マルチモーダルモデル。よりロバストか？ |
| 6.3. Beyond Models and Data | 6.3. モデルやデータを超えて |
| A. Appendix: Glossary | A. 附属書：用語集 |
Fig. 1. Taxonomy of attacks on AI systems.
順番は逆ですが、どのようなコントロールがどのような脅威に対応しているか？というのを上の図から整理すると、次のようになります。。。
| Controls | Availability | Integrity | Privacy |
| Label Limit | Clean-Label Poisoning | Clean-Label Backdoor | |
| Model Control | Model Poisoning | Model Poisoning | |
| Query Access | Energy-Latency | Black-Box Evasion | Model Extractiion |
| Reconstruction | |||
| Memorization | |||
| Membership Inference | |||
| Property Inference | |||
| Train Data Control | Data Poisoning | Targetd Poisoning | |
| Backdoor Poisoning | |||
| Source Code Control | Backdoor Poisoning | ||
| Test Dat Control | Backdoor Poisoning | ||
| Evasion |
| Executive Summary | エグゼクティブサマリー |
| This NIST AI report is intended to be a step toward developing a taxonomy and terminology of adversarial machine learning (AML), which in turn may aid in securing applications of artificial intelligence (AI) against adversarial manipulations of AI systems. The components of an AI system include – at a minimum – the data, model, and processes for training, testing, and deploying the machine learning (ML) models and the infrastructure required for using them. The data-driven approach of ML introduces additional security and privacy challenges in different phases of ML operations besides the classical security and privacy threats faced by most operational systems. These security and privacy challenges include the potential for adversarial manipulation of training data, adversarial exploitation of model vulnerabilities to adversely affect the performance of ML classification and regression, and even malicious manipulations, modifications or mere interaction with models to exfiltrate sensitive information about people represented in the data or about the model itself. Such attacks have been demonstrated under real-world conditions, and their sophistication and potential impact have been increasing steadily. AML is concerned with studying the capabilities of attackers and their goals, as well as the design of attack methods that exploit the vulnerabilities of ML during the development, training, and deployment phase of the ML life cycle. AML is also concerned with the design of ML algorithms that can withstand these security and privacy challenges. When attacks are launched with malevolent intent, the robustness of ML refers to mitigations intended to manage the consequences of such attacks. | この NIST AI レポートは、敵対的機械学習（AML）の分類法と用語の開発に向けた一歩となることを意図しており、ひいては人工知能（AI）のアプリケーションを、AI システムの敵対的操作から保護するのに役立つと考えられる。AIシステムの構成要素には、最低限、データ、モデル、機械学習（ML）モデルの訓練、テスト、実装のためのプロセス、およびそれらを使用するために必要なインフラストラクチャが含まれる。MLのデータ駆動型アプローチは、ほとんどの運用システムが直面する古典的なセキュリティとプライバシーの脅威に加えて、ML運用のさまざまな段階で追加のセキュリティとプライバシーの課題を導入する。これらのセキュリティとプライバシーの課題には、敵対的な学習データの操作、MLの分類と回帰の性能に悪影響を与えるモデルの脆弱性の悪用、さらには悪意のある操作、修正、モデルとの単なる相互作用によってデータに表された人々やモデル自身に関する機密情報が流出する可能性がある。このような攻撃は、実世界の条件下で実証されており、その巧妙さと潜在的な影響力は着実に増している。AMLは、MLのライフサイクルの開発、訓練、展開の段階において、攻撃者の能力とその目標を研究するとともに、MLの脆弱性を利用した攻撃手法の設計に関心をもっている。また、AMLは、こうしたセキュリティやプライバシーの課題に耐えられるMLアルゴリズムの設計にも取り組んでいる。悪意ある攻撃が行われた場合、MLの堅牢性は、そのような攻撃の結果を管理することを目的とした緩和策を指す。 |
| This report adopts the notions of security, resilience, and robustness of ML systems from the NIST AI Risk Management Framework [169]. Security, resilience, and robustness are gauged by risk, which is a measure of the extent to which an entity (e.g., a system) is threatened by a potential circumstance or event (e.g., an attack) and the severity of the outcome should such an event occur. However, this report does not make recommendations on risk tolerance (the level of risk that is acceptable to organizations or society) because it is highly contextual and application/use-case specific. This general notion of risk offers a useful approach for assessing and managing the security, resilience, and robustness of AI system components. Quantifying these likelihoods is beyond the scope of this document. Correspondingly, the taxonomy of AML is defined with respect to the following four dimensions of AML risk assessment: (i) learning method and stage of the ML life cycle process when the attack is mounted, (ii) attacker goals and objectives, (iii) attacker capabilities, (iv) and attacker knowledge of the learning process and beyond. | 本報告書では、NIST AIリスクマネジメントフレームワーク[169]から、MLシステムのセキュリティ、レジリエンス、ロバスト性の概念を採用した。セキュリティ、レジリエンス、ロバスト性は、リスクによって測られる。リスクとは、あるエンティティ（例えば、システム）が潜在的な状況や事象（例えば、攻撃）によって脅かされる程度と、そうした事象が発生した場合の結果の深刻さを示す尺度である。しかし、リスク許容度（組織や社会が許容できるリスクのレベル）については、文脈やアプリケーション/ユースケースに大きく依存するため、本報告書では提言していない。この一般的なリスク概念は、AIシステムコンポーネントのセキュリティ、レジリエンス、ロバスト性を評価・マネジメントする上で有用なアプローチを提供する。これらの可能性を定量化することは、この文書の範囲外である。これに対応して、AML の分類法は、AML リスク評価の次の 4 つの次元に関して定義される：(i) 学習方法と攻撃が行われる際の ML ライフサイクルプロセスの段階、(ii) 攻撃者の目標と目的、(iii) 攻撃者の能力、(iv) および学習プロセス以降に関する攻撃者の知識、。 |
| The spectrum of effective attacks against ML is wide, rapidly evolving, and covers all phases of the ML life cycle – from design and implementation to training, testing, and finally, to deployment in the real world. The nature and power of these attacks are different and can exploit not just vulnerabilities of the ML models but also weaknesses of the infrastructure in which the AI systems are deployed. Although AI system components may also be adversely affected by various unintentional factors, such as design and implementation flaws and data or algorithm biases, these factors are not intentional attacks. Even though these factors might be exploited by an adversary, they are not within the scope of the literature on AML or this report. | MLに対する効果的な攻撃のスペクトルは幅広く、急速に進化しており、MLのライフサイクルのすべての段階（設計、実装から訓練、テスト、そして最後に実世界への展開まで）をカバーしている。これらの攻撃の性質や威力は様々で、MLモデルの脆弱性だけでなく、AIシステムが配備されたインフラの弱点も突くことができる。AIシステムの構成要素も、設計や実装の欠陥、データやアルゴリズムのバイアスなど、様々な非意図的要因によって悪影響を受ける可能性があるが、これらの要因は意図的な攻撃ではありません。これらの要因が敵に悪用される可能性があるとしても、AMLに関する文献や本レポートの範囲には含まれない。 |
| This document defines a taxonomy of attacks and introduces terminology in the field of AML. The taxonomy is built on a survey of the AML literature and is arranged in a conceptual hierarchy that includes key types of ML methods and life cycle stages of attack, attacker goals and objectives, and attacker capabilities and knowledge of the learning process. The report also provides corresponding methods for mitigating and managing the consequences of attacks and points out relevant open challenges to take into account in the life cycle of AI systems. The terminology used in the report is consistent with the literature on AML and is complemented by a glossary that defines key terms associated with the security of AI systems in order to assist non-expert readers. Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems by establishing a common language and understanding for the rapidly developing AML landscape. Like the taxonomy, the terminology and definitions are not intended to be exhaustive but rather to aid in understanding key concepts that have emerged in AML literature. | 本書は、攻撃の分類法を定義し、AML 分野の用語を紹介する。この分類法は、AMLに関する文献の調査に基づいて構築されており、ML手法の主要な種類と攻撃のライフサイクル段階、攻撃者の目標と目的、攻撃者の能力と学習過程の知識を含む概念的な階層に整理されている。また、攻撃の結果を緩和・管理するための対応方法を示し、AIシステムのライフサイクルで考慮すべき関連するオープンな課題を指摘している。本報告書で使用されている用語は、AMLに関する文献と一致しており、専門家でない読者を支援するために、AIシステムのセキュリティに関連する主要な用語を定義した用語集によって補完されている。この分類法と用語集は、急速に発展しているAMLの状況について共通の言語と理解を確立することにより、AIシステムのセキュリティを評価・管理するための他の基準や将来の実践ガイドを提供することを目的としている。分類法と同様に、用語と定義は網羅的なものではなく、むしろAMLの文献で出てきた重要な概念の理解を助けるものである。 |
● まるちゃんの情報セキュリティ気まぐれ日記
・2020.10.25『スマートサイバー AI活用時代のサイバーリスク管理』第24回 サイバー犯罪に関する白浜シンポジウムの発表資料
機械学習、深層学習をはじめとするいわゆる人工知能技術（AI）の社会での実装が進んできています。サイバーリスクの防御の面でも機械学習、深層学習を活用したサイバー防御製品やサービスが広がってきています。サイバーリスク管理にAIがどのように活用できるのか、人間とのかかわりはどうすべきか、そしてAIを活用したサイバー攻撃、AIに対するサイバー攻撃といったことにも触れていきながら、これからの課題を考えていきたいと思います。
・[PDF] スマートサイバー AI活用時代のサイバーリスク管理（配布用）
Comments