米国 NIST AI 100-2 E2025 敵対的機械学習：攻撃と緩和策の分類と用語

こんにちは、丸山満彦です、

NISTが、NIST AI 100-2 E2025 敵対的機械学習：攻撃と緩和策の分類と用語を公表していますね...

● NIST - ITL

・2025.03.24 NIST AI 100-2 E2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations

NIST AI 100-2 E2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations	NIST AI 100-2 E2025 敵対的機械学習：攻撃と緩和策の分類と用語
Abstract	概要
This NIST Trustworthy and Responsible AI report provides a taxonomy of concepts and defines terminology in the field of adversarial machine learning (AML). The taxonomy is arranged in a conceptual hierarchy that includes key types of ML methods, life cycle stages of attack, and attacker goals, objectives, capabilities, and knowledge. This report also identifies current challenges in the life cycle of AI systems and describes corresponding methods for mitigating and managing the consequences of those attacks. The terminology used in this report is consistent with the literature on AML and is complemented by a glossary of key terms associated with the security of AI systems. Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems by establishing a common language for the rapidly developing AML landscape.	このNISTの信頼性と責任あるAIに関する報告書では、敵対的機械学習（AML）の分野における概念の分類と用語の定義が提供されている。分類は、主要なML手法、攻撃のライフサイクルの段階、攻撃者の目標、目的、能力、知識を含む概念的な階層構造で構成されている。また、本レポートでは、AIシステムのライフサイクルにおける現在の課題を識別し、それらの攻撃の結果を緩和および管理するための対応方法についても説明している。本報告書で使用されている用語は、AMLに関する文献と一致しており、AIシステムのセキュリティに関連する主要用語の用語集によって補完されている。まとめると、この分類法と用語は、急速に発展するAMLの状況に共通言語を確立することで、AIシステムのセキュリティのアセスメントと管理のための他の標準や将来の実践ガイドに情報を提供することを目的としている。

・[PDF] NIST.AI.100-2e2025

・[DOCX][PDF] 仮訳

エグゼクティブサマリー...

Executive Summary	エグゼクティブサマリー
This NIST Trustworthy and Responsible AI report describes a taxonomy and terminology for ADVERSARIAL MACHINE LEARNING (AML) that may aid in securing applications of artificial intelligence (AI) against adversarial manipulations and attacks.	このNIST Trustworthy and Responsible AIレポートでは、人工知能（AI）のアプリケーションを敵対的な操作や攻撃から保護するのに役立つ、敵対的機械学習（AML）の分類法と用語について説明する
The statistical, data-based nature of ML systems opens up new potential vectors for attacks against these systems’ security, privacy, and safety, beyond the threats faced by traditional software systems. These challenges span different phases of ML operations such as the potential for adversarial manipulation of training data; the provision of adversarial inputs to adversely affect the performance of the AI system; and even malicious manipulations, modifications, or interactions with models to exfiltrate sensitive information from the model’s training data or to which the model has access. Such attacks have been demonstrated under real-world conditions, and their sophistication and impacts have been increasing steadily.	MLシステムの統計的、データ・ベースの性質は、従来のソフトウェア・直面する脅威を越えて、これらのシステムのセキュリティ、プライバシー、安全性に対する攻撃の新たな潜在的ベクトルを開く。これらの課題は、学習データの敵対的な操作の可能性、AIシステムの性能に悪影響を与える敵対的な入力の提供、モデルの学習データやモデルがアクセスできる機密情報を流出させるための悪意ある操作、修正、モデルとの相互作用など、ML操作のさまざまな段階に及ぶ。このような攻撃は実世界の条件下で実証されており、その巧妙さと影響は着実に増大している
The field of AML is concerned with studying these attacks. It must consider the capabilities of attackers, the model or system properties that attackers might seek to violate in pursuit of their objectives, and the design of attack methods that exploit vulnerabilities during the development, training, and deployment phases of the ML life cycle. It is also concerned with the design of ML algorithms and systems that can withstand these security and privacy challenges, a property often known as robustness [274].	AMLの分野は、このような攻撃を研究することにある。この分野では、攻撃者の能力、攻撃者が目的を達成するために犯す可能性のあるモデルやシステムの特性、MLライフサイクルの開発、訓練、展開の各段階における脆弱性を突く攻撃手法の設計を考慮しなければならない。また、このようなセキュリティとプライバシーの課題に耐えることができるMLアルゴリズムとシステムの設計も重要であり、この特性はしばしば頑健性として知られている[274]。
To taxonimize these attacks, this report differentiates between predictive and generative AI systems and the attacks relevant to each. It considers the components of an AI system including the data; the model itself; the processes for training, testing, and deploying the model; and the broader software and system contexts into which models may be embedded, such as cases where Generative Artificial Intelligence (GenAI) models are deployed with access to private data or equipped with tools to take actions with real-world consequences.	これらの攻撃を分類するために、本レポートでは予測的AIシステムと生成的AIシステムを区別し、それぞれに関連する攻撃を検討する。また、データ、モデル自体、モデルのトレーニング、テスト、展開のプロセス、生成的人工知能（GenAI）モデルが個人データにアクセスできる状態で展開されたり、実世界に影響を及ぼす行動を取るためのツールが装備されている場合など、モデルが組み込まれる可能性のある、より広範なソフトウェアやシステムのコンテキストなど、AIシステムの構成要素を考察する。
Thus, the attacks within this taxonomy are classified relative to: (i) the AI system type, (ii) the stage of the ML life cycle process in which the attack is mounted, (iii) the attacker’s goals and objectives in terms of the system properties they seek to violate, (iv) the attacker’s capabilities and access, and (v) the attacker’s knowledge of the learning process and beyond.	したがって、この分類法における攻撃は、次のような観点から分類される：(i)AIシステムの種類、(ii)攻撃がれるMLライフサイクルプロセスの段階、(iii)侵害しようとするシステム特性の観点からの攻撃者の目標と目的、(iv)攻撃者の能力とアクセス、(v)学習プロセス以降の攻撃者の知識
This report adopts the concepts of security, resilience, and robustness of ML systems from the NIST AI Risk Management Framework. Security, resilience, and robustness are gauged by risk, which is a measure of the extent to which an entity (e.g., a system) is threatened by a potential circumstance or event (e.g., an attack) and the severity of the outcome should such an event occur. However, this report does not make recommendations on risk tolerance (i.e., the level of risk that is acceptable to organizations or society) because it is highly contextual and specific to applications and use cases.	本報告書では、NIST AIリスクマネジメントフレームワークから、MLシステムのセキュリティ、レジリエンス、ロバスト性の概念を採用している。セキュリティ、レジリエンス、ロバスト性は、事業体（例えばシステム）が潜在的な状況や事象（例えば攻撃）によって脅かされる程度と、そのような事象が発生した場合の結果の重大性を示す尺度であるリスクによって測られる。ただし、 リスク許容度（すなわち、組織や社会が許容できるリスクレベル）については、アプリケーションやユースケースに特有であり、文脈性が高いため、本報告書では提言していない。
The spectrum of effective attacks against ML is wide, rapidly evolving, and covers all phases of the ML lifecycle — from design and implementation to training, testing, and deployment in the real world. The nature and power of these attacks are different and their impacts may depend not only on the vulnerabilities of the ML models but also the weaknesses of the infrastructure in which the AI systems are deployed. AI system components may also be adversely affected by design and implementation flaws that cause failures outside the context of adversarial use, such as inaccuracy. However, these kinds of flaws are not within the scope of the literature on AML or the attacks in this report.	MLに対する効果的な攻撃の範囲は広く、急速に進化しており、MLのライフサイクルのすべての段階（設計、実装から、訓練、テスト、展開まで）をカバーしている。これらの攻撃の性質と威力はそれぞれ異なり、その影響はMLモデルの脆弱性だけでなく、AIシステムが展開されるインフラの脆弱性にも依存する可能性がある。AIシステムのコンポーネントは、不正確さなど、敵対的な使用の文脈以外で不具合を引き起こす設計や実装の欠陥によっても悪影響を受ける可能性がある。しかし、この種の欠陥は、AMLに関する文献や本レポートの攻撃の範囲外である。
In addition to defining a taxonomy of attacks, this report provides corresponding methods for mitigating and managing the consequences of those attacks in the life cycle of AI systems, and outlines the limitations of widely used mitigation techniques to raise awareness and help organizations increase the efficacy of their AI risk-mitigation efforts. The terminology used in this report is consistent with the literature on AML and is complemented by a glossary that defines key terms associated with the field of AML in order to assist non-expert readers. Taken together, the taxonomy and terminology are meant to inform other standards and future practice guides for assessing and managing the security of AI systems by establishing a common language for the rapidly developing AML landscape. Like the taxonomy, the terminology and definitions are not intended to be exhaustive but rather to serve as a starting point for understanding and aligning on key concepts that have emerged in the AML literature.	本報告書では、攻撃の分類法を定義するだけでなく、AIシステムのライフサイクルにおけるこれらの攻撃の影響を緩和し、マネジメントするための対応する手法をプロバイダとして提供し、広く使用されている緩和手法の限界について概説することで、組織の認識を高め、AIリスク緩和の取り組みの有効性を高める一助としている。本レポートで使用されている用語はAMLに関する文献と一致しており、専門家でない読者を支援するために、AML分野に関連する主要な用語を定義した用語集によって補完されている。この分類法と用語集は、急速に発展しているAMLの状況について共通言語を確立することで、AIシステムのセキュリティをアセスメントし管理するための他の標準や将来の実践ガイドに情報を提供することを意図している。分類法と同様、用語と定義は網羅的なものではなく、AMLの文献に現れた重要な概念を理解し、整合させるための出発点となることを意図している。

予測AIシステムの攻撃分類

生成的AIの攻撃分類