IPA AISI AIシステムのセキュリティ 既知の攻撃とその影響についてのガイド (2025.07.09)
こんにちは、丸山満彦です。
AIセーフティ・インスティテュートは、AIシステムに対する特有のセキュリティ攻撃を俯瞰すべく、学術論文等で発表されたAIやAIシステムに対する攻撃とその影響を「AIシステムに対する既知の攻撃と影響」としてまとめていますが（AIシステムに対する既知の攻撃と影響 Known Attacks and Their Impacts on AI Systems - AISI Japan）、この資料を深掘りした詳細レポートを学術論文として公開していますね...
NIST AI 100-2e2025を参考にしながらも、NISTがAIシステムの種類、攻撃者の奥的によって攻撃を分類しているのに対して、このガイドでは技術的面から分類を試みることにより、単純化し、MECEな分類がよりやすいと考えているようです...
● AISI
・2025.07.09 AIシステム特有のセキュリティ攻撃に関する詳細レポートの公開
● Cornell University - arxiv
・2025.06.29 Securing AI Systems: A Guide to Known Attacks and Impacts
攻撃の分類...
| 5.1 A: Model Extraction | 5.1 A: モデル抽出 |
| 5.2 B: Training Data-related Information Gathering | 5.2 B: トレーニングデータ関連情報の収集 |
| 5.2.1 B1: Membership Inference | 5.2.1 B1: メンバーシップ推論 |
| 5.2.2 B2: Attribute Inference | 5.2.2 B2: 属性推論 |
| 5.2.3 B3: Property Inference | 5.2.3 B3: プロパティ推論 |
| 5.2.4 B4: Model Inversion | 5.2.4 B4: モデル反転 |
| 5.2.5 B5: Data Reconstruction | 5.2.5 B5: データ再構築 |
| 5.2.6 B6: Data Extraction | 5.2.6 B6: データ抽出 |
| 5.3 C: Model Poisoning | 5.3 C: モデル・ポイズニング |
| 5.4 D: Data Poisoning | 5.4 D: データ・ポイズニング |
| 5.5 E: Evasion | 5.5 E: 回避 |
| 5.6 F: Energy-latency | 5.6 F: エネルギー・レイテンシー |
| 5.7 G: Prompt Stealing | 5.7 G: プロンプト・スティール |
| 5.8 H: Prompt Injection | 5.8 H: プロンプト・インジェクション |
| 5.9 I: Code Injection | 5.9 I: コード・インジェクション |
| 5.10 J: Adversarial Fine-tuning | 5.10 J: 敵対的微調整 |
| 5.11 K: Rowhammer | 5.11 K: ロウハンマー |
AI Red Teamingをする際に参考になりますね...
ちなみに、
もとのAIシステムに対する既知の攻撃と影響
・2025.03 [PDF] AIシステムに対する既知の攻撃と影響
AISIのレッドチーミング手法ガイド...
・2024.08.25 AIセーフティに関するレッドチーミング手法ガイド
● まるちゃんの情報セキュリティ気まぐれ日記
・2025.03.25 米国 NIST AI 100-2 E2025 敵対的機械学習：攻撃と緩和策の分類と用語
・2024.10.17 IPA AIセーフティ・インスティテュート AIセーフティに関するレッドチーミング手法ガイド (2024.09.25)
Comments