敵対的機械学習に対する脅威マトリックス (Adversarial ML Threat Matrix)

こんにちは、丸山満彦です。

Microsoft、MITRE、Bosch、IBM、NVIDIA、Airbus、PwC、Deep Instinct、Two Six Labs、University of Toronto、Cardiff University、Software Engineering Institute/Carnegie Mellon University、Berryville Institute of Machine Learningのメンバーが集まってAdversarial ML Threat Matrixというイニシアティブを立ち上げ、機械学習（ML）システムに対する敵対的な攻撃を検出、対応、および修復できるようにすることを目的とした新しいオープンフレームワークを公表していますね。。。

● GitHub - mitre/advmlthreatmatrix

1. Adversarial ML 101
2. Adversarial ML Threat Matrix
3. Case Studies
4. Contributors
5. Feedback and Getting Involved
6. Contact Us

・1. Adversarial Machine Learning 101

Attack	Overview	Type
Model Evasion	Attacker modifies a query in order to get a desired outcome. These attacks are performed by iteratively querying a model and observing the output.	Inference
Functional Extraction	Attacker is able to recover a functionally equivalent model by iteratively querying the model. This allows an attacker to examine the offline copy of the model before further attacking the online model.	Inference
Model Poisoning	Attacker contaminates the training data of an ML system in order to get a desired outcome at inference time. With influence over training data an attacker can create "backdoors" where an arbitrary input will result in a particular output. The model could be "reprogrammed" to perform a new undesired task. Further, access to training data would allow the attacker to create an offline model and create a Model Evasion. Access to training data could also result in the compromise of private data.	Train
Model Inversion	Attacker recovers the features used to train the model. A successful attack would result in an attacker being able to launch a Membership inference attack. This attack could result in compromise of private data.	Inference
Traditional Attacks	Attacker uses well established TTPs to attain their goal.	Both
(仮訳)
攻撃	概要	タイプ
モデルの回避	攻撃者は、目的を達成するためにクエリを修正する。これらの攻撃は、モデルへの問い合わせを繰り返し行い、出力を観測することで実行される。	推論
機能抽出	攻撃者は、モデルを反復的にクエリすることで、機能的に等価なモデルを回復することができる。これにより、攻撃者は、オンラインモデルを攻撃する前に、モデルのオフラインコピーを調べることができる。	推論
モデル中毒	攻撃者は推論時に目的を達成するために機械学習システムの学習データを汚染する。学習データに影響を与えることで、攻撃者は任意の入力が特定の出力になるような「バックドア」を作成することができる。このようなバックドアを作成することで、モデルを「再プログラム」することが可能になる。さらに、学習データへのアクセスは、攻撃者がオフラインモデルを作成し、モデル回避を行うことを可能にする。学習データへのアクセスは、個人データの漏洩につながる可能性がある。	トレーニング
モデルの反転	攻撃者はモデルの訓練に使用された特徴を回復する。攻撃が成功すると、攻撃者はメンバーシップ推論攻撃を実行できるようになる。この攻撃は、個人データの漏洩につながる可能性がある。	推論
伝統的な攻撃	攻撃者は、目的を達成するために確立されたTTPを使用する。	推論・トレーニング

・2. Adversarial ML Threat Matrix

Adversarial ML Matrix - Description	Adversarial ML マトリックス - 説明
Reconnaissance	偵察
Acquire OSINT Information	OSINT情報の取得
ML Model Discovery	機械学習モデルの発見
Reveal ML Ontology	機械学習オントロジーの公開
Reveal ML Model Family	機械学習モデルファミリーの公開
Gathering Datasets	データセットの収集
Exploit Physical Environment	物理環境を利用する
Model Replication	モデルの複製
Exploit API - Shadow Model	エクスプロイトAPI - シャドーモデル
Alter Publicly Available, Pre-Trained Weights	アルター 公募・予習済みウェイト
Model Stealing	モデルの盗用
Initial Access	初期アクセス
Pre-Trained ML Model with Backdoor	バックドア付き事前学習済み機械学習モデル
Included ATT&CK Techniques	ATT&CK技術の参照
Exploit Public-Facing Application	公開されているアプリケーションの悪用
Valid Accounts	有効なアカウント
Phishing	フィッシング
External Remote Services	外部リモートサービス
Trusted Relationship	信頼関係
Execution	実行
Execute Unsafe ML Models	安全でない機械学習モデルの実行
ML Models from Compromised Sources	危殆化したソースからの機械学習モデル
Pickle Embedding	ピクルの埋め込み
Included ATT&CK Techniques	ATT&CK技術の参照
Execution via API	API経由での実行
Traditional Software Attacks	従来のソフトウェア攻撃
Persistence	永続化
Execute unsafe ML Model Execution	安全でない機械学習モデルの実行
Included ATT&CK Techniques	ATT&CK技術の参照
Account Manipulation	アカウント操作
Implant Container Image	インプラントコンテナイメージ
Evasion	回避
Evasion Attack	回避攻撃
Offline Evasion	オフライン回避
Online Evasion	オンライン回避
Model Poisoning	モデル中毒
Data Poisoning	データ中毒
Tainting Data from Acquisition - Label Corruption	取得データの汚染 - ラベルの破損
Tainting Data from Open Source Supply Chains	オープンソースのサプライチェーンからのデータの汚染
Tainting Data from Acquisition - Chaff Data	取得データの汚染 - 不要データ
Tainting Data in Training - Label Corruption	トレーニングにおけるデータの汚染 - ラベルの破損
Exfiltration	ろ過
Exfiltrate Training Data	トレーニングデータを流出させる
Membership Inference Attack	メンバーシップ推論攻撃
ML Model Inversion	機械学習モデルの反転
ML Model Stealing	機械学習モデルの盗用
Included ATT&CK Techniques	ATT&CK技術の参照
Insecure Storage	安全でないストレージ
Impact	影響
Defacement	改ざん
Denial of Service	サービスの拒否
Included ATT&CK Techniques	ATT&CK技術の参照
Stolen Intellectual Property	盗まれた知的財産
Data Encrypted for Impact	影響を考慮した暗号化されたデータ
Stop System Shutdown/Reboot	システムの停止/再起動
Next Recommended Reading	次の推奨文書

・3. Case Studies Page

• ClearviewAI Misconfiguration
• GPT-2 Model Replication
• ProofPoint Evasion
• Tay Poisoning
• Microsoft - Azure Service - Evasion
• Microsoft Edge AI - Evasion
• MITRE - Physical Adversarial Attack on Face Identification

---

● Microsoft - Security - Blog

・2020.10.22 機械学習システムに対するサイバー攻撃は、あなたが思っているよりも一般的です by Ram Shankar Siva Kumar and Ann Johnson

---

機械学習（ML）は、金融、医療、防衛などの重要な分野で驚くべき変革を遂げており、私たちの生活のほぼすべての側面に影響を与えています。MLの進歩を利用することを熱望している多くの企業は、MLシステムのセキュリティを精査していません。本日、MITRE、およびIBM、NVIDIA、Boschを含む11の組織からの貢献により、マイクロソフトは、セキュリティアナリストがMLシステムに対する脅威を検出、対応、および修復できるようにするために、業界に焦点を当てたオープンフレームワークであるAdversarial ML ThreatMatrixをリリースします。 。

過去4年間で、マイクロソフトは商用MLシステムへの攻撃が著しく増加しました。市場レポートもこの問題に注目しています。2019年10月に公開されたGartnerの2020年の戦略的テクノロジートレンドトップ10は、「2022年まで、すべてのAIサイバー攻撃の30％がトレーニングデータ中毒、AIモデルの盗難、または敵対的なサンプルを活用すると予測しています。 AIを利用したシステムを攻撃します。」MLシステムを保護するこれらの説得力のある理由にもかかわらず、28の企業にまたがるMicrosoftの調査ほとんどの業界の実務家は、敵対的な機械学習にまだ同意していないことがわかりました。28の企業のうち25は、MLシステムを保護するための適切なツールが整っていないことを示しています。さらに、彼らは明確にガイダンスを求めています。準備は小規模な組織だけに限定されないことがわかりました。Fortune 500企業、政府、非営利団体、中小企業に話を聞きました。

---

●　MITRE

・2020.10.22 (Project Stories) MITRE, MICROSOFT, AND 11 OTHER ORGANIZATIONS TAKE ON MACHINE-LEARNING THREATS

MITRE is partnering with Microsoft and collaborating with other organizations on the Adversarial Machine Learning Threat Matrix, an industry-focused open framework to empower security analysts to detect, respond, and remediate threats.

■ 参考（報道等）

● The Hacker News

・2020.10.23 New Framework Released to Protect Machine Learning Systems From Adversarial Attacks by Ravie Lakshmanan

Microsoft, in collaboration with MITRE, IBM, NVIDIA, and Bosch, has released a new open framework that aims to help security analysts detect, respond to, and remediate adversarial attacks against machine learning (ML) systems.

Called the Adversarial ML Threat Matrix, the initiative is an attempt to organize the different techniques employed by malicious adversaries in subverting ML systems.

● Neowin

・2020.10.23 Microsoft partners with Nvidia, IBM, and more to release Adversarial ML Threat Matrix by Usama Jawad 

Microsoft is observing National Cyber Security Awareness Month (NCSAM) currently, and cybersecurity seems to be at the forefront for the firm. Over the past few weeks, the company has announced new initiatives to promote cybersecurity awareness, Zero Trust Deployment Center, and an offensive against the malicious Trickbot botnet.

Now, it has released the Adversarial ML Threat Matrix framework in collaboration with various organizations such as IBM, Nvidia, MITRE, and more.

● The Daily Swig

・2020.10.23 Microsoft launches machine learning cyber-attack threat matrix by James Walker

Framework aimed at helping security pros detect and remediate threats against ML systems

●　IT Pro (U.K.)

・2020.10.23 Microsoft spearheads industry-wide charter against AI cyber attacks by Keumars Afifi-Sabet

Security professionals can rely on the framework to fight cyber attacks targeting corporate machine learning systems

● GIGAZIN

 ・2020.10.23 Microsoftがオープンソースの機械学習セキュリティフレームワークをリリース

機械学習は金融・医療・軍事などの分野で飛躍的な発展を遂げているというだけでなく、市民の生活にも大きな影響を与えています。しかし、Mircosoftは「機械学習に対する注目が高まっているにもかかわらず機械学習システムに対するサイバー攻撃対策は不十分」だとして、機械学習に対する攻撃を検出・対応・修正できる企業向けオープンフレームワーク「Adversarial ML Threat Matrix」をリリースしました。