こんにちは、丸山満彦です。
Microsoft、MITRE、Bosch、IBM、NVIDIA、Airbus、PwC、Deep Instinct、Two Six Labs、University of Toronto、Cardiff University、Software Engineering Institute/Carnegie Mellon University、Berryville Institute of Machine Learningのメンバーが集まってAdversarial ML Threat Matrixというイニシアティブを立ち上げ、機械学習（ML）システムに対する敵対的な攻撃を検出、対応、および修復できるようにすることを目的とした新しいオープンフレームワークを公表していますね。。。
● GitHub - mitre/advmlthreatmatrix
- Adversarial ML 101
- Adversarial ML Threat Matrix
- Case Studies
- Contributors
- Feedback and Getting Involved
- Contact Us
・1. Adversarial Machine Learning 101
| Attack |
Overview |
Type |
| Model Evasion |
Attacker modifies a query in order to get a desired outcome. These attacks are performed by iteratively querying a model and observing the output. |
Inference |
| Functional Extraction |
Attacker is able to recover a functionally equivalent model by iteratively querying the model. This allows an attacker to examine the offline copy of the model before further attacking the online model. |
Inference |
| Model Poisoning |
Attacker contaminates the training data of an ML system in order to get a desired outcome at inference time. With influence over training data an attacker can create "backdoors" where an arbitrary input will result in a particular output. The model could be "reprogrammed" to perform a new undesired task. Further, access to training data would allow the attacker to create an offline model and create a Model Evasion. Access to training data could also result in the compromise of private data. |
Train |
| Model Inversion |
Attacker recovers the features used to train the model. A successful attack would result in an attacker being able to launch a Membership inference attack. This attack could result in compromise of private data. |
Inference |
| Traditional Attacks |
Attacker uses well established TTPs to attain their goal. |
Both |
|
(仮訳)
|
|
|
| 攻撃 |
概要 |
タイプ |
| モデルの回避 |
攻撃者は、目的を達成するためにクエリを修正する。これらの攻撃は、モデルへの問い合わせを繰り返し行い、出力を観測することで実行される。 |
推論 |
| 機能抽出 |
攻撃者は、モデルを反復的にクエリすることで、機能的に等価なモデルを回復することができる。これにより、攻撃者は、オンラインモデルを攻撃する前に、モデルのオフラインコピーを調べることができる。 |
推論 |
| モデル中毒 |
攻撃者は推論時に目的を達成するために機械学習システムの学習データを汚染する。学習データに影響を与えることで、攻撃者は任意の入力が特定の出力になるような「バックドア」を作成することができる。このようなバックドアを作成することで、モデルを「再プログラム」することが可能になる。さらに、学習データへのアクセスは、攻撃者がオフラインモデルを作成し、モデル回避を行うことを可能にする。学習データへのアクセスは、個人データの漏洩につながる可能性がある。 |
トレーニング |
| モデルの反転 |
攻撃者はモデルの訓練に使用された特徴を回復する。攻撃が成功すると、攻撃者はメンバーシップ推論攻撃を実行できるようになる。この攻撃は、個人データの漏洩につながる可能性がある。 |
推論 |
| 伝統的な攻撃 |
攻撃者は、目的を達成するために確立されたTTPを使用する。 |
推論・トレーニング |
・2. Adversarial ML Threat Matrix
| Adversarial ML Matrix - Description |
Adversarial ML マトリックス - 説明 |
| Reconnaissance |
偵察 |
| Acquire OSINT Information |
OSINT情報の取得 |
| ML Model Discovery |
機械学習モデルの発見 |
| Reveal ML Ontology |
機械学習オントロジーの公開 |
| Reveal ML Model Family |
機械学習モデルファミリーの公開 |
| Gathering Datasets |
データセットの収集 |
| Exploit Physical Environment |
物理環境を利用する |
| Model Replication |
モデルの複製 |
| Exploit API - Shadow Model |
エクスプロイトAPI - シャドーモデル |
| Alter Publicly Available, Pre-Trained Weights |
アルター 公募・予習済みウェイト |
| Model Stealing |
モデルの盗用 |
| Initial Access |
初期アクセス |
| Pre-Trained ML Model with Backdoor |
バックドア付き事前学習済み機械学習モデル |
| Included ATT&CK Techniques |
ATT&CK技術の参照 |
| Exploit Public-Facing Application |
公開されているアプリケーションの悪用 |
| Valid Accounts |
有効なアカウント |
| Phishing |
フィッシング |
| External Remote Services |
外部リモートサービス |
| Trusted Relationship |
信頼関係 |
| Execution |
実行 |
| Execute Unsafe ML Models |
安全でない機械学習モデルの実行 |
| ML Models from Compromised Sources |
危殆化したソースからの機械学習モデル |
| Pickle Embedding |
ピクルの埋め込み |
| Included ATT&CK Techniques |
ATT&CK技術の参照 |
| Execution via API |
API経由での実行 |
| Traditional Software Attacks |
従来のソフトウェア攻撃 |
| Persistence |
永続化 |
| Execute unsafe ML Model Execution |
安全でない機械学習モデルの実行 |
| Included ATT&CK Techniques |
ATT&CK技術の参照 |
| Account Manipulation |
アカウント操作 |
| Implant Container Image |
インプラントコンテナイメージ |
| Evasion |
回避 |
| Evasion Attack |
回避攻撃 |
| Offline Evasion |
オフライン回避 |
| Online Evasion |
オンライン回避 |
| Model Poisoning |
モデル中毒 |
| Data Poisoning |
データ中毒 |
| Tainting Data from Acquisition - Label Corruption |
取得データの汚染 - ラベルの破損 |
| Tainting Data from Open Source Supply Chains |
オープンソースのサプライチェーンからのデータの汚染 |
| Tainting Data from Acquisition - Chaff Data |
取得データの汚染 - 不要データ |
| Tainting Data in Training - Label Corruption |
トレーニングにおけるデータの汚染 - ラベルの破損 |
| Exfiltration |
ろ過 |
| Exfiltrate Training Data |
トレーニングデータを流出させる |
| Membership Inference Attack |
メンバーシップ推論攻撃 |
| ML Model Inversion |
機械学習モデルの反転 |
| ML Model Stealing |
機械学習モデルの盗用 |
| Included ATT&CK Techniques |
ATT&CK技術の参照 |
| Insecure Storage |
安全でないストレージ |
| Impact |
影響 |
| Defacement |
改ざん |
| Denial of Service |
サービスの拒否 |
| Included ATT&CK Techniques |
ATT&CK技術の参照 |
| Stolen Intellectual Property |
盗まれた知的財産 |
| Data Encrypted for Impact |
影響を考慮した暗号化されたデータ |
| Stop System Shutdown/Reboot |
システムの停止/再起動 |
| Next Recommended Reading |
次の推奨文書 |
・3. Case Studies Page
● Microsoft - Security - Blog
・2020.10.22 機械学習システムに対するサイバー攻撃は、あなたが思っているよりも一般的です by Ram Shankar Siva Kumar and Ann Johnson
機械学習（ML）は、金融、医療、防衛などの重要な分野で驚くべき変革を遂げており、私たちの生活のほぼすべての側面に影響を与えています。MLの進歩を利用することを熱望している多くの企業は、MLシステムのセキュリティを精査していません。本日、MITRE、およびIBM、NVIDIA、Boschを含む11の組織からの貢献により、マイクロソフトは、セキュリティアナリストがMLシステムに対する脅威を検出、対応、および修復できるようにするために、業界に焦点を当てたオープンフレームワークであるAdversarial ML ThreatMatrixをリリースします。 。
過去4年間で、マイクロソフトは商用MLシステムへの攻撃が著しく増加しました。市場レポートもこの問題に注目しています。2019年10月に公開されたGartnerの2020年の戦略的テクノロジートレンドトップ10は、「2022年まで、すべてのAIサイバー攻撃の30％がトレーニングデータ中毒、AIモデルの盗難、または敵対的なサンプルを活用すると予測しています。 AIを利用したシステムを攻撃します。」MLシステムを保護するこれらの説得力のある理由にもかかわらず、28の企業にまたがるMicrosoftの調査ほとんどの業界の実務家は、敵対的な機械学習にまだ同意していないことがわかりました。28の企業のうち25は、MLシステムを保護するための適切なツールが整っていないことを示しています。さらに、彼らは明確にガイダンスを求めています。準備は小規模な組織だけに限定されないことがわかりました。Fortune 500企業、政府、非営利団体、中小企業に話を聞きました。
● MITRE
・2020.10.22 (Project Stories) MITRE, MICROSOFT, AND 11 OTHER ORGANIZATIONS TAKE ON MACHINE-LEARNING THREATS
MITRE is partnering with Microsoft and collaborating with other organizations on the Adversarial Machine Learning Threat Matrix, an industry-focused open framework to empower security analysts to detect, respond, and remediate threats.
■ 参考（報道等）
● The Hacker News
・2020.10.23 New Framework Released to Protect Machine Learning Systems From Adversarial Attacks by Ravie Lakshmanan
Microsoft, in collaboration with MITRE, IBM, NVIDIA, and Bosch, has released a new open framework that aims to help security analysts detect, respond to, and remediate adversarial attacks against machine learning (ML) systems.
Called the Adversarial ML Threat Matrix, the initiative is an attempt to organize the different techniques employed by malicious adversaries in subverting ML systems.
● Neowin
・2020.10.23 Microsoft partners with Nvidia, IBM, and more to release Adversarial ML Threat Matrix by Usama Jawad
Microsoft is observing National Cyber Security Awareness Month (NCSAM) currently, and cybersecurity seems to be at the forefront for the firm. Over the past few weeks, the company has announced new initiatives to promote cybersecurity awareness, Zero Trust Deployment Center, and an offensive against the malicious Trickbot botnet.
Now, it has released the Adversarial ML Threat Matrix framework in collaboration with various organizations such as IBM, Nvidia, MITRE, and more.
● The Daily Swig
・2020.10.23 Microsoft launches machine learning cyber-attack threat matrix by James Walker
Framework aimed at helping security pros detect and remediate threats against ML systems
● IT Pro (U.K.)
・2020.10.23 Microsoft spearheads industry-wide charter against AI cyber attacks by Keumars Afifi-Sabet
Security professionals can rely on the framework to fight cyber attacks targeting corporate machine learning systems
● GIGAZIN
・2020.10.23 Microsoftがオープンソースの機械学習セキュリティフレームワークをリリース
機械学習は金融・医療・軍事などの分野で飛躍的な発展を遂げているというだけでなく、市民の生活にも大きな影響を与えています。しかし、Mircosoftは「機械学習に対する注目が高まっているにもかかわらず機械学習システムに対するサイバー攻撃対策は不十分」だとして、機械学習に対する攻撃を検出・対応・修正できる企業向けオープンフレームワーク「Adversarial ML Threat Matrix」をリリースしました。
Recent Comments