« NISTが測位・航法・計時(PNT)に関連するサービスに関連したセキュリティプロファイルに関する文書(NISTIR 8323)のパブコメを募集していますね。 | Main | 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 コンピュータ犯罪に関する白浜シンポジウムの発表資料 »

2020.10.24

敵対的機械学習に対する脅威マトリックス (Adversarial ML Threat Matrix)

こんにちは、丸山満彦です。

Microsoft、MITRE、Bosch、IBM、NVIDIA、Airbus、PwC、Deep Instinct、Two Six Labs、University of Toronto、Cardiff University、Software Engineering Institute/Carnegie Mellon University、Berryville Institute of Machine Learningのメンバーが集まってAdversarial ML Threat Matrixというイニシアティブを立ち上げ、機械学習(ML)システムに対する敵対的な攻撃を検出、対応、および修復できるようにすることを目的とした新しいオープンフレームワークを公表していますね。。。

GitHub/advmlthreatmatrix

  1. Adversarial ML 101
  2. Adversarial ML Threat Matrix
  3. Case Studies
  4. Contributors
  5. Feedback and Getting Involved
  6. Contact Us

 

・1. Adversarial Machine Learning 101

Attack Overview Type
Model Evasion Attacker modifies a query in order to get a desired outcome. These attacks are performed by iteratively querying a model and observing the output. Inference
Functional Extraction Attacker is able to recover a functionally equivalent model by iteratively querying the model. This allows an attacker to examine the offline copy of the model before further attacking the online model. Inference
Model Poisoning Attacker contaminates the training data of an ML system in order to get a desired outcome at inference time. With influence over training data an attacker can create "backdoors" where an arbitrary input will result in a particular output. The model could be "reprogrammed" to perform a new undesired task. Further, access to training data would allow the attacker to create an offline model and create a Model Evasion. Access to training data could also result in the compromise of private data. Train
Model Inversion Attacker recovers the features used to train the model. A successful attack would result in an attacker being able to launch a Membership inference attack. This attack could result in compromise of private data. Inference
Traditional Attacks Attacker uses well established TTPs to attain their goal. Both

(仮訳)

   
攻撃 概要 タイプ
モデルの回避 攻撃者は、目的を達成するためにクエリを修正する。これらの攻撃は、モデルへの問い合わせを繰り返し行い、出力を観測することで実行される。 推論
機能抽出 攻撃者は、モデルを反復的にクエリすることで、機能的に等価なモデルを回復することができる。これにより、攻撃者は、オンラインモデルを攻撃する前に、モデルのオフラインコピーを調べることができる。 推論
モデル中毒 攻撃者は推論時に目的を達成するために機械学習システムの学習データを汚染する。学習データに影響を与えることで、攻撃者は任意の入力が特定の出力になるような「バックドア」を作成することができる。このようなバックドアを作成することで、モデルを「再プログラム」することが可能になる。さらに、学習データへのアクセスは、攻撃者がオフラインモデルを作成し、モデル回避を行うことを可能にする。学習データへのアクセスは、個人データの漏洩につながる可能性がある。 トレーニング
モデルの反転 攻撃者はモデルの訓練に使用された特徴を回復する。攻撃が成功すると、攻撃者はメンバーシップ推論攻撃を実行できるようになる。この攻撃は、個人データの漏洩につながる可能性がある。 推論
伝統的な攻撃 攻撃者は、目的を達成するために確立されたTTPを使用する。 推論・トレーニング

 

・2. Adversarial ML Threat Matrix

 

Adversarial ML Matrix - Description Adversarial ML マトリックス - 説明
Reconnaissance 偵察
Acquire OSINT Information OSINT情報の取得
ML Model Discovery 機械学習モデルの発見
Reveal ML Ontology 機械学習オントロジーの公開
Reveal ML Model Family 機械学習モデルファミリーの公開
Gathering Datasets データセットの収集
Exploit Physical Environment 物理環境を利用する
Model Replication モデルの複製
Exploit API - Shadow Model エクスプロイトAPI - シャドーモデル
Alter Publicly Available, Pre-Trained Weights アルター 公募・予習済みウェイト
Model Stealing モデルの盗用
Initial Access 初期アクセス
Pre-Trained ML Model with Backdoor バックドア付き事前学習済み機械学習モデル
Included ATT&CK Techniques ATT&CK技術の参照
Exploit Public-Facing Application 公開されているアプリケーションの悪用
Valid Accounts 有効なアカウント
Phishing フィッシング
External Remote Services 外部リモートサービス
Trusted Relationship 信頼関係
Execution 実行
Execute Unsafe ML Models 安全でない機械学習モデルの実行
ML Models from Compromised Sources 危殆化したソースからの機械学習モデル
Pickle Embedding ピクルの埋め込み
Included ATT&CK Techniques ATT&CK技術の参照
Execution via API API経由での実行
Traditional Software Attacks 従来のソフトウェア攻撃
Persistence 永続化
Execute unsafe ML Model Execution 安全でない機械学習モデルの実行
Included ATT&CK Techniques ATT&CK技術の参照
Account Manipulation アカウント操作
Implant Container Image インプラントコンテナイメージ
Evasion 回避
Evasion Attack 回避攻撃
Offline Evasion オフライン回避
Online Evasion オンライン回避
Model Poisoning モデル中毒
Data Poisoning データ中毒
Tainting Data from Acquisition - Label Corruption 取得データの汚染 - ラベルの破損
Tainting Data from Open Source Supply Chains オープンソースのサプライチェーンからのデータの汚染
Tainting Data from Acquisition - Chaff Data 取得データの汚染 - 不要データ
Tainting Data in Training - Label Corruption トレーニングにおけるデータの汚染 - ラベルの破損
Exfiltration ろ過
Exfiltrate Training Data トレーニングデータを流出させる
Membership Inference Attack メンバーシップ推論攻撃
ML Model Inversion 機械学習モデルの反転
ML Model Stealing 機械学習モデルの盗用
Included ATT&CK Techniques ATT&CK技術の参照
Insecure Storage 安全でないストレージ
Impact 影響
Defacement 改ざん
Denial of Service サービスの拒否
Included ATT&CK Techniques ATT&CK技術の参照
Stolen Intellectual Property 盗まれた知的財産
Data Encrypted for Impact 影響を考慮した暗号化されたデータ
Stop System Shutdown/Reboot システムの停止/再起動
Next Recommended Reading 次の推奨文書

 

・3. Case Studies Page

 




Microsoft - Security - Blog

・2020.10.22 機械学習システムに対するサイバー攻撃は、あなたが思っているよりも一般的です by Ram Shankar Siva Kumar and Ann Johnson


機械学習(ML)は、金融、医療、防衛などの重要な分野で驚くべき変革を遂げており、私たちの生活のほぼすべての側面に影響を与えています。MLの進歩を利用することを熱望している多くの企業は、MLシステムのセキュリティを精査していません。本日、MITRE、およびIBM、NVIDIA、Boschを含む11の組織からの貢献により、マイクロソフトは、セキュリティアナリストがMLシステムに対する脅威を検出、対応、および修復できるようにするために、業界に焦点を当てたオープンフレームワークであるAdversarial ML ThreatMatrixをリリースします。 。

過去4年間で、マイクロソフトは商用MLシステムへの攻撃が著しく増加しました。市場レポートもこの問題に注目しています。2019年10月に公開されたGartnerの2020年の戦略的テクノロジートレンドトップ10は、「2022年まで、すべてのAIサイバー攻撃の30%がトレーニングデータ中毒、AIモデルの盗難、または敵対的なサンプルを活用すると予測しています。 AIを利用したシステムを攻撃します。」MLシステムを保護するこれらの説得力のある理由にもかかわらず、28の企業にまたがるMicrosoftの調査ほとんどの業界の実務家は、敵対的な機械学習にまだ同意していないことがわかりました。28の企業のうち25は、MLシステムを保護するための適切なツールが整っていないことを示しています。さらに、彼らは明確にガイダンスを求めています。準備は小規模な組織だけに限定されないことがわかりました。Fortune 500企業、政府、非営利団体、中小企業に話を聞きました。


 

● MITRE

・2020.10.22 (Project Stories) MITRE, MICROSOFT, AND 11 OTHER ORGANIZATIONS TAKE ON MACHINE-LEARNING THREATS

MITRE is partnering with Microsoft and collaborating with other organizations on the Adversarial Machine Learning Threat Matrix, an industry-focused open framework to empower security analysts to detect, respond, and remediate threats.

 

■ 参考(報道等)

● The Hacker News

・2020.10.23 New Framework Released to Protect Machine Learning Systems From Adversarial Attacks by 

Microsoft, in collaboration with MITRE, IBM, NVIDIA, and Bosch, has released a new open framework that aims to help security analysts detect, respond to, and remediate adversarial attacks against machine learning (ML) systems.

Called the Adversarial ML Threat Matrix, the initiative is an attempt to organize the different techniques employed by malicious adversaries in subverting ML systems.

● Neowin

・2020.10.23 Microsoft partners with Nvidia, IBM, and more to release Adversarial ML Threat Matrix by  

Microsoft is observing National Cyber Security Awareness Month (NCSAM) currently, and cybersecurity seems to be at the forefront for the firm. Over the past few weeks, the company has announced new initiatives to promote cybersecurity awareness, Zero Trust Deployment Center, and an offensive against the malicious Trickbot botnet.

Now, it has released the Adversarial ML Threat Matrix framework in collaboration with various organizations such as IBM, Nvidia, MITRE, and more.

● The Daily Swig

・2020.10.23 Microsoft launches machine learning cyber-attack threat matrix by James Walker

Framework aimed at helping security pros detect and remediate threats against ML systems

 

● IT Pro (U.K.)

・2020.10.23 Microsoft spearheads industry-wide charter against AI cyber attacks by Keumars Afifi-Sabet

Security professionals can rely on the framework to fight cyber attacks targeting corporate machine learning systems



● GIGAZIN

 ・2020.10.23 Microsoftがオープンソースの機械学習セキュリティフレームワークをリリース

機械学習は金融・医療・軍事などの分野で飛躍的な発展を遂げているというだけでなく、市民の生活にも大きな影響を与えています。しかし、Mircosoftは「機械学習に対する注目が高まっているにもかかわらず機械学習システムに対するサイバー攻撃対策は不十分」だとして、機械学習に対する攻撃を検出・対応・修正できる企業向けオープンフレームワーク「Adversarial ML Threat Matrix」をリリースしました。

 

 

 

 

|

« NISTが測位・航法・計時(PNT)に関連するサービスに関連したセキュリティプロファイルに関する文書(NISTIR 8323)のパブコメを募集していますね。 | Main | 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 コンピュータ犯罪に関する白浜シンポジウムの発表資料 »

Comments

Post a comment



(Not displayed with comment.)




« NISTが測位・航法・計時(PNT)に関連するサービスに関連したセキュリティプロファイルに関する文書(NISTIR 8323)のパブコメを募集していますね。 | Main | 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 コンピュータ犯罪に関する白浜シンポジウムの発表資料 »