« 個人情報保護委員会 「特定個人情報の適正な取扱いに関するガイドラインの一部を改正する件(告示案)」に関する意見募集について | Main | IPA 情報システム等の脆弱性情報の取扱いにおける報告書を公開 »

2020.03.26

JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

こんにちは、丸山満彦です。

JVNが「JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題」を公表していますね。。。

もともとは、CERT Coordination Center (@ Software Engineering Institute in Carnegie Mellon University) の Vulnerability Note VU#425163 Machine learning classifiers trained via gradient descent are vulnerable to arbitrary misclassification attackですね。。。

JVN

・2020.03.25 JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

詳細情報

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能です。これは、Kumar et al. による攻撃分類では、perturbation attacks や adversarial examples in the physical domain に該当します。
攻撃対象のシステムに対して、攻撃者がデータの入力や出力の確認などを行うことができる余地が大きいほど、攻撃が成功する可能性は大きくなります。
また、学習プロセスに関する情報(教師データ、学習結果、学習モデル、テストデータなど)があれば、攻撃はより容易に行えるようになります。
現状では、数秒で攻撃できるものから何週間も必要になるものまで様々な事例が知られています。

想定される影響

本件はアルゴリズムの脆弱性であり、攻撃対象となるシステムにおいて機械学習の仕組みがどのように使われているかによって影響は異なります。
以下に、現在知られている中から典型的な事例を3つ挙げます。

 

CERT Coordination Center (@ Software Engineering Institute in Carnegie Mellon University)

・2020.03.20 Vulnerability Note VU#425163 Machine learning classifiers trained via gradient descent are vulnerable to arbitrary misclassification attack

参考文献

|

« 個人情報保護委員会 「特定個人情報の適正な取扱いに関するガイドラインの一部を改正する件(告示案)」に関する意見募集について | Main | IPA 情報システム等の脆弱性情報の取扱いにおける報告書を公開 »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



« 個人情報保護委員会 「特定個人情報の適正な取扱いに関するガイドラインの一部を改正する件(告示案)」に関する意見募集について | Main | IPA 情報システム等の脆弱性情報の取扱いにおける報告書を公開 »