JVNVU#99619336 勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

こんにちは、丸山満彦です。

JVNが「JVNVU#99619336　勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題」を公表していますね。。。

もともとは、CERT Coordination Center (@ Software Engineering Institute in Carnegie Mellon University) の Vulnerability Note VU#425163 Machine learning classifiers trained via gradient descent are vulnerable to arbitrary misclassification attackですね。。。

● JVN

・2020.03.25 JVNVU#99619336　勾配降下法を使用する機械学習モデルに、誤った識別をさせるような入力を作成することが可能な問題

詳細情報

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能です。これは、Kumar et al. による攻撃分類では、perturbation attacks や adversarial examples in the physical domain に該当します。
攻撃対象のシステムに対して、攻撃者がデータの入力や出力の確認などを行うことができる余地が大きいほど、攻撃が成功する可能性は大きくなります。
また、学習プロセスに関する情報（教師データ、学習結果、学習モデル、テストデータなど）があれば、攻撃はより容易に行えるようになります。
現状では、数秒で攻撃できるものから何週間も必要になるものまで様々な事例が知られています。

想定される影響

本件はアルゴリズムの脆弱性であり、攻撃対象となるシステムにおいて機械学習の仕組みがどのように使われているかによって影響は異なります。
以下に、現在知られている中から典型的な事例を3つ挙げます。

• 音声からテキストへの自動変換システムに対し、任意の結果に誤変換させることが可能であることを実証
• 写真データを使った顔認識システムに対し、照明操作、眼鏡着用、写真データ加工などによって意図的に誤認識させることが可能であることを実証
• 2019年3月に発表された論文では、車線認識機能を持つ Tesla Autopilot に対し、実験用走行環境ではあるが、路面に貼られたステッカーによって意図的に車線変更させる実験に成功。また、2020年1月に発表された論文では、同様の手法がドローンなどによる路面への投影によっても可能であることを実証

● CERT Coordination Center (@ Software Engineering Institute in Carnegie Mellon University)

・2020.03.20 Vulnerability Note VU#425163 Machine learning classifiers trained via gradient descent are vulnerable to arbitrary misclassification attack

参考文献

• https://github.com/IBM/adversarial-robustness-toolbox/tree/master/notebooks
• https://arxiv.org/ftp/arxiv/papers/1911/1911.11034.pdf
• https://arxiv.org/abs/1801.01944
• https://dl.acm.org/doi/10.1145/3317611
• https://keenlab.tencent.com/en/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot/
• https://eprint.iacr.org/2020/085.pdf
• https://www.cleverhans.io/
• https://github.com/bethgelab/foolbox
• https://github.com/IBM/adversarial-robustness-toolbox
• https://resources.sei.cmu.edu/library/asset-view.cfm?assetid=633583
• http://arxiv.org/abs/2002.08347