« フランス CNILがウェブおよびアプリ開発者向けのGDPRガイドを改訂 | Main | ロシアとインドネシアが国際的な情報セキュリティの協力に関する政府間協定に署名 »

2021.12.15

ENISA 機械学習アルゴリズムの保護

こんにちは、丸山満彦です。

ENISAが機械学習アルゴリズムの保護についての報告書を公開していますね。。。いろいろと参考になると思います。。。

● ENISA

・2021.12.14 Artificial Intelligence: How to make Machine Learning Cyber Secure?

Artificial Intelligence: How to make Machine Learning Cyber Secure? 人工知能:機械学習をサイバーセキュアにするには?
How to prevent machine learning cyberattacks? How to deploy controls without hampering performance? The European Union Agency for Cybersecurity answers the cybersecurity questions of machine learning in a new report published today. 機械学習のサイバー攻撃を防ぐには?パフォーマンスを阻害せずにコントロールを展開するには?欧州連合サイバーセキュリティ機関は、本日発表した新しいレポートの中で、機械学習のサイバーセキュリティに関する疑問に答えています。
Machine learning (ML) is currently the most developed and the most promising subfield of artificial intelligence for industrial and government infrastructures. By providing new opportunities to solve decision-making problems intelligently and automatically, artificial intelligence (AI) is applied in almost all sectors of our economy. 機械学習(ML)は現在、産業・政府インフラ向けの人工知能のサブフィールドとして最も発展し、最も有望視されています。意思決定の問題を知的かつ自動的に解決する新たな機会を提供することで、人工知能(AI)は経済のほぼすべての分野で応用されています。
While the benefits of AI are significant and undeniable, the development of AI also induces new threats and challenges, identified in the ENISA AI Threat Landscape. AIの恩恵は大きく、否定できないものですが、AIの発展は、ENISA AI Threat Landscapeで特定された新たな脅威と課題を誘発します。
Machine learning algorithms are used to give machines the ability to learn from data in order to solve tasks without being explicitly programmed to do so. However, such algorithms need extremely large volumes of data to learn. And because they do, they can also be subjected to specific cyber threats. 機械学習アルゴリズムは、明示的にプログラムされていなくてもタスクを解決するために、機械にデータから学習する能力を与えるために使用されます。しかし、このようなアルゴリズムは、学習のために極めて大量のデータを必要とします。また、学習するからこそ、特定のサイバー脅威にさらされる可能性もあります。
The Securing Machine Learning Algorithms report presents a taxonomy of ML techniques and core functionalities. The report also includes a mapping of the threats targeting ML techniques and the vulnerabilities of ML algorithms. It provides a list of relevant security controls recommended to enhance cybersecurity in systems relying on ML techniques. One of the challenges highlighted is how to select the security controls to apply without jeopardising the expected level of performance. レポート「Securing Machine Learning Algorithms」では、ML技術の分類法とコア機能を紹介しています。また、ML技術を標的とした脅威と、MLアルゴリズムの脆弱性をマッピングしています。また、ML技術に依存するシステムのサイバーセキュリティを強化するために推奨される、関連するセキュリティコントロールのリストを提供しています。ここで強調されている課題の一つは、期待される性能レベルを損なうことなく適用するセキュリティ管理策をどのように選択するかということです。
The mitigation controls for ML specific attacks outlined in the report should in general be deployed during the entire lifecycle of systems and applications making use of ML. 本レポートで紹介されているML特有の攻撃に対する緩和策は、一般的に、MLを利用するシステムやアプリケーションのライフサイクル全体で展開されるべきものです。
Machine Learning Algorithms Taxonomy 機械学習アルゴリズムの分類法
Based on desk research and interviews with the experts of the ENISA AI ad-hoc working group, a total of 40 most commonly used ML algorithms were identified. The taxonomy developed is based on the analysis of such algorithms. 机上調査とENISA AIアドホックワーキンググループの専門家へのインタビューに基づき、最も一般的に使用されているMLアルゴリズムを合計40個特定しました。今回作成した分類法は、このようなアルゴリズムの分析に基づいています。
The non-exhaustive taxonomy devised is to support the process of identifying which specific threats target ML algorithms, what are the associated vulnerabilities and the security controls needed to address those vulnerabilities. この非網羅的な分類法は、どのような脅威がMLアルゴリズムを標的としているか、関連する脆弱性は何か、その脆弱性に対処するために必要なセキュリティ対策は何かを特定するプロセスを支援するために考案されたものです。
Target audience 想定読者
・Public/government: EU institutions & agencies, regulatory bodies of Member States, supervisory authorities in data protection, military and intelligence agencies, law enforcement community, international organisations and national cybersecurity authorities. ・公共/政府 EUの機関、加盟国の規制機関、データ保護の監督機関、軍事・諜報機関、法執行機関、国際機関、各国のサイバーセキュリティ当局
・Industry at large including small & medium enterprises (SMEs) resorting to AI solutions, operators of essential services ; ・産業界:AIソリューションを利用している中小企業、重要なサービスを提供している企業を含む産業界全般
・AI technical, academic and research community, AI cybersecurity experts and AI experts such as designers, developers, ML experts, data scientists, etc. ・AI技術・学術・研究コミュニティ、AIサイバーセキュリティ専門家、デザイナー・開発者・ML専門家・データサイエンティストなどのAI専門家
・Standardisation bodies. ・標準化団体
Background 背景
The EU Agency for Cybersecurity continues to play a bigger role in the assessment of Artificial Intelligence (AI) by providing key input for future policies. The Agency takes part in the open dialogue with the European Commission and EU institutions on AI cybersecurity and regulatory initiatives to this end. EUサイバーセキュリティ機関は、将来の政策に重要な情報を提供することで、人工知能(AI)の評価においてより大きな役割を果たし続けています。同庁は、AIのサイバーセキュリティとそのための規制イニシアチブに関して、欧州委員会およびEU機関とのオープンな対話に参加しています。
The Agency set up the ENISA Ad Hoc Working Group on Cybersecurity for Artificial Intelligence last year. The working group supports ENISA in the process of building knowledge on AI Cybersecurity. Members of the group come from the European Commission Directorate-General Communications Networks, Content and Technology (DG CONNECT), the European Commission Directorate-General Joint Research Committee (DG JRC), Europol, the European Defence Agency (EDA), the European Union Agency for the Operational Management of Large-Scale IT Systems in the Area of Freedom, Security and Justice (eu-LISA), the European Telecommunications Standards Institute (ETSI), as well as academics and industry experts.   同庁は昨年、ENISA Ad Hoc Working Group on Cybersecurity for Artificial Intelligenceを設立しました。このワーキンググループは、AIのサイバーセキュリティに関する知識を構築する過程でENISAをサポートしています。同グループのメンバーは、欧州委員会通信ネットワーク・コンテンツ・技術総局(DG CONNECT)、欧州委員会総局共同研究委員会(DG JRC)、ユーロポール、欧州防衛庁(EDA)、欧州連合自由・安全・正義分野における大規模ITシステム運用管理機関(eu-LISA)、欧州電気通信標準化機構(ETSI)のほか、学識経験者や業界専門家から構成されています。 
Further information 関連情報
ENISA Report - Securing Machine Learning Algorithms – December 2021 ENISA報告書 - 機械学習アルゴリズムの保護
ENISA Report - Artificial Intelligence Cybersecurity Challenges ENISA報告書 - 人工知能のサイバーセキュリティの課題
ENISA AI Threat Landscape Report Unveils Major Cybersecurity Challenges ENISA AI脅威状況報告書 主要なサイバーセキュリティの課題を明らかにする

 

・2021.12.14 Securing Machine Learning Algorithms

Securing Machine Learning Algorithms 機械学習アルゴリズムの保護
Based on a systematic review of relevant literature on machine learning, in this report we provide a taxonomy for machine learning algorithms, highlighting core functionalities and critical stages. The report also presents a detailed analysis of threats targeting machine learning systems. Identified threats include inter alia, data poisoning, adversarial attacks and data exfiltration. Finally, we propose concrete and actionable security controls described in relevant literature and security frameworks and standards. 本報告書では、機械学習に関する関連文献の体系的なレビューに基づき、機械学習アルゴリズムの分類法を提供し、中核的な機能性と重要な段階を強調しています。また、機械学習システムを標的とした脅威を詳細に分析しています。識別された脅威には、特に、データポイズニング、敵対的攻撃、データ流出などが含まれます。最後に、関連文献やセキュリティフレームワーク、標準規格に記載されている具体的で実行可能なセキュリティ対策を提案しています。

 

・[PDF

20211215-100710

EXECUTIVE SUMMARY エグゼクティブサマリー
1. INTRODUCTION 1. 序論
1.1 OBJECTIVES 1.1 目的とするもの
1.2 METHODOLOGY 1.2 方法論
1.3 TARGET AUDIENCE 1.3 想定読者
1.4 STRUCTURE 1.4 構成
2. MACHINE LEARNING ALGORITHMS TAXONOMY 2. 機械学習アルゴリズム分類法
2.1 MAIN DOMAIN AND DATA TYPES 2.1 主要領域とデータタイプ
2.2 LEARNING PARADIGMS 2.2 学習パラダイム
2.3 NAVIGATING THE TAXONOMY 2.3 分類法のナビゲーション
2.4 EXPLAINABILITY AND ACCURACY 2.4 説明可能性と正確性
2.5 AN OVERVIEW OF AN END-TO-END MACHINE LEARNING LIFECYCLE 2.5 機械学習のエンド・ツー・エンドのライフサイクルの概要
3. ML THREATS AND VULNERABILITIES 3. MLの脅威と脆弱性
3.1 IDENTIFICATION OF THREATS 3.1 脅威の特定
3.2 VULNERABILITIES MAPPED TO THREATS 3.2 脅威にマッピングされた脆弱性
4. SECURITY CONTROLS 4. セキュリティ管理
4.1 SECURITY CONTROLS RESULTS 4.1 セキュリティ管理の結果
5. CONCLUSION 5. 結論
A ANNEX: TAXONOMY OF ALGORITHMS 附属書A:アルゴリズムの分類法
B ANNEX: MAPPING SECURITY CONTROLS TO THREATS 附属書B:セキュリティ対策と脅威の対応付け
C ANNEX: IMPLEMENTING SECURITY CONTROLS 附属書C:セキュリティ対策の実施
D ANNEX: REFERENCES 附属書D:参考文献

 

 


機械学習に対するセキュリティ関連

 

欧州

● ENISA

・2020.12.15 Artificial Intelligence Cybersecurity Challenges

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.12.18 ENISA AI サイバーセキュリティのチャレンジ - AI脅威状況報告を公表していますね。

 

米国

● NIST - ITL

・2019.10.30 NISTIR 8269 (Draft)  A Taxonomy and Terminology of Adversarial Machine Learning

・[PDF

20211215-101237

 

中国

全国信息安全标准化技术委员会 (National Information Security Standardization Technical Committee

2021.08.04 国家标准《信息安全技术 机器学习算法安全评估规范》 国家標準「機械学習アルゴリズムのセキュリティ評価に関する情報セキュリティ技術仕様書」案 PDF

 

20210813-133615

粗訳

・[DOCX]

 

まるちゃんの情報セキュリティ気まぐれ日記

・2021.08.13 中国 意見募集 「機械学習アルゴリズムのセキュリティ評価に関する情報セキュリティ技術仕様書」案を発表し、意見募集していますね。。。 at 2021.08.04

 

日本

産業技術総合研究所

・2021.07.05 機械学習品質マネジメントガイドライン 第2版

・[PDF] 機械学習品質マネジメントガイドライン 第2版

20210907-55659

まるちゃんの情報セキュリティ気まぐれ日記

・2021.07.06 産総研 「機械学習品質マネジメントガイドライン 第2版」を公開

 


こちらも。。。

まるちゃんの情報セキュリティ気まぐれ日記

・2020.10.25 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 コンピュータ犯罪に関する白浜シンポジウムの発表資料

・・[PDF] スマートサイバー AI活用時代のサイバーリスク管理(配布用)

Title

|

« フランス CNILがウェブおよびアプリ開発者向けのGDPRガイドを改訂 | Main | ロシアとインドネシアが国際的な情報セキュリティの協力に関する政府間協定に署名 »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



« フランス CNILがウェブおよびアプリ開発者向けのGDPRガイドを改訂 | Main | ロシアとインドネシアが国際的な情報セキュリティの協力に関する政府間協定に署名 »