ENISA AIにおけるサイバーセキュリティとプライバシー -医療用画像診断 (2023.06.07): まるちゃんの情報セキュリティ気まぐれ日記

September 2024
Sun	Mon	Tue	Wed	Thu	Fri	Sat
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

2023.06.12

ENISA AIにおけるサイバーセキュリティとプライバシー -医療用画像診断 (2023.06.07)

こんにちは、丸山満彦です。

ENISAが、AIにおけるサイバーセキュリティとプライバシー -医療用画像診断を公表していますね。。。

画像診断にAIを活用することは、人間の目では見逃していたものを発見できたりと、可能性が広がる分野でもあり、注目されていたりしますよね。。。

● ENISA

・2023.06.07 Cybersecurity and privacy in AI – Medical imaging diagnosis

Cybersecurity and privacy in AI - Medical imaging diagnosis

AIにおけるサイバーセキュリティとプライバシー -医療用画像診断

This report allows better assessment of the reality that artificial intelligence brings its own set of threats, which consequently insists on the search for new security measures to counter them. Finally, it should be noted that this guide strongly emphasises privacy issues in the same way as cybersecurity issues, privacy being one of the most important challenges facing society today. Security and privacy are intimately related, but both equally important, and a balance must be made specific to each use. As a result, as seen in this report, efforts to optimise security and privacy can often come at the expense of system performance.

本報告書では、人工知能が独自の脅威をもたらすという現実をよりよく評価することができ、その結果、それらに対抗するための新たなセキュリティ対策の模索が必要であることを強調している。最後に、本書ではサイバーセキュリティと同様にプライバシーも重要視しており、プライバシーは今日の社会が直面する最も重要な課題の一つであることを指摘しておきたい。セキュリティとプライバシーは密接に関係しているが、どちらも同様に重要であり、それぞれの用途に応じてバランスを取る必要がある。その結果、本報告書に見られるように、セキュリティとプライバシーを最適化する努力は、しばしばシステムの性能を犠牲にすることになりかねない。

・[PDF]

1. INTRODUCTION	1. 序文
1.1 STUDY OBJECTIVES	1.1 調査目的
1.2 METHODOLOGY	1.2 方法論
1.2.1 Description of the scenario	1.2.1 シナリオの説明
1.2.2 Identification of cybersecurity and privacy threats and vulnerabilities	1.2.2 サイバーセキュリティとプライバシーの脅威と脆弱性の特定
1.2.3 Identification of cybersecurity and privacy controls	1.2.3 サイバーセキュリティとプライバシーのコントロールの特定
1.3 TARGET AUDIENCE	1.3 対象者
1.4 USING THIS DOCUMENT	1.4 本文書の使用
2. SCENARIO DESCRIPTION	2. シナリオの説明
2.1 PURPOSE AND CONTEXT	2.1 目的と背景
2.2 HIGH-LEVEL DESCRIPTION	2.2 ハイレベルな記述
2.3 ACTORS AND ROLES	2.3 アクターと役割
2.4 PROCESSED DATA	2.4 処理されたデータ
2.5 MACHINE LEARNING ALGORITHMS	2.5 機械学習アルゴリズム
2.6 ASSETS	2.6 アセット（資産
2.7 OVERALL PROCESS	2.7 プロセス全体
2.8 PRIVACY AND CYBERSECURITY REQUIREMENTS	2.8 プライバシーとサイバーセキュリティの要件
3. SECURITY AND PRIVACY THREATS AND VULNERABILITIES	3. セキュリティとプライバシーの脅威と脆弱性
3.1 THREAT CONTEXTUALISATION	3.1 脅威の文脈の把握
3.1.1 Compromise of diagnostic system components	3.1.1 診断システムコンポーネントの危殆化
3.1.2 Evasion	3.1.2 回避
3.1.3 Human error	3.1.3 ヒューマンエラー
3.1.4 Data disclosure	3.1.4 データ開示
3.1.5 Poisoning (by label modification)	3.1.5 ポイズニング（ラベル改変によるもの）
3.1.6 Unlawful Processing	3.1.6 不正な処理
3.1.7 Unfair processing	3.1.7 不当な処理
3.1.8 Lack of transparency	3.1.8 透明性の欠如
3.1.9 Diversion of purpose	3.1.9 目的の逸脱
3.1.10 No respect of data minimisation	3.1.10 データ最小化の不徹底
3.1.11 No respect of accuracy	3.1.11 正確性の不徹底
3.1.12 No respect of storage limitation	3.1.12 保存制限の不徹底
3.1.13 No respect of compliance of the training model	3.1.13 トレーニングモデルの遵守の不徹底
3.1.14 Synthesis of possible impacts and associated threats	3.1.14 想定される影響と関連する脅威の統合
3.2 VULNERABILITIES ASSOCIATED TO THREATS AND AFFECTED ASSETS	3.2 脅威及び影響を受ける資産に関連する脆弱性
4. CYBERSECURITY AND PRIVACY CONTROLS	4. サイバーセキュリティとプライバシーの管理
4.1 IMPLEMENT A SECURITY BY DESIGN PROCESS	4.1 セキュリティバイデザインプロセスを実施する
4.2 DOCUMENT THE DIAGNOSTIC SYSTEM	4.2 診断システムを文書化する
4.3 CHECK THE VULNERABILITIES OF THE COMPONENTS USED AND IMPLEMENT PROCESSES TO MAINTAIN SECURITY LEVELS OF ML COMPONENTS OVER TIME	4.3 使用されているコンポーネントの脆弱性をチェックし、経時的に MLコンポーネントのセキュリティレベルを維持するためのプロセスを実装する。
4.4 ADD SOME ADVERSARIAL EXAMPLES TO THE DATASET	4.4 データセットに敵対的な事例を追加する
4.5 CHOOSE AND DEFINE A MORE RESILIENT MODEL DESIGN	4.5 よりレジリエンスに優れたモデル設計を選択し、定義する。
4.6 INTEGRATE POISONING CONTROL IN THE TRAINING DATASET	4.6 トレーニングデータセットにポイズニングコントロールを統合する。
4.7 ENLARGE THE TRAINING DATASET	4.7 トレーニングデータセットの拡大
4.8 SECURE THE TRANSIT OF THE COLLECTED DATA	4.8 収集したデータの転送を安全にする
4.9 CONTROL ALL DATA USED BY THE ML MODEL	4.9 MLモデルで使用されるすべてのデータを管理する。
4.10 IMPLEMENT ACCESS RIGHT MANAGEMENT PROCESS	4.10 アクセス権管理プロセスの実施
4.11 ENSURE ALL SYSTEMS AND DEVICES COMPLY WITH AUTHENTICATION, AND ACCESS CONTROL POLICIES	4.11 すべてのシステムおよびデバイスが本人認証およびアクセス制御ポリシーに準拠していることを確認する。
4.12 MONITOR THE PERFORMANCE OF THE MODEL	4.12 モデルの性能を監視する
4.13 REDUCE THE AVAILABLE INFORMATION ABOUT THE MODEL	4.13 モデルに関する利用可能な情報を減らす
4.14 IDENTIFY A DATA CONTROLLER FOR THE MEDICAL DATA PROCESSING	4.14 医療データ処理のためのデータ管理者を特定する。
4.15 PSEUDONYMISE DATA COMING FROM THE HISTORICAL PATIENT	4.15 過去の患者から得たデータを仮名化する。
4.16 GENERATE LOGS AND PERFORM INTERNAL AUDIT	4.16 ログの生成と内部監査の実施
4.17 IDENTIFY ALL THE DATA PROCESSORS FOR THE MEDICAL DATA PROCESSING AND PERFORM THE CONTROL ACTIONS NECESSARY TO GIVE REASONABLE ASSURANCE THAT THEY ARE COMPLIANT	4.17 医療データ処理のデータ処理者をすべて特定し、それらが準拠していることを合理的に保証するために必要な管理措置を実行する。
4.18 PERFORM A PRIVACY IMPACT ASSESSMENT	4.18 プライバシー影響評価を実施する
4.19 DEFINE AND IMPLEMENT A DATA RETENTION POLICY	4.19 データ保持ポリシーを定義し、実施する。
4.20 STUDY ON DATA FIELDS NECESSITY AND JUSTIFICATION IN THE PRIVACY POLICY	4.20 プライバシーポリシーにおけるデータフィールドの必要性と正当化に関する研究
4.21 FORMALIZE A LIA (LEGITIMATE INTEREST ASSESSMENT)	4.21 LIA（正当な利益評価）の正式化
4.22 MINIMISE DATA AT EACH STEP OF THE PROCESSING; COLLECT ONLY WHAT IS NEEDED WHEN NEEDED	4.22 処理の各段階でデータを最小化する；必要な時に必要なものだけを収集する
4.23 IMPLEMENT A PRIVACY BY DESIGN PROCESS	4.23 プライバシー・バイ・デザイン・プロセスを実施する
4.24 CALL ON ETHICAL COMMITTEE AND EXTERNAL AUDITS	4.24 倫理委員会および外部監査を要請する。
4.25 DEFINE ACCURACY CRITERIA	4.25 精度の基準を定める
4.26 ENSURE THAT THE MODEL IS SUFFICIENTLY RESILIENT TO THE ENVIRONMENT	4.26 モデルが運用される環境に対して十分なレジリエンスがあることを確認する。
IN WHICH IT WILL OPERATE	るようにする。
4.27 RAISE AWARENESS OF SECURITY AND PRIVACY ISSUES AMONG ALL STAKEHOLDERS	4.27 すべての利害関係者の間でセキュリティとプライバシーの問題に対する認識を高める
4.28 USE RELIABLE SOURCES TO LABEL DATA	4.28 データのラベル付けに信頼できる情報源を使用する
4.29 ENSURE THAT MODELS ARE UNBIASED	4.29 モデルがバイアスがないことを保証する
4.30 SUMMARY	4.30 まとめ
5. CONCLUSION	5. 結論
A ANNEX: SECURITY AND PRIVACY SCALES AND REQUIREMENTS	附属書：セキュリティとプライバシーの尺度と要求事項
A.1 CYBERSECURITY AND PRIVACY SEVERITY SCALES	A.1 サイバーセキュリティとプライバシーの重大性の尺度
A.2 CYBERSECURITY SCALE OF IMPACT	A.2 サイバーセキュリティの影響の大きさ
A.3 PRIVACY SCALE OF IMPACT	A.3 プライバシーに関する影響度
A.4 PRIVACY REQUIREMENTS CRITERIA	A.4 プライバシー要件基準

エグゼクティブサマリー

EXECUTIVE SUMMARY	エグゼクティブサマリー
Given the great influence of artificial intelligence (AI) in people's daily lives due to the key role it plays in digital transformation through its automated decision-making capabilities, ENISA aims to raise awareness of cybersecurity and privacy threats related to various scenarios using artificial intelligence. To this end, ENISA, with the support of the Ad-Hoc Working Group on Artificial Intelligence Cybersecurity, has published two reports in the last two years: Cybersecurity Challenges of Artificial Intelligence^[1] and Securing Machine Learning Algorithms^[2].	人工知能（AI）が自動意思決定機能を通じてデジタル変革に果たす重要な役割により、人々の日常生活に大きな影響を与えていることを踏まえ、ENISAは、人工知能を用いた様々なシナリオに関連するサイバーセキュリティとプライバシーの脅威に対する認識を高めることを目的としている。このため、ENISAは、人工知能のサイバーセキュリティに関するアドホック・ワーキンググループの支援を受けて、過去2年間に2つの報告書を発行している：人工知能のサイバーセキュリティの課題[1]」と「機械学習アルゴリズムのセキュリティ確保[2]」である。
ENISA continues its momentum with a new report on cybersecurity and privacy in medical imaging diagnosis, which is supported by AI. An in-depth study of the scenario has been conducted by identifying first the assets, the actors and their roles, relevant processes, the AI algorithms used, as well as the requirements in terms of cybersecurity and privacy needed for it. Building upon previous ENISA work such as the “Securing Machine Learning Algorithms” report cited above, in addition to legislation such as GDPR and literature searches, this report has identified cybersecurity and privacy threats and vulnerabilities that can be exploited in the examined scenario. While focus is on ML-related threats and vulnerabilities, broader AI considerations were also taken into account. Lastly, corresponding cybersecurity and privacy controls that consider the context of the scenario and the impact of the associated threats/vulnerabilities were defined. The specificities within the implementation of these controls are described, including possible trade-offs between cybersecurity, privacy, and performance. Each control is classified as a cybersecurity control, a privacy control, or a mixture of both, depending on the threats it mitigates and their associated impacts (cybersecurity impacts, privacy impacts, or both).	ENISAはその流れで、AIが支援する医療画像診断におけるサイバーセキュリティとプライバシーに関する新しい報告書を発表した。まず資産、行為者とその役割、関連するプロセス、使用されるAIアルゴリズム、さらにそれに必要なサイバーセキュリティとプライバシーの観点からの要件を特定することにより、シナリオの詳細な調査が行われた。GDPRなどの法規制や文献検索に加え、上で引用した「機械学習アルゴリズムの安全化」報告書などのENISAの過去の作業を基に、本報告書では、検討シナリオで悪用され得るサイバーセキュリティとプライバシーの脅威と脆弱性を特定した。ML関連の脅威と脆弱性に焦点を当てているが、より広範なAIに関する考慮も行っている。最後に、シナリオの文脈と関連する脅威/脆弱性の影響を考慮した、対応するサイバーセキュリティとプライバシーの管理策を定義した。サイバーセキュリティ、プライバシー、パフォーマンス間のトレードオフの可能性を含め、これらのコントロールの実装における特異性を説明する。各制御は、緩和する脅威と関連する影響（サイバーセキュリティへの影響、プライバシーへの影響、またはその両方）に応じて、サイバーセキュリティ制御、プライバシー制御、またはその混合として分類される。
This report allows better assessment of the reality that artificial intelligence brings its own set of threats, which consequently insists on the search for new security measures to counter them. Finally, it should be noted that this guide strongly emphasises privacy issues in the same way as cybersecurity issues, privacy being one of the most important challenges facing society today. Security and privacy are intimately related, but both equally important, and a balance must be made specific to each use. As a result, as seen in this report, efforts to optimise security and privacy can often come at the expense of system performance.	本報告書では、人工知能が独自の脅威をもたらすという現実をよりよく評価することができ、その結果、それらに対抗するための新たなセキュリティ対策の模索が必要となっている。最後に、本ガイドでは、サイバーセキュリティの問題と同様に、プライバシーの問題を強く強調していることに留意する必要がある。セキュリティとプライバシーは密接に関係しているが、どちらも同様に重要であり、それぞれの用途に応じてバランスを取る必要がある。その結果、本報告書に見られるように、セキュリティとプライバシーを最適化する努力は、しばしばシステム性能を犠牲にすることになりかねない。