産総研 「機械学習品質マネジメントガイドライン 第3版」「機械学習品質評価・向上技術に関する報告書第2版」(2022.08.02)
こんにちは、丸山満彦です。
産総研が「機械学習品質マネジメントガイドライン 第3版」と「機械学習品質評価・向上技術に関する報告書第2版」を公開していました。。。
プライバシー、セキュリティに関わる部分での整理が行われているようですね。。。
・2022.08.02 機械学習品質マネジメントガイドライン 第3版
・[PDF] 機械学習品質マネジメントガイドライン 第3版 (本文)
第3版での主な変更点は、
・ プライバシーに関わる外部品質を設定し、分析・対処方法等の記述を検討・追加。
・ セキュリティを外部品質として位置づけ、既存の特性との関係を整理した上で、第2版の記述を拡充。
・ 公平性の章の記述を再整理。
・ その他の記述の更新。
プライバシー、セキュリティに関わる部分での整理が行われているようですね。。。
全体像については、、、
1章の内容は参考(informative)である。本章に含まれ、本ガイドラインの規範の一部を構成する (normative) 内容については、後の章で再掲する。
本概要の全体構成は以下の通りである。第 2 章以降の本編に対応する内容がある場合には、その対応する章節も示す。
・ 1.1 節では、本ガイドラインを作成した背景と目的を示す。
・ 1.2 節では、本ガイドラインが主に想定する「使われ方」を提示する。(本編 2 章)
・ 1.3 節では、背景として掲げた「AI の品質管理が困難である理由」を分析する。
・ 1.4 節では、本ガイドラインがベースとする、品質管理のプロセスについての全体的な考え方を述べる。
・ 1.5 節では、本ガイドラインが「目標」として設定する4つの「外部品質」の観点(実装手段にあまり依存せず、使用を通じてしか評価できない品質観点)を提示する。(本編 3 章)
・ 1.6 節では前節を補足して、一般に「AI の品質」として議論される要素のうち、前節で採用しなかった要素について、その理由や本ガイドラインでの考え方を説明する。
・ 1.7 節では、本ガイドラインが「管理手段」として設定する 9 つの「内部品質」の観点(実装手段に依存し、計測や作り込みでの管理が可能な品質観点)を提示する。(本編 6 章・7 章)
・ 1.8 節では、本ガイドラインを作成するに当たって想定する開発プロセスの全体のイメージを提示する(本編 4 章・5 章)
・ 1.9 節では、外部の規範文書などとの関係を明らかにする。(本編 11 章)
・ 1.10 節では、本ガイドラインの残りの部分の構成を整理する。
・ 2 章では、本ガイドラインのスコープや既存規格類との関係について改めて整理する。
・ 3 章では、1.5 節で述べた外部品質特性について、レベル分けの決定を含む詳細について整理する。
・ 4 章では、1.8 節で概要を説明した開発プロセスについて、その参照モデルを示す。
・ 5 章では、本ガイドラインの具体的な運用・適用方法について述べる。
・ 6 章では、1.7 節で述べた内部品質特性をより詳細に整理する。
・ 7 章では、6 章の内部品質特性ごとに、その留意点や具体的な実現方法の可能性を整理する。
・ 8 章では、公平性の外部品質特性のマネジメントに特有の事柄について整理する。
・ 9 章では、外部品質特性としてのプライバシーのマネジメントについて整理する。
・ 10 章では、機械学習品質マネジメントにおけるセキュリティの考え方について整理する。
・ 11 章では、他のガイドラインなどとの関係性などの参考情報を示す。
・ 12 章では、本ガイドラインの検討委員会が 1.7 節(および 6 章)で掲げた内部品質を洗い出すまでの分析過程および考え方を、参考情報として示す。
外部品質として、プライバシー、AIセキュリティを位置付けているということを示す図となっていますね(AIセキュリティ以外は、ソフトウェアとしての一般的性質)。。。
1.5.4 プライバシー
AI に限らず実社会の情報システムの応用では、その実現の過程で一般に広く知らせてはいけない秘匿すべき情報を取り扱う場合がある。特に自然人のもつ様々な属性や志向などの個人情報の保護は、人の基本的な権利としてのプライバシー権の尊重として厳密に求められ、各国・地域において法律等で厳密にその取り扱いが規制されていることが多い。システムが取り扱う情報のうち、明示的な形で保存されている個人情報そのもの、例えば性別や人種、顔画像などは、システムの設計や運用の段階でその取り扱いを慎重に考えることが、直接的であるという意味では取り扱いの判断が容易である一方、例えば平均値などの統計処理された情報は、通常であれば個人を特定できないと想定される場合でも、情報が明らかになる状況(例えば入力値が 2 名であれば、その平均値からそれぞれの当人がもう 1 人の具体的な値を知ることができる)、つまり個人の特定を避けたにも関わらず再特定が可能になる状況があることを慎重に考えなければいけない場合が多い。
機械学習を利用したシステムにおいて、個人情報を訓練用データとして用いた機械学習モデルは、そのシステムの利用目的により、それぞれの当人の個人情報を含むものとして扱う場合(例えば、それぞれの当人を識別する認証システムとして使う場合)もあれば、含まないものとして扱いたいこと(例えば、当人とは別の人の年齢層を推定する目的の場合)もある。前者の場合であれば、機械学習モデルを従来の個人情報保護の仕組みで取り扱えば済むことも多い。しかし後者の場合、その機械学習モデルを公知のものとしてもプライバシー侵害に繋がる個人情報が想定外に漏洩しないかどうかは、従来の統計処理データと比べても技術的に不明な点が多く、実際に情報漏洩が起こるケースも指摘されている。このようなケースでは機械学習モデルを対象とした従来とは異なる個人情報漏洩対策が必要となる。
本特性ではこのような想定外の情報漏洩の場合を想定して、機械学習システムの構築を通じてプライバシーの保護を図るような対策を行う必要性を、「プライバシー」の品質観点として取り扱うことにした。この特性については、9 章で深く取り扱う。
なお、本節では特に公平性と並んで社会的要請の側面の強さに対応した語として「プライバシー」を用いたが、個人以外の企業の秘密情報(トレードシークレット)等の取り扱いについても、技術的には類似の観点から応用できる可能性があると考えられる。
1.5.5 AI セキュリティ
機械学習などの AI を用いたシステムは他の IT システム同様に、様々な悪意のある利用もされることが想定される。通常の自然な利用において上記の 4 つの外部品質が期待通りに達成される場合であっても、悪意のある人が環境や入力データに手を加えると、機械学習モデルの動作を意図的に変化させてこれらの外部品質の達成を妨げることができることがあることが、一般的に機械学習の持つ弱点として指摘されている。特に一般の利用者や市中環境での利用が想定されるシステムにおいては、このような入力データの改変を検知したり防いだりすることが難しく、機械学習システムにおいて特に対処を必要とすることがある。このようなケースに対応する外部品質として、「AI セキュリティ」を抽出する。
注意点として、本ガイドラインで導入する外部品質「AI セキュリティ」では、従来の IT セキュリティやシステムセキュリティの観点で対処できる、あるいは対処すべき攻撃は、対象としては扱わない。例えば、機械学習アルゴリズムを考慮した学習データの改竄(データポイズニング攻撃)は外部品質「AI セキュリティ」の対象とするが、学習データの改竄のために AI モデルの開発環境に侵入する攻撃は外部品質「AI セキュリティ」の対象外とする。また、画像データを改竄してバッファ・オーバーランなどのソフトウェアの誤動作を引き起こすような攻撃も、このガイドラインの外部品質「AI セキュリティ」の範疇外である。これらについては、従前通りのセキュリティマネジメントプロセスと、必要に応じて従来規格、例えば ISO/IEC 15408 [3] の評価保証レベル(EAL)などにより管理すればよい。
一方で、仕様通りに実装すればその通りに動いてくれると期待される従来型の IT ソフトウェアのセキュリティ対策と異なり、データから学習した機械学習モデルは、例え仕様の想定内のデータ(例えば、カメラ撮影後に改変されていない実環境の撮影画像データ)であっても、特定のデータで誤動作を起こすようなことがしばしば起こること、さらにそういったデータを意図的に作ることができることが指摘されている。また、オープンソース・ソフトウェアのように一般に公開されたデータや機械学習モデルをシステム構築に用いる場合に、検知が難しい悪意の改変をそれらの公開データに含めることができることも指摘されている。これらの問題に対しては、従来のソフトウェアセキュリティの事前検査などのアプローチが通用せず、機械学習システムの構築工程内で他の品質観点と同時並行的に対処せざるを得ない。
機械学習モデルの構築工程で対処する「AI セキュリティ」の品質観点については、10 章でそのリスクや事例、可能な対処などについて詳しく述べる。
10.2 機械学習利用システムに対する攻撃と被害
表 6:機械学習利用システムの各被害を引き起こす攻撃
10.3 機械学習特有の攻撃とその対策
表 7:機械学習特有の攻撃の実行フェーズ・攻撃者・攻撃手段の例
10.5 AI セキュリティの品質マネジメント
表 8:システム設計開発フェーズのセキュリティ対策の例
表 9:システム運用フェーズにおけるセキュリティ対策の例
参考文献
14 参考文献
14.1 国際規格
- ISO 13849-1:2015: Safety of machinery — Safety-related parts of control systems — Part 1: General principles for design.
- ISO/IEC/IEEE 15288:2015: Systems and software engineering — System life cycle processes.
- ISO/IEC 15408-1:2009: Information technology — Security techniques — Evaluation criteria for IT security — Part 1: Introduction and general model.
- ISO/IEC DIS 22989: Information technology — Artificial intelligence — Artificial intelligence concepts and terminology.
- ISO/IEC DTR 24027: Information technology — Artificial Intelligence (AI) — Bias in AI systems and AI aided decision making.
- ISO/IEC TR 24028:2020: Information technology — Artificial intelligence — Overview of trustworthiness in artificial intelligence.
- ISO/IEC 25010:2011: Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models.
- ISO/IEC 25012:2008: Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model.
- ISO 26262-1:2018: Road vehicles — Functional safety — Part 1: Vocabulary.
- ISO/IEC 27000:2018: Information technology — Security techniques — Information security management systems — Overview and vocabulary.
- ISO/IEC/IEEE 29119-4:2015: Software and systems engineering — Software testing — Part 4: Test techniques.
- IEC 61508-1:2010: Functional safety of electrical/electronic/programmable electronic safety-related systems - Part 1: General requirements.
- IEC 61508-3:2010: Functional safety of electrical/electronic/programmable electronic safety-related systems - Part 3: Software requirements.
- IEC 61508-4:2010: Functional safety of electrical/electronic/programmable electronic safety-related systems - Part 4: Definitions and abbreviations.
- IEC 62278:2002: Railway applications - Specification and demonstration of reliability, availability, maintainability and safety (RAMS).
- IEC TS 62443-1-1:2009: Industrial communication networks - Network and system security - Part 1-1: Terminology, concepts and models.
- IEC 62443-2-1:2010: Industrial communication networks - Network and system security - Part 2-1: Establishing an industrial automation and control system security program.
- IEC TS 62998-1:2019: Safety of machinery - Safety-related sensors used for the protection of persons.
- IEEE P7001 - IEEE Draft Standard for Transparency of Autonomous Systems.
- IEEE P7002 - IEEE Draft Standard for Data Privacy Process.
- IEEE P7003 - Algorithmic Bias Considerations. An active project.
14.2 国・国際機関の指針等
- 内閣府 統合イノベーション戦略推進会議. 人間中心の AI 社会原則. 2019 年 3 月. https://www8.cao.go.jp/cstp/aigensoku.pdf
- United Nations Educational, Scientific and Cultural Organization (UNESCO), Draft Text of the Recommendation on the Ethics of Artificial Intelligence, 41 C/73 Annex, November 2021.
- Organisation for Economic Co-operation and Development (OECD). OECD Principles on Artificial Intelligence. May 2019. https://www.oecd.org/going-digital/ai/principles/
- European Commission. Regulation of the European parliament and of the council laying down harmonized rules on artificial intelligence (Artificial Intelligence Act) and amending certain union legislative acts. April 2021. https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-downharmonised-rules-artificial-intelligence-artificial-intelligence
- European Commission. Regulation (EU) 2016/679 of The European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation).
- European Commission. Communication Artificial Intelligence for Europe. 2018. https://digital-strategy.ec.europa.eu/en/library/communication-artificial-intelligenceeurope.
- European Commission. The White Paper on Artificial Intelligence – A European approach to excellence and trust. February 2020. https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-europeanapproach-excellence-and-trust_en
- European Commission. High-Level Expert Group on Artificial Intelligence. 2018. https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai
- The High-Level Expert Group on Artificial Intelligence, European Commission. Ethics guidelines for trustworthy AI. April 2019. https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
- The High-Level Expert Group on Artificial Intelligence, European Commission. The Assessment List for Trustworthy Artificial Intelligence (ALTAI). July 2020. https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthyartificial-intelligence-altai-self-assessment
- 経済産業省. AI・データの利用に関する契約ガイドライン. 2018 年 6 月. https://www.meti.go.jp/press/2018/06/20180615001/20180615001-3.pdf
- 経済産業省 AI 社会実装アーキテクチャ検討会. 我が国の AI ガバナンスの在り方 0. 2021 年 1 月. https://www.meti.go.jp/press/2020/01/20210115003/20210115003-1.pdf
- The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems, First Edition. IEEE, 2019. https://standards.ieee.org/content/ieeestandards/en/industry-connections/ec/autonomous-systems.html
- 経済産業省. サイバー・フィジカル・セキュリティ対策フレームワーク 0. 2019 年 4 月. https://www.meti.go.jp/press/2019/04/20190418002/20190418002-2.pdf
14.3 公的規格・フォーラム標準等
- National Institute of Standards and Technology (United States of America). Draft NIST IR 8269: A Taxonomy and Terminology of Adversarial Machine Learning. October 2019. https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf
- National Institute of Standards and Technology (United States of America). NIST SP 800-30: Guide for Conducting Risk Assessments. September 2012. https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-30r1.pdf
- National Institute of Standards and Technology (United States of America). Cyber Security Framework Version 1.1. April 2018. https://doi.org/10.6028/NIST.CSWP.04162018
- Adversarial ML Threat Matrix. https://github.com/mitre/advmlthreatmatrix
- MITRE, Common Platform Enumerations. http://cpe.mitre.org/
- MITRE, Common Vulnerability Enumerations. https://cve.mitre.org/
- Payment Card Industry Security Standards Council. Payment Card Industry Data Security Standard (PCI DSS). https://www.pcisecuritystandards.org/.
- AI プロダクト品質保証コンソーシアム. AI プロダクト品質保証ガイドライン08 版. 2020 年 8 月. http://qa4ai.jp/download/.
- European Union Agency for Cybersecurity (ENISA). Artificial Intelligence Cybersecurity Challenges. December 2020. https://www.enisa.europa.eu/publications/artificial-intelligence-cybersecuritychallenges
- European Union Agency for Cybersecurity (ENISA). Securing Machine Learning Algorithms. December 2021. https://www.enisa.europa.eu/publications/securingmachine-learning-algorithms
- 中華人民共和国国家情報セキュリティ標準化技術委員会. Information security technology: Assessment specification for machine learning algorithms (draft). August 2021.
次は、こっちの方...
・2022.08.02 機械学習品質評価・向上技術に関する報告書 機械学習品質マネジメントガイドライン付属文書 第 2 版
目次
1 はじめに
1.1 本調査・研究開発の概要
1.2 著者リスト
1.3 謝辞
2 機械学習モデル情報の可視化
2.1 機械学習支援のための可視化手法についての調査
2.2 機械学習モデルと作業者情報の可視化手法の提案
2.3 今後の方針
3 データ拡張による品質向上
3.1 学習データ数と識別率の関係(予備実験)
3.2 識別率の平均値と標準偏差の評価
3.3 データ拡張手法の組み合わせの効果
3.4 まとめ
4 データ拡張の適用法の改良による品質改善
4.1 研究目的
4.2 データ拡張の適用層の改良
4.3 Mixup の改良による新しい混ぜ合わせ方法の提案
5 深層 NN ソフトウェアのデバッグ・テスティング
5.1 不具合の直接原因
5.2 内部指標
5.3 実験の方法と結果
5.4 関連研究
5.5 おわりに
6 訓練データのデバッグ・テスティング
6.1 3つの問題設定
6.2 訓練データのデバッグ問題
参考
● まるちゃんの情報セキュリティ気まぐれ日記
機械学習品質マネジメントガイドライン関係
・2021.07.06 産総研 「機械学習品質マネジメントガイドライン 第2版」を公開
・2020.07.01 産総研 「機械学習品質マネジメントガイドライン」を公開
AIリスクマネジメント・セキュリティ関連
・2022.08.24 NIST 意見募集 AIリスクマネジメントフレームワーク(第2ドラフト)とそのプレイブック
・2022.03.22 NIST 意見募集 AIリスクマネジメントフレームワーク(初期ドラフト)
↓ ENISAの他にもNIST IR 8269、中国の国家标准《信息安全技术 机器学习算法安全评估规范》
・2021.12.15 ENISA 機械学習アルゴリズムの保護
「機械学習品質マネジメントガイドライン 第3版」の
目次...
1. ガイドライン全体概要
1.1 目的と背景
1.2 本ガイドラインの使われ方
1.3 機械学習の品質管理に関する課題
1.3.1 環境分析の重要性
1.3.2 継続的なリスクアセスメント
1.3.3 データに依存した品質確保
1.4 品質管理の基本的な考え方
1.5 実現目標とする外部品質特性
1.5.1 リスク回避性
1.5.2 AIパフォーマンス(有用性)
1.5.3 公平性
1.5.4 プライバシー
1.5.5 AI セキュリティ
1.6 その他の「AI 品質」の観点についての取扱い
1.6.1 AI の説明性
1.6.2 倫理性などの社会的側面
1.6.3 外部環境の複雑性への対応限界
1.7 品質管理の対象とする内部品質特性
1.7.1 A-1: 問題領域分析の十分性
1.7.2 A-2: データ設計の十分性
1.7.3 B-1: データセットの被覆性
1.7.4 B-2: データセットの均一性
1.7.5 B-3: データの妥当性
1.7.6 C-1: 機械学習モデルの正確性
1.7.7 C-2: 機械学習モデルの安定性
1.7.8 D-1: プログラムの信頼性
1.7.9 E-1: 運用時品質の維持性
1.8 開発プロセスについての考え方
1.8.1 反復訓練による開発と品質管理ライフサイクルの関係
1.8.2 分業による開発と開発プロセスとの関係
1.9 他の文書・規範類との関係について
1.9.1 「人間中心の AI 社会原則」
1.9.2 人工知能技術に関する海外・国際機関の規範・ガイドライン類
1.10 本ガイドラインの構成
2. 基本的事項
2.1 ガイドラインのスコープ
2.1.1 対象とする製品・システム
2.1.2 品質マネジメントの対象
2.1.3 品質マネジメントの範囲
2.2 システムの品質に関する他の規格などとの関係
2.2.1 セキュリティ規格 ISO/IEC 15408
2.2.2 ソフトウェア品質モデル ISO/IEC 25000 シリーズ
2.3 用語の定義
2.3.1 機械学習システムの構成に関する用語
2.3.2 開発の当事者・ロールに関する用語
2.3.3 品質に関する用語
2.3.4 開発プロセスに関する用語
2.3.5 利用環境に関する用語
2.3.6 機械学習構築に用いるデータなどに関係する用語
2.3.7 その他の用語
3. 機械学習利用システムの外部品質特性レベルの設定
3.1 リスク回避性
3.2 AI パフォーマンス
3.3 公平性
3.4 プライバシー
3.5 AI セキュリティ
4. 機械学習利用システムの開発プロセス参照モデル
4.1 PoC 試行フェーズ
4.1.1 試験運用を含む PoC フェーズなどの取扱い
4.2 本格開発フェーズ
4.2.1 機械学習モデル構築フェーズ
4.2.2 システム構築・統合検査フェーズ
4.3 品質監視・運用フェーズ
5. 本ガイドラインの適用方法
5.1 基本的な適用プロセス
5.1.1 機械学習要素のシステム内での担当機能の特定
5.1.2 機械学習要素の外部品質達成要求レベルの特定
5.1.3 機械学習要素の内部品質の要求レベルの特定
5.1.4 機械学習要素の内部品質の実現
5.2 (参考)AI 開発の依頼
5.2.1 探索的アプローチへの対応
5.2.2 各工程における作業内容の明確化
5.2.3 作業分担の詳細分けにあたって留意すべき点
5.3 差分開発などにおける留意点
6. 品質保証のための要求事項
6.1 A-1: 問題領域分析の十分性
6.1.1 基本的な考え方
6.1.2 具体的な取扱い
6.1.3 品質レベルごとの要求事項
6.2 A-2: データ設計の十分性
...
6.3 B-1: データセットの被覆性
...
6.4 B-2: データセットの均一性
...
6.5 B-3: データの妥当性
...
6.6 C-1: 機械学習モデルの正確性
...
6.7 C-2: 機械学習モデルの安定性
...
6.8 D-1: プログラムの信頼性
...
6.9 E-1: 運用時品質の維持性
...
7. 品質管理のための具体的技術適用の考え方
7.1 A-1: 問題領域分析の十分性
7.1.1 全体的な取り組みの方向性について
7.1.2 入力側のリスク要因の推定
7.1.3 出力としてのデータの構造の推定
7.2 A-2: データ設計の十分性
7.2.1 基本的考え方
7.3 B-1: データセットの被覆性
7.3.1 データ取得段階における配慮
7.3.2 データ整理段階における追加的検査
7.3.3 テスト段階での追加的検査
7.4 B-2: データセットの均一性
7.5 B-3: データの妥当性
7.5.1 データの側から見た品質管理のサイクル
7.5.2 外れ値とコーナーケースの整理に関する技術的支援
7.6 C-1/C-2: 機械学習モデルの正確性・安定性
7.6.1 機械学習要素におけるソフトウェア・テスティング
7.6.2 安定性の評価と向上に関する諸技術
7.7 D-1: プログラムの信頼性
7.7.1 基本的な考え方
7.7.2 オープンソース・ソフトウェアの品質管理
7.7.3 構成管理とバグ情報の追跡
7.7.4 テスティングによる具体的な確認の可能性
7.7.5 ソフトウェア更新と性能・動作への悪影響の可能性
7.8 E-1: 運用時品質の維持性
7.8.1 モニタリング
7.8.2 コンセプトドリフト検知手法
7.8.3 再学習
7.8.4 追加の学習データ作成
8. 公平性に関する品質マネジメントについて
8.1 背景
8.1.1 社会的要請と社会原則
8.1.2 AI ガバナンス
8.2 本ガイドラインにおける「倫理性」と「公平性」
8.3 公平性の難しさ
8.3.1 要求の多様性
8.3.2 曖昧な社会的要請
8.3.3 社会に埋め込まれた不公平
8.3.4 隠れ相関と Proxy 変数
8.3.5 慎重な考慮を要する変数
8.3.6 利用中の AI に対する攻撃
8.4 公平性担保に対する基本的な考え方
8.4.1 公平性担保の構造モデル
8.4.2 公平性担保の基本的考え方
8.4.3 要配慮属性に関するデータの取扱いに関する留意点
8.5 公平性の品質マネジメント
8.5.1 公平性要求の詳細検討(事前準備作業)
8.5.2 公平性要求の実現
8.6 公平性に関する開発基盤・ツール
8.6.1 開発基盤・ツール活用の趣旨
8.6.2 開発基盤・ツールの事例
9. プライバシー
9.1 プライバシー保護
9.1.1 増大するプライバシー危機
9.1.2 データ主体の権利
9.1.3 保護加工データ
9.1.4 プライバシーメトリクス
9.1.5 データ保護影響評価
9.2 機械学習とパーソナルデータ保護
9.2.1 ライフサイクルと要保護情報
9.2.2 訓練データ推測の方法
9.2.3 品質観点の重なり
9.2.4 (補足)対策技術の動向
9.3 プライバシーの品質マネジメント
9.3.1 事前分析フェーズ
9.3.2 方式検討フェーズ
9.3.3 (補足)ニューラル言語モデル
9.3.4 プライバシー品質レベル
10. AI セキュリティ
10.1 概要
10.1.1 AI セキュリティの重要性
10.1.2 機械学習に特有の攻撃と対策の特徴
10.1.3 機械学習利用システムのリスクアセスメントとセキュリティ対策
10.1.4 関連文書
10.2 機械学習利用システムに対する攻撃と被害
10.2.1 攻撃の被害の分類
10.2.2 システムの誤動作
10.2.3 訓練済みモデルについての情報の漏洩
10.2.4 訓練用データに含まれるセンシティブ情報の漏洩
10.3 機械学習特有の攻撃とその対策
10.3.1 攻撃におけるモデルへのアクセス
10.3.2 データポイズニング攻撃とその対策
10.3.3 バリデーション用データ・テスト用データの改変
10.3.4 モデルポイズニング攻撃とその対策
10.3.5 回避攻撃とその対策
10.3.6 モデル抽出攻撃とその対策
10.3.7 訓練用データに関する情報漏洩攻撃とその対策
10.4 機械学習特有の攻撃の前段階とその対策
10.4.1 機械学習特有の攻撃に利用され得る情報
10.4.2 機械学習特有の攻撃の事前攻撃
10.5 AI セキュリティの品質マネジメント
10.5.1 セキュリティリスクアセスメント
10.5.2 システム設計開発フェーズにおけるセキュリティ対策
10.5.3 システム運用フェーズにおけるセキュリティ対策
10.5.4 機械学習に特有でない一般的なセキュリティ対策
10.6 (参考)セキュリティ対応の留意点
11. (参考)関連する文書類に関する情報
11.1 他のガイドライン類との相互関係
11.1.1 経済産業省の AI 契約ガイドライン
11.1.2 QA4AI ガイドラインとの関係
11.2 AI の品質に関する国際的取り組みとの関係
11.2.1 品質、安全性
11.2.2 透明性 (transparency)
11.2.3 公平性(バイアス)
11.2.4 その他の機械学習品質マネジメントの観点
12. (参考)分析に関する情報
12.1 リスク回避性に対する内部品質特性軸の分析
12.2 AI パフォーマンスに対する品質管理軸の分析
13. 図表
13.1 外部品質特性と内部品質特性の対応表
14. 参考文献
14.1 国際規格
14.2 国・国際機関の指針等
14.3 公的規格・フォーラム標準等
14.4 学術論文等
14.5 その他
15. 主な変更点
15.1 第 3 版(2022 年 7 月)
15.2 第 2 版(2021 年 7 月)
« 経済産業省 「サイバーセキュリティ経営に関する調査 調査報告書」「地域SECUNITY形成促進事業 調査報告書」 | Main | シンガポール サイバーセキュリティ庁 2021年シンガポールのサイバーセキュリティ状況 »
Comments