« 中国 NY証券取引所に2021.06.30に上場した配車サービス「滴滴出行」が個人情報の取扱が不適切としてアプリの提供を2021.07.04に禁止される | Main | 英国データ保護局 刑事司法制度における携帯電話のデータ抽出方法の改善について »

2021.07.06

産総研 「機械学習品質マネジメントガイドライン 第2版」を公開

こんにちは、丸山満彦です。

産総研が「機械学習品質マネジメントガイドライン 第2版」を公開していますね。。。

産業技術総合研究所

「機械学習品質マネジメントガイドライン」の公開

・[PDF] 機械学習品質マネジメントガイドライン 第2版

20210907-55659

第2版での主な変更点は、


  • 1.5.3 節の公平性の定義を、より詳細に検討し変更した。
  • 1.7節及び6章の内部品質特性をA~Dにカテゴリ分けし、A-1~E-1まで付番した。
  • 内部品質特性 B-3「データの妥当性」を、特性 C-1「機械学習モデルの正確性」から分離し、内容を拡充した。
  • 内部品質特性の一部を改名した。
  • 公平性に関する 8 章及びセキュリティに関する 9 章を追加した。

ということで、セキュリティに関する項目も追加されていますね。。。

全体像については、、、

20210907-61858

内部品質について5分野9特性ありますね。。。

20210907-63855 20210907-63920

20210907-62649

分野 特性 特性 E 概要
A: 品質構造・データセットの設計  A-1: 問題領域分析の十分性 sufficiency of problem domain analysis 機械学習利用システムの実世界での利用状況に対応して機械学習要素に入力されると想定される運用時の実データの性質について分析が行われ、その分析結果が想定される全ての利用状況を被覆していること
 A-2: データ設計の十分性 coverage of distinguished problem cases 問題領域分析の十分性を前提として、システムが対応すべき様々な状況に対して十分な訓練用データやテスト用データを収集し整理するためのデータ設計の十分な検討
B: データセットの品質  B-1: データセットの被覆性 coverage of dataset 「対応すべき状況の組み合わせ」の各々に対して、状況の抜け漏れがなく、十分な量のデータが与えられていること
 B-2: データセットの均一性 uniformity of datasets 想定する入力データ集合全体に対する「データセットの均一性」
 B-3: データの妥当性 Adequacy of data データセット中のデータ 1つ 1 つが訓練の目的に照らして妥当であること
C: 機械学習モデルの品質  C-1: 機械学習モデルの正確性 correctness of the trained model 一定の品質を担保されたデータセット(訓練用データセット、テスト用データセット、バリデーション用データセットからなる)に含まれる具体的な入力データに対して、機械学習要素が期待通りの反応を示すこと
 C-2: 機械学習モデルの安定性 stability of the training model 学習データセットに含まれない入力データに対して、機械学習要素が期待する反応を示すこと
D: ソフトウェア実装の品質  D-1: プログラムの信頼性 reliability of underlying software system 機械学習の訓練段階に用いる訓練用プログラムや、実行時に使われる予測・推論プログラムが、与えられたデータや訓練済み機械学習モデルなどに対してソフトウェアプログラムとして正しく動作すること
E: 運用時の品質  E-1: 運用時品質の維持性 maintainability of quality during operation 運用開始時点で充足されていた内部品質が、運用期間中を通じて維持されること

 

セキュリティに関しては、

・攻撃の分類

A) 訓練済み学習モデルの誤動作の誘発
B) 訓練済み学習モデルについての情報の窃取
C) 訓練データに含まれるセンシティブ情報の窃取
D) 訓練済み学習モデルやシステムの解釈/説明機能の誤動作の誘発

 

脅威の分類になるんでしょうかね。。。

一般的な情報セキュリティの攻撃 データの収集プロセスに対する攻撃
ハイパーパラメータ窃取・データ窃取
機械学習フレームワークに対する攻撃
テスト用データの改竄
モデル窃取
モデル改竄・解釈/説明機能の改竄
機械学習アルゴリズムに対する攻撃 データポイズニング攻撃
モデルポイズニング攻撃
回避攻撃
モデル抽出攻撃
メンバシップ推測攻撃
モデルインバージョン攻撃
性質推測攻撃
解釈/説明機能を誤動作させる攻撃

 

機械学習アルゴリズムに対する攻撃

データポイズニング攻撃 data poisoning attack データポイズニング攻撃は、学習に用いる訓練用データに意図的な改変を加えることにより、完全性(integrity)を低下させる攻撃
モデルポイズニング攻撃 model poisoning attack 差分開発・転移学習などで既存の事前訓練済みモデルを学習に利用する場合には、事前訓練済みモデルの中にあらかじめバックドアを仕込んでおくことで、構築した訓練済みモデルに対して不正な動作などを埋め込めることがある。
回避攻撃 evasion attack 運用時に機械学習利用システムに特定の改変した入力(敵対的データ、adversarial example)を与えることで、機械学習要素に想定外の誤動作を生じさせる攻撃
モデル抽出攻撃 model extraction attack 運用時に、入力データに対する出力の振る舞いを観察することで、訓練済みモデルと同様
の動作をするモデルを抽出し窃取できる場合もある 
メンバシップ推測攻撃 membership inference attack 訓練済みモデルに正常な入力データを与え、モデルの出力を観測することにより、入力データがモデルの学習に用いられた訓練データセットに含まれているか否か(メンバシップ情報)を特定する攻撃
モデルインバージョン攻撃 model inversion 訓練済みモデルからの出力情報から学習データを復元する攻撃
性質推測攻撃 property inference attack 訓練データセットが満たす統計的な性質を推測する攻撃
解釈/説明機能を誤動作させる攻撃   解釈/説明可能性を実現する技術は、多くの場合ブラックボックスであり、敵対的データによって誤動作を生じることがある

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2020.07.01 産総研 「機械学習品質マネジメントガイドライン」を公開

 

 

目次です。  長い。。。


1.
ガイドライン全体概要
1.1
目的と背景
1.2
本ガイドラインの使われ方
1.3
機械学習の品質管理に関する課題
1.3.1
環境分析の重要性
1.3.2 継続的なリスクアセスメント
1.3.3 データに依存した品質確保

1.4
品質管理の基本的な考え方
1.5
実現目標とする外部品質特性
1.5.1
リスク回避性
1.5.2 AIパフォーマンス(有用性)
1.5.3 公平性

1.6
その他の「AI 品質」の観点についての取扱い
1.6.1 AI
の説明性
1.6.2 セキュリティ・プライバシー
1.6.3 倫理性などの社会的側面
1.6.4 外部環境の複雑性への対応限界

1.7
品質管理の対象とする内部品質特性
1.7.1 A-1:
問題領域分析の十分性
1.7.2 A-2: 問題に対する被覆性
1.7.3 B-1: データセットの被覆性
1.7.4 B-2: データセットの均一性
1.7.5 B-3: データの妥当性
1.7.6 C-1: 機械学習モデルの正確性
1.7.7 C-2: 機械学習モデルの安定性
1.7.8 D-1: プログラムの信頼性
1.7.9 E-1: 運用時品質の維持性

1.8
開発プロセスについての考え方
1.8.1
反復訓練による開発と品質管理ライフサイクルの関係
1.8.2 分業による開発と開発プロセスとの関係

1.9
他の文書・規範類との関係について
1.9.1
「人間中心の AI 社会原則」
1.9.2 人工知能技術に関する海外・国際機関の規範・ガイドライン類

1.10
本ガイドラインの構成

2. 基本的事項
2.1
ガイドラインのスコープ
2.1.1
対象とする製品・システム
2.1.2 品質マネジメントの対象
2.1.3 品質マネジメントの範囲

2.2
システムの品質に関する他の規格などとの関係
2.2.1
セキュリティ規格 ISO/IEC 15408
2.2.2 ソフトウェア品質モデル ISO/IEC 25000 シリーズ

2.3
用語の定義
2.3.1
機械学習システムの構成に関する用語
2.3.2 開発の当事者・ロールに関する用語
2.3.3 品質に関する用語
2.3.4 開発プロセスに関する用語
2.3.5 利用環境に関する用語
2.3.6 機械学習構築に用いるデータなどに関係する用語
2.3.7 その他の用語

3. 機械学習利用システムの外部品質特性レベルの設定
3.1
リスク回避性
3.2 AI
パフォーマンス
3.3
公平性

4. 機械学習利用システムの開発プロセス参照モデル
4.1 PoC
試行フェーズ
4.1.1
試験運用を含む PoC フェーズなどの取扱い
4.2
本格開発フェーズ
4.2.1
機械学習モデル構築フェーズ
4.2.2 システム構築・統合検査フェーズ

4.3
品質監視・運用フェーズ

5. 本ガイドラインの適用方法
5.1
基本的な適用プロセス
5.1.1
機械学習要素のシステム内での担当機能の特定
5.1.2 機械学習要素の外部品質達成要求レベルの特定
5.1.3 機械学習要素の内部品質の要求レベルの特定
5.1.4 機械学習要素の内部品質の実現

5.2
(参考)AI 開発の依頼
5.2.1
探索的アプローチへの対応
5.2.2 各工程における作業内容の明確化
5.2.3 作業分担の詳細分けにあたって留意すべき点

5.3
差分開発などにおける留意点

6. 品質保証のための要求事項
6.1 A-1:
問題領域分析の十分性
6.1.1
基本的な考え方
6.1.2 具体的な取扱い
6.1.3 品質レベル毎の要求事項

6.2 A-2:
データ設計の十分性
6.2.1
基本的な考え方
6.2.2 具体的な取扱い
6.2.3 品質レベル毎の要求事項

6.3 B-1:
データセットの被覆性
6.3.1
基本的な考え方
6.3.2 具体的な取扱い
6.3.3 品質レベル毎の要求事項

6.4 B-2:
データセットの均一性
6.4.1
基本的な考え方
6.4.2 具体的な取扱い
6.4.3 品質レベル毎の要求事項

6.5 B-3:
データの妥当性
6.5.1
基本的な考え方
6.5.2 具体的な取扱い
6.5.3 品質レベルごとの要求事項

6.6 C-1:
機械学習モデルの正確性
6.6.1
基本的な考え方
6.6.2 具体的な取扱い
6.6.3 品質レベル毎の要求事項

6.7 C-2:
機械学習モデルの安定性
6.7.1
基本的な考え方
6.7.2 具体的な取扱い
6.7.3 品質レベル毎の要求事項

6.8 D-1:
プログラムの信頼性
6.8.1
基本的な考え方
6.8.2 具体的な取扱い
6.8.3 品質レベル毎の要求事項

6.9 E-1:
運用時品質の維持性
6.9.1
基本的な考え方
6.9.2 具体的な取扱い
6.9.3 品質レベル毎の要求事項

7. 品質管理のための具体的技術適用の考え方
7.1 A-1:
問題領域分析の十分性
7.1.1
全体的な取り組みの方向性について
7.1.2 入力側のリスク要因の推定
7.1.3 出力としてのデータの構造の推定

7.2 A-2:
データ設計の十分性
7.2.1
基本的考え方
7.3 B-1:
データセットの被覆性
7.3.1
データ取得段階における配慮
7.3.2 データ整理段階における追加的検査
7.3.3 テスト段階での追加的検査

7.4 B-2:
データセットの均一性
7.5 B-3:
データの妥当性
7.5.1
データの側から見た品質管理のサイクル
7.5.2 外れ値とコーナーケースの整理に関する技術的支援

7.6 C-1/C-2:
機械学習モデルの正確性・安定性
7.6.1
機械学習要素におけるソフトウェア・テスティング
7.6.2 安定性の評価と向上に関する諸技術

7.7 D-1:
プログラムの信頼性
7.7.1
基本的な考え方
7.7.2 オープンソース・ソフトウェアの品質管理
7.7.3 構成管理とバグ情報の追跡
7.7.4 テスティングによる具体的な確認の可能性
7.7.5 ソフトウェア更新と性能・動作への悪影響の可能性

7.8 E-1:
運用時品質の維持性
7.8.1
モニタリング
7.8.2 コンセプトドリフト検知手法
7.8.3 再学習
7.8.4 追加の学習データ作成

8. 公平性に関する品質マネジメントについて
8.1
背景
8.1.1
社会的要請と社会原則
8.1.2 AI ガバナンス

8.2
本ガイドラインにおける「倫理性」と「公平性」
8.3
公平性の難しさ
8.3.1
要求の多様性
8.3.2 曖昧な社会的要請
8.3.3 社会に埋め込まれた不公平性
8.3.4 隠れ相関と Proxy 変数
8.3.5 不公平性と「区別すべき」変数
8.3.6 公平な AI に対する回避攻撃

8.4
公平性担保に対する基本的な考え方
8.4.1
公平性担保の構造モデル
8.4.2 公平性担保の方向性
8.4.3 要配慮属性に関するデータの取扱いに関する留意点

8.5
公平性の品質マネジメント
8.5.1
公平性要求の詳細化・言語化(事前準備)
8.5.2 公平性要求の実現

8.6
公平性に関する開発基盤・ツール
8.6.1
開発基盤・ツール活用の趣旨
8.6.2 開発基盤・ツールの事例

9. セキュリティに関する留意事項
9.1
全体の考え方
9.2
機械学習利用システムに対するセキュリティ攻撃の分析
9.2.1
攻撃の対象による分類
9.2.2 具体的な攻撃手段例

9.3
セキュリティに対する対策の考え方
9.3.1
システム全体での緩和策
9.3.2 構築プロセスでの緩和策
9.3.3 一般的な情報セキュリティ対策
9.3.4 機械学習要素に特有な攻撃への対策

9.4
(参考)セキュリティチェックリスト

10. (参考)関連する文書類に関する情報
10.1
他のガイドライン類との相互関係
10.1.1
経済産業省の AI 契約ガイドライン
10.1.2 QA4AI ガイドラインとの関係

10.2 AI
の品質に関する国際的取り組みとの関係
10.2.1
品質、安全性
10.2.2 透明性 (transparency)
10.2.3 公平性(バイアス)
10.2.4 その他の機械学習品質マネジメントの観点

11. (参考)分析に関する情報
11.1
リスク回避性に対する内部品質特性軸の分析
11.2 AI
パフォーマンスに対する品質管理軸の分析

12. 図表
12.1
外部品質特性と内部品質特性の対応表

13. 参考文献
13.1
国際規格
13.2
国・国際機関の指針等
13.3
公的規格・フォーラム標準等
13.4
学術論文等
13.5
その他

14. 主な変更点
14.1
2 版(2021 3 月)


|

« 中国 NY証券取引所に2021.06.30に上場した配車サービス「滴滴出行」が個人情報の取扱が不適切としてアプリの提供を2021.07.04に禁止される | Main | 英国データ保護局 刑事司法制度における携帯電話のデータ抽出方法の改善について »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



« 中国 NY証券取引所に2021.06.30に上場した配車サービス「滴滴出行」が個人情報の取扱が不適切としてアプリの提供を2021.07.04に禁止される | Main | 英国データ保護局 刑事司法制度における携帯電話のデータ抽出方法の改善について »