産総研 「機械学習品質マネジメントガイドライン」を公開
こんにちは、丸山満彦です。
産総研が「機械学習品質マネジメントガイドライン」を公開していますね。。。
・2021.06.30 機械学習品質マネジメントガイドラインを公開
ポイントは、
- 機械学習AIシステムの
- 品質管理方法をガイドラインとして公開
- 品質要件を開発者が客観的に評価できる枠組みを構築
↓
- 国際標準化を目指す
ということのようです。
システムの品質に関連する規格との関係では
システムの品質に関する他の規格などとの関係
本節では、主に情報システムの品質に関する既存の国際規格との関係を整理する。社会性などの上位概念に相当する指針などとの関係については 1.9 節も参考にされたい。
本ガイドラインは、機械学習の様々な応用に対してその品質管理の方法を提示するものであるが、特に安全性を要求されるシステムについては、従来の機能安全性規格の一部（IEC 61508 における第 3・第 4 分冊など）を補完・拡張する位置づけとする。
- 機能安全が強く要求されるシステムについては、機能安全規格 IEC 61508-1 または相当する規格を優先して適用する。
- その上で、そのシステム中の機械学習要素について、要求される安全性レベルを担保するために、機械学習固有の安全性確保の課題や手法について整理し、従来のソフトウェアと比較して IEC 61508-3 などの手法を補完・部分的に置換する方法論を提案する。
※ 2021.07現在は2021.03.02に訂正が入った版が公開されています。
英語版もでていますね。。。
・[PDF] Machine Learning Quality Management Guideline – 1st English Edition
目次
1 ガイドライン全体概要
1.1 目的と背景
1.2 本ガイドラインの使われ方
1.3 機械学習の品質管理に関する課題
1.3.1 環境分析の重要性
1.3.2 継続的なリスクアセスメント
1.3.3 データに依存した品質確保
1.4 品質管理の基本的な考え方
1.5 実現目標とする外部品質特性
1.5.1 リスク回避性
1.5.2 ＡＩパフォーマンス（有用性）
1.5.3 公平性
1.6 その他の「AI 品質」の観点についての取扱い
1.6.1 セキュリティ・プライバシー
1.6.2 耐攻撃性
1.6.3 倫理性などの社会的側面
1.6.4 外部環境の複雑性への対応限界
1.7 品質管理の対象とする内部品質特性
1.7.1 要求分析の十分性
1.7.2 データ設計の十分性
1.7.3 データセットの被覆性
1.7.4 データセットの均一性
1.7.5 機械学習モデルの正確性
1.7.6 機械学習モデルの安定性
1.7.7 プログラムの健全性
1.7.8 運用時品質の維持性
1.8 開発プロセスについての考え方
1.8.1 反復訓練による開発と品質管理ライフサイクルの関係
1.8.2 分業による開発と開発プロセスとの関係
1.9 他の文書・規範類との関係について
1.9.1 「人間中心の AI 社会原則」
1.9.2 人工知能技術に関する海外・国際機関の規範・ガイドライン類
1.10 本ガイドラインの構成
2 基本的事項
2.1 ガイドラインのスコープ
2.1.1 対象とする製品・システム
2.1.2 品質マネジメントの対象
2.1.3 品質マネジメントの範囲
2.2 システムの品質に関する他の規格等との関係
2.2.1 セキュリティ規格 ISO/IEC 15408
2.2.2ソフトウェア品質モデル ISO/IEC 25000 シリーズ
2.3 用語の定義
2.3.1 機械学習システムの構成に関する用語
2.3.2 開発の当事者・ロールに関する用語
2.3.3 品質に関する用語
2.3.4 開発プロセスに関する用語
2.3.5 利用環境に関する用語
2.3.6 機械学習構築に用いるデータ等に関係する用語
2.3.7 その他の用語
3 機械学習利用システムの外部品質特性レベルの設定
3.1 リスク回避性
3.2 AI パフォーマンス
3.3 公平性
4 機械学習利用システムの開発プロセス参照モデル
4.1 PoC 試行フェーズ
4.1.1 試験運用を含む PoC フェーズ等の取扱い
4.2 本格開発フェーズ
4.2.1 機械学習モデル構築フェーズ
4.2.2 システム構築・統合検査フェーズ
4.3 品質監視・運用フェーズ
5 本ガイドラインの適用方法
5.1 基本的な適用プロセス
5.1.1 機械学習要素のシステム内での担当機能の特定
5.1.2 機械学習要素の外部品質達成要求レベルの特定
5.1.3 機械学習要素の内部品質の要求レベルの特定
5.1.4 機械学習要素の内部品質の実現
5.2 （参考）AI 開発の依頼
5.2.1 探索的アプローチへの対応
5.2.2 各工程における作業内容の明確化
5.2.3 作業分担の詳細分けにあたって留意すべき点
5.3 差分開発等における留意点
6 品質保証のための要求事項
6.1 要求分析の十分性
6.1.1 基本的な考え方
6.1.2 具体的な取扱い
6.1.3 品質レベル毎の要求事項
6.2 データ設計の十分性
6.2.1 基本的な考え方
6.2.2 具体的な取扱い
6.2.3 品質レベル毎の要求事項
6.3 データセットの被覆性
6.3.1 基本的な考え方
6.3.2 具体的な取扱い
6.3.3 品質レベル毎の要求事項
6.4 データセットの均一性
6.4.1 基本的な考え方
6.4.2 具体的な取扱い
6.4.3 品質レベル毎の要求事項
6.5 機械学習モデルの正確性
6.5.1 基本的な考え方
6.5.2 具体的な取扱い
6.5.3 品質レベル毎の要求事項
6.6 機械学習モデルの安定性
6.6.1 基本的な考え方
6.6.2 具体的な取扱い
6.6.3 品質レベル毎の要求事項
6.7 プログラムの健全性
6.7.1 基本的な考え方
6.7.2 具体的な取扱い
6.7.3 品質レベル毎の要求事項
6.8 運用時品質の維持性
6.8.1 基本的な考え方
6.8.2 具体的な取扱い
6.8.3 品質レベル毎の要求事項
7 品質管理のための具体的技術適用の考え方
7.1 要求分析の十分性
7.1.1 全体的な取り組みの方向性について
7.1.2 入力側のリスク要因の推定
7.1.3 出力としてのデータの構造の推定
7.2 データ設計の十分性
7.2.1 基本的考え方
7.3 データセットの被覆性
7.3.1 データ取得段階における配慮
7.3.2 データ整理段階における追加的検査
7.3.3 テスト段階での追加的検査
7.4 データセットの均一性
7.5 機械学習モデルの正確性・安定性
7.5.1 機械学習要素におけるソフトウェア・テスティング
7.5.2 安定性の評価と向上に関する諸技術
7.6 （欠番）
7.7 プログラムの健全性
7.7.1 基本的な考え方
7.7.2 オープンソースソフトウェアの品質管理
7.7.3 構成管理とバグ情報の追跡
7.7.4 テスティングによる具体的な確認の可能性
7.7.5 ソフトウェア更新と性能・動作への悪影響の可能性
7.7.6 参考文献
7.8 運用時品質の維持性
7.8.1 モニタリング
7.8.2 コンセプトドリフト検知手法
7.8.3 再学習
7.8.4 追加の学習データ作成
8 （参考）関連する文書類に関する情報
8.1 他のガイドライン類との相互関係
8.1.1 経済産業省の AI 契約ガイドライン
8.1.2 QA4AI ガイドラインとの関係
8.2 AI の品質に関する国際的取り組みとの関係
8.2.1 品質、安全性
8.2.2 透明性 (transparence)
8.2.3 公平性（バイアス）
8.2.4 その他の倫理的品質
9 （参考）分析に関する情報
9.1 リスク回避性及び AI パフォーマンスに対する内部品質特性軸の分析
9.2 AI パフォーマンスに対する品質管理軸の分析
9.3 公平性に対する品質管理軸の検討
10 図表
10.1 外部品質特性と内部品質特性の対応表
Comments