NIST ホワイトペーパー 【プロジェクト概要】コンテキストにおけるAI/MLバイアスの緩和

こんにちは、丸山満彦です。

NISTが、「ホワイトペーパー プロジェクト概要 コンテキストにおけるAI/MLバイアスの緩和 」を公表していますね。。。

まずは、金融の信用取引に焦点を当てるようですね。。。その後、採用や入学、、、にも拡張予定という感じですね。。。

さて、ホワイトペーパーでは、シナリオが4つ示されています。。。

1. バイアスの検出と緩和のための前処理データセット解析
2. 統計的バイアスの特定と緩和のためのインプロセス・モデルトレーニング分析
3. 統計的バイアスの特定と緩和のためのポストプロセス・モデル推論分析
4. 認知バイアスの特定と緩和のためのHITL (Human-in-the-Loop) 決定フロー

● NIST - ITL

・2022.11.08 Mitigating AI/ML Bias in Context: Final Project Description Released

Mitigating AI/ML Bias in Context: Final Project Description Released	コンテキストにおけるAI/MLバイアスの緩和 ：最終プロジェクト概要を公開
The National Cybersecurity Center of Excellence (NCCoE) has released a new final project description, Mitigating AI/ML Bias in Context: Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems. Publication of this project description continues the process to identify project requirements and scope, along with hardware and software components for use in a laboratory environment.	国立サイバーセキュリティセンター・オブ・エクセレンス（NCCoE）は、新しい最終プロジェクト説明書「AI/MLバイアスを軽減するコンテクスト」を発表した。AIシステムのテスト、評価、検証、および妥当性確認のための実践を確立する。このプロジェクト説明書の発行は、プロジェクトの要件と範囲、および実験室環境で使用するハードウェアとソフトウェアのコンポーネントを特定するプロセスを継続するものである。
Managing bias in an AI system is critical to establishing and maintaining trust in its operation. To tackle this complex problem, this project will adopt a comprehensive socio-technical approach to testing, evaluation, verification, and validation (TEVV) of AI systems in context. This approach will connect the technology to societal values in order to develop recommended guidance for deploying AI/ML decision-making applications. This project will also look at the interplay between bias and cybersecurity.	AIシステムのバイアスを管理することは、その運用に対する信頼を確立し維持するために非常に重要である。この複雑な問題に取り組むため、本プロジェクトでは、AIシステムのテスト、評価、検証、妥当性確認（TEVV）に対して、包括的な社会技術的アプローチを採用する予定である。このアプローチは、AI/ML意思決定アプリケーションを展開するための推奨ガイダンスを開発するために、技術を社会的価値と結びつけるものである。また、このプロジェクトでは、バイアスとサイバーセキュリティの相互作用についても検討する予定である。
The initial phase of the project will focus on a proof-of-concept implementation for credit underwriting decisions in the financial services sector. This project will result in a freely available NIST AI/ML Practice Guide.	プロジェクトの初期段階では、金融サービス分野における信用引受の意思決定に関する概念実証の実装に焦点を当てる。このプロジェクトは、自由に利用できるNIST AI/ML実践ガイドに結実する予定である。
In the coming months, the NCCoE AI Bias team will be publishing a Federal Register Notice (FRN) based on the final project description. If you are interested in participating in this project with us as a collaborator, you will have the opportunity to complete a Letter of Interest (LOI) where you can present your capabilities. Completed LOIs are considered on a first-come, first-served basis within each category of components or characteristics listed in the FRN, up to the number of participants in each category necessary to carry out the project build. Please stay tuned for more information.	今後数ヶ月の間に、NCCoE AI バイアスチームは、最終的なプロジェクトの説明に基づいて、連邦官報公告（FRN）を発行する予定である。このプロジェクトに共同研究者として参加することに興味がある場合、あなたの能力を提示できるLOI（Letter of Interest）を完成させる機会がある。完成したLOIは、FRNに記載されたコンポーネントや特性の各カテゴリー内で、プロジェクト構築の遂行に必要な各カテゴリーの参加者数を上限として、先着順で検討される。詳細については、後日。

・2022.11.08 White Paper [Project Description] Mitigating AI/ML Bias in Context: Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems

White Paper [Project Description] Mitigating AI/ML Bias in Context: Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems	ホワイトペーパー 【プロジェクト概要】AI/MLバイアスを軽減するコンテクスト：AIシステムのテスト、評価、検証、妥当性確認のための実践の確立
Abstract	概要
Managing bias in an AI system is critical to establishing and maintaining trust in its operation. Despite its importance, bias in AI systems remains endemic across many application domains and can lead to harmful impacts regardless of intent. Bias is also context-dependent. To tackle this complex problem, we adopt a socio-technical approach to testing, evaluation, verification, and validation (TEVV) of AI systems in context. This approach connects the technology to societal values in order to develop recommended guidance for deploying AI/ML-based decision-making applications in a sector of the industry. This project will also look at the interplay between bias and cybersecurity. The project will leverage existing commercial and open-source technology in conjunction with the NIST Dioptra, an experimentation test platform for ML datasets and models. The initial phase of the project will focus on a proof-of-concept implementation for credit underwriting decisions in the financial services sector. This project will result in a freely available NIST AI/ML Practice Guide.	AIシステムにおけるバイアスを管理することは、その運用に対する信頼を確立し維持するために非常に重要である。その重要性にもかかわらず、AIシステムにおけるバイアスは多くのアプリケーション領域で常在し、意図に関係なく有害な影響をもたらす可能性がある。また、バイアスはコンテキストに依存する。この複雑な問題に取り組むため、我々は、コンテキストにおけるAIシステムのテスト、評価、検証、および妥当性確認（TEVV）に対する社会技術的アプローチを採用する。このアプローチは、AI/MLベースの意思決定アプリケーションを産業の一分野に展開するための推奨ガイダンスを開発するために、技術を社会的価値と結びつける。このプロジェクトでは、バイアスとサイバーセキュリティの相互作用についても検討する。このプロジェクトは、MLデータセットとモデルの実験テストプラットフォームであるNIST Dioptraと連携して、既存の商用およびオープンソースの技術を活用する。プロジェクトの初期段階では、金融サービス分野における信用引受判断のための概念実証の実装に焦点を当てます。 このプロジェクトは、自由に利用できるNIST AI/ML実践ガイドに結実する予定である。

・[PDF] 

 目次...

1 Executive Summary	1 エグゼクティブサマリー
Purpose	目的
Scope	対象範囲
Assumptions/Challenges	前提条件/課題
Background	背景
2 Scenarios	2 シナリオ
Scenario 1: Pre-process dataset analysis for detecting and managing bias	シナリオ1：バイアスの検出と緩和のための前処理データセット解析
Scenario 2: In-process model training analysis for identifying and managing statistical bias	シナリオ2：統計的バイアスの特定と緩和のためのインプロセス・モデルトレーニング分析
Scenario 3: Post-process model inference analysis for identifying and managing statistical bias	シナリオ3：統計的バイアスの特定と緩和のためのポストプロセス・モデル推論分析
Scenario 4: Human-in-the-loop (HITL) decision flow for identifying and managing cognitive bias	シナリオ4：認知バイアスの特定と緩和のためのHITL (Human-in-the-Loop) 決定フロー
3 High-Level Architecture	3 ハイレベルアーキテクチャ
Desired Requirements	望ましい要件
4 Relevant Standards and Guidance	4 関連する規格及びガイダンス
Appendix A References	附属書A 参考文献
Appendix B Acronyms and Abbreviations	附属書B 頭字語および略語

エグゼクティブサマリー...

Purpose	目的
Automated decision-making is appealing because artificial intelligence (AI)/machine learning (ML) systems are believed to produce more consistent, traceable, and repeatable decisions compared to humans; however, these systems come with risks that can result in discriminatory outcomes. For example, harmful biases that manifest in AI/ML-based decision systems in credit underwriting can lead to unfair results, causing impacts such as discrimination to individual applicants and potentially rippling throughout society, leading to distrust of AI-based technology and institutions that rely on it. AI/ML-based credit underwriting applications and the models and datasets that underlie them raise concerns about transparency and the identification and mitigation of bias in enterprises that seek to use ML in their credit underwriting pipeline. Yet ML models tend to exhibit “unexpectedly poor behavior when deployed in real world domains” without domain-specific constraints supplied by human operators, as discussed in NIST Special Publication (SP) 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence [1]. Similar problems exist in other contexts, such as hiring and school admissions.	人工知能（AI）／機械学習（ML）システムは、人間と比較してより一貫性があり、追跡可能で、再現性のある決定を下すと考えられているため、自動化された意思決定は魅力的であるが、これらのシステムには差別的結果をもたらしうるリスクが伴う。例えば、信用調査におけるAI/MLベースの判断システムに現れる有害なバイアスは、不公平な結果をもたらし、個々の申請者に差別などの影響を与え、社会全体に波及し、AIベースの技術やそれに依存する機関への不信につながる可能性がある。AI/MLベースの信用引受アプリケーションとその基盤となるモデルやデータセットは、信用引受パイプラインにMLを使用しようとする企業において、透明性とバイアスの特定および緩和に関する懸念を引き起こする。しかし、MLモデルは、NIST 特別報告書 (SP) 1270, 人工知能におけるバイアスの特定と管理のための標準化に向けて [1] で議論されているように、人間のオペレータによって与えられるドメイン固有の制約なしに「現実世界のドメインに展開されると予想外に悪い動作」を示す傾向にある。同様の問題は、採用や入学試験など、他の文脈でも存在する。
The heavy reliance on proxies can also be a significant source of bias in AI/ML applications. For example, in credit underwriting an AI system might be developed using input variables such as “length of time in prior employment,” which might disadvantage candidates who are unable to find stable transportation, as a measurable proxy in lieu of the not directly measurable concept of “employment suitability.” The algorithm might also include a predictor variable such as residence zip code, which may relate to other socio-economic factors, indirectly inferring protected attributes, and potentially resulting in the erroneous ranking of certain societal groups lower for receiving credit. This in turn would cause AI/ML systems to contribute to biased outcomes. For further information about how the use of proxies may lead to negative consequences in other contexts, see NIST SP 1270 [1].	また、プロキシへの依存度が高いことも、AI/MLアプリケーションにおけるバイアスの重大な原因となり得る。例えば、信用調査において、「雇用の適性」という直接測定できない概念の代わりに、「前職の期間」のような測定可能な代理変数を使ってAIシステムを開発し、安定した交通手段を見つけられない候補者に不利になる可能性がある。また、アルゴリズムは、居住地の郵便番号などの予測変数を含むかもない。これは、他の社会経済的な要因に関連し、保護された属性を間接的に推測し、特定の社会集団が信用を得るために誤って低くランク付けする結果になる可能性がある。これは、AI/MLシステムが偏った結果をもたらす原因となる。プロキシの使用が他の文脈でどのように否定的な結果をもたらすかについての更なる情報は、NIST SP 1270 [1]を参照すること。
Bias in AI systems is endemic across many application domains and can lead to harmful impacts regardless of intent. The purpose of this project is to develop domain-specific testing, evaluation, verification, and validation (TEVV) guidance for detecting bias; recommendations for managing and mitigating bias; and recommended practices for human decision makers that interact with AI-based decision systems in the specific context of consumer and small business credit underwriting. These practices can help promote fairer outcomes for those that may currently be negatively impacted by AI-based decision systems—see [1], [2]. In addition, the project aims to study the interactions between bias and cybersecurity, with the goal of identifying approaches which might mitigate risks that exist across these two critical disciplines.	AIシステムにおけるバイアスは、多くのアプリケーション領域で常態化しており、意図に関係なく有害な影響をもたらす可能性がある。このプロジェクトの目的は、バイアスを検出するためのドメイン固有のテスト、評価、検証、およびバリデーション（TEVV）ガイダンス、バイアスを管理および軽減するための推奨事項、ならびに消費者および中小企業の信用査定という特定のコンテキストでAIベースの意思決定システムと対話する人間の意思決定者に対する推奨事項を開発することである。これらの実践は、現在AIベースの意思決定システムから悪影響を受ける可能性のある人々にとって、より公平な結果を促進するのに役立つ。さらに、このプロジェクトは、バイアスとサイバーセキュリティの相互作用を研究し、この2つの重要な分野に存在するリスクを軽減するアプローチを特定することを目的としている。
This project will focus on operational, real-world AI-based decision systems, bias-detection, and bias-mitigation tools. The recommended solution architecture and practices may utilize proprietary vendor products as well as commercially viable open-source solutions. Additionally, the use and application of the NIST Dioptra test platform for testing bias will be investigated with the potential for new extensions providing new insights into the properties of an AI system. The project will include practice descriptions in the form of papers, playbook generation, and implementation demonstrations, which aim to improve the ability and efficiency of organizations to safely and securely deploy AI/ML-based decision-making technology in a specific context of interest. This project will also result in a publicly available NIST AI/ML Practice Guide, a detailed implementation guide of the practical steps needed to implement a reference design that addresses this challenge.	このプロジェクトは、運用可能な実世界のAIベースの意思決定システム、バイアス検出、およびバイアス軽減ツールに焦点を当てる予定である。推奨されるソリューションのアーキテクチャと実践は、独自のベンダー製品だけでなく、商業的に実行可能なオープンソースのソリューションも利用することができる。さらに、バイアスをテストするためのNIST Dioptraテストプラットフォームの使用と応用は、AIシステムの特性に対する新しい洞察を提供する新しい拡張の可能性を持って調査される。このプロジェクトでは、論文の形式による実践の説明、プレイブックの作成、実装のデモンストレーションを行い、組織がAI/MLベースの意思決定技術を特定のコンテキストで安全かつ確実に展開する能力と効率を向上させることを目的としている。また、このプロジェクトは、この課題に対処するリファレンス・デザインの実装に必要な実践的ステップの詳細な実装ガイドである、一般に利用可能なNIST AI/ML実践ガイドを作成する予定である。
Scope	対象範囲
The initial scope of this project is the consumer and small business credit underwriting use cases. The project will develop appropriate extensions based on third-party tools for automated bias detection and mitigation in this context of interest within the NIST Dioptra test platform. Since fairness metrics are context-specific, it is necessary to develop techniques for identifying metrics and optimizing any tradeoffs within a given real-world context (e.g., credit underwriting) and for contextually assessing gaps in current fairness metrics and processes. The project seeks approaches for how to integrate a variety of contextual factors into the ML pipeline and evaluate how humans reason and make decisions based on model output.	このプロジェクトの最初のスコープは、消費者金融と中小企業の信用調査ユースケースである。このプロジェクトでは、NIST Dioptraテストプラットフォーム内で、この関心事における自動バイアス検出および緩和のためのサードパーティツールに基づく適切な拡張機能を開発する。公平性の指標はコンテキストに依存するため、指標を特定し、与えられた実世界のコンテキスト（例えば、信用引受）内のあらゆるトレードオフを最適化するための技術を開発し、現在の公平性の指標とプロセスのギャップをコンテキストに基づいて評価することが必要である。このプロジェクトでは、様々な文脈的要素をMLパイプラインに統合し、人間がどのように推論し、モデル出力に基づいて意思決定を行うかを評価する方法を模索している。
Assumptions/Challenges	前提条件/課題
The following components and assumptions about them are critical for this project:	このプロジェクトでは、以下の構成要素とそれらに関する仮定が重要である。
1.     Dioptra, an extensible framework for AI system testing and evaluation. See the highlevel architecture described in Section 3. We hope to integrate existing tools and capabilities into the Dioptra framework.	1.     Dioptra、AIシステムのテストと評価のための拡張可能なフレームワーク。セクション3で説明されている高レベルのアーキテクチャを参照してください。我々は、既存のツールや機能をDioptraフレームワークに統合することを望んでいる。
2.     Third-party tools for bias detection in context. We are seeking automated tools for unwanted bias detection.	2.     コンテキストにおけるバイアス検出のためのサードパーティツール。不要なバイアス検出のための自動化ツールを求めている。
3.     Test data. We are seeking appropriately defined applicant data, curated by external experts, to be used as test data.	3.     テストデータ。テストデータとして使用する、外部の専門家が監修した適切に定義された応募者データを求めている。
4.     AI/ML models for credit underwriting decisions along with training datasets. We are seeking third-party commercial models from willing collaborators.	4.     信用引受判断のためのAI/MLモデル、およびトレーニングデータセット。協力者の中から、サードパーティの商用モデルを求めている。
5.     Human subjects acting on model output as decision makers in carefully constructed trials for a specific context.	5.     特定の状況下で慎重に構築された試験において、意思決定者としてモデルの出力に基づいて行動する被験者。
6.     An end-to-end AI/ML-assisted credit underwriting decision system. We are seeking to assemble a context-specific system from components 1 through 5 and evaluate it for detecting harmful impacts stemming from unwanted bias.	6.     エンドツーエンドのAI/ML支援型信用引受意思決定システム。我々は、1～5の構成要素から文脈に応じたシステムを構築し、不要なバイアスに起因する有害な影響を検出するために評価することを求めている。
Background	背景
NIST developed SP 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence [1], as part of the AI Risk Management Framework [3], which proposes a sociotechnical approach to managing risks from AI-based systems. SP 1270 provides the background for tackling harmful bias within the domain of credit underwriting.	NISTは、AIリスク管理フレームワーク[3]の一環として、SP1270「人工知能におけるバイアスの特定と管理のための標準化に向けて」[1]を開発し、AIベースのシステムからのリスクを管理する社会技術的アプローチを提案している。SP1270は、信用引受の領域内で有害なバイアスに取り組むための背景を提供している。

[1] R. Schwartz et al., Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST Special Publication (SP) 1270, March 2022, 86 pp. Available: https://doi.org/10.6028/NIST.SP.1270.

[2] Equal Credit Opportunity Act. Available: https://www.ftc.gov/legallibrary/browse/statutes/equal-credit-opportunity-act.

[3] AI Risk Management Framework: Second Draft, NIST, August 18, 2022, 36 pp. Available:
https://www.nist.gov/system/files/documents/2022/08/18/AI_RMF_2nd_draft.pdf.

---

● NIST- ITL

これは最初に読んでおく方が良いですね。。。ただし、かなりの分量です。。。

・Dioptra

こちらも。。。

・2022.03.16 [PDF] NIST SP 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence

信用に関する連邦法は...

● Federal Trade Commission: FTC

・Equal Credit Opportunity Act

---

関連して、

● まるちゃんの情報セキュリティ気まぐれ日記

・2022.08.19 NIST ホワイトペーパー（ドラフト） コンテキストにおけるAI/MLバイアスの緩和

・2022.03.22 NIST 意見募集 AIリスクマネジメントフレームワーク（初期ドラフト）

・2022.03.21 NIST SP1270 人工知能におけるバイアスの識別と管理の標準化に向けて

・2021.06.25 NIST SP1270 Draft 人工知能におけるバイアスの識別と管理

こちらも参考になるかも...

・2022.06.02 米国 GAO 消費者保護：議会は消費者ランク付けに使用されるスコアに関する保護の強化を検討すべき (2022.05.26)

・2022.06.01 米国 消費者金融保護局 AIを使った与信結果についても消費者にその理由を説明しなければならない

・2022.05.23 ハンガリー AIを利用したコールセンターでの顧客対応がGDPR違反と判定された事例（ハンガリー銀行）

・2022.02.08 米国 下院 アルゴリズム説明責任法案 2022

・2021.12.19 英国 AIバロメータ21 公表

・2021.12.09 英国 AI保証に向けたロードマップを公表（AI認証制度？）

・2021.12.05 欧州理事会 AI法改正案を欧州議会に提出

・2021.10.24 豪州 ビクトリア州 　人工知能とプライバシーに関する報告書（２つ）

・2021.06.30 WHO 保健のための人工知能の倫理とガバナンス

・2021.04.21 U.S. FTC（連邦取引委員会） のブログ 会社でAIを活用する場合は真実、公正、公平を目指そう、という記事がありますね。。。

・2021.04.21 英国政府 データ倫理とイノベーションセンターのブログ　AIの保証についての3つの記事

・2021.09.24 英国 国家AI戦略

・2020.12.20 UK ICO 雇用決定にアルゴリズムを使用する際に考慮すべき6つのこと

・2020.11.30 米国 OMBが「人工知能アプリケーション規制のためのガイダンス」を発行

・2020.05.01　（人工知能 AI）ブラックボックスの検証：アルゴリズムシステムを評価するためのツール - アルゴリズムの監査・影響評価のための共通言語の特定

・2021.12.19 英国 AIバロメータ21 公表

・2021.12.09 英国 AI保証に向けたロードマップを公表（AI認証制度？）

・2021.12.05 欧州理事会 AI法改正案を欧州議会に提出

・2021.10.24 豪州 ビクトリア州 　人工知能とプライバシーに関する報告書（２つ）

・2021.06.30 WHO 保健のための人工知能の倫理とガバナンス

・2021.04.21 U.S. FTC（連邦取引委員会） のブログ 会社でAIを活用する場合は真実、公正、公平を目指そう、という記事がありますね。。。

・2021.04.21 英国政府 データ倫理とイノベーションセンターのブログ　AIの保証についての3つの記事

・2021.09.24 英国 国家AI戦略

・2020.12.20 UK ICO 雇用決定にアルゴリズムを使用する際に考慮すべき6つのこと

・2020.11.30 米国 OMBが「人工知能アプリケーション規制のためのガイダンス」を発行

・2020.05.01　（人工知能 AI）ブラックボックスの検証：アルゴリズムシステムを評価するためのツール - アルゴリズムの監査・影響評価のための共通言語の特定

・2021.12.19 英国 AIバロメータ21 公表

・2021.12.09 英国 AI保証に向けたロードマップを公表（AI認証制度？）

・2021.12.05 欧州理事会 AI法改正案を欧州議会に提出

・2021.10.24 豪州 ビクトリア州 　人工知能とプライバシーに関する報告書（２つ）

・2021.06.30 WHO 保健のための人工知能の倫理とガバナンス

・2021.04.21 U.S. FTC（連邦取引委員会） のブログ 会社でAIを活用する場合は真実、公正、公平を目指そう、という記事がありますね。。。

・2021.04.21 英国政府 データ倫理とイノベーションセンターのブログ　AIの保証についての3つの記事

・2021.09.24 英国 国家AI戦略

・2020.12.20 UK ICO 雇用決定にアルゴリズムを使用する際に考慮すべき6つのこと

・2020.11.30 米国 OMBが「人工知能アプリケーション規制のためのガイダンス」を発行

・2020.05.01　（人工知能 AI）ブラックボックスの検証：アルゴリズムシステムを評価するためのツール - アルゴリズムの監査・影響評価のための共通言語の特定