NIST SP1270 人工知能におけるバイアスの識別と管理の標準化に向けて

こんにちは、丸山満彦です。

NISTが、SP1270 人工知能におけるバイアスの識別と管理を公表していましたね。。。

次の図が印象的ですね。。。

● NIST

・2022.03.16 (news) There’s More to AI Bias Than Biased Data, NIST Report Highlights

There’s More to AI Bias Than Biased Data, NIST Report Highlights	AIバイアスには偏ったデータ以上のものがある、NISTの報告書が強調するもの
Rooting out bias in artificial intelligence will require addressing human and systemic biases as well.	人工知能のバイアスを根絶するには、人間やシステム的なバイアスにも対処する必要があります。
Bias in AI systems is often seen as a technical problem, but the NIST report acknowledges that a great deal of AI bias stems from human biases and systemic, institutional biases as well.	AIシステムにおけるバイアスは技術的な問題として捉えられがちですが、NISTの報告書では、AIのバイアスの多くは人間のバイアスやシステム的、制度的なバイアスにも起因していることを認めています。
As a step toward improving our ability to identify and manage the harmful effects of bias in artificial intelligence (AI) systems, researchers at the National Institute of Standards and Technology (NIST) recommend widening the scope of where we look for the source of these biases — beyond the machine learning processes and data used to train AI software to the broader societal factors that influence how technology is developed.	米国国立標準技術研究所（NIST）の研究者は、人工知能（AI）システムにおけるバイアスの有害な影響を特定し管理する能力を向上させるための一歩として、こうしたバイアスの原因を探る範囲を広げることを推奨しています。それは、AIソフトウェアの学習に使用する機械学習プロセスやデータを超えて、技術の開発方法に影響を及ぼすより幅広い社会的要因に至るまでです。
The recommendation is a core message of a revised NIST publication, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), which reflects public comments the agency received on its draft version released last summer. As part of a larger effort to support the development of trustworthy and responsible AI, the document offers guidance connected to the AI Risk Management Framework that NIST is developing.	この提言は、NISTの出版物「T人工知能におけるバイアスの識別と管理の標準化に向けて」（NIST Special Publication 1270）の改訂版の中核的メッセージであり、昨年夏に発表したドラフト版に対して寄せられたパブリックコメントを反映させています。信頼できる責任あるAIの開発を支援するための大きな取り組みの一環として、この文書は、NISTが開発中のAIリスク管理フレームワークに関連するガイダンスを提供しています。
According to NIST’s Reva Schwartz, the main distinction between the draft and final versions of the publication is the new emphasis on how bias manifests itself not only in AI algorithms and the data used to train them, but also in the societal context in which AI systems are used.	NISTのシュワルツ氏によると、出版物のドラフト版と最終版の主な違いは、AIアルゴリズムやその学習に使用するデータだけでなく、AIシステムが使用される社会的背景において、バイアスがいかに現れるかを新たに強調したことだということです。
“Context is everything,” said Schwartz, principal investigator for AI bias and one of the report’s authors. “AI systems do not operate in isolation. They help people make decisions that directly affect other people’s lives. If we are to develop trustworthy AI systems, we need to consider all the factors that can chip away at the public’s trust in AI. Many of these factors go beyond the technology itself to the impacts of the technology, and the comments we received from a wide range of people and organizations emphasized this point.”	コンテキストがすべて と、AIバイアスの主任研究員で報告書の著者の一人であるシュワルツは次のように述べています。「AIシステムは単独で動作するものではありません。それらは、他の人々の生活に直接影響を与える意思決定を支援します。信頼できるAIシステムを開発するためには、AIに対する人々の信頼を削ぐ可能性のあるすべての要因を考慮する必要があります。これらの要因の多くは、技術そのものにとどまらず、技術がもたらす影響にまで及んでおり、幅広い人々や組織から寄せられたコメントは、この点を強調しています。」
NIST contributes to the research, standards and data required to realize the full promise of artificial intelligence (AI) as an enabler of American innovation across industry and economic sectors. Working with the AI community, NIST seeks to identify the technical requirements needed to cultivate trust that AI systems are accurate and reliable, safe and secure, explainable, and free from bias.	NISTは、産業および経済部門にわたる米国のイノベーションを実現するものとして、人工知能（AI）の完全な約束を実現するために必要な研究、標準、データに貢献しています。NISTは、AIコミュニティと協力し、AIシステムが正確で信頼でき、安全で確実で、説明可能で、バイアスがないという信頼を培うために必要な技術要件を明らかにしようとしています。
Bias in AI can harm humans. AI can make decisions that affect whether a person is admitted into a school, authorized for a bank loan or accepted as a rental applicant. It is relatively common knowledge that AI systems can exhibit biases that stem from their programming and data sources; for example, machine learning software could be trained on a dataset that underrepresents a particular gender or ethnic group. The revised NIST publication acknowledges that while these computational and statistical sources of bias remain highly important, they do not represent the full picture.	AIのバイアスは人間に危害を加える可能性があります。AIは、人が学校に入学するかどうか、銀行の融資を認可されるかどうか、賃貸の申込者として受け入れられるかどうかに影響する決定を下すことができます。例えば、機械学習ソフトは、特定の性別や民族を十分に反映していないデータセットで訓練される可能性があります。NISTの改訂版では、このような計算や統計によるバイアスは非常に重要ではあるものの、全体像を表しているわけではないことを認めています。
A more complete understanding of bias must take into account human and systemic biases, which figure significantly in the new version. Systemic biases result from institutions operating in ways that disadvantage certain social groups, such as discriminating against individuals based on their race. Human biases can relate to how people use data to fill in missing information, such as a person’s neighborhood of residence influencing how likely authorities would consider the person to be a crime suspect. When human, systemic and computational biases combine, they can form a pernicious mixture — especially when explicit guidance is lacking for addressing the risks associated with using AI systems.	バイアスをより完全に理解するためには、人間的・体系的なバイアスを考慮する必要があり、これは新版で大きく取り上げられています。システム的なバイアスは、人種による差別など、特定の社会集団に不利益をもたらす方法で運営されている制度から生じるものです。ヒューマンバイアスは、例えば、居住地域が犯罪の容疑者であると当局が判断する可能性に影響を与えるなど、人々がデータを使って不足している情報を補うことに関係しています。特に、AIシステムの使用に伴うリスクに対処するための明確な指針がない場合、人間的、システム的、計算機的なバイアスが組み合わさると、悪質な混合物を形成する可能性があるのです。
“If we are to develop trustworthy AI systems, we need to consider all the factors that can chip away at the public’s trust in AI. Many of these factors go beyond the technology itself to the impacts of the technology.”  —Reva Schwartz, principal investigator for AI bias	「信頼できるAIシステムを開発するためには、AIに対する人々の信頼を損なう可能性のあるすべての要因を考慮する必要があります。これらの要因の多くは、技術そのものにとどまらず、技術がもたらす影響にまで及びます。」  -レヴァ・シュワルツ（AIバイアス担当主任研究員
To address these issues, the NIST authors make the case for a “socio-technical” approach to mitigating bias in AI. This approach involves a recognition that AI operates in a larger social context — and that purely technically based efforts to solve the problem of bias will come up short.	これらの問題に対処するため、NISTの著者らは、AIにおけるバイアスを緩和するための「社会技術的」アプローチの必要性を訴えている。このアプローチには、AIがより大きな社会的文脈の中で動作していること、そしてバイアスの問題を解決するための純粋に技術的な取り組みでは不十分であることを認識することが含まれています。
“Organizations often default to overly technical solutions for AI bias issues,” Schwartz said. “But these approaches do not adequately capture the societal impact of AI systems. The expansion of AI into many aspects of public life requires extending our view to consider AI within the larger social system in which it operates.”	シュワルツは、次のように述べています。「組織はしばしば、AIのバイアスの問題に対して、過度に技術的な解決策をとることがあります。しかし、これらのアプローチでは、AIシステムの社会的影響を適切に捉えることができません。AIが公共生活の多くの側面に拡大することで、AIが運用されるより大きな社会システムの中でAIを考慮するよう、視野を広げる必要があります。」
Socio-technical approaches in AI are an emerging area, Schwartz said, and identifying measurement techniques to take these factors into consideration will require a broad set of disciplines and stakeholders.	AIにおける社会技術的アプローチは新たな領域であり、これらの要素を考慮するための測定技術を特定するには、幅広い分野と関係者が必要であるとSchwartzは述べています。
“It’s important to bring in experts from various fields — not just engineering — and to listen to other organizations and communities about the impact of AI,” she said.	エンジニアリングだけでなく、さまざまな分野の専門家を招き、AIの影響について他の組織やコミュニティの意見を聞くことが重要です と述べています。
NIST is planning a series of public workshops over the next few months aimed at drafting a technical report for addressing AI bias and connecting the report with the AI Risk Management Framework. For more information and to register, visit the AI RMF workshop page.	NISTは、AIのバイアスに対処するための技術報告書を起草し、その報告書をAIリスク管理フレームワークに接続することを目的として、今後数カ月間に一連の公開ワークショップを計画しています。詳細と登録は、AI RMFワークショップのページをご覧ください。

・[PDF] SP1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence

Executive Summary	エグゼクティブサマリー
As individuals and communities interact in and with an environment that is increasingly virtual, they are often vulnerable to the commodification of their digital footprint. Concepts and behavior that are ambiguous in nature are captured in this environment, quantified, and used to categorize, sort, recommend, or make decisions about people’s lives. While many organizations seek to utilize this information in a responsible manner, biases remain endemic across technology processes and can lead to harmful impacts regardless of intent. These harmful outcomes, even if inadvertent, create significant challenges for cultivating public trust in artificial intelligence (AI).	個人やコミュニティがバーチャルな環境で交流するとき、彼らはしばしばデジタルフットプリントの商品化の影響を受けやすくなります。このような環境では、本質的に曖昧な概念や行動が捕捉され、数値化され、人々の生活に関する分類、選別、推奨、意思決定に利用されています。多くの組織がこの情報を責任を持って活用しようと努めていますが、技術プロセスにはバイアスがつきもので、意図に関係なく有害な影響をもたらす可能性があります。こうした有害な結果は、たとえ不注意であったとしても、人工知能（AI）に対する社会の信頼を醸成する上で大きな課題となります。
While there are many approaches for ensuring the technology we use every day is safe and secure, there are factors specific to AI that require new perspectives. AI systems are often placed in contexts where they can have the most impact. Whether that impact is helpful or harmful is a fundamental question in the area of Trustworthy and Responsible AI. Harmful impacts stemming from AI are not just at the individual or enterprise level, but are able to ripple into the broader society. The scale of damage, and the speed at which it can be perpetrated by AI applications or through the extension of large machine learning MODELs across domains and industries requires concerted effort. Current attempts for addressing the harmful effects of AI bias remain focused on computational factors such as representativeness of datasets and fairness of machine learning algorithms. These remedies are vital for mitigating bias, and more work remains. Yet, as illustrated in Fig. 1, human and systemic institutional and societal factors are significant sources of AI bias as well, and are currently overlooked. Successfully meeting this challenge will require taking all forms of bias into account. This means expanding our perspective beyond the machine learning pipeline to recognize and investigate how this technology is both created within and impacts our society.	私たちが毎日使っている技術を安全・安心なものにするためのアプローチは数多くありますが、AIに特有の要因もあり、新しい視点が必要です。AIシステムは、最も影響を与えることができる文脈に置かれることが多くあります。その影響が有益なものか有害なものかは、「信頼できる責任あるAI」の領域における基本的な問題です。AIに起因する有害な影響は、個人や企業レベルだけでなく、より広い社会に波及する可能性があります。AIアプリケーションによって、あるいは大規模な機械学習MODELのドメインや産業にわたる拡張によって引き起こされる被害の規模やそのスピードは、協調的な努力を必要とします。AIによるバイアスの悪影響に対処するための現在の試みは、データセットの代表性や機械学習アルゴリズムの公正さといった計算論的要因に焦点が当てられているに過ぎない。これらの対策はバイアスを軽減するために不可欠であり、さらに多くの課題が残されています。しかし、図1に示すように、人間や制度的・社会的要因もAIバイアスの重要な原因であり、現状では見過ごされています。この課題を成功させるには、あらゆる形態のバイアスを考慮する必要があります。これは、機械学習のパイプラインを越えて、この技術がどのように私たちの社会の中で生まれ、どのような影響を与えるかを認識し、調査するために、私たちの視点を拡大することを意味します。
Trustworthy and Responsible AI is not just about whether a given AI system is biased, fair or ethical, but whether it does what is claimed. Many practices exist for responsibly producing AI. The importance of transparency, datasets, and test, evaluation, validation, and verification (TEVV) cannot be overstated. Human factors such as participatory design techniques and multi-stakeholder approaches, and a human-in-the-loop are also important for mitigating risks related to AI bias. However none of these practices individually or in concert are a panacea against bias and each brings its own set of pitfalls. What is missing from current remedies is guidance from a broader SOCIO-TECHNICAL perspective that connects these practices to societal values. Experts in the area of Trustworthy and Responsible AI counsel that to successfully manage the risks of AI bias we must operationalize these values and create new norms around how AI is built and deployed. This document, and work by the National Institute of Standards and Technology (NIST) in the area of AI bias, is based on a socio-technical perspective.	信頼できる責任あるAIとは、あるAIシステムがバイアスに満ちているか、公正か、倫理的かということだけでなく、主張されたことを実行するかどうかということです。責任を持ってAIを生産するための多くの実践が存在します。透明性、データセット、テスト、評価、妥当性確認、検証（TEVV）の重要性は、いくら強調してもし過ぎることはない。また、参加型設計手法やマルチステークホルダーアプローチなどの人的要因や、人間がループに入ることも、AIのバイアスに関連するリスクを軽減する上で重要です。しかし、これらの実践は、単独でも連携しても、バイアスに対する万能薬ではなく、それぞれに落とし穴があります。現在の救済策に欠けているのは、これらの実践を社会的価値と結びつける、より広範な社会技術的観点からのガイダンスです。信頼できる責任あるAI の分野の専門家は、AIのバイアスのリスクをうまく管理するためには、これらの価値を運用し、AIの構築と展開の方法に関する新しい規範を作成する必要があると助言しています。この文書と、AIのバイアスの分野における米国標準技術研究所（NIST）の研究は、社会技術的な視点に基づいています。
The intent of this document is to surface the salient issues in the challenging area of AI bias, and to provide a first step on the roadmap for developing detailed socio-technical guidance for identifying and managing AI bias. Specifically, this special publication:	この文書の意図は、AIバイアスという困難な分野における顕著な問題を表面化させ、AIバイアスを特定し管理するための詳細な社会技術的ガイダンスを開発するためのロードマップの第一歩を提供することです。具体的には、本特別出版は以下の通りです。
・describes the stakes and challenge of bias in artificial intelligence and provides examples of how and why it can chip away at public trust;	・人工知能におけるバイアスの重要性と課題を説明し、それがどのように、そしてなぜ社会的信頼を損ないうるかの例を提示する。
・identifies three categories of bias in AI — systemic, statistical, and human — and describes how and where they contribute to harms;	・AIにおけるバイアスの3つのカテゴリー（システム的、統計的、人間的）を特定し、それらがどのように、どこで害を及ぼすかを説明する。
・describes three broad challenges for mitigating bias — datasets, testing and evaluation, and human factors — and introduces preliminary guidance for addressing them.	・バイアスを軽減するための3つの大きな課題（データセット、テストと評価、人的要因）を説明し、それらに対処するための予備的ガイダンスを紹介する。
Bias is neither new nor unique to AI and it is not possible to achieve zero risk of bias in an AI system. NIST intends to develop methods for increasing assurance, GOVERNANCE and practice improvements for identifying, understanding, measuring, managing, and reducing bias. To reach this goal, techniques are needed that are flexible, can be applied across contexts regardless of industry, and are easily communicated to different stakeholder groups. To contribute to the growth of this burgeoning topic area, NIST will continue its work in measuring and evaluating computational biases, and seeks to create a hub for evaluating socio-technical factors. This will include development of formal guidance and standards, supporting standards development activities such as workshops and public comment periods for draft documents, and ongoing discussion of these topics with the stakeholder community.	バイアスはAIにとって新しいものでも特殊なものでもなく、AIシステムにおけるバイアスのリスクをゼロにすることは不可能です。NISTは、バイアスの特定、理解、測定、管理、低減のための保証、ガバナンス、実践改善を高めるための方法を開発する意向です。この目標を達成するためには、柔軟性があり、業界に関係なく文脈を超えて適用でき、異なるステークホルダー集団に容易に伝達できる手法が必要です。この急成長中のトピック分野の成長に貢献するため、NISTは、計算バイアスの測定と評価における作業を継続し、社会技術的な要因を評価するためのハブを構築することを目指します。これには、正式なガイダンスと標準の開発、ワークショップやドラフト文書に対するパブリックコメント期間などの標準開発活動の支援、およびこれらのトピックに関するステークホルダーコミュニティとの継続的な議論が含まれます。

目次...

1 Purpose and Scope	1 目的と範囲
2 AI Bias: Context and Terminology	2 AIバイアス：コンテキストと用語解説
2.1 Characterizing AI bias	2.1 AIバイアスの特徴
2.1.1 Contexts for addressing AI bias	2.1.1 AIバイアスに対処するためのコンテクスト
2.1.2 Categories of AI bias	2.1.2 AIバイアスのカテゴリー
2.2 How AI bias contributes to harms	2.2 AIバイアスはどのように害に寄与するのか
2.3 A Socio-technical Systems Approach	2.3 社会技術システムアプローチ
2.4 An Updated AI Lifecycle	2.4 更新されたAIライフサイクル
3 AI Bias: Challenges and Guidance	3 AIバイアス：課題と指針
3.1 Who is Counted? Datasets in AI Bias	3.1 誰がカウントされるのか？AIバイアスにおけるデータセット
3.1.1 Dataset Challenges	3.1.1 データセットの課題
3.1.2 Dataset Guidance	3.1.2 データセットのガイダンス
3.2 How do we know what is right? TEVV Considerations for AI Bias	3.2 何が正しいか、どうすればわかるのか？AIバイアスのためのTEVV考察
3.2.1 TEVV Challenges	3.2.1 TEVVの課題
3.2.2 TEVV Guidance	3.2.2 TEVVガイダンス
3.3 Who makes decisions and how do they make them? Human Factors in AIBias	3.3 誰が、どのように意思決定するのか？AIBiasにおけるヒューマンファクター
3.3.1 Human Factors Challenges	3.3.1 ヒューマンファクタの課題
3.3.2 Human Factors Guidance	3.3.2 ヒューマンファクターに関するガイダンス
3.4 How do we manage and provide oversight? Governance and AI Bias	3.4 どのように管理し、監督を行うか？ガバナンスとAIの偏り
3.4.1 Governance Guidance	3.4.1 ガバナンス・ガイダンス
4 Conclusions	4 結論

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2021.06.25 NIST SP1270 Draft 人工知能におけるバイアスの識別と管理