NIST SP1270 Draft 人工知能におけるバイアスの識別と管理
こんにちは、丸山満彦です。
NISTが、SP1270 Draft 人工知能におけるバイアスの識別と管理を公表し、意見募集をしていますね。。。
ちょっと気になったのは、監査による保証も想定してるかもしれないという点ですかね。。。
● NIST
・2021.06.22 (News) NIST Proposes Approach for Reducing Risk of Bias in Artificial Intelligence
| NIST Proposes Approach for Reducing Risk of Bias in Artificial Intelligence | NISTが人工知能におけるバイアスのリスクを低減するアプローチを提案 |
| In an effort to counter the often pernicious effect of biases in artificial intelligence (AI) that can damage people’s lives and public trust in AI, the National Institute of Standards and Technology (NIST) is advancing an approach for identifying and managing these biases — and is requesting the public’s help in improving it. | 米国国立標準技術研究所（NIST）は、人工知能（AI）に含まれるバイアスが、人々の生活やAIに対する社会的信頼を損ねるという、しばしば起こる悪質な影響に対抗するために、バイアスを特定し管理するためのアプローチを進めており、その改善に向けて一般の人々の協力を求めています。 |
| ... | ... |
| “Managing the risk of bias in AI is a critical part of developing trustworthy AI systems, but the path to achieving this remains unclear,” said NIST’s Reva Schwartz, one of the report’s authors. “We want to engage the community in developing voluntary, consensus-based standards for managing AI bias and reducing the risk of harmful outcomes that it can cause.” | 本報告書の執筆者の一人であるNISTのラヴァ シュワルツは、「AIにおけるバイアスのリスクを管理することは、信頼できるAIシステムを開発する上で非常に重要なことですが、それを達成するための道筋はいまだにはっきりしていません。私たちは、AIのバイアスを管理し、バイアスが引き起こす有害な結果のリスクを低減するための、自発的でコンセンサスに基づく基準の策定にコミュニティを巻き込みたいと考えています。」と述べています。 |
| NIST contributes to the research, standards, and data required to realize the full promise of artificial intelligence (AI) as an enabler of American innovation across industry and economic sectors. Working with the AI community, NIST seeks to identify the technical requirements needed to cultivate trust that AI systems are accurate and reliable, safe and secure, explainable, and free from bias. A key but still insufficiently defined building block of trustworthiness is bias in AI-based products and systems. That bias can be purposeful or inadvertent. By hosting discussions and conducting research, NIST is helping to move us closer to agreement on understanding and measuring bias in AI systems. | NISTは、産業や経済分野を超えて米国のイノベーションを実現するものとして、人工知能（AI）の可能性を最大限に実現するために必要な研究、基準、データに貢献しています。NISTは、AIコミュニティと協力して、AIシステムが正確で信頼できる、安全で安心できる、説明可能でバイアスのないものであるという信頼を深めるために必要な技術的要件を特定することを目指しています。信頼性の重要な構成要素でありながら、まだ十分に定義されていないのが、AIベースの製品やシステムにおけるバイアスです。そのバイアスは、意図的なものもあれば、不注意なものもあります。NISTは、議論の場を設けたり、調査を行ったりすることで、AIシステムにおけるバイアスの理解と測定に関する合意に近づけようとしています。 |
| AI has become a transformative technology as it can often make sense of information more quickly and consistently than humans can. AI now plays a role in everything from disease diagnosis to the digital assistants on our smartphones. But as AI’s applications have grown, so has our realization that its results can be thrown off by biases in the data it is fed — data that captures the real world incompletely or inaccurately. | AIは、人間よりも迅速かつ一貫して情報を理解することができるため、変革をもたらす技術となっています。現在、AIは、病気の診断からスマートフォンのデジタルアシスタントまで、あらゆる場面で活躍しています。しかし、AIの用途が拡大するにつれ、AIに与えられるデータのバイアス（現実世界を不完全または不正確に捉えたデータ）によって、AIの結果が狂う可能性があることもわかってきました。 |
| Moreover, some AI systems are built to model complex concepts, such as “criminality” or “employment suitability,” that cannot be directly measured or captured by data in the first place. These systems use other factors, such as area of residence or education level, as proxies for the concepts they attempt to model. The imprecise correlation of the proxy data with the original concept can contribute to harmful or discriminatory AI outcomes, such as wrongful arrests, or qualified applicants being erroneously rejected for jobs or loans. | さらに、AIシステムの中には、「犯罪性」や「雇用適性」など、データでは直接測定できない複雑な概念をモデル化しているものもあります。これらのシステムでは、居住地域や教育レベルなどの他の要素を、モデル化しようとする概念の代理として使用します。代理データと元の概念との不正確な相関関係は、不当な逮捕や、資格のある応募者が誤って仕事やローンを断られるなど、AIに有害または差別的な結果をもたらす可能性があります。 |
| The approach the authors propose for managing bias involves a conscientious effort to identify and manage bias at different points in an AI system’s lifecycle, from initial conception to design to release. The goal is to involve stakeholders from many groups both within and outside of the technology sector, allowing perspectives that traditionally have not been heard. | 著者らが提案するバイアス管理のアプローチは、最初の構想から設計、リリースに至るまで、AIシステムのライフサイクルのさまざまな段階でバイアスを特定し、管理するための意識的な努力を伴うものである。その目的は、テクノロジー分野の内外を問わず、さまざまなグループのステークホルダーを巻き込み、従来は聞くことができなかった視点を可能にすることです。 |
| “We want to bring together the community of AI developers of course, but we also want to involve psychologists, sociologists, legal experts and people from marginalized communities,” said NIST’s Elham Tabassi, a member of the National AI Research Resource Task Force. “We would like perspective from people whom AI affects, both from those who create AI systems and also those who are not directly involved in its creation.” | National AI Research Resource Task ForceのメンバーであるNISTのエルハム タバシは、「AI開発者のコミュニティはもちろんですが、心理学者、社会学者、法律の専門家、社会から疎外されたコミュニティの人々も巻き込みたいと考えています。私たちは、AIシステムを作る人だけでなく、その作成に直接関与していない人も含めて、AIが影響を与える人々からの視点を求めています。」と述べています。 |
| The NIST authors’ preparatory research involved a literature survey that included peer-reviewed journals, books and popular news media, as well as industry reports and presentations. It revealed that bias can creep into AI systems at all stages of their development, often in ways that differ depending on the purpose of the AI and the social context in which people use it. | NISTの研究者たちは、査読付き雑誌、書籍、一般的なニュースメディア、業界の報告書やプレゼンテーションなどの文献を調査しました。その結果、AIシステムには、開発のあらゆる段階でバイアスが入り込む可能性があり、AIの目的や人々が利用する社会的背景によって異なる方法で入り込むことが多いことが明らかになりました。 |
| “An AI tool is often developed for one purpose, but then it gets used in other very different contexts,” Schwartz said. “Many AI applications also have been insufficiently tested, or not tested at all in the context for which they are intended. All these factors can allow bias to go undetected.” | シュワルツは、「AIツールは、ある目的のために開発されることが多いのですが、その後、他の全く異なる文脈で使われるようになります。また、多くのAIアプリケーションは、十分にテストされていないか、意図された文脈ではまったくテストされていません。これらの要因により、バイアスが検出されないことがあるのです。」と述べています。 |
| Because the team members recognize that they do not have all the answers, Schwartz said that it was important to get public feedback — especially from people outside the developer community who do not ordinarily participate in technical discussions. | チームメンバーは、自分たちがすべての答えを持っているわけではないことを認識しているため、一般の人々、特に普段は技術的な議論に参加していない開発者コミュニティ外の人々からのフィードバックを得ることが重要だとシュワルツは述べています。 |
| "We would like perspective from people whom AI affects, both from those who create AI systems and also those who are not directly involved in its creation." – Elham Tabassi | 「AIが影響を与える人々、AIシステムを作る人も、その作成に直接関与していない人も含めた視点が欲しい。 」- エルハム タバシ |
| “We know that bias is prevalent throughout the AI lifecycle,” Schwartz said. “Not knowing where your model is biased, or presuming that there is no bias, would be dangerous. Determining methods for identifying and managing it is a vital next step.” | シュワルツは、「AIのライフサイクル全体にバイアスが蔓延していることがわかっています。自分のモデルがどこに偏っているかわからない、あるいはバイアスがないと推定することは危険です。それを特定し、管理するための手法を決定することは、次の重要なステップです。」と述べています。 |
・Proposal for Identifying and Managing Bias in Artificial Intelligence (SP 1270)
| Proposal for Identifying and Managing Bias in Artificial Intelligence (SP 1270) | 人工知能におけるバイアスの識別と管理に関する提案（SP 1270） |
| The proliferation of modeling and predictive approaches based on data-driven and machine learning techniques has helped to expose various social biases baked into real-world systems. These biases and other related inaccuracies in automated systems can lead to harmful outcomes that chip away at public trust in technology. The paper proposes an approach for identifying and managing AI bias that is tied to three stages of the AI lifecycle, 1) pre-design, 2) design and development, and 3) deployment (and post-deployment factors). This approach is intended to enable AI designers and deployers to better relate specific lifecycle processes with the types of AI bias, and facilitate more effective management of it. This proposal is part of NIST’s broader work in developing a risk management framework for Trustworthy and Responsible AI. | データ駆動技術や機械学習技術に基づくモデリングや予測手法の普及により、現実のシステムに組み込まれた様々な社会的バイアスが明らかになってきました。このようなバイアスや、自動化されたシステムの不正確さは、テクノロジーに対する社会的信頼を損なう有害な結果につながる可能性があります。この論文では、AIのライフサイクルの3つの段階、1）設計前、2）設計・開発、3）展開（および展開後の要因）に関連付けて、AIのバイアスを特定し、管理するためのアプローチを提案しています。このアプローチは、AIの設計者や展開者が、特定のライフサイクルプロセスとAIのバイアスの種類をより適切に関連付けることを可能にし、より効果的な管理を促進することを目的としています。 この提案は、NISTが行っている「Trustworthy and Responsible AI」のためのリスク管理フレームワークの開発の一環です。 |
| 1. Introduction | 1.はじめに |
| The National Institute of Standards and Technology (NIST) promotes U.S. innovation and industrial competitiveness by advancing measurement science, standards, and technology in ways that enhance economic security and improve our quality of life. Among its broad range of activities, NIST contributes to the research, standards, evaluations, and data required to advance the development, use, and assurance of trustworthy artificial intelligence (AI). | 米国国立標準技術研究所（NIST）は、経済的安全性を高め、生活の質を向上させる方法で、計測科学、標準、技術を推進することにより、米国のイノベーションと産業競争力を促進しています。その幅広い活動の中で、NISTは、信頼できる人工知能（AI）の開発、使用、保証を進めるために必要な研究、標準、評価、データに貢献しています。 |
| In August 2019, fulfilling an assignment in an Executive Order on AI, NIST released “A Plan for Federal Engagement in Developing Technical Standards and Related Tools.” [100] Based on broad public and private sector input, this plan recommended a deeper, more consistent, and long-term engagement in AI standards “to help the United States to speed the pace of reliable, robust, and trustworthy AI technology development.” NIST research in AI continues along this path to focus on how to measure and enhance the trustworthiness of AI systems. Working with the AI community, NIST has identified the following technical characteristics needed to cultivate trust in AI systems: accuracy, explainability and interpretability, privacy, reliability, robustness, safety, and security (resilience) – and that harmful biases are mitigated. | 2019年8月、AIに関する大統領令の任務を果たしたNISTは、"A Plan for Federal Engagement in Developing Technical Standards and Related Tools "を発表しました。100] この計画は、官民の幅広い意見に基づいて、AI標準へのより深く、より一貫性のある、長期的な関与を推奨しており、"米国が信頼性の高い、堅牢な、信頼できるAI技術開発のペースを速めるのに役立つ "としています。NISTのAI研究は、この方針に沿って、AIシステムの信頼性をどのように測定し、強化するかに焦点を当てています。NISTはAIコミュニティと協力して、AIシステムの信頼性を培うために必要な技術的特性として、正確性、説明可能性と解釈可能性、プライバシー、信頼性、堅牢性、安全性、セキュリティ（レジリエンス）、そして有害なバイアスが緩和されていることを明らかにしました。 |
| This paper, A Proposal for Identifying and Managing Bias in Artificial Intelligence, has been developed to advance methods to understand and reduce harmful forms of AI bias. It is one of a series of documents and workshops in the pursuit of a framework for trustworthy and responsible AI. | 本論文「A Proposal for Identifying and Managing Bias in Artificial Intelligence」は、有害な形態のAIバイアスを理解し、軽減するための方法を進めるために作成されました。これは、信頼できる責任あるAIの枠組みを追求するための一連の文書およびワークショップの一つです。 |
| While AI has significant potential as a transformative technology, it also poses inherent risks. One of those risks is bias. Specifically, how the presence of bias in automated systems can contribute to harmful outcomes and a public lack of trust. Managing bias is a critical but still insufficiently developed building block of trustworthiness. | AIは、変革をもたらす技術として大きな可能性を秘めている一方で、固有のリスクも抱えています。そのリスクの一つがバイアスです。具体的には、自動化されたシステムにバイアスが存在することで、有害な結果や社会的な信頼性の欠如につながることです。バイアスの管理は、信頼性を高めるための重要な要素ですが、まだ十分に開発されていません。 |
| The International Organization for Standardization (ISO) defines bias in statistical terms: “the degree to which a reference value deviates from the truth” [67]. This deviation from the truth can be either positive or negative, it can contribute to harmful or discriminatory outcomes or it can even be beneficial. From a societal perspective, bias is often connected to values and viewed through the dual lens of differential treatment or disparate impact, key legal terms related to direct and indirect discrimination, respectively. | 国際標準化機構（ISO）では，バイアスを統計学的に定義している。"基準値が真実から乖離する度合い」と定義しています[67]。この真実からの逸脱は，肯定的な場合も否定的な場合もあり，有害または差別的な結果をもたらす場合もあれば，有益な場合もあります．社会的な観点から見ると、偏見は価値観と結びついていることが多く、差別的な扱いや格差のある影響という二重のレンズを通して見られます。 |
| Not all types of bias are negative, and there many ways to categorize or manage bias; this report focuses on biases present in AI systems that can lead to harmful societal outcomes. These harmful biases affect people’s lives in a variety of settings by causing disparate impact, and discriminatory or unjust outcomes. The presumption is that bias is present throughout AI systems, the challenge is identifying, measuring, and managing it. Current approaches tend to classify bias by type (i.e.: statistical, cognitive), or use case and industrial sector (i.e.: hiring, health care, etc.), and may not be able to provide the broad perspective required for effectively managing bias as the context-specific phenomenon it is. This document attempts to bridge that | 本報告書では、社会的に有害な結果をもたらす可能性のあるAIシステムに存在するバイアスに焦点を当てています。このような有害なバイアスは、格差のある影響や、差別的または不当な結果を引き起こすことで、さまざまな場面で人々の生活に影響を与えます。バイアスはAIシステム全体に存在すると推測されますが、課題はそれを特定し、測定し、管理することです。現在のアプローチでは、偏りをタイプ別（統計的、認知的）、ユースケース別、産業分野別（雇用、医療など）に分類する傾向があり、偏りをコンテキスト固有の現象として効果的に管理するために必要な幅広い視点を提供できない可能性があります。このドキュメントは、その橋渡しをすることを目的としています。 |
| gap and proposes an approach for managing and reducing the impacts of harmful biases across contexts. The intention is to leverage key locations within stages of the AI lifecycle for optimally identifying and managing bias. As NIST develops a framework and standards in this area, the proposed approach is a starting point for community-based feedback and follow-on activities related to bias and its role in trustworthy AI. | ギャップを解消し、コンテクストを超えて有害なバイアスの影響を管理・軽減するためのアプローチを提案します。このアプローチは、AIのライフサイクルの各段階における重要な場所を活用して、バイアスを最適に識別・管理することを目的としています。NISTがこの分野のフレームワークと標準を開発するにあたり、提案されたアプローチは、信頼できるAIにおけるバイアスとその役割に関するコミュニティベースのフィードバックとフォローオン活動の出発点となります。 |
| 2. The Challenge Posed by Bias in AI Systems | 2.AIシステムのバイアスがもたらす課題 |
| The proliferation of modeling and predictive approaches based on data-driven and machine learning techniques has helped to expose various social biases baked into real-world systems, and there is increasing evidence that the general public has concerns about the risks of AI to society. Distrust in AI can manifest itself through a belief that biases may be automated within these technologies, and can perpetuate harms more quickly, extensively, and systematically than human and societal biases on their own. Human decisions based on automated and predictive technology are often made in settings such as hiring or criminal justice, and can create harmful impacts and amplify and accelerate existing social inequities or, at minimum, perceptions of inequities. While it’s unlikely that technology exhibiting “zero risk” can be developed, managing and reducing the impacts of harmful biases in AI is possible and necessary. | データ駆動技術や機械学習技術に基づくモデリングや予測アプローチの普及により、現実世界のシステムに焼き付けられた様々な社会的バイアスが露呈するようになり、一般の人々がAIの社会的リスクに対する懸念を抱いていることを示す証拠が増えています。AIへの不信感は、これらの技術の中でバイアスが自動化され、人間や社会のバイアスが単独で存在するよりも迅速に、広範囲に、組織的に害を永続させる可能性があると考えることで表れます。自動化された予測技術に基づく人間の意思決定は、雇用や刑事司法などの場面で行われることが多く、有害な影響を生み出し、既存の社会的不公平を増幅・加速させたり、少なくとも不公平の認識を与えたりする可能性があります。ゼロリスク」を示すテクノロジーが開発される可能性は低いですが、AIにおける有害なバイアスの影響を管理・軽減することは可能であり、必要です。 |
| Public attitudes about AI technology suggest that, while often depending on the application, most Americans are unaware when they are interacting with AI enabled tech [53] but feel there needs to be a “higher ethical standard” than with other forms of technologies [76]. This mainly stems from the perceptions of fear of loss of control and privacy [47,125,133,137]. Certainly, there is no shortage of examples where bias in some aspect of AI technology and its use has caused harm and negatively impacted people's lives, such as in hiring [5,12,16,17,36,62,118], health care [46,52,55,59,83,88,103,122,123], and criminal justice [7,20,29,41,44,56,66,74,75,78,87, 140,142]. Indeed, there are many instances in which the deployment of AI technologies have been accompanied by concerns of whether and how societal biases are being perpetuated or amplified [3,10,14,15,22,24,34,42,45,61,102,105,108,116,126,139]. | AI技術に関する一般市民の態度を見ると、用途にもよりますが、ほとんどのアメリカ人は、AIを搭載した技術と対話しているときには気づかないことが多いのですが[53]、他の形態の技術よりも「高い倫理基準」が必要だと感じています[76]。これは主に、コントロールやプライバシーの喪失に対する恐れの認識に起因するものです[47,125,133,137]。確かに、雇用[5,12,16,17,36,62,118]、医療[46,52,55,59,83,88,103,122,123]、刑事司法[7,20,29,41,44,56,66,74,75,78,87,140,142]など、AI技術やその利用の何らかの側面におけるバイアスが、人々の生活に害を及ぼし、悪影響を与えている例には事欠きません。実際、AI技術の展開には、社会的なバイアスがどのように永続化または増幅されているのかという懸念が伴っている例が多くあります[3,10,14,15,22,24,34,42,45,61,102,105,108,116,126,139]。 |
| Since AI systems are deployed across various contexts, the associated biases that come with their use create harm in context-specific ways. This proliferation of AI bias into an ever-increasing list of settings makes it especially difficult to develop overarching guidance or mitigation techniques. A confounding factor is that it is especially difficult to predict where and how AI systems will be used. A current approach to the challenge of AI bias is to tackle a given use case where a particularly prevalent type of bias resides. This ad-hoc strategy is difficult to scale, and is unlikely to achieve what is required for building systems that the public can trust. Instead of viewing the challenge of AI bias within a given context or use case, a broader perspective can strike the problem of AI bias where it might be easiest to manage – within the design, development, and use of AI systems. | AIシステムは様々な状況下で展開されるため、その使用に伴うバイアスは、状況に応じた形で被害をもたらします。このようにAIのバイアスが増え続けると、包括的なガイダンスや緩和技術の開発が特に困難になります。さらに、AIシステムがどこでどのように使われるかを予測することが特に困難であることも混同の要因となっています。AIのバイアスという課題に対する現在のアプローチは、特に多く見られるタイプのバイアスが存在する特定のユースケースに取り組むことです。このような場当たり的な戦略では、規模の拡大が難しく、一般の人々が信頼できるシステムを構築するために必要なことを達成できない可能性があります。AIのバイアスの問題を特定の状況やユースケースで捉えるのではなく、より広い視点から、AIシステムの設計、開発、使用の中で、最も管理しやすい場所でAIのバイアスの問題に取り組むことができます。 |
| There are specific conditional traits associated with automation that exacerbate distrust in AI tools. One major purpose, and a significant benefit, of automated technology is that it can make sense of information more quickly and consistently than humans. There have long been two common assumptions about the rise and use of automation: it could make life easier [137] and also create conditions that reduce (or eliminate) biased human decision making and bring about a more equitable society [78]. These two tenets have led to the deployment of automated and predictive tools within trusted institutions and high-stake settings. While AI can help society achieve significant benefits, the convenience of automated classification and discovery within large datasets may come with a potentially significant downside. As these tools proliferate across our social systems, there has been increased interest in identifying and mitigating their harmful impacts. | AIツールへの不信感を悪化させる、自動化に関連する特定の条件付きの特徴があります。自動化技術の大きな目的、そして大きなメリットは、人間よりも迅速かつ一貫して情報を理解できることです。自動化の台頭と利用については、生活を楽にすることができる[137]ということと、人間の偏った意思決定を減らし（あるいはなくし）、より公平な社会をもたらす条件を作り出すことができる[78]という2つの共通した前提が昔からあります。この2つの信条により、信頼できる機関やリスクの高い設定の中で、自動化された予測ツールが展開されています。AIは社会に大きな利益をもたらす一方で、大規模なデータセット内での自動分類や発見の利便性には、潜在的に大きなマイナス面があるかもしれません。これらのツールが社会システム全体に普及するにつれ、その有害な影響を特定し、緩和することへの関心が高まっています。 |
| The difficulty in characterizing and managing AI bias is exemplified by systems built to model concepts that are only partially observable or capturable by data. Without direct measures for these often highly complex considerations, AI development teams often use proxies. For example, for “criminality,” a measurable index, or construct, might be created from other information, such as past arrests, age, and region. For “employment suitability,” an AI algorithm might rely on time in prior employment, previous pay levels, education level, participation in certain sports [115], or distance from the employment site [51] (which might disadvantage candidates from certain neighborhoods). | AIのバイアスを特徴づけ、管理することの難しさは、データでは部分的にしか観察できない、あるいは把握できない概念をモデル化するシステムに代表されます。このような非常に複雑な考慮事項を直接測定することができないため、AI開発チームはしばしば代用手段を使用します。例えば、「犯罪性」については、過去の検挙歴、年齢、地域などの情報から、測定可能な指標（コンストラクト）を作成します。雇用適性」については、AIアルゴリズムは、前職での勤務時間、前職での給与水準、教育レベル、特定のスポーツへの参加状況[115]、雇用地からの距離[51]（特定の地域からの候補者に不利になる可能性がある）などに依存するかもしれません。 |
| There are many challenges that come with this common practice (see [89] for a thorough review). One challenge rests on the reality that decisions about which data to use for these indices are often made based on what is available or accessible, rather than what might be most suitable - but difficult or impossible to utilize [49]. Relatedly, instead of identifying specific questions of interest first, researchers, developers, and practitioners may “go where the data is” and adapt their questions accordingly [130]. Data can also differ significantly between what is collected and what occurs in the real world [71,72,109]. For example, responses to online questionnaires are from a specific sampling of the kinds of people who are online, and therefore leaves out many other groups. Data representing certain societal groups may be excluded in the training datasets used by machine learning applications [40]. And, datasets used in natural language processing often differ significantly from their real-world applications [113] which can lead to discrimination [128] and systematic gaps in performance. | この一般的な慣行には、多くの課題があります（詳細なレビューは[89]を参照）。1つは、これらの指標に使用するデータの決定が、最も適しているかもしれないが利用が困難または不可能なものではなく、利用可能またはアクセス可能なものに基づいて行われることが多いという現実に起因しています[49]。関連して、研究者、開発者、実務者は、関心のある特定の質問を最初に特定するのではなく、「データがあるところに行く」ことになり、それに応じて質問を適応させることがあります[130]。また，データは，収集されたものと現実世界で発生したものとの間で大きく異なる可能性がある[71,72,109]．例えば，オンラインアンケートへの回答は，オンラインに参加している種類の人々の特定のサンプリングからのものであるため，他の多くのグループを除外している．機械学習アプリケーションで使用される学習データセットでは，特定の社会的グループを表すデータが除外されることがある[40]．また，自然言語処理で使用されるデータセットは，実世界のアプリケーションとは大きく異なることが多く [113]，これが差別 [128]やパフォーマンスの体系的なギャップにつながる可能性があります。 |
| Even if datasets are reflective of the real world, they may still exhibit entrenched historical and societal biases, or improperly utilize protected attributes. (Federal laws and regulations have been established to prohibit discrimination based on grounds such as gender, age, and religion.) Simply excluding these explicit types of attributes will not remedy the problem, however, since they can be inadvertently inferred in other ways (for example, browsing history), and still produce negative outcomes for individuals or classes of individuals [12]. So, the proxies used in development may be both a poor fit for the concept or characteristic seeking to be measured, and reveal unintended information about persons and groups. | データセットが現実世界を反映していたとしても、歴史的・社会的に定着したバイアスがかかっていたり、保護された属性が不適切に利用されていたりする可能性があります（性別、年齢、宗教などを理由とした差別を禁止するための連邦法や規制が制定されています）。しかし，このような明示的な属性を除外するだけでは，問題は解決しません．なぜなら，これらの属性は，他の方法（例えば，閲覧履歴）で不用意に推測され，個人または個人の集団に負の結果をもたらす可能性があるからです[12]．したがって、開発に使用されるプロキシは、測定しようとしている概念や特性への適合性が低く、個人やグループに関する意図しない情報を明らかにしてしまう可能性があります。 |
| Additionally, for much of the public, AI is not necessarily something with which they directly interact, and systems' algorithmic assumptions may not be transparent to them. Nevertheless, many people are affected or used as inputs by AI technologies and systems. This can happen when an individual applies for a loan [136], college [48], or a new apartment [77]. Historical, training data, and measurement biases are “baked-in” to the data used in the algorithmic models underlying those types of decisions. Such biases may produce unjust outcomes for racial and ethnic minorities in areas such as criminal justice [7,41,56,74,75,78,87,140,142], hiring [4,5,12,16,17,36,118,119], and financial decisions [13,65]. | さらに、多くの一般の人々にとって、AIは必ずしも自分が直接関わるものではなく、システムのアルゴリズムの前提条件も透明ではないかもしれません。それにもかかわらず、多くの人々がAI技術やシステムの影響を受けたり、インプットとして利用されたりしている。これは、個人がローン[136]や大学[48]、新しいアパート[77]を申し込むときに起こりうる。このような種類の意思決定の基礎となるアルゴリズムモデルで使用されるデータには，歴史的バイアス，学習データバイアス，測定バイアスが「焼き付け」られています。このようなバイアスは，刑事司法 [7,41,56,74,75,78,87,140,142]，雇用 [4,5,12,16,17,36,118,119]，金融判断 [13,65]などの分野で，人種的・民族的マイノリティに不公平な結果をもたらす可能性があります。 |
| Another cause for distrust may be due to an entire class of untested and/or unreliable algorithms deployed in decision-based settings. Often a technology is not tested – or not tested extensively – before deployment, and instead deployment may be used as testing for the technology. An example is the rush to deploy systems during the COVID pandemic that have turned out to be methodologically flawed and biased [117,124,141]. There are also examples from the literature which describe technology that is based on questionable concepts, deceptive or unproven practices, or lacking theoretical underpinnings [2,9,13,30,33,62,129,141]. The broad consensus of the literature is that systems meant for decision making or predictive scenarios should demonstrate validity and reliability under the very specific setting in which it is intended to be deployed (hiring purposes, risk assessments in the criminal justice system, etc.). The decisions based on these algorithms affect people’s lives in significant ways, and it is appropriate to expect protections in place to safeguard from certain systems and practices. The public’s cautious opinions toward AI [138] might turn increasingly negative if new technologies appear which are based on the same approaches that have already contributed to systematic and well-documented societal harms. | 不信感を抱くもう一つの原因は、テストされていないアルゴリズムや信頼性の低いアルゴリズムが意思決定ベースの環境に導入されていることにあるかもしれません。多くの場合、技術は導入前にテストされないか、広範囲に渡ってテストされないため、導入が技術のテストとして利用されることがあります。その例として、COVIDパンデミックの際にシステムの導入を急いだが、方法論的に欠陥があり、偏っていることが判明した[117,124,141]。また、疑問のある概念に基づいている技術、欺瞞的または証明されていない実践、または理論的裏付けのない技術を記述した文献の例もあります[2,9,13,30,33,62,129,141]。意思決定や予測シナリオを目的としたシステムは，導入を意図した非常に特殊な環境下（雇用目的，刑事司法制度におけるリスク評価など）で有効性と信頼性を示すべきであるというのが，この文献の大まかな結論です．これらのアルゴリズムに基づく決定は、人々の生活に重大な影響を与えるものであり、特定のシステムや慣行から保護するための保護措置を期待するのは適切なことです。すでに組織的で十分に文書化された社会的害悪の原因となっているのと同じアプローチに基づいた新しいテクノロジーが登場すれば、一般の人々のAIに対する慎重な意見[138]は、ますます否定的になるかもしれません。 |
| To summarize the problem, there are many reasons for potential public distrust of AI related to bias in systems. These include: | この問題を要約すると、システムの偏りに関連して、一般の人々がAIに不信感を抱く可能性がある理由はたくさんあります。これらは以下の通りです。 |
| • The use of datasets and/or practices that are inherently biased and historically contribute to negative impacts | • 本質的に偏りがあり、歴史的にマイナスの影響を与えるデータセットや手法の使用 |
| • Automation based on these biases placed in settings that can affect people’s lives, with little to no testing or gatekeeping | • このような偏見に基づく自動化を、人々の生活に影響を与えるような場面で、テストやゲートキーピングをほとんど行わずに行う。 |
| • Deployment of technology that is either not fully tested, potentially oversold, or based on questionable or non-existent science causing harmful and biased outcomes Identifying and working to manage these kinds of bias can mitigate concerns about trustworthiness for in-place and in-development AI technologies and systems. An effective approach will likely need to be one that is not segmented by use case, but works across contexts. | • 十分にテストされていない技術や、過剰に販売されている可能性のある技術、疑わしいまたは存在しない科学に基づいた技術の展開は、有害で偏った結果を引き起こします。 このような偏りを特定し、管理することで、既存および開発中のAI技術やシステムの信頼性に対する懸念を軽減することができます。効果的なアプローチは、ユースケースごとに区分けされたものではなく、コンテクストを超えて機能するものである必要があるでしょう。 |
| Improving trust in AI systems can be advanced by putting mechanisms in place to reduce harmful bias in both deployed systems and in-production technology. Such mechanisms will require features such as a common vocabulary, clear and specific principles and governance approaches, and strategies for assurance. For the most part, the standards for these mechanisms and associated performance measurements still need to be created or adapted. The goal is not “zero risk,” but to manage and reduce bias in a way that contributes to more equitable outcomes that engender public trust. These challenges are intertwined in complex ways and are unlikely to be addressed with a singular focus on one factor or within a specific use or industry. | AIシステムの信頼性を向上させるには、導入されたシステムと生産中の技術の両方において、有害なバイアスを減らすためのメカニズムを導入することが必要です。このようなメカニズムには、共通の語彙、明確で具体的な原則やガバナンスのアプローチ、保証のための戦略などの特徴が必要です。ほとんどの場合、これらのメカニズムと関連するパフォーマンス測定の基準は、まだ作成または適応する必要があります。目標は「リスクをゼロにする」ことではなく、バイアスを管理・削減することで、より公平な結果をもたらし、国民の信頼を獲得することです。これらの課題は複雑に絡み合っており、一つの要因だけに焦点を当てたり、特定の用途や業界内で対処することはできないでしょう。 |
| 3. Approach | 3.アプローチ |
| In the lead-up to this report, the authors sought to capture common themes about the many ways bias is defined and categorized in AI technology. This was accomplished through a literature review, discussions with leaders in the field, a NIST-hosted workshop on bias in AI, and the evaluation of prominent topics across the broader AI research community. This work is not without precedent; there are previous attempts to define and classify AI bias [26,35,64,68,69,91,94,95,98,106,127]. | 本報告書の作成にあたり，著者らは，AI技術においてバイアスがどのように定義され，どのように分類されているかについて，共通のテーマを模索しました．これは、文献調査、この分野のリーダーとの議論、NISTが主催したAIのバイアスに関するワークショップ、幅広いAI研究コミュニティにおける著名なトピックの評価によって達成されました。AIのバイアスを定義・分類する試みはこれまでにも行われています[26,35,64,68,69,91,94,95,98,106,127]。 |
| The literature review consisted of a total of 313 articles, books, reports, and news publications about AI bias from a variety of perspectives. In the survey of the literature, we identified a list of prominent biases present in AI that are contributors to societal harms. This list and accompanying definitions are presented in an alphabetical glossary in Appendix A. | 文献調査では、さまざまな観点からAIのバイアスに関する記事、書籍、報告書、ニュースリリースなど、合計313件を調査しました。文献調査では、AIに存在し、社会的な弊害の原因となっている顕著な偏りのリストを特定しました。このリストとその定義は、附属書Aのアルファベット順の用語集に記載されています。 |
| The reviewed literature suggests that the expansion of AI into many aspects of public life requires extending our view from a mainly technical perspective to one that considers AI within the social system it operates [3,18,19,31,34,40,41,43,71,97,118,120,134]. Taking social factors into consideration is necessary for achieving trustworthy AI, and can enable a broader understanding of AI impacts and the key decisions that happen throughout, and beyond, the AI lifecycle – such as whether technology is even a solution to a given task or problem [11,49]. Such a change in perspective will require working with new stakeholders and developing guidance for effectively engaging social factors within a technical perspective. A key factor in this area is the many ways in which institutions indirectly drive the design and use of AI. Also, while AI practices may not intend to contribute to inequality or other negative forms of bias, there are always complex social factors that may be overlooked, especially since biases play out in context-specific ways and may not be captured or understood within one setting. | レビューした文献によると、公共生活の多くの側面にAIが拡大するためには、主に技術的な視点から、AIが作動する社会システムの中でAIを考慮する視点に拡大する必要があることが示唆されています[3,18,19,31,34,40,41,43,71,97,118,120,134]。社会的要因を考慮に入れることは、信頼できるAIを実現するために必要であり、AIの影響や、技術が与えられたタスクや問題に対する解決策であるかどうかなど、AIのライフサイクル全体およびそれ以降に起こる重要な決定について、より幅広い理解を可能にします[11,49]。このような視点の変化には、新たなステークホルダーと協力し、技術的な視点の中で社会的要因を効果的に関与させるためのガイダンスを開発する必要があります。この分野で重要なのは、機関が間接的にAIの設計と使用を推進する多くの方法です。また、AIの実践では、不平等やその他の否定的な形態のバイアスを助長することを意図していないかもしれませんが、特にバイアスは文脈に応じて再生されるため、1つの設定の中では捉えたり理解したりできない可能性があり、見落とされる可能性のある複雑な社会的要因が常に存在します。 |
| Whether statistical or societal, bias continues to be a challenge for researchers and technology developers seeking to develop and deploy trustworthy AI applications. How bias and trust interrelate is a key societal question, and understanding it will be paramount to improving acceptance of AI systems. A consistent finding in the literature is the notion that trust can improve if the public is able to interrogate systems and engage with them in a more transparent manner. Yet, in their article on public trust in AI, Knowles and Richards state “…members of the public do not need to trust individual AIs at all; what they need instead is the sanction of authority provided by suitably expert auditors that AI can be trusted” [80]. Creating such an authority requires standard practices, metrics, and norms. NIST has experience in creating standards and databases, and has been evaluating the algorithms used in biometric technologies since the 1960s. With the development of privacy and cybersecurity frameworks [99,101], NIST has helped organizations manage risks of the digital environment, and, through a series of reports and workshops, intends to contribute to a similar collaborative approach for managing AI trustworthiness as part of broader stakeholder efforts. | 統計的なものであれ、社会的なものであれ、バイアスは、信頼できるAIアプリケーションを開発・展開しようとする研究者や技術開発者にとって、引き続き課題となっています。バイアスと信頼がどのように関係しているかは、社会的に重要な問題であり、これを理解することは、AIシステムの受け入れを改善する上で最も重要です。この文献で一貫しているのは、一般の人々がシステムを調べ、より透明性の高い方法でシステムに関わることができれば、信頼が向上するという考え方です。しかし、KnowlesとRichardsは、AIに対する一般市民の信頼に関する論文の中で、「...一般市民は、個々のAIを全く信頼する必要はありません。代わりに必要なのは、適切な専門家の監査人が提供する、AIが信頼できるという権威の制裁です」と述べています[80]。このような権威を作り出すには、標準的な慣行、測定基準、規範が必要です。NISTは、標準規格やデータベースの作成経験があり、1960年代から生体認証技術に使われるアルゴリズムの評価を行ってきました。NISTは、プライバシーやサイバーセキュリティのフレームワーク[99,101]を開発することで、組織がデジタル環境のリスクを管理することを支援してきましたが、一連の報告書やワークショップを通じて、より広範なステークホルダーの取り組みの一環として、AIの信頼性を管理するための同様の共同アプローチに貢献したいと考えています。 |
| ... | ... |
| 5. Conclusion and Next Steps | 5.結論と次のステップ |
| We have identified a few of the many ways that algorithms can create conditions for discriminatory decision making. In an effort to identify the technical requirements for cultivating trustworthy and responsible AI, this report suggests a three-stage approach for managing AI bias. This approach is intended to foster discussion about the path forward and collaborative development of standards and a risk-based framework. Rather than identifying and tackling specific biases within cases, this report suggests a need to address the context-specific nature of AI bias by associating applicable biases within specific stages modeled on the AI lifecycle for more effective management and mitigation. NIST is interested in obtaining feedback from the broader community about this proposed approach via public comment and a series of public events. | 私たちは、アルゴリズムが差別的な意思決定の条件を作り出す可能性がある多くの方法のうち、いくつかを特定しました。本報告書では、信頼できる責任あるAIを育成するための技術的要件を明らかにするために、AIのバイアスを管理するための3段階のアプローチを提案しています。このアプローチは、今後の方向性についての議論を促し、基準やリスクベースのフレームワークを共同で開発することを目的としています。本報告書では、ケース内の特定のバイアスを特定して対処するのではなく、より効果的な管理と緩和のために、AIのライフサイクルをモデルとした特定のステージに該当するバイアスを関連付けることで、AIのバイアスのコンテキスト固有の性質に対処する必要性を提案しています。NISTは、パブリックコメントや一連の公開イベントを通じて、この提案されたアプローチに関する幅広いコミュニティからのフィードバックを得たいと考えています。 |
| The broader AI research community, practitioners, and users all have many valuable insights and recommendations to offer in managing and mitigating bias. Identifying which techniques to include in a framework that seeks to promote trustworthiness and responsibility in AI requires an approach that is actively representative and includes a broad set of disciplines and stakeholders. This will allow interested parties to move forward with guidance that is effective and implementable, accurate, realistic, and fit for purpose. It has the potential to increase public trust and advance the development and use of beneficial AI technologies and systems. To that end, this report concludes: | AIの研究者、実務者、ユーザーは、バイアスを管理・軽減する上で、多くの貴重な洞察力と提言を持っています。AIの信頼性と責任を促進するためのフレームワークにどの技術を含めるべきかを特定するには、幅広い分野とステークホルダーを積極的に代表するアプローチが必要です。これにより、関係者は、効果的で実施可能な、正確で現実的な、目的に合ったガイダンスを進めていくことができます。それは、国民の信頼を高め、有益なAI技術やシステムの開発と利用を促進する可能性がある。そのために、本報告書は結論を出す。 |
| • Bias is neither new nor unique to AI. | • バイアスは、AIにとって新しいものでも、固有のものでもありません。 |
| • The goal is not zero risk but rather, identifying, understanding, measuring, managing and reducing bias. | • 目標はゼロリスクではなく、バイアスを特定し、理解し、測定し、管理し、削減することです。 |
| • Standards and guides are needed for terminology, measurement, and evaluation of bias. | • バイアスの用語、測定、評価については、基準やガイドが必要です。 |
| • Bias reduction techniques are needed that are flexible and can be applied across contexts, regardless of industry. | • 業界を問わず、コンテクストを超えて柔軟に適用できるバイアス低減技術が必要です。 |
| • NIST plans to develop a framework for trustworthy and responsible AI with the participation of a broad set of stakeholders to ensure that standards and practices reflect viewpoints not traditionally included in AI development. | • NISTは、AI開発に従来含まれていなかった視点を標準やプラクティスに反映させるため、幅広いステークホルダーの参加を得て、信頼できる責任あるAIのフレームワークを開発する予定です。 |
| • NIST will collaboratively develop additional guidance for assurance, governance, and qpractice improvements as well as techniques for enhancing communication among different stakeholder groups. | • NISTは、保証、ガバナンス、QPの改善のための追加ガイダンスや、異なるステークホルダーグループ間のコミュニケーションを強化するための技術を共同で開発します。 |
| To make the necessary progress towards the goal of trustworthy and responsible AI, NIST intends to act as a hub for the broader community of interest and to collaboratively engage with experts and other stakeholders as they address the challenges of AI. To that end, NIST will host a variety of activities in 2021 and 2022 in each area of the core building blocks of trustworthy AI (accuracy, explainability and interpretability, privacy, reliability, robustness, safety, and security (resilience), and bias). | 信頼できる責任あるAIという目標に向けて必要な進歩を遂げるために、NISTはより広範な関心を持つコミュニティのハブとしての役割を果たし、AIの課題に取り組む専門家や他のステークホルダーと共同で取り組んでいくつもりです。そのために、NISTは2021年と2022年に、信頼できるAIのコアビルディングブロック（正確性、説明可能性と解釈可能性、プライバシー、信頼性、堅牢性、安全性、セキュリティ（レジリエンス）、バイアス）の各分野で様々な活動を開催します。 |
Comments