OECD.AI AIアルゴリズム監査 (2023.12.19)
こんにちは、丸山満彦です。
OECD.AIでAIアルゴリズム監査についての全体的な記事がありますね。。。
AIに関連する監査については、これから重要になると思われます。(もちろん、保証といういみで、助言ではないです。。。)
ただ、AIの監査はある意味、システム監査ともいえますので、
適切な監査基準(独立性や品質管理、品質確保のための行為規範など)とクライテリア(どういうことを保証するか)をつくれば、可能です。
日本も勉強と社会的コンセンサス作りは始めた方が良いかもですね。。。特に監査の厳格さ(保証水準につながる)については、コンセンサスをとるのに時間がかかると思われるので、早めに議論をしたほうがよいですね。。。
・高い保証水準(合理的保証水準)(例えば、会計監査、内部統制監査、WebTrust(電子認証局の監査等)、EUデジタルサービス法の監査)はコストと時間がかかるが、ユーザの安心感は高まる。
・中位の保証水準(限定的保証水準)(例えば、四半期レビュー、)
・もう少し保証水準が低い?(例えば、ISOマネジメントシステムの監査)
というのがありえそうですが、どれを選択すべきか?
● OECD.AI
・2023.12.19 The argument for holistic AI audits
こちらの記事では、AIアルゴリズム監査を
- 技術的な監査
- ガバナンス監査
の両方にわけています。
技術的な監査という意味では、NYCの144条のバイアス監査がそうだと言っていますね。。。
一方、ガバナンス監査の一つとしては、EUのデジタルサービス法 (DSA) で義務付けられている監査を挙げています。(AIに特化した監査ではないが、ガバナンス監査という意味で、AIも含みうるということだろうと思います。)
で、おそらく両方が重要だと思います。
この記事でも引用されている?Holistic AIの記事も参考に...
監査の局面を4つにわけていますね。。。
・2022.12.21 What is AI Auditing?
Triage | トリアージ |
During the initial stage of an audit, the system is documented, and processes are assigned an inherent risk level ranging from high-risk to low-risk. The risk level given to a system depends on factors, including the context that it is used in and the type of AI that it utilises. | 監査の初期段階では、システムは文書化され、プロセスには高リスクから低リスクまでの固有のリスクレベルが割り当てられる。システムに与えられるリスクレベルは、そのシステムが使用される状況や利用するAIの種類などの要因によって決まる。 |
Assessment | アセスメント |
During the assessment phase, the system is assessed on five main verticals to give a clear evaluation of the current state of the system: | アセスメントの段階では、システムの現状を明確に評価するために、5つの主要な項目でシステムが評価される: |
Efficacy | 有効性 |
The key question in this vertical is whether the system delivers an appropriate performance level that matches the system's use case and context. In other words, does the system do what it is meant to and perform as expected? This vertical is particularly important for systems where failure would have significant consequences, such as financial loss. Ensuring a system is efficacious can prevent a poorly performing system from deploying and derailing essential processes. | この項目で重要なのは、システムのユースケースとコンテキストに見合った適切なパフォーマンス・レベルをシステムが提供しているかどうかである。言い換えれば、システムは、それが意図することを実行し、期待通りに機能するかということである。この垂直方向は、経済的損失など、失敗が重大な結果をもたらすシステムにとって特に重要である。システムが効率的であることを保証することで、性能の悪いシステムが配備され、重要なプロセスが脱線するのを防ぐことができる。 |
Robustness & safety | 堅牢性と安全性 |
This vertical addresses the risk that the algorithm fails in unexpected circumstances or when under attack, by asking whether the system is reliable and robust to changes in data or attacks from adversaries. This aims to investigate whether the system has been trained to withstand adversarial attacks, whether it performs differently in different contexts, and whether the algorithm performs as expected on unseen data. | この縦軸は、システムがデータの変化や敵からの攻撃に対して信頼性があり、ロバストであるかどうかを問うことによって、アルゴリズムが予期せぬ状況や攻撃を受けているときに失敗するリスクに対処するものである。これは、システムが敵の攻撃に耐えられるように訓練されているか、異なる文脈で異なるパフォーマンスを示すか、未知のデータでアルゴリズムが期待通りに機能するかなどを調査することを目的としている。 |
Bias | バイアス |
Algorithmic bias can manifest in several ways with varying degrees of consequences for different subject groups. As such, the bias vertical investigates whether the system treats individuals fairly regardless of their subgroup membership or whether the system performs differently across different groups based on characteristics such as age, gender, and ethnicity. Ensuring a system is free from bias can prevent preferential or discriminatory treatment of individuals and ensure fairer outcomes and can help to ensure compliance with equal opportunity laws. | アルゴリズムのバイアスは、様々な方法で現れる可能性があり、その程度は被験者グループによって異なる。そのため、バイアスは、システムがサブグループに属しているかどうかに関係なく個人を公平に扱っているかどうか、または年齢、性別、民族性などの特徴に基づいて、システムが異なるグループ間で異なるパフォーマンスをしているかどうかを調査する。システムに偏りがないことを確認することで、個人の優遇や差別的な扱いを防ぎ、より公平な結果を保証することができる。 |
Explainability | 説明可能性 |
To evaluate the explainability of a system, questions centre around whether the system's outputs are understood, whether the capabilities and purpose of a system are communicated to relevant stakeholders, and whether the mechanics of the system are explainable in human terms. The vertical of explainability is key for critical applications that affect a large number of users and is important in cases where the outcomes of systems are disputed. | システムの説明可能性を評価するためには、システムのアウトプットが理解されているか、システムの能力と目的が関連する利害関係者に伝えられているか、システムの仕組みが人間的な用語で説明可能であるか、などが中心になる。説明可能性の高低は、多数のユーザーに影響を与える重要なアプリケーションにとって重要であり、システムの結果が争点となる場合にも重要である。 |
Algorithm Privacy | アルゴリズムのプライバシー |
This vertical is the most important for applications that process personal and sensitive data and can be assessed by investigating whether the system has appropriate data minimisation and data stewardship practices. Having adequate privacy mechanisms can prevent data breaches and unlawful processing, enable swift action in the event of any breaches, and can ensure that individuals consent to the use of their data. | このレベルは、個人データや機密データを処理するアプリケーションにとって最も重要であり、システムが適切なデータ最小化およびデータ・スチュワードシップを実践しているかどうかを調査することによって評価することができる。適切なプライバシーの仕組みを持つことで、データ侵害や違法な処理を防ぐことができ、万が一侵害が発生した場合には迅速な対応が可能となり、個人が自分のデータの使用に同意していることを確認することができる。 |
Mitigation | 軽減 |
The outcomes of the assessment are used to inform the residual risk of the system. Based on this, actions to lower this risk are suggested. These can be technical, addressing the system itself, or non-technical, addressing issues such as system governance, accountability, and documentation. | アセスメントの結果は、システムの残存リスクを知るために使用される。これに基づき、リスクを低減するための措置が提案される。これには、システム自体に対処する技術的なものと、システムガバナンス、説明責任、文書化などの問題に対処する非技術的なものがある。 |
For example, bias can be mitigated by debiasing the data the model is trained on, amending the model to make it fairer across groups, or amending the outputs of the model to make the predictions fairer, depending on the source of the bias. And to reduce explainability risks, better documentation procedures can be developed, and tools can be used to interpret better the model's decisions, including how different features are weighted. | 例えば、バイアスは、バイアスの原因に応じて、モデルが学習したデータをデビアスしたり、グループ間で公平になるようにモデルを修正したり、予測が公平になるようにモデルの出力を修正することで軽減することができる。また、説明可能性リスクを低減するために、より良い文書化手順を開発し、異なる特徴の重み付け方法など、モデルの決定をより良く解釈するためのツールを使用することができる。 |
Assurance | 保証 |
Assurance is the process of declaring that a system conforms to predetermined standards, practices, or regulations. Assurance can also be given on a conditional basis, with mitigation actions still outstanding for higher risk processes. | 保証とは、システムがあらかじめ決められた基準、慣行、または規制に適合していることを宣言するプロセスである。保証は条件付きで与えることも可能であり、その場合、高リスクのプロセ スについては緩和措置がまだ残っていることになる。 |
For organisations operating in areas where such audits are required, such as New York City, this would also take the form of certification that the requirements of the regulation were met. Similarly, the EU AI Act will require conformity assessments to ensure that high-risk systems are meeting the obligations imposed on them. | ニューヨーク市など、このような監査が義務付けられている地域で活動する組織の場合、これは規制の要件が満たされていることを証明する形にもなる。同様に、EUのAI法では、高リスクのシステムが課せられた義務を満たしていることを確認するために、適合性評価が必要となる。 |
AI監査といえば、ニューヨーク州の自動雇用決定ツール (Automated Employment Decision Tools; AEDT) を使う場合の規制(使用後1年以内に偏見監査を受けなければ使用を禁止する)(Local Law 144 of 2021)が有名ですよね。。。
・Automated Employment Decision Tools (AEDT)
条文...
・Subchapter 25 Automated Employment Decision Tools
Int. No. 1894-A | Int. 第1894-A号 |
By Council Members Cumbo, Ampry-Samuel, Rosenthal, Cornegy, Kallos, Adams, Louis, Chin, Cabrera, Rose, Gibson, Brannan, Rivera, Levine, Ayala, Miller, Levin and Barron | Cumbo、Ampry-Samuel、Rosenthal、Cornegy、Kallos、Adams、Louis、Chin、Cabrera、Rose、Gibson、Brannan、Rivera、Levine、Ayala、Miller、Levin、Barron各議員による |
A Local Law to amend the administrative code of the city of New York, in relation to automated employment decision tools | 自動雇用決定ツールに関するニューヨーク市行政法を改正する地方法 |
Be it enacted by the Council as follows: | 以下の通り制定する: |
Section 1. Chapter 5 of title 20 of the administrative code of the city of New York is amended by adding a new subchapter 25 to read as follows: | 第1節 ニューヨーク市行政法第20章の第5章を改正し、新たに第25章を追加する: |
Subchapter 25 | 第25章 |
Automated Employment Decision Tools | 自動雇用決定ツール |
§ 20-870 Definitions. For the purposes of this subchapter, the following terms have the following meanings: | § 第 20-870 条 定義 本章において、以下の用語は以下の意味を持つ: |
Automated employment decision tool. The term “automated employment decision tool” means any computational process, derived from machine learning, statistical modeling, data analytics, or artificial intelligence, that issues simplified output, including a score, classification, or recommendation, that is used to substantially assist or replace discretionary decision making for making employment decisions that impact natural persons. The term “automated employment decision tool” does not include a tool that does not automate, support, substantially assist or replace discretionary decision-making processes and that does not materially impact natural persons, including, but not limited to, a junk email filter, firewall, antivirus software, calculator, spreadsheet, database, data set, or other compilation of data. | 自動雇用決定ツール。自動雇用決定ツール」とは、機械学習、統計モデリング、データ分析、または人工知能に由来す る、スコア、分類、または推奨を含む簡略化された出力を発行するあらゆる計算プロセスを意味 し、自然人に影響を与える雇用決定を行うための裁量による意思決定を実質的に支援または代替する ために使用される。自動雇用判断ツール」という用語には、裁量的な意思決定プロセスを自動化、支援、実質的に支援、または代替するものではなく、自然人に重大な影響を与えないツールは含まれない。これには、迷惑メールフィルタ、ファイアウォール、ウイルス対策ソフトウェア、計算機、スプレッドシート、データベース、データセット、またはその他のデータの編集物が含まれるが、これらに限定されない。 |
Bias audit. The term “bias audit” means an impartial evaluation by an independent auditor. Such bias audit shall include but not be limited to the testing of an automated employment decision tool to assess the tool’s disparate impact on persons of any component 1 category required to be reported by employers pursuant to subsection (c) of section 2000e-8 of title 42 of the United States code as specified in part 1602.7 of title 29 of the code of federal regulations. | バイアス監査。バイアス監査」とは、独立監査人による公平な評価を意味する。このようなバイアス監査には、連邦規則集第 29 編第 1602.7 項に規定される、合衆国法律第 42 編第 2000e-8 項第(c)節に従って雇用主が報告することが義務付けられている構成要素 1 のカテゴリーに属する人に対するツールのバイアス影響を評価するための、自動雇用決定ツールのテストを含むが、これに限定されない。 |
Employment decision. The term “employment decision” means to screen candidates for employment or employees for promotion within the city. | 雇用決定。採用決定」とは、市内で採用候補者または昇進のための従業員を選別することを意味する。 |
§ 20-871 Requirements for automated employment decision tools. a. In the city, it shall be unlawful for an employer or an employment agency to use an automated employment decision tool to screen a candidate or employee for an employment decision unless: | § 第 20-871 条 自動雇用決定ツールの要件 a. 市内では、雇用主または雇用機関が、雇用決定のために候補者または被雇用者を選別 するために自動雇用決定ツールを使用することは、以下の場合を除き違法とする: |
1. Such tool has been the subject of a bias audit conducted no more than one year prior to the use of such tool; and | 1. 当該ツールは、使用前 1 年以内に実施されたバイアス監査の対象である。 |
2. A summary of the results of the most recent bias audit of such tool as well as the distribution date of the tool to which such audit applies has been made publicly available on the website of the employer or employment agency prior to the use of such tool. | 2. 当該ツールの使用前に、当該ツールに関する直近のバイアス監査結果の概要と、当該監査が適用されたツールの配布日が、雇用主または雇用機関のウェブサイトで公開されていること。 |
b. Notices required. In the city, any employer or employment agency that uses an automated employment decision tool to screen an employee or a candidate who has applied for a position for an employment decision shall notify each such employee or candidate who resides in the city of the following: | b. 通知が必要である。本市において、自動雇用判断ツールを用いて従業員または求人に応募した候補者をスクリーニングし、雇用判断を行う雇用主または雇用機関は、本市に居住する各従業員または候補者に対し、以下の事項を通知しなければならない: |
1. That an automated employment decision tool will be used in connection with the assessment or evaluation of such employee or candidate that resides in the city. Such notice shall be made no less than ten business days before such use and allow a candidate to request an alternative selection process or accommodation; | 1. 市内に居住する当該従業員または候補者の評価または査定に関して、自動雇用決定ツールが使用されること。このような通知は、その使用の10営業日以上前に行われ、候補者が代替の選考プロセスまたは便宜を求めることができるようにする; |
2. The job qualifications and characteristics that such automated employment decision tool will use in the assessment of such candidate or employee. Such notice shall be made no less than 10 business days before such use; and | 2. 当該自動雇用決定ツールが、当該候補者または従業員の評価に使用する職務上の資格および特性。このような通知は、その使用の10営業日以上前に行われるものとする。 |
3. If not disclosed on the employer or employment agency’s website, information about the type of data collected for the automated employment decision tool, the source of such data and the employer or employment agency’s data retention policy shall be available upon written request by a candidate or employee. Such information shall be provided within 30 days of the written request. Information pursuant to this section shall not be disclosed where such disclosure would violate local, state, or federal law, or interfere with a law enforcement investigation. | 3. 雇用主または職業紹介業者のウェブサイトに開示されていない場合、自動雇用決定ツールのために収集されたデータの種類、当該データの出所、雇用主または職業紹介業者のデータ保持方針に関する情報は、候補者または従業員からの書面による要求があれば入手できるものとする。 当該情報は、書面による要請から30日以内に提供されなければならない。本項に基づく情報の開示が、地方法、州法、または連邦法に違反する場合、あるいは法執行 捜査を妨害する場合は、情報を開示してはならない。 |
§ 20-872 Penalties. a. Any person that violates any provision of this subchapter or any rule promulgated pursuant to this subchapter is liable for a civil penalty of not more than $500 for a first violation and each additional violation occurring on the same day as the first violation, and not less than $500 nor more than $1,500 for each subsequent violation. | § 第20-872条 罰則 a. 本章の規定または本章に従って公布された規則に違反した者は、最初の違反および最初の違 反と同日に発生した追加の違反については500ドル以下、それ以降の違反については500ドル 以上1,500ドル以下の民事罰の責任を負う。 |
b. Each day on which an automated employment decision tool is used in violation of this section shall give rise to a separate violation of subdivision a of section 20-871. | b. 本項に違反して自動雇用決定ツールが使用された各日は、第 20 項第 a 項の別個の違反となる。 |
c. Failure to provide any notice to a candidate or an employee in violation of paragraphs 1, 2 or 3 of subdivision b of section 20-871 shall constitute a separate violation. | c. 第 20-871 項第 b 項第 1 項、第 2 項または第 3 項に違反して、候補者または従業員に 通知を行わなかった場合は、別の違反となる。 |
d. A proceeding to recover any civil penalty authorized by this subchapter is returnable to any tribunal established within the office of administrative trials and hearings or within any agency of the city designated to conduct such proceedings. | d. 第20-873条 本章により許可された民事罰の回収手続きは、行政裁判・聴聞局内、またはそのような手続き を行うよう指定された市の機関内に設置された法廷に戻すことができる。 |
§ 20-873 Enforcement. The corporation counsel or such other persons designated by the corporation counsel on behalf of the department may initiate in any court of competent jurisdiction any action or proceeding that may be appropriate or necessary for correction of any violation issued pursuant this subchapter, including mandating compliance with the provisions of this chapter or such other relief as may be appropriate. | § 第20-873条 強制執行。第 20-873条 会社の顧問弁護士、または部署を代表して会社の顧問弁護士が指名するその他の人物は、 管轄裁判所において、本章の規定への遵守の義務付けまたは適切なその他の救済を含め、本章に従って 発布された違反の是正のために適切または必要な訴訟または手続きを開始することができる。 |
§ 20-874 Construction. The provisions of this subchapter shall not be construed to limit any right of any candidate or employee for an employment decision to bring a civil action in any court of competent jurisdiction, or to limit the authority of the commission on human rights to enforce the provisions of title 8, in accordance with law. | § 第 20-874条 構成。第 20-874条 本章の規定は、雇用決定に対する候補者または被雇用者が、管轄権を有する裁判所に民事 訴訟を提起する権利を制限するもの、または、法律に従い、タイトル8の規定を執行する 人権委員会の権限を制限するものと解釈してはならない。 |
§ 2. This local law takes effect on January 1, 2023. | § 2. この地方法は 2023 年 1 月 1 日に発効する。 |
FAQ...
・[PDF] Automated Employment Decision Tools: Frequently Asked Questions
Automated Employment Decision Tools: | 自動雇用決定ツール |
Frequently Asked Questions | よくある質問 |
The NYC Department of Consumer and Worker Protection (DCWP) enforces Local Law 144 of 2021 which regulates automated employment decision tools. These FAQ provide general information and guidance. Sections include: | ニューヨーク市消費者・労働者保護局(DCWP)は、自動雇用決定ツールを規制する2021年地方法第144号を施行する。これらのFAQは、一般的な情報とガイダンスを提供する。セクションは以下の通りである: |
I. Overview of the Law | I. 法律の概要 |
II. General Bias Audit Requirements | II. 一般的なバイアス監査要件 |
III. Data Requirements | III. データ要件 |
IV. Independent Auditors | IV. 独立監査人 |
V. Responsibility for Bias Audits | V. バイアス監査の責任 |
VI. Notice Requirements | VI. 通知要件 |
VII. Complaints | VII. 苦情 |
I. Overview of the Law | I. 法律の概要 |
1. What is Local Law 144 of 2021? | 1. 2021年地方法第144号とは何か? |
The Law prohibits employers and employment agencies from using an automated employment decision tool (AEDT) in New York City unless they ensure a bias audit was done and provide required notices. | この法律は、ニューヨーク市において、雇用主や職業紹介業者が、バイアス監査が行われたことを確認し、必要な通知を行わない限り、自動雇用判断ツール(AEDT)を使用することを禁止するものである。 |
The Law was enacted in 2021. It took effect on January 1, 2023. Enforcement begins on July 5, 2023. | 同法は2021年に制定された。2023年1月1日に施行された。施行は2023年7月5日に始まる。 |
2. What is an AEDT? An AEDT is a computer-based tool that: | 2. AEDTとは何か?AEDTとは、コンピューターベースのツールである: |
• Uses machine learning, statistical modeling, data analytics, or artificial intelligence. AND | ・機械学習、統計モデリング、データ分析、人工知能を使用する。そして |
• Helps employers and employment agencies make employment decisions. AND | ・雇用主や職業紹介事業者の雇用決定を支援する。そして |
• Substantially assists or replaces discretionary decision-making. | ・かつ,裁量による意思決定を実質的に補助または代替する。 |
3. How can you tell if a tool uses machine learning, statistical modeling, data analytics, or artificial intelligence? | 3. 機械学習、統計モデリング、データ分析、人工知能を使用したツールかどうかをどのように見分けるか? |
Machine learning, statistical modeling, data analytics, or artificial intelligence are mathematical, computer-based techniques used to: | 機械学習、統計モデリング、データ分析、または人工知能は、数学的、コンピュータベースの技術であり、以下の目的で使用される: |
• Generate a prediction or a classification. AND | ・予測や分類を行う。そして |
• Identify the inputs, the relative importance of the identified inputs, and any other parameters to improve the accuracy of the generated prediction or classification. | ・生成された予測または分類の精度を向上させるために,入力,特定された入力の相対的重要性,その他のパラメータを特定する。 |
A prediction includes but is not limited to an assessment of a candidate’s fit for the job or likelihood of success. | 予測には、候補者の職務への適合性または成功の可能性の評価が含まれるが、これに限定されない。 |
A classification is an assignment of an observation to a group, such as categorizations based on skill sets or aptitude. | 分類とは、スキルセットや適性に基づく分類など、観察結果をあるグループに割り当てることである。 |
See The Rules of the City of New York for additional guidance. |
その他の指針については、『ニューヨーク市規則』を参照のこと。 |
4. What are the Law’s requirements and how do they apply to an AEDT used “in the city”? | 4. 同法の要件とは何か、また「市内で」使用されるAEDTにどのように適用されるのか。 |
The Law applies only to employers and employment agencies that use an AEDT “in the city.” This means: | この法律は、"市内で "AEDTを使用する雇用主および職業紹介業者にのみ適用される。つまり |
• The job location is an office in NYC, at least part time. OR | ・勤務地がニューヨーク市内にあり、少なくともパートタイムである。または |
• The job is fully remote but the location associated with it is an office in NYC. OR | ・完全な遠隔地勤務であるが、勤務地がニューヨーク市内のオフィスである。または |
• The location of the employment agency using the AEDT is NYC or, if the location of the employment agency is outside NYC, one of the bullets above is true. | ・AEDTを使用する雇用エージェントの所在地がニューヨーク市であるか、または雇用エージェントの所在地がニューヨーク市以外の場合、上記の箇条書きのいずれかが当てはまる。 |
If the Law applies: | 法律が適用される場合 |
• A bias audit of the AEDT must be completed before its use. AND | ・AEDTを使用する前にAEDTのバイアス監査を完了しなければならない。および |
• Job candidates who are New York City residents must receive notice that the employer or employment agency uses an AEDT. | ・ニューヨーク市在住の求職者は,雇用主または職業紹介業者がAEDTを使用していることを通知されなければならない。 |
5. Is an “employment decision” just the final hiring or promotion decision? | 5. 雇用上の決定」とは、最終的な採用や昇進の決定だけか? |
No. The Law defines employment decision more broadly to include screening. | いいえ、法律は雇用の決定をより広く定義しており、選考も含まれる。 |
If employers or employment agencies use an AEDT to substantially help them assess or screen candidates at any point in the hiring or promotion process, they must comply with the Law’s requirements before using an AEDT. | 雇用主または雇用代理店が、採用または昇進プロセスのいずれかの時点で、候補者の評価または選考に実質的に役立てるためにAEDTを使用する場合、AEDTを使用する前に同法の要件を遵守しなければならない。 |
6. Do the Law’s requirements apply if an employer or employment agency uses an AEDT to scan a resume bank, conduct outreach to potential candidates, or invite applications? | 6. 雇用主または人材派遣会社が、履歴書バンクのスキャン、潜在的候補者への働きかけ、または応募の呼びかけのためにAEDTを使用する場合、同法の要件は適用されるか? |
No. The requirements apply to AEDT use to assess candidates for hiring or promotion only. A candidate for employment is a person who has applied for a specific position by submitting the necessary information or items in the format required by the employer or employment agency. | いいえ。要件は、採用または昇進の候補者を評価するためにのみAEDTを使用する場合に適用される。採用候補者とは、雇用主または雇用機関が要求するフォーマットで必要な情報や項目を提出し、特定のポジションに応募した人のことである。 |
If AEDT use is to assess someone who is not an employee being considered for promotion and who has not applied for a specific position for employment, the bias audit and notice requirements do not apply. | AEDTの使用が、昇進を検討されている従業員ではなく、雇用のための特定のポジションに応募していない人を評価するためのものである場合、バイアス監査および通知要件は適用されない。 |
II. General Bias Audit Requirements | II. 一般的なバイアス監査の要件 |
1. What is a bias audit? | 1. バイアス監査とは何か? |
A bias audit is an impartial evaluation by an independent auditor. | バイアス監査とは、独立監査人による公平な評価である。 |
At a minimum, an independent auditor’s evaluation must include calculations of selection or scoring rates and the impact ratio across sex categories, race/ethnicity categories, and intersectional categories. | 最低限、独立監査人の評価には、選択率または得点率の計算と、性別カテゴリー、人種/民族カテゴリー、および交差カテゴリーにわたる影響比率が含まれていなければならない。 |
See TRules of the City of New York for examples of what must be in a bias audit. | バイアス監査の記載事項の例については、『ニューヨーク市規則』を参照のこと。 |
2. Do employers and employment agencies have to stop using an AEDT if the results of a bias audit seem to indicate a disparate impact? | 2. バイアス監査の結果が差別的影響を示していると思われる場合、雇用主や雇用機関はAEDTの使用を中止しなければならないのか? |
The Law requires employers and employment agencies to do a bias audit; however, the Law does not require any specific actions based on the results of a bias audit. | 同法は、雇用主および雇用機関にバイアス監査を義務付けているが、バイアス監査の結果に基づく具体的な措置を義務付けてはいない。 |
Important: Federal, state, and New York City laws prohibit discrimination. Employers and employment agencies must comply with all relevant Anti-Discrimination laws and rules to determine any necessary actions based on the results of a bias audit. | 重要である: 連邦法、州法、ニューヨーク市の法律は差別を禁止している。雇用主および雇用機関は、バイアス監査の結果に基づいて必要な措置を決定するために、関連するすべての反差別法および規則を遵守しなければならない。 |
Visit nyc.gov/humanrights for more information about the NYC Human Rights Law. | ニューヨーク市人権法の詳細については、nyc.gov/humanrightsを参照のこと。 |
3. Do employers and employment agencies have to publicly share the results of a bias audit? | 3. 雇用主や雇用機関は、バイアス監査の結果を公に共有しなければならないのか? |
Yes. Employers and employment agencies must publish: | はい。雇用主および雇用機関は、以下を公表しなければならない: |
• A summary of the results of the most recent bias audit. AND | ・直近のバイアス監査結果の要約。そして |
• The distribution date of the AEDT. | ・AEDTの配布日。 |
Distribution date is the date employers and employment agencies began using the AEDT. | 配布日とは、雇用主および雇用機関がAEDTの使用を開始した日である。 |
They can: | 雇用主や職業紹介事業者は、以下を行うことができる: |
• Post this information on the employment section of their website. AND/OR | ・この情報をウェブサイトの雇用セクションに掲載する。または |
• Provide an active hyperlink to a website with this information. | ・この情報が掲載されたウェブサイトへのアクティブなハイパーリンクを提供する。 |
The summary of results must include: | 結果の概要には、以下を含めなければならない: |
• The date of the most recent bias audit of the AEDT. AND | ・AEDTの直近のバイアス監査の日付。および |
• The source and explanation of the data used to conduct the bias audit. AND | ・バイアス監査の実施に使用されたデータの出典と説明。および |
• The number of individuals the AEDT assessed that fall within an unknown category. AND | ・AEDTが評価した個人のうち,不明なカテゴリーに属する人の数。AND |
• The number of applicants or candidates, the selection or scoring rates, as applicable, and the | ・申請者または候補者の数,該当する場合は選考率または採点率,および全カテゴリーの影響比率。 |
impact ratios for all categories. | 全カテゴリーの影響比率。 |
4. How often must employers and employment agencies perform a bias audit? | 4. 雇用主や職業紹介会社は、どのくらいの頻度でバイアス監査を実施しなければならないのか? |
Every year. Employers and employment agencies can only rely on a bias audit for one year from the date it was conducted. To be able to use an AEDT, they must ensure the AEDT has had a bias audit within the past year. | 毎年である。雇用主や雇用機関は、バイアス監査を実施した日から1年間しか依拠することができない。AEDTを使用するためには、AEDTが過去1年以内にバイアス監査を受けたことを確認しなければならない。 |
III. Data Requirements | III. データ要件 |
1. What data should employers and employment agencies use to conduct a bias audit? | 1. 雇用主と職業紹介会社は、バイアス監査を実施するためにどのようなデータを使用すべきか? |
Historical data of the AEDT must be used to conduct a bias audit. “Historical data” is the data collected during an employer’s or employment agency’s use of an AEDT to assess candidates for employment or employees for promotion. | バイアス監査の実施には、AEDTの過去のデータを使用しなければならない。「履歴データ」とは、雇用主または雇用機関が雇用候補者または昇進のための従業員を評価するためにAEDTを使用する際に収集されたデータのことである。 |
There are exceptions for test data. See the FAQ that follow. | テストデータについては例外がある。以下のFAQを参照のこと。 |
2. Can a bias audit use historical data from another employer’s or employment agency’s use of the same AEDT? | 2. バイアス監査は、別の雇用主または雇用機関が同じAEDTを使用した際の履歴データを使用できるか? |
Yes. A bias audit can use the historical data of multiple employers or employment agencies that use the same AEDT; however, employers and employment agencies can only rely on it if: | はい。バイアス監査は、同じAEDTを使用している複数の雇用主または雇用機関の履歴データを使用することができる: |
• They provided historical data from their use of the AEDT to the independent auditor conducting the bias audit. OR | ・バイアス監査を実施する独立監査人にAEDTの使用履歴データを提供している。または |
• It is the first time they are using the AEDT. | ・初めて AEDT を使用する。 |
3. Can employers and employment agencies limit the historical data—for example, time periods—used for a bias audit? | 3. 雇用主や職業紹介会社は、バイアス監査に使用する履歴データ(例えば、期間)を制限することができるか? |
The Law has no specific requirement about the historical data used for a bias audit. However, the summary of the results of a bias audit must include the source and explanation of the data used to conduct the bias audit. If the historical data was limited in any way, including to a specific region or time period, the audit should explain why. | この法律では、バイアス監査に使用する過去のデータについて特別な要件は設けていない。しかし、バイアス監査の結果の要約には、バイアス監査を実施するために使用したデータの出典と説明を含めなければならない。過去のデータが、特定の地域や期間を含め、何らかの形で限定されていた場合、監査はその理由を説明すべきである。 |
4. Can companies that hire for different positions rely on a bias audit based on the historical data of multiple employers or employment agencies? | 4. 異なる職種を採用する企業は、複数の雇用主または職業紹介業者の履歴データに基づくバイアス監査に頼ることができるか? |
Yes. However, companies can only rely on it if: | はい。ただし、以下の場合に限り依拠することができる: |
• They provided historical data from their use of the AEDT to the independent auditor conducting the bias audit. OR | ・バイアス監査を実施する独立監査人に,AEDTの使用履歴データを提供した。または |
• It is the first time they are using the AEDT. | ・初めてAEDTを使用する。 |
There is no additional requirement that the companies providing historical data used the AEDT to hire or promote for the same type of position. | 過去のデータを提供した企業が、同じ職種の採用や昇進にAEDTを使用したという追加要件はない。 |
5. What should employers and employment agencies do if they do not collect demographic data from applicants or if they have minimal historical data from their use of an AEDT? | 5. 応募者から人口統計学的データを収集していない場合、またはAEDTを使用した履歴データがほとんどない場合、雇用主や人材紹介会社はどうすればよいか? |
If there is insufficient historical data available to conduct a statistically significant bias audit, test data can be used to conduct a bias audit. | 統計的に有意なバイアス監査を行うために利用できる過去のデータが不十分な場合、テストデータを使用してバイアス監査を行うことができる。 |
See The Rules of the City of New York for specific examples of data use. | データ使用の具体例については、ニューヨーク市の規則を参照のこと。 |
6. Can employers and employment agencies impute demographic information to applicants or use algorithmic software to infer it? | 6. 雇用主や就職斡旋業者は、応募者に人口統計学的情報を付与したり、アルゴリズムソフトを使用して推論することができるか? |
No. Imputed or inferred data cannot be used to conduct a bias audit. | いいえ。バイアス監査を実施するために、インプットまたは推論されたデータを使用することはできない。 |
Historical data must be used to conduct a bias audit. Historical data is data collected during an employer’s or employment agency’s use of an AEDT to assess candidates for employment or employees for promotion. | バイアス監査の実施には、過去のデータを使用しなければならない。履歴データとは、雇用主または雇用機関が採用候補者または昇進を希望する従業員を評価するためにAEDTを使用する際に収集されたデータのことである。 |
If there is insufficient historical data available to conduct a statistically significant bias audit, the following can be used to conduct a bias audit: | 統計的に有意なバイアス監査を実施するために利用できる過去のデータが不十分な場合、バイアス監査を実施するために以下を利用することができる: |
• Historical data of other employers or employment agencies. OR | ・他の雇用主または雇用機関の過去のデータ。または |
• Test data. | ・試験データ。 |
7. What is a “statistically significant bias audit”? | 7. 統計的に有意なバイアス監査」とは何か? |
DCWP has not set a specific requirement for statistical significance. If an independent auditor determines there is insufficient historical data to conduct a statistically significant bias audit, test data may be used to conduct the bias audit. The summary of results of the bias audit must explain why test data was used and include the source and description of the data. | DCWP は、統計的有意性についての具体的な要件を定めていない。独立監査人が、統計的に有意なバイアス監査を実施するには過去のデータが不十分であると判断した場合、試験データを使用してバイアス監査を実施することができる。バイアス監査結果の要約には、テストデータを使用した理由を説明し、データの出所と説明を含め なければならない。 |
8. What are the requirements for test data? | 8. テストデータの要件は何か? |
To allow for flexibility and development of best practices in this rapidly developing field, DCWP has not set requirements for test data. However, the summary of results of the bias audit must include the source and explanation of the data used to conduct the bias audit. In addition, if the bias audit used test data, the summary should explain how the data was sourced or developed. | 急速に発展しているこの分野におけるベストプラクティスを柔軟に発展させるため、DCWP はテス トデータに関する要件を定めていない。ただし、バイアス監査の結果の要約には、バイアス監査の実施に使用したデータの出典と説明を含めなければならない。加えて、バイアス監査がテストデータを使用した場合、要約は、そのデータがどのように入手または開発されたかを説明しなければならない。 |
9. When can the calculations in a bias audit exclude a sex, race/ethnicity, or intersectional category? | 9. バイアス監査において、性別、人種/民族、または交差カテゴリーを除外して計算できるのはどのような場合か? |
If a category represents less than 2% of the data used for the bias audit, it can be excluded from the required calculations. However, the calculations must include all other categories. | あるカテゴリーがバイアス監査に使用されたデータの2%未満である場合、必要な計算から除外することができる。ただし、計算には他のすべてのカテゴリーを含めなければならない。 |
Note: The requirements for the bias audit are minimum requirements. An independent auditor can provide further explanation of the data or calculations. | 注:バイアス監査の要件は最低要件である。独立監査人は、データや計算についてさらなる説明を行うことができる。 |
IV. Independent Auditors | IV. 独立監査人 |
1. Does DCWP have a list of approved independent auditors? | 1. DCWP は、承認された独立監査人のリストを持っているか? |
No. The Law does not require independent auditors to be approved by DCWP. | 法律は、独立監査人が DCWP によって承認されることを義務付けていない。 |
2. Who can be an independent auditor? | 2. 誰が会計監査人になれるのか。 |
An independent auditor is someone who exercises objective and impartial judgment in the performance of a bias audit. | 独立監査人とは、偏った監査の実施において客観的かつ公平な判断を行う者である。 |
Auditors are NOT independent if they: | 以下の場合、独立監査人ではない: |
• Work for the employer or employment agency that will use the AEDT or the vendor that developed or distributes the AEDT. OR | ・AEDT を使用する雇用主または雇用機関,あるいは AEDT を開発または配布したベンダーのために働いている。または |
• Were involved in using, developing, or distributing the AEDT regardless of where they work currently. OR | ・現在働いている場所にかかわらず,AEDT の使用,開発,配布に関与していた。または |
• Have a direct financial interest or a material indirect financial interest in the employer or employment agency that will use the AEDT or the vendor that developed or distributed the AEDT. | ・AEDTを使用する雇用主もしくは雇用機関,またはAEDTを開発もしくは配布したベンダーと直接的な金銭的利害関係,または重大な間接的金銭的利害関係がある。 |
V. Responsibility for Bias Audits | V. バイアス監査の責任 |
1. Who is responsible for complying with the Law's bias audit requirement? | 1. 法のバイアス監査要件を遵守する責任は誰にあるのか? |
Employers and employment agencies are responsible for ensuring they do not use an AEDT unless a bias audit was done. | 雇用主および人材派遣会社は、バイアス監査が行われない限り、AEDTを使用しないようにする責任がある。 |
The vendor that created the AEDT is not responsible for a bias audit of the tool. | AEDTを作成したベンダーは、そのツールのバイアス監査に責任を負わない。 |
2. Can a vendor do a bias audit of its own tool? | 2. ベンダーは自社のツールのバイアス監査を行うことができるか? |
Yes. A vendor can have an independent auditor do a bias audit of its tool. The Law does not prohibit a vendor from having a bias audit done or coordinating the collection of data to use to conduct a bias audit. | できる。ベンダーは、独立監査人に自社のツールのバイアス監査を行わせることができる。この法律は、ベンダーがバイアス監査を行うことや、バイアス監査を行うためのデータ収集を調整することを禁止していない。 |
Important: Employers and employment agencies are ultimately responsible for ensuring a bias audit was done before using an AEDT. | 重要:雇用主や雇用機関は、AEDTを使用する前にバイアス監査が行われたことを確認する最終的な責任を負う。 |
VI. Notice Requirements | VI. 通知要件 |
1. How must employers and employment agencies provide notice of AEDT use? | 1. 雇用主及び雇用機関は、AEDT使用についてどのように通知しなければならないか? |
Employers and employment agencies must notify employees and job candidates who are residents of New York City that they are using an AEDT and the job qualifications or characteristics the AEDT will assess. Employers and employment agencies must: | 雇用主および人材派遣会社は、ニューヨーク市に居住する従業員および求職者に対し、AEDT を使用すること、および AEDT が評価する職務上の資格または特性を通知しなければならない。雇用主および人材派遣会社は、以下を行わなければならない: |
• Include in the notice instructions to request a reasonable accommodation under other laws. AND | ・他の法律に基づく合理的配慮を要求するための指示を通知に含めること。そして |
• Provide the notice 10 business days before using an AEDT. AND | ・AEDT を使用する 10 営業日前に通知すること。そして |
• Provide the notice in a job posting or by mail or email. Note: | ・求人広告,郵便,Eメールで通知すること。注記 |
o For job applicants: As an alternative, employers and employment agencies can provide notice on the employment section of their website. Notice on a website does not have to be positionspecific. | o 求職者の場合:代替案として、雇用主や人材紹介会社は、そのウェブサイトの採用セクションで通知を行うことができる。ウェブサイトでの告知は職種を特定する必要はない。 |
o For candidates for promotion: As an alternative, employers and employment agencies can include notice in a written policy or procedure. Notice provided in this way does not have to be position-specific. | o 昇格候補者の場合:代替案として、雇用主や雇用機関は書面による方針や手順に通知を含めることができる。この方法で提供される通知は、職種に特化したものである必要はない。 |
2. If employers and employment agencies provide notice on their website, when can they start using an AEDT to assess applicants for a position? | 2. 雇用主や雇用機関がウェブサイトで通知を提供する場合、いつからAEDTを使用して応募者を評価することができるのか? |
Employers and employment agencies can begin using an AEDT 10 business days after posting notice on their website regardless of when a specific job posted. | 雇用主や人材派遣会社は、特定の求人がいつ掲載されたかに関わらず、ウェブサイトに通知を掲載してから10営業日後からAEDTの使用を開始することができる。 |
VII. Complaints | VII. 苦情 |
1. How can someone make a complaint about violations of the Law? | 1. 法律違反に関する苦情はどのように申し立てるのか? |
To submit a complaint, contact 311 or visit the DCWP website at nyc.gov/dcwp. | 苦情を申し立てるには、311に連絡するか、DCWPのウェブサイト(nyc.gov/dcwp)を参照のこと。 |
Complaints should include all of the following: | 苦情には以下のすべてを含めること: |
• Details of the job posting or position | ・求人広告またはポジションの詳細 |
• Name and type of AEDT | ・AEDTの名前と種類 |
• Notice provided, if any | ・通知がある場合はその内容 |
• Explanation of suspected violation (for example, AEDT used without notice) | ・違反の疑いの説明(例えば,通知なしにAEDTが使用されたなど) |
2. How will DCWP handle discrimination complaints involving AEDT use? | 2. DCWP は、AEDT 使用に関する差別の苦情をどのように扱うのか? |
DCWP enforces the Law’s prohibition on AEDT use without a bias audit and required notices. | DCWPは、バイアス監査と必要な通知なしにAEDTを使用することを禁止する法律を施行する。 |
Claims of discrimination involving AEDT use should go to the NYC Commission on Human Rights (Commission) which enforces the NYC Human Rights Law. | AEDT使用に関する差別の申し立ては、ニューヨーク市人権法を施行するニューヨーク市人権委員会(Commission on Human Rights)に行う。 |
DCWP will refer any claims of discrimination to the Commission. | DCWPは、差別の申し立てをすべて委員会に照会する。 |
EUのデジタルサービス法における監査については、
このブログの
・2023.12.30 欧州委員会 デジタルサービス法に基づく独立監査に関する委任規則 (2023.10.20)
が参考になるかも...
Recent Comments