欧州委員会 人間とAIの相互作用が差別に与える影響 (2025.01.10)

こんにちは、丸山満彦です。

欧州委員会のリサーチセンターが、AIと人間の相互作用が差別に与える影響を公表していますね...

AIがあたかも人間のような意思を持った存在と人間が錯覚してしまうので、いろいろと問題が出てくるのかもしれませんね...入力したデータに基づき統計的に計算した出力と考えると、出力されたデータを人間がどのように使うのか？というシンプルな問題だけになるのかもしれません。

そう考えると、データを慎重に使うという話とともに、出力されるデータをできるだけ修正せずに使えるようにするために、どのようなアルゴリズムにしていくべきか？ということにつながっていくのかもしれません。

● European Commission

・2025.01.10 Understanding the impact of Human-AI interaction on discrimination

Understanding the impact of Human-AI interaction on discrimination	人間とAIの相互作用が識別に与える影響を理解する
Ensuring fairness by going beyond only “Human” checks for AI suggestions	AIによる提案に対する「人間」によるチェックのみに留まらない公正性の確保
As AI systems are increasingly used to augment decision-making across high-stakes sectors like credit lending and recruitment, the EU Policy Lab's design and behavioural insights experts decided to explore the critical issue of human oversight in AI-supported decisions. With support from colleagues in the European Centre for Algorithmic Transparency (ECAT), we tried to better understand how humans interact with AI.	AIシステムが、融資や採用など重大な影響を伴う分野における意思決定の強化にますます活用されるようになる中、EU Policy Labのデザインおよび行動洞察の専門家たちは、AIによる支援を受けた意思決定における人間による監視という重要な問題を調査することを決定した。欧州アルゴリズム透明性センター（ECAT）の同僚たちの支援を受け、私たちは人間とAIの相互作用についてより深く理解しようとした。
Fairness in AI: more complex than we thought	AIにおける公平性：私たちが考えていたよりも複雑
One might intuitively believe that human oversight can serve as a check against AI biases. However, our comprehensive study which combines quantitative and qualitative research tells a different story.	人間による監視がAIのバイアスに対するチェック機能として役立つと直感的に考える人もいるかもしれない。しかし、定量的および定性的な調査を組み合わせた包括的な研究からは、異なる結果が示された。
We discovered that human overseers are just as likely to follow advice from AI systems, regardless of whether they are programmed for fairness or not. This suggests that human oversight alone is insufficient to prevent discrimination; in fact, it may even perpetuate it.	人間による監視者は、公平性を目的としてプログラムされているかどうかに関わらず、AIシステムからのアドバイスに従う可能性が高いことが分かった。このことは、人間による監視だけでは差別を防ぐには不十分であり、実際には差別を永続化させる可能性さえあることを示唆している。
Our quantitative experiment involved HR and banking professionals from Italy and Germany, who made hiring and lending decisions influenced by AI recommendations. The results were quite striking: the use of a "fair" AI reduced gender bias for instance, but did not eliminate the influence of pre-existing human biases in decision-making.	私たちの定量的な実験では、イタリアとドイツの人事および銀行の専門家が、AIの推奨に影響を受けながら採用や融資の決定を行った。その結果は非常に衝撃的だった。「公平」なAIを使用することで、例えば性別によるバイアスは減少したが、意思決定における既存の人間のバイアスの影響を排除することはできなかった。
Qualitative insights from interviews and workshops with participants and AI experts echoed these findings. Professionals often prioritised company interests over fairness, highlighting a need for clearer guidelines on when to override AI suggestions.	参加者とAI専門家とのインタビューやワークショップから得られた定性的な洞察も、これらの調査結果を裏付けるものであった。専門家は公平性よりも企業利益を優先することが多く、AIの提案を上書きすべき場合の明確なガイドラインの必要性を強調した。
Towards Systemic Fairness	システム的な公平性に向けて
Our conclusions point to the need for a shift from individual oversight to an integrated system designed to address both human and AI biases. True oversight involves more than just programming AI to be fair or relying on individual judgment. It requires a holistic approach such as:	私たちの結論は、個々の監視から、人間とAIのバイアスを両方に対処するように設計された統合システムへの移行の必要性を示している。真の監視には、AIを公平にプログラミングすることや個人の判断に頼る以上のことが必要である。
・Technical measures to ensure AI systems are designed and updated with fairness in mind.	・AIシステムが公平性を念頭に置いて設計・更新されることを確実にする技術的対策。
・Organisational strategies to foster a culture that prioritises fairness and provides training on managing AI tools.	・公平性を優先する文化を醸成し、AIツールの管理に関するトレーニングを提供する組織戦略。
・Policy interventions that establish clear guidelines for human-AI collaboratio	・人間とAIの協働に関する明確なガイドラインを確立する政策介入
Empowering Decision-Makers	意思決定者の権限強化
To effectively mitigate biases, decision-makers need tools and guidelines to help them understand when and how to override AI recommendations. Continuous monitoring and evaluation of AI-assisted outcomes are essential to identify and address emerging biases.	バイアスを効果的に緩和するためには、意思決定者は、AIの推奨をいつ、どのように上書きすべきかを理解するためのツールやガイドラインを必要とする。AIが支援する結果を継続的に監視し評価することは、新たに生じるバイアスを識別し対処するために不可欠である。
Moreover, by giving decision-makers access to data on their performance and potential biases, we can foster a more reflective and responsible approach to AI-supported decision-making.	さらに、意思決定者が、そのパフォーマンスと潜在的なバイアスに関するデータにアクセスできるようにすることで、AIが支援する意思決定に対するより熟考された責任あるアプローチを促進することができる。
Informing the AI Act and Beyond	AI法とその先を見据えて
Earlier last year the EU AI Act was adopted, setting the standards for AI regulation worldwide. Our findings are particularly relevant for making the AI Act operational, highlighting the implications of human oversight. By providing actionable insights, we aim to inform future standards and guidelines that will not only ensure compliance with the AI Act but also surface practical implementation considerations which are equally important.	昨年前半にはEUのAI法が採択され、世界的なAI規制の標準が定められた。 私たちの調査結果は、特にAI法を運用する上で関連性が高く、人間による監視の意義を浮き彫りにしている。 実行可能な洞察を提供することで、AI法へのコンプライアンスを確保するだけでなく、同様に重要な実用的な実装上の考慮事項を明らかにする、今後の標準やガイドラインに役立てていくことを目指している。
Dig deeper into the matter with our freshly published report, offering a more detailed account of our study and its implications for the future of AI governance.	私たちが新たに発表した報告書では、この問題についてさらに深く掘り下げ、私たちの研究の詳細と、AIガバナンスの未来への影響についてより詳しく説明している。
Read the report	報告書を読む
Join us in rethinking the role of human oversight in AI. With appropriate regulations and guidelines, we can make sure that the EU can reap the benefits of new technologies while ensuring equitable and responsible decision-making in the digital era.	AIにおける人間による監視の役割について、私たちと一緒に考え直そう。適切な規制とガイドラインがあれば、EUはデジタル時代における公平で責任ある意思決定を確保しながら、新しいテクノロジーの恩恵を確実に享受することができる。
If you would like to find out more about this project, take a look at some methods we used here Fair decision-making: Can humans save us from biased AI? - European Commission	このプロジェクトについてさらに詳しく知りたい方は、以下で使用した手法の一部をご覧ください。 公正な意思決定：人間はバイアスのかかったAIから私たちを救えるか？ - 欧州委員会

・2025.01.10 The Impact of Human-AI Interaction on Discrimination

The Impact of Human-AI Interaction on Discrimination	人間とAIの相互作用が差別に与える影響
Subtitle: A large case study on human oversight of AI-based decision support systems in lending and hiring scenarios.	副題：融資と雇用におけるAIベースの意思決定支援システムに対する人間による監視に関する大規模なケーススタディ。
Abstract: This large-scale study assesses the impact of human oversight on countering discrimination in AI-aided decision-making for sensitive tasks. We use a mixed research method approach, in a sequential explanatory design whereby a quantitative experiment with HR and banking professionals in Italy and Germany (N=1411) is followed by qualitative analyses through interviews and workshops with volunteer participants in the experiment, fair AI experts and policymakers. We find that human overseers are equally likely to follow advice from a generic AI that is discriminatory as from an AI that is programmed to be fair. Human oversight does not prevent discrimination when the generic AI is used. Choice when a fair AI is used are less gender biased but are still affected by participants' biases. Interviews with participants show they prioritize their company's interests over fairness and highlights the need for guidance on overriding AI recommendations. Fair AI experts emphasize the need for a comprehensive systemic approach when designing oversight systems.	要約：この大規模な研究では、センシティブなタスクにおけるAI支援型意思決定における差別対策に対する人間による監視の影響をアセスメントする。 イタリアとドイツの人事および銀行業務の専門家（N=1411）を対象とした量的実験に続き、実験のボランティア参加者、公平なAI専門家、政策立案者とのインタビューやワークショップによる質的分析を行う逐次説明デザインという混合研究方法アプローチを使用する。その結果、人間による監督は、識別的な汎用AIからの助言と公平なAIからの助言を同程度に受け入れることが分かった。人間による監督は、汎用AIが使用される場合には差別を防止できない。公平なAIが使用される場合の選択は、性別によるバイアスは少ないが、参加者のバイアスには依然として影響を受ける。参加者へのインタビューでは、彼らが公平性よりも自社の利益を優先していることが示され、AIの推奨を上書きするガイダンスの必要性が浮き彫りになった。公平なAIの専門家は、監視システムの設計にあたっては包括的なシステム的アプローチが必要であると強調している。

・The impact of human oversight on discrimination in AI-supported decision-making

・[PDF] downloaded

目次...

Abstract	要旨
Acknowledgements	謝辞
Executive summary	エグゼクティブサマリー
Policy Context	政策の背景
Key conclusions	主な結論
Main findings	主な調査結果
Related and future JRC work	関連するJRCの今後の業務
Quick guide	クイックガイド
1 Introduction	1 序文
2 Context	2 背景
3 Research questions	3 研究課題
4 Methods	4 方法
4.1 A behavioural experiment:	4.1 行動実験：
4.2 Post-experimental qualitative studies	4.2 実験後の定性調査
5 Results of the experiment (Quant)	5 実験の結果（定量）
5.1 Descriptive statistics	5.1 記述統計
5.2 Analysis of choices	5.2 選択の分析
6 Results of the study’s qualitative part (Qual)	6 調査の定性部分の結果（定性）
6.1 Sample descriptive statistics.	6.1 サンプル記述統計
6.2 Analysis of results	6.2 結果の分析
7 Discussion	7 考察
7.1 Human and organisation biases (Overseer)	7.1 人間と組織のバイアス（監督者）
7.2 Oversight of the overriding (Overseer)	7.2 優先事項の監督（監督者）
7.3 Mutual checks (Human + AI)	7.3 相互チェック（人間＋AI）
7.4 Outcome feedback and reinforcement learning (Human + AI)	7.4 結果フィードバックと強化学習（人間＋AI）
7.5 Outcome monitoring and alignment (Decisions)	7.5 結果モニタリングと調整（意思決定）
8 Conclusion References	8 結論 参考文献
List of abbreviations and definitions	略語と定義の一覧
List of figures	図表一覧
List of tables	表一覧
Annexes	附属書
Annex 1. Sample characteristics vs. quotas	附属書 1. サンプルの特徴 vs. クォータ
Annex 2. Variables collected	附属書 2. 収集された変数
Annex 3. Preferences of the AI-based DSS	附属書 3. AI ベースの DSS の優先事項
Annex 4. Preferences and prejudices of the deciders	附属書 4. 意思決定者の優先事項と偏見
Annex 5. Regressions	附属書 5. 回帰

エグゼクティブサマリー...

Executive summary	エグゼクティブサマリー
This study examines how human oversight can improve fairness in AI-assisted decisionmaking, particularly in sectors like human resources and credit lending. While AI is increasingly used to support decision-makers, humans still make the final decisions, which helps prevent harm but may also introduce unintended biases. Our findings highlight how human and AI interactions influence decision-making, especially regarding fairness and discrimination.	本研究では、AIによる意思決定支援、特に人事や融資などの分野における公平性を、人間の監視によってどのように改善できるかを検証する。意思決定者を支援するためにAIの利用が拡大する一方で、最終的な意思決定は依然として人間が行うため、被害を防ぐことができるが、意図しないバイアスが導入される可能性もある。本研究の成果は、特に公平性と識別性に関して、人間とAIの相互作用が意思決定にどのような影響を与えるかを明らかにする。
Method and Findings:	方法と成果：
We conducted experiments with professionals in human resources and credit lending to examine the potential for discrimination in AI-supported decision-making. We used an explanatory sequential design, following the below mixed-methods approach steps:	AIによる意思決定における差別の可能性を検証するため、人事および融資の専門家を対象に実験を行った。 混合研究法のアプローチに従い、以下の手順で逐次的説明デザインを用いた。
We collected data measuring 500 people effort (real-effort task) and trustworthiness (trust game) in the lab and analysed their decisions using machine learning.	研究室で500人の努力（リアルエフォートタスク）と信頼性（信頼ゲーム）を測定するデータを収集し、機械学習を用いて彼らの意思決定を分析した。
With the data collected, we trained 2 AI-based Decision Support Systems (DSS):	収集したデータを用いて、AIベースの意思決定支援システム（DSS）2つを訓練した。
• One optimized for fairness (protecting inputs gender and nationality)	• 公平性（入力の性別と国籍を防御）に最適化されたもの
• One optimized for accuracy (a generic AI)	• 正確性（一般的なAI）に最適化されたもの
We recruited 1400 field professionals who chose who to hire and who to lend, and showed them either a model with or without AI recommendation. Professionals made decisions about candidates, rating attributes such as: interview performance, income and education. In the study, we gauged participants' preferences by asking them to choose and to rank the importance of various candidate characteristics.	1400人の現場専門家を募集し、採用する人、融資する人を選んでもらい、AIによる推奨の有無による2つのモデルを見せた。専門家は候補者について決定を下し、面接のパフォーマンス、収入、学歴などの属性を評価した。この研究では、参加者にさまざまな候補者の特性を選択し、重要度をランク付けしてもらうことで、参加者の好みを評価した。
Quantitative Results: showed that decision-makers were no more likely to follow the fair AI's recommendations than those of the 'unfair" generic Al. Gender discrimination against men disappeared when using the fair AI, whereas the generic Al introduced a bias against women. Similarly, the generic AI resulted in discrimination against Italian applicants. The generic AI, which favoured men and Germans, thus influenced choice against women and Italians. The fair AI for its part influences choice to be less discriminatory against men. Fair AI did thus appear to reduce gender discrimination, but decision makers' preferences also played a role. We confirm that the decider's preferences also have an impact, but that individual preferences do not have more of an influence on choice when there is an Al or none. This allays the concern that even fair AI may enable more precise discrimination based on the decider's preferences.	量的な結果：意思決定者は、公平なAIの推奨に従う可能性は、「不公平な」汎用AIの推奨に従う可能性と変わらないことが示された。公平なAIを使用した場合、男性に対する性差別は消滅したが、汎用AIは女性に対するバイアスをもたらした。同様に、汎用AIはイタリア人申請者に対する差別をもたらした。男性とドイツ人を好む汎用AIは、女性とイタリア人に対する選択に影響を与えた。公平なAIは、男性に対する差別を減らす選択に影響を与える。公平なAIは性差別を減らすように見えるが、意思決定者の好みも役割を果たしている。意思決定者の好みも影響を与えることを確認したが、AIがある場合とない場合では、個人の好みが選択に与える影響はそれほど大きくない。これにより、公平なAIであっても、意思決定者の好みに基づいてより正確な差別が可能になるのではないかという懸念が和らいだ
In the follow-up qualitative study, we conducted semi-structured interviews and small-group workshops with a subset of study participants. The interviews explored participants' real-life experiences with AI, their decision-making processes, perceptions of bias in candidate selection, and their reasoning in the experiments’ scenarios.	その後の定性調査では、調査参加者の一部を対象に半構造化インタビューと小グループでのワークショップを実施した。インタビューでは、参加者のAIに関する実体験、意思決定プロセス、候補者選定におけるバイアスに対する認識、そして実験シナリオにおける推論について探った。
Qualitative Results: Overall, participants held a positive attitude towards AI for professional purposes. They discussed the distinctions between their personal biases, those of their organizations, and broader societal prejudices. They generally prioritized their employer's perspective over challenging organizational norms. Participants believed they were better at assessing situations on a case-by-case basis than AI and expressed hesitance about AI's ability to assess "soft" qualities, such as interview performance. Concerns were raised about the lack of feedback on both their and the AI’s performance, which limited their ability to evaluate final decisions. They also emphasized the need for clearer guidance on when to override AI recommendations. While they found the experimental setup relevant to real-life situations, they noted issues with the selected candidate characteristics, their assigned weights, and the format of AI recommendations.	定性調査の結果：全体として、参加者は業務上の目的でAIを使用することに対して前向きな姿勢を示した。彼らは、個人のバイアス、所属組織のバイアス、そしてより広範な社会的な偏見の違いについて議論した。彼らは概して、組織の規範に異議を唱えるよりも雇用主の視点に重きを置いた。参加者は、AIよりも個別具体的な状況をアセスメントする能力に長けていると考え、面接でのパフォーマンスのような「ソフト」な資質をアセスメントするAIの能力には懐疑的であった。また、自分とAIのパフォーマンスに関するフィードバックが不足していることへの懸念が示され、最終的な意思決定を評価する能力が制限されていることが指摘された。さらに、AIの推奨を上書きすべきタイミングに関する明確なガイダンスの必要性も強調された。彼らは、この実験的な設定が現実の状況と関連していることは認めたものの、選定された候補者の特性、その割り当てられた重み、AIの推奨の形式に問題があることを指摘した。
Following the engagement with participants, we organised a participatory design workshop where experts generated ideas on fairness and bias in AI-supported decisionmaking, addressing six main themes:	参加者との関わりを経て、私たちは参加型デザインのワークショップを開催し、専門家がAIによる意思決定の公平性とバイアスに関するアイデアを出し合った。主なテーマは次の6つである。
• defining algorithmic and human fairness	• アルゴリズムと人間の公平性の定義
• translating fairness into practical rules for human-AI collaboration	• 公平性を人間とAIの協働のための実用的なルールに変換する
• regulatory requirements for oversight	• 監督に関する規制要件
• mutual checks between human and AI	• 人間とAIの相互チェック
• fostering awareness among users and developers	• ユーザーおよび開発者間の意識向上
• potential policy directions.	• 政策の方向性
Finally, we invited policymakers to a workshop to reflect on our findings and discuss policy implications. This workshop aimed to examine how our findings could inform practical guidelines for human oversight in AI-supported decision-making. Outcomes included proposals for regulatory guidelines, stakeholder engagement and training initiatives, and methods to monitor and evaluate AI systems.	最後に、政策立案者をワークショップに招き、私たちの調査結果を振り返り、政策への影響について議論した。このワークショップでは、私たちの調査結果が、AIによる意思決定における人間による監視のための実用的なガイドラインにどのように役立つかを検討することを目的とした。その結果、規制ガイドライン、利害関係者の関与およびトレーニングイニシアティブ、AIシステムの監視および評価方法に関する提案が含まれた。
Main Conclusions:	主な結論：
Our study illustrates how human and algorithmic biases can intersect rather than cancel each other out. Human oversight, while essential, may not fully correct outcomes from biased AI and may introduce additional biases.	本研究は、人間とアルゴリズムのバイアスが互いに相殺するのではなく、むしろ交差する可能性があることを示している。人間による監視は不可欠ではあるが、バイアスのかかったAIによる結果を完全に修正できるわけではなく、さらなるバイアスをもたらす可能性もある。
These findings highlight the need for improvements in AI oversight systems, shifting from individual oversight to an integrated system designed to mitigate human bias. Oversight should go beyond individual reviewers or programming fair AI algorithms; it should encompass systemic fairness, involving stakeholders across the AI lifecycle to address both technical and social dimensions. Effective oversight requires guidelines to assist decision-makers in determining when to override AI recommendations, systems that monitor AI-assisted outcomes to identify emerging biases, and mechanisms allowing users to justify overrides. Decision-makers should have access to data on their performance and biases, and AI systems should be regularly evaluated based on user feedback. Experts and policymakers emphasized the need to assess realworld outcomes of AI-human interactions over mere rule compliance. These recommendations aim to enhance the performance, fairness, and acceptability of AI-assisted decision support systems.	これらの知見は、AIの監視システムの改善の必要性を浮き彫りにしており、個々の監視から、人間のバイアスを緩和するように設計された統合システムへの移行が必要である。監視は、個々の審査員や公平なAIアルゴリズムのプログラミングにとどまらず、AIのライフサイクル全体にわたるステークホルダーを巻き込み、技術的および社会的側面の両方に対処する、システム的な公平性を包含すべきである。効果的な監視には、意思決定者がAIの推奨を上書きすべきタイミングを決定する際に役立つガイドライン、AIによる支援の結果を監視して新たに生じたバイアスを識別するシステム、およびユーザーが上書きを正当化できるメカニズムが必要である。意思決定者は、そのパフォーマンスとバイアスに関するデータにアクセスできなければならず、AIシステムはユーザーからのフィードバックに基づいて定期的に評価されるべきである。専門家や政策立案者は、単なる規則の順守にとどまらず、AIと人間の相互作用による現実世界の成果をアセスメントする必要性を強調した。これらの提言は、AIによる意思決定支援システムのパフォーマンス、公平性、受容性を向上させることを目的としている。
Policy Context	政策の背景
The rapid adoption of AI in decision support systems (DSS) has brought fairness and demographic bias concerns, particularly in high-risk areas such as credit lending and recruitment. These, along with other ethical challenges, have catalysed a regulatory response from EU policymakers, culminating in the adoption of the AI Act, which entered into force in August 2024.	意思決定支援システム（DSS）におけるAIの急速な導入は、特に信用供与や採用などのリスクの高い分野において、公平性と人口統計バイアスに関する懸念をもたらした。これらの懸念は、その他の倫理的課題とともに、EUの政策立案者による規制対応を促し、2024年8月に施行されたAI法の採択という結果に至った。
A cornerstone of the AI Act is its requirement to ensure effective human oversight mechanisms for high-risk AI systems an essential safeguard for promoting the responsible and ethical use of AI through human supervision. The issue of non-discrimination is also deeply embedded in the AI Act, reflecting EU’s commitment to protecting fundamental rights as per Article 21 on non-discrimination in the EU Charter of Fundamental Rights. This is evident in its Whereas 67, which highlights the risks of discrimination arising from AI systems, particularly for vulnerable groups such as ethnic minorities. It emphasizes the critical role of high-quality data governance in preventing discrimination, calling for training, validation and testing datasets that are relevant, representative, and as free of errors and biases as possible. It also warns against feedback loops in AI systems that may amplify existing inequalities. Furthermore, Article 10 obliges providers of high-risk AI systems to implement robust data governance practices, including the examination of datasets for biases and the adoption of measures to detect, prevent and mitigate such biases. These provisions underscore the policy relevance of transparency, human oversight and non-discrimination in AI development.	AI法の要となるのは、リスクの高いAIシステムに対して効果的な人間による監視メカニズムを確保するという要件であり、これは人間による監視を通じてAIの責任ある倫理的な利用を促進するための不可欠な安全対策である。AI法には、EU基本権憲章の第21条に定められた非差別に関する条項に基づく基本的人権の保護に対するEUの取り組みを反映し、非差別に関する問題も深く組み込まれている。これは、AIシステムから生じる識別のリスク、特に少数民族などの脆弱なグループに焦点を当てた「ただし書67」に明確に示されている。 差別を防止するための高品質なデータガバナンスの重要な役割を強調し、関連性があり、代表者であり、可能な限りエラーやバイアスがないトレーニング、妥当性確認、およびテストデータセットを求めている。 また、AIシステムにおけるフィードバックループが既存の不平等を拡大する可能性があることにも警告を発している。さらに、第10条では、リスクの高いAIシステムのプロバイダに対して、バイアスに関するデータセットの検証や、そのようなバイアスの検知、防止、緩和策の採用など、強固なデータガバナンスの実践を義務付けている。これらの規定は、AI開発における透明性、人間による監視、非差別の政策上の関連性を強調している。
Building on these foundations, our study explores the concept of human oversight in AI decision-making. We define human oversight broadly, encompassing humans’ involvement in AI decision making, humans’ taking decisions using AI suggestions, and human interaction and collaboration review and influence on AI decisions. We emphasize the importance of continuous monitoring, postdeployment review, and the ability to override AI decisions when necessary. This dual-phase perspective is essential for ensuring oversight mechanisms are both proactive and responsive in addressing real-world challenges.	これらの基礎を基に、本研究ではAIの意思決定における人間による監視の概念を検討する。人間による監視を広義に定義し、AIの意思決定への人間の関与、AIの提案に基づく人間の意思決定、人間同士の相互作用や共同作業によるAIの意思決定への影響などを含むものとする。また、継続的な監視、実装後のレビュー、必要に応じてAIの意思決定を上書きする能力の重要性を強調する。この2段階の視点は、現実世界の課題に対処する際に、監督メカニズムが先を見越した対応と迅速な対応の両方を可能にするために不可欠である。
In the context of the AI Act, our study is particularly relevant for addressing current gaps in implementation, especially concerning bias and discrimination. The provisions on human oversight (Article 14) are foundational but require further operationalization to translate their principles into actionable practices. Our work aims to guide this transition, providing insights that can inform future standards and guidelines for effective human oversight and bias mitigation. Additionally, our findings could play a pivotal role in the development of regulatory sandboxes for AI, as envisaged by the AI Act. Sandboxes offer controlled environments to test and refine AI systems under regulatory supervision, making them ideal platforms to explore the practicalities of human oversight, data governance and anti-discrimination measures. By framing oversight within realworld scenarios and promoting a holistic system-level approach that integrates technical and human considerations, we aim to contribute to the establishment of best practices that are both robust and adaptable. This is essential not only for compliance with the AI Act but also for fostering public trust in AI systems deployed in high-risk domains.	AI法の観点では、特にバイアスと識別性に関する実装の現状のギャップに対処するために、我々の研究は特に重要である。人間による監督に関する規定（第14条）は基礎的なものであるが、その原則を行動可能な実践に変換するには、さらなる具体化が必要である。私たちの研究は、効果的な人間による監視とバイアス緩和のための将来の標準やガイドラインに役立つ洞察を提供することで、この移行を導くことを目的としている。さらに、私たちの研究結果は、AI法が想定しているAIの規制サンドボックスの開発において重要な役割を果たす可能性がある。サンドボックスは、規制当局の監督下でAIシステムをテストし、改良するための管理された環境を提供しており、人間による監視、データガバナンス、および差別防止策の実用性を検証する理想的なプラットフォームである。現実世界のシナリオ内で監督を構築し、技術的および人的な考慮事項を統合する包括的なシステムレベルのアプローチを推進することで、強固かつ適応性のあるベストプラクティスの確立に貢献することを目指している。これは、AI法への準拠だけでなく、リスクの高い領域で展開されるAIシステムに対する社会の信頼を醸成するためにも不可欠である。
Key conclusions	主な結論
The study reveals that AI-supported decision-making systems, when combined with human oversight, can both perpetuate and mitigate biases. Existing policies often assume that human oversight will automatically counteract AI biases. This study overturns that assumption, highlighting that human biases can also influence decision-making processes, especially outcomes, even when AI systems are designed to be fair.	本研究では、AIによる意思決定システムに人的監督を組み合わせることで、バイアスを永続化させると同時に緩和できることが明らかになった。既存の政策では、人間による監視が自動的にAIのバイアスを打ち消すものとして想定されていることが多い。本研究では、その想定を覆し、AIシステムが公平に設計されている場合でも、人間のバイアスが意思決定プロセス、特に結果に影響を与える可能性があることを強調している。
This study thus highlights the need for a multi-faceted approach to AI oversight, integrating technical, organizational, and policy measures. Policymakers must address the dual challenges of AI and human biases by ensuring the monitoring of the outcomes of AI-human collaboration. The existing policy options, when facing implementation, should be reassessed to account for the potential biases introduced by human overseers. This re-assessment should consider the effectiveness of current measures in addressing these biases and explore alternative options for improving oversight.	したがって、本研究では、技術的、組織的、政策的な対策を統合した、多面的なAI監視アプローチが必要であることを強調している。政策立案者は、AIと人間のバイアスの2つの課題に対処するために、AIと人間の共同作業の結果を確実に監視する必要がある。既存の政策オプションは、導入に際しては、人間の監視者によってもたらされる潜在的なバイアスを考慮して再評価されるべきである。この再評価では、これらのバイアスに対処するための現在の措置の有効性を考慮し、監視を改善するための代替オプションを模索すべきである。
Potential interventions include intervening with enhanced feedback mechanisms for the combined decision making, improved bias detection tools that are not limited to simply testing the AI for bias, and more effective human-AI collaboration frameworks that allow for complementary human input. While this research improved our understanding some aspects of AI-human interaction, substantial work remains to refine policies and practices for effective oversight of AI systems.	介入の可能性としては、統合された意思決定のためのフィードバック・メカニズムの強化、AIのバイアスを単にテストするにとどまらない、より改善されたバイアス検知ツール、そして、人間の補完的なインプットを可能にする、より効果的な人間とAIの協働枠組みなどが考えられる。この研究により、AIと人間の相互作用のいくつかの側面についての理解が深まったが、AIシステムの効果的な監視のための政策や実践を洗練させるには、まだ多くの作業が残されている。
Main findings	主な調査結果
The integration of Artificial Intelligence (AI) in decision-making processes in sectors such as credit lending and recruitment presents both opportunities and significant challenges. This study underscores the complexities and risks associated with AI-supported human decision-making, focusing on biases from both AI and human overseers. The findings provide crucial insights for policymakers aimed at developing robust oversight frameworks to mitigate these risks and ensure fair and non-discriminatory outcomes.	信用供与や採用などの分野における意思決定プロセスへの人工知能（AI）の統合は、機会と重大な課題の両方をもたらす。本研究では、AIと人間の監督者双方のバイアスに焦点を当て、AIが支援する人間の意思決定に伴う複雑性とリスクを強調している。本研究の知見は、これらのリスクを緩和し、公平かつ差別のない結果を確保するための強固な監督枠組みを構築することを目指す政策立案者にとって重要な洞察を提供する。
a. Impact of Organizational Norms on AI Oversight: Overseers often conform to AI biases when these biases align with organizational norms and objectives. This conformity can perpetuate discriminatory practices. Policies could integrate AI oversight with broader antidiscrimination laws and initiatives, ensuring that organizational practices do not inadvertently support biased decision-making. Policymakers would need to create integrated frameworks that address both AI-specific and broader anti-discrimination policies.	a. 組織規範がAIの監督に及ぼす影響：AIのバイアスが組織の規範や目的と一致している場合、監督者はそのバイアスに従うことが多い。この一致は差別的慣行を永続化させる可能性がある。政策は、AIの監督をより広範な反差別法やイニシアティブと統合し、組織の慣行が意図せず偏った意思決定を支援することがないようにすべきである。政策立案者は、AI特有の政策とより広範な反差別政策の両方に対応する統合的な枠組みを構築する必要がある。
b. Review and Monitoring of Override Decisions: Human overseers sometimes override AI decisions based on their own biases, which can counteract the benefits of fair AI systems. This suggests the need to implement mechanisms to review and monitor override decisions. The outcome of AI-assisted human decisions should be audited to detect and mitigate biases. AI systems should be regularly reviewed on that basis to improve their fairness and reliability.	b. オーバーライド（上書き）決定のレビューとモニタリング：人間の監視者は、時に自身のバイアスに基づいてAIの決定を上書きすることがあり、これは公平なAIシステムの利点を損なう可能性がある。このため、オーバーライド（上書き）決定のレビューとモニタリングを行うメカニズムを導入する必要がある。AIが支援する人間の決定の結果は、バイアスを検知し緩和するために監査されるべきである。AIシステムは、その公平性と信頼性を改善するために、定期的にレビューされるべきである。
c. Critical and Complementary AI-Human Decision-Making: Human overseers value their ability to assess nuanced, context-specific attributes of candidates that AI may not fully capture. This suggests the need to foster complementary AI-human decision-making where AI assists with data processing and humans provide contextual judgment. Transparency in AI systems and explanations for decisions helps in fostering such complementary human input. The role of overseers should not be limited to approving AI decisions or not, but there should be clear guidelines to guide their input so as not to bias outcomes.	c. 重要なAIと人間の補完的な意思決定：人間の監督者は、AIが十分に把握できない候補者の微妙な、文脈特有の属性をアセスメントする能力を重視している。これは、AIがデータ処理を支援し、人間が文脈判断を行う補完的なAIと人間の意思決定を促進する必要性を示唆している。AIシステムにおける透明性と意思決定の説明は、このような補完的な人間のインプットを促進するのに役立つ。監督者の役割は、AIの判断を承認するか否かに限定されるべきではなく、結果にバイアスがかからないよう、彼らの意見を導く明確なガイドラインが必要である。
d. Feedback Mechanisms for Continuous Learning: Overseers need feedback to understand whether AI-supported decisions are correct. There is a need for continuous feedback loops between AI systems and human overseers. This would encourage reinforcement learning that combines human and AI feedback to improve decision-making processes.	d. 継続的な学習のためのフィードバックメカニズム：監督者は、AIが下した判断が正しいかどうかを理解するためにフィードバックを必要とする。AIシステムと人間の監督者との間で継続的なフィードバックループが必要である。これにより、意思決定プロセスを改善するために、人間とAIのフィードバックを組み合わせた強化学習が促進される。
e. Outcome Monitoring for Fairness: Human oversight can introduce biases in AI-supported decisions, necessitating robust outcome monitoring. Dynamic and continuous monitoring of AI outcomes would ensure they remain fair over time. Policies that mandate testing AI systems for fairness and reliability should also include testing the outcome of AI-supported decisions. This would ensure that AI systems are fair ex-post, after human intervention, not just ex-ante.	e. 公平性に関する結果モニタリング：人間の監視は、AI支援の意思決定にバイアスをもたらす可能性があるため、強固な結果モニタリングが必要となる。AIの結果を動的かつ継続的にモニタリングすることで、長期的に公平性を維持できる。AIシステムの公平性と信頼性をテストすることを義務付ける政策には、AI支援の意思決定の結果をテストすることも含めるべきである。これにより、AIシステムが事前だけでなく、人間の介入後の事後においても公平であることを保証できる。
Related and future JRC work	関連する今後のJRCの取り組み
The EU Policy Lab, as S1, is engaged in the examination of artificial intelligence from a social sciences perspective. It aims to assess and comprehend AI's effects across diverse societal sectors by employing analytical methods that focus on human behaviour, predictive futures, and the interconnected nature of societal systems. Current and future work is focusing on three workstreams:	EU Policy LabはS1として、社会科学の観点から人工知能の調査に取り組んでいる。人間の行動、予測される未来、社会システムの相互関連性に焦点を当てた分析手法を活用することで、多様な社会セクターにわたるAIの影響をアセスメントし、理解することを目指している。現在の取り組みと今後の作業は、次の3つの作業の流れに焦点を当てている。
1. Using AI as a research and communication tool, personalizing and tailoring use cases of AI and experimenting with how it can shape our research practices. For example, we design and establish research practices for Foresight analysis based on AI (Ai4Foresight).	1. 研究およびコミュニケーションのツールとしてAIを活用し、AIの利用事例をパーソナライズおよびカスタマイズし、それが研究手法にどのような影響を与えるかについて実験する。例えば、AIに基づくフォーサイト分析（Ai4Foresight）のための研究手法を設計し、確立する。
2. Behavioural analysis and experiments to understand the implications of the use of AI on people. Example of specific research questions: What are the potential issues with the use of AI in the short-run (hallucinations, misinformation) and in the long-run (human autonomy)? How do we ensure safe integration of AI into various fields from education to policymaking?	2. 人々に対するAIの使用の影響を理解するための行動分析と実験。具体的な研究課題の例：AIの短期的な使用（幻覚、誤情報）と長期的な使用（人間の自律性）における潜在的な問題とは何か？教育から政策立案まで、AIをさまざまな分野に安全に統合するにはどうすればよいか？
3. Exploring consequences across various areas of the rise in the use of AI, analysing their connections and future implications from a macro systemic point of view. For example: Understanding the contextual factors for further development of AI in research, and innovation; Researching the impact of human oversights on discrimination, linking this with wider considerations about human rights, and understanding the role of institutions and regulations in this respect.	3. AIの利用拡大がさまざまな分野に及ぼす影響を探り、それらのつながりとマクロシステム的な観点からの将来的な影響を分析する。例えば、研究やイノベーションにおけるAIのさらなる発展の背景にある要因を理解すること、人間の監視の欠如が識別性に及ぼす影響を調査し、これを人権に関するより広範な考察と結びつけ、この点における機構や規制の役割を理解することなどである。
This experiment is part of the workstreams 2 and 3.	この実験は、ワークストリーム2と3の一部である。
Quick guide	クイックガイド
This report offers critical insights for policymakers about the influence of Artificial Intelligence (AI) on human decision-making, particularly within credit lending and recruitment. It aims to provide policymakers with evidence-based recommendations on designing and implementing oversight mechanisms to ensure that AI systems uphold fairness and protect fundamental rights.	本レポートは、特に信用供与や採用活動における人間の意思決定に人工知能（AI）が及ぼす影響について、政策立案者にとって重要な洞察を提供する。また、AIシステムが公平性を維持し、基本的人権を防御することを確実にするための監視メカニズムの設計と実施に関する、根拠に基づく政策提言を政策立案者に提供することを目的としている。
Key topics: An analysis of how AI is used to enhance decision-making efficiency and consistency, with potential risks of perpetuating or amplifying human biases.	主なトピック：意思決定の効率性と一貫性を向上させるためにAIがどのように使用されているか、また人間のバイアスを永続化または増幅させる潜在的なリスクについての分析。
• AI in Decision Support Systems: Understanding AI’s role in improving decision processes and the associated risks.	・意思決定支援システムにおけるAI：意思決定プロセスの改善におけるAIの役割と関連リスクの理解
• Automation Bias: The issue of over-reliance on AI recommendations.	・自動化バイアス：AIの推奨への過剰な依存の問題
• Algorithm Aversion: Rejecting AI advice due to lack of trust, overconfidence, differences in preferences, and different ways to make and justify decisions.	・アルゴリズム嫌悪：信頼の欠如、過信、好みの相違、意思決定の方法や正当化の仕方の違いによるAIの助言の拒否
Research Methodology: Mixed methods research using a sequential explanatory design. In the first phase we collected and analysed quantitative data from an experiment involving a hybrid Human AI decision process. In the second phase we collected and analysed qualitative data from interviews and focus groups with participants in the experiment, to help explain and elaborate on the quantitative results. We led co-design workshops with fair AI experts and policymakers who deal with AI policy at the EC. This allowed us to further our qualitative research and make sense of our results.	研究方法：逐次的説明デザインを用いた混合研究法。第1段階では、人間とAIのハイブリッドな意思決定プロセスを伴う実験から量的データを収集し、分析した。第2段階では、量的結果の説明と詳細化を助けるために、実験の参加者とのインタビューとフォーカスグループから質的データを収集し、分析した。また、ECでAI政策を担当する公正なAI専門家と政策立案者との共同設計ワークショップを実施した。これにより、質的研究をさらに進め、結果を理解することができた。
Contributions:	貢献：
Evaluation of how AI impacts decision outcomes and of the effectiveness of human oversight in preventing discrimination, including priorities for considerations and potential interventions.	AIが意思決定の結果に与える影響の評価、および差別を防止するための人間による監視の有効性（優先事項や潜在的な介入策を含む）の評価。