EU議会 シンクタンク AI法とGDPRにおけるアルゴリズム差別 (2025.02.26)

こんにちは、丸山満彦です。

EU議会のシンクタンクがAI法とGDPRにおけるアルゴリズ差別についての簡単な考察を公表していますね...

● European Parliament - Think Tank

・2025.02.26 Algorithmic discrimination under the AI Act and the GDPR

Algorithmic discrimination under the AI Act and the GDPR

AI法とGDPRにおけるアルゴリズム差別

After the entry into force of the Artificial Intelligence (AI) Act in August 2024, an open question is its interplay with the General Data Protection Regulation (GDPR). The AI Act aims to promote human-centric, trustworthy and sustainable AI, while respecting individuals' fundamental rights and freedoms, including their right to the protection of personal data. One of the AI Act's main objectives is to mitigate discrimination and bias in the development, deployment and use of 'high-risk AI systems'. To achieve this, the act allows 'special categories of personal data' to be processed, based on a set of conditions (e.g. privacy-preserving measures) designed to identify and to avoid discrimination that might occur when using such new technology. The GDPR, however, seems more restrictive in that respect. The legal uncertainty this creates might need to be addressed through legislative reform or further guidance.

2024年8月の人工知能（AI）法の施行後、未解決の問題は一般データ保護規則（GDPR）との絡みである。AI法は、個人データ保護の権利を含む個人の基本的権利と自由を尊重しつつ、人間中心で信頼できる持続可能なAIを推進することを目的としている。AI法の主な目的のひとつは、「リスクの高いAIシステム」の開発、展開、使用における識別的偏見を緩和することである。これを達成するため、同法は、そのような新技術を使用する際に発生する可能性のある識別的差別を特定し、回避するために設計された一連の条件（プライバシー保護措置など）に基づいて、「特別カテゴリーの個人データ」の処理を許可している。しかし、GDPRはその点でより制限的であるように思われる。これによって生じる法的不確実性については、法改正やさらなるガイダンスを通じて対処する必要があるかもしれない。

・[PDF] 

Algorithmic discrimination under the AI Act and the GDPR	AI法とGDPRにおけるアルゴリズム差別
After the entry into force of the Artificial Intelligence (AI) Act in August 2024, an open question is its interplay with the General Data Protection Regulation (GDPR). The AI Act aims to promote human-centric, trustworthy and sustainable AI, while respecting individuals' fundamental rights and freedoms, including their right to the protection of personal data. One of the AI Act's main objectives is to mitigate discrimination and bias in the development, deployment and use of 'high-risk AI systems'. To achieve this, the act allows 'special categories of personal data' to be processed, based on a set of conditions (e.g. privacy-preserving measures) designed to identify and to avoid discrimination that might occur when using such new technology. The GDPR, however, seems more restrictive in that respect. The legal uncertainty this creates might need to be addressed through legislative reform or further guidance.	2024年8月の人工知能（AI）法の施行後、未解決の問題は一般データ保護規則（GDPR）との絡みである。AI法は、個人データ保護の権利を含む個人の基本的権利と自由を尊重しつつ、人間中心で信頼できる持続可能なAIを推進することを目的としている。AI法の主な目的のひとつは、「リスクの高いAIシステム」の開発、展開、使用における識別的偏見を緩和することである。これを達成するため、同法は、そのような新技術を使用する際に発生する可能性のある識別的差別を特定し、回避するために設計された一連の条件（プライバシー保護措置など）に基づいて、「特別カテゴリーの個人データ」の処理を許可している。しかし、GDPRはその点でより制限的であるように思われる。これによって生じる法的不確実性については、法改正やさらなるガイダンスを通じて対処する必要があるかもしれない。
AI systems and algorithmic discrimination: Some scenarios	AIシステムとアルゴリズムによる識別的差別： いくつかのシナリオ
Some AI systems may cause discrimination, and harm individuals' fundamental rights.	一部のAIシステムは差別を引き起こし、個人の基本的権利を害する可能性がある。
• Generative AI systems: certain generative AI systems, such as chatbots, do not seem dangerous at first glance, but can still pose threats to fundamental rights and freedoms, for example when they generate hate speech. Generative AI is not classified as high-risk as such. However, some generative AI systems that harm fundamental rights might be included in the high-risk system list that regulators can update periodically, as laid down in the AI Act.	・生成的AIシステム:チャットボットなど特定の生成的AIシステムは,一見危険には見えないが,ヘイトスピーチを生成する場合など,基本的権利と自由を脅かす可能性がある。生成的AIは,そのようなハイリスクには分類されない。しかし,基本的人権を害する生成的AIシステムの一部は,AI法に定められているように,規制当局が定期的に更新できる高リスクシステムリストに含まれる可能性がある。
• Autonomous cars: discrimination could also arise in insurance calculation or AI machine vision systems – for instance, if autonomous cars are developed in a way that will detect more accurately pedestrians with lighter than those with darker skin.	・自律走行車:保険計算やAIマシンビジョンシステムにおいても,識別的な差別が生じる可能性がある。例えば,自律走行車が,肌の色の濃い歩行者よりも色の薄い歩行者をより正確に検知するように開発された場合などである。
• Job recruitment and employment: algorithms selecting job applicants might contain bias, for example with respect to gender or health.	・求人と雇用:求職者を選ぶアルゴリズムに,例えば性別や健康状態に関するバイアスが含まれる可能性がある。
• Credit scoring and banking: AI systems are increasingly used in the banking and credit sectors as a support tool to assess the granting of loans or mortgages. These systems may follow decisional processes that hide discrimination or mask bias based on factors such as clients' residence or ethnicity.	・信用スコアリングと銀行業務: AIシステムは,融資や住宅ローンの実行を評価する支援ツールとして,銀行やクレジット分野でますます使用されるようになっている。これらのシステムは,顧客の居住地や民族性などの要因に基づく識別的な差別を隠したり,バイアスを覆い隠したりする決定プロセスに従っている可能性がある。
Algorithmic discrimination and special categories of personal data	アルゴリズムによる差別と特別カテゴリーの個人データ
The AI Act is meant to tackle the issues listed above. To ensure bias detection and correction in AI systems, Article 10(5) AI Act allows for the processing of special categories of personal data 'to the extent that … is strictly necessary for the purposes of ensuring bias monitoring, detection and correction in relation to the high-risk AI systems', conditional on appropriate safeguards for the respect of fundamental rights.  The concept of special categories of personal data is defined in Article 9 GDPR (racial or ethnic origin, political opinions, religious or philosophical beliefs, trade union membership, genetic data, biometric data, health data, sex life, or sexual orientation). Some academics have pointed out that, to detect if an algorithm used in the employment sector discriminates on the grounds of ethnicity, in principle, the organisation concerned needs to know the job applicants' ethnicity.	AI法は、上記の問題に取り組むことを意図している。AIシステムにおけるバイアスの検知と是正を確実にするため、AI法第10条5項は、基本的権利の尊重のための適切なセーフガードを条件として、「リスクの高いAIシステムに関して、バイアスの監視、検知、是正を確実にするために......厳密に必要な範囲で」特別カテゴリーのパーソナルデータの処理を認めている。GDPR第9条には、特別カテゴリーの個人データの概念が定義されている（人種または民族的出身、政治的意見、宗教的または哲学的信条、労働組合員、遺伝データ、生体データ、健康データ、性生活、または性的指向）。一部の学者は、雇用分野で使用されるアルゴリズムが民族性を理由に差別しているかどうかを検知するには、原則として、当該組織が求職者の民族性を知る必要があると指摘している。
Article 10(5) AI Act applies to high-risk systems only. The act adopts a 'risk-based approach', in that it classifies AI systems according to the degree of risk they pose to individuals' fundamental rights and freedoms. When determining whether a system is qualified as high-risk (Article 6 AI Act), the emphasis is on a given system's scope and the specific task it performed.	AI法第10条5項は、リスクの高いシステムにのみ適用される。同法は「リスクに基づくアプローチ」を採用しており、個人の基本的権利と自由に対するリスクの度合いに応じてAIシステムを分類している。システムが高リスク（AI法第6条）に該当するかどうかを判断する際には、システムの範囲と、そのシステムが実行する特定のタスクが重視される。
To process special categories of personal data, the specific grounds listed in Article 9 GDPR must be respected (e.g. the data subject's explicit consent). These grounds must also be respected when applying Article 10(5) AI Act, which falls within the scope of Article 9 GDPR. The act clarifies that, when the AI Act and the GDPR collide, the GDPR prevails, and states explicitly that its provisions must not affect the GDPR's application.	特別カテゴリーの個人データを処理するためには、GDPR第9条に記載されている特定の根拠（データ対象者の明示的な同意など）を尊重しなければならない。GDPR第9条に該当するAI法第10条第5項を適用する場合も、これらの根拠を尊重しなければならない。同法は、AI法とGDPRが衝突する場合はGDPRが優先することを明確にし、その規定がGDPRの適用に影響を及ぼしてはならないと明記している。
Some argue that the processing of personal data pursuant to Article 10 AI Act might also be allowed under the GDPR's 'substantial public interest ground'. Indeed, Article 9(2)(g) GDPR permits processing of special categories of data when  necessary for reasons of substantial public interest, on the basis of Union or Member State law which shall be proportionate to the aim pursued, respect the essence of the right to data protection and provide for suitable and specific measures to safeguard the fundamental rights and the interests of the data subject.	AI法第10条に基づくパーソナルデータの処理は、GDPRの「実質的な公益の根拠」の下でも認められるのではないかという意見もある。実際、GDPR第9条(2)(g)は、実質的な公益の理由で必要な場合、追求される目的に釣り合い、データ保護の権利の本質を尊重し、データ対象者の基本的権利および利益を保護するための適切かつ具体的な措置を規定する連合国または加盟国の法律に基づき、特別カテゴリーのデータ処理を許可している。
In this context, the AI Act would serve as the relevant Union law, and fighting discrimination would be the relevant public interest.	この文脈では、AI法が関連する連邦法として機能し、差別との闘いが関連する公共の利益となる。
Main challenges	主な課題
In its September 2024 report, the Belgian Supervisory Authority stressed how correcting bias in training data for AI systems is consistent with both the principle of 'fair processing' of data laid down in the GDPR and the need to ensure that the personal information collected by data processors is accurate.	ベルギー監督庁は2024年9月の報告書で、AIシステムの訓練データのバイアスを修正することが、GDPRが定めるデータの「公正な処理」の原則と、データ処理者が収集する個人情報の正確性を確保する必要性の両方にいかに合致するかを強調した。
For Article 10(5) AI Act to be interpreted fully in compliance with the GDPR, some conditions must be met:	AI法第10条5項がGDPRに完全に準拠して解釈されるためには、いくつかの条件が満たされなければならない：
• the processing of special categories of personal data has to be carried out with robust cybersecurity measures in order to prevent data leaks, as requested by the GDPR;	・特別カテゴリーのパーソナルデータの処理は、GDPRが要求しているように、データ漏洩を防ぐために強固なサイバーセキュリティ対策を施して実施されなければならない；
• AI systems processing personal data have to comply with such GDPR principles as data minimisation, purpose and storage limitation, integrity and confidentiality, and privacy by design and by default;	・個人データを処理するAIシステムは、データの最小化、目的と保存の制限、完全性と機密性、設計とデフォルトによるプライバシーといったGDPRの原則を遵守しなければならない；
• the necessity requirement, a key principle of the GDPR, has to be conceived as allowing entities to process special categories of data only when it is strictly necessary for protecting other fundamental rights, such as non-discrimination;	・GDPRの重要な原則である必要性要件は,差別の禁止など他の基本的権利を保護するために厳密に必要な場合に限り,事業体が特別カテゴリーのデータを処理することを認めるものとして考えなければならない。
• the grounds set out in Article 9 GDPR for the processing of sensitive data should be present in order for the data processing to be lawful.	・データ処理が合法的であるためには、GDPR第9条に定める機微（センシティブ）データの処理に関する根拠が存在しなければならない。
In addition to the special categories of data listed in Article 9 GDPR, discrimination may arise as a result of the processing of personal data revealing other factors, such as disability, age or gender. These are not special categories of data pursuant to EU law, but 'merely' personal data. Therefore, the legal grounds for processing these data will be those listed in Article 6 GDPR.	GDPR第9条に列挙された特別カテゴリーのデータに加えて、障害、年齢、性別など、その他の要因を明らかにするパーソナルデータの処理の結果、差別が生じる可能性がある。これらはEU法に基づく特別カテゴリーのデータではなく、「単なる」個人データである。したがって、これらのデータを処理する法的根拠は、GDPR第6条に記載されているものとなる。
Article 6 GDPR is broader in content than Article 9 GDPR, providing for a larger number of legal bases for the processing of personal data (e.g. legitimate interest). This means that, when discrimination arises with respect to factors that are not considered as special categories of personal data, the processing of data to mitigate bias can occur pursuant to the grounds of Article 6, which are more lenient and easier to prove than public interest or specific consent.	GDPR第6条はGDPR第9条よりも内容が広く、パーソナルデータの処理についてより多くの法的根拠（正当な利益など）を規定している。つまり、個人データの特別なカテゴリーとして考慮されない要因に関して識別的な差別が生じる場合、公共の利益や特定の同意よりも緩やかで証明しやすい第6条の根拠に従って、バイアスを緩和するためのデータ処理が行われる可能性がある。
In general terms, shared uncertainty appears to prevail as to how the AI Act's provision on the processing of special categories of personal data for avoiding discrimination should be interpreted. The GDPR, which imposes limits on the processing of special categories of personal data, might prove restrictive in a context dominated by the use of AI in many sectors of the economy, and faced with the mass processing of personal and non-personal data. A reform of the GDPR or further guidelines on its interplay with the AI Act might help address these issues.	一般規定では、差別回避のための特別カテゴリーのパーソナルデータの処理に関するAI法の規定がどのように解釈されるべきかについて、共通の不確実性が広がっているように見える。特別カテゴリーの個人データの処理に制限を課しているGDPRは、経済の多くの分野でAIが使用され、個人データおよび非個人データの大量処理に直面している状況では、制限的であることが証明されるかもしれない。GDPRの改革や、AI法との相互作用に関する更なるガイドラインが、こうした問題に対処する一助となるかもしれない。