オランダ データ保護局 意見募集 社会的スコアリングのためのAIシステム + 操作および搾取的AIシステムに関する意見募集の概要と次のステップ

こんにちは、丸山満彦です。

オランダのデータ保護局が

(1) 第3回の意見募集となる「社会的スコアリングのためのAIシステム」についての意見募集

(2) 第1回の意見募集であった「操作および搾取を目的としたAIシステム」についての意見募集結果と次のステップ

を公表していますね...

社会スコアリングのためのAIシステムは、中国では活用され？、EUのAI法では禁止されているものですね...

AI法の第5条で禁止されるAIが８つ定義されています...

A：特定の操作型AIシステム（サブリミナル技術の利用等）
B：特定の搾取的AIシステム（個人や集団の弱みに漬け込む利用等）
C：ソーシャル・スコアを用いて作動する特定のAIシステム
D：個人による犯罪の可能性を予測する特定のAIシステム
E：顔画像の非標的スクレイピング
F：職場や教育における感情認識のための特定のAIシステム
G：生体認証による人物分類のための特定のAIシステム
H：法執行目的の公共の場における遠隔リアルタイム生体認証のための特定のAIシステム

第1回で

A：特定の操作型AIシステム（サブリミナル技術の利用等）
B：特定の搾取的AIシステム（個人や集団の弱みに漬け込む利用等）

第2回で

F：職場や教育における感情認識のための特定のAIシステム

について意見募集が行われ、

今回第1回についての回答があり、

第3回として、

C：ソーシャル・スコアを用いて作動する特定のAIシステム

についての意見募集がおこなわれているという感じですね...

第1回の操作および搾取を目的としたAIシステムについて得られた結果に対する主な所見...

1. 多くの回答者は、禁止事項に関連する行為はすでに他の水平または分野別の法律や規制によって規制または禁止されていると指摘している。
   
   
2. 複数の回答者は、AIが人を欺いたり、操作したり、利用したりする可能性をより説得力のある形で提供していると指摘している。
   
   
3. 回答者は、禁止事項が規準で詳細に説明されていないため、ガイドラインでさらに明確化する必要があると指摘している。

AI法がない日本でも個人情報保護法で利用が禁止される利用についてガイドをつくることはできそうですね...

● Autoriteit Persoonsgegevens

・2024.12.18 Call for input AI systems for social scoring

Call for input AI systems for social scoring	社会的スコアリングのためのAIシステムに関する意見募集
The Dutch Data Protection Authority (AP) calls for input on prohibitions in the AI Act.	オランダデータ保護局（AP）は、AI法における禁止事項に関する意見を募集している。
In this call for input, we adress the prohibition in the AI Act: AI systems for social scoring. In the call for input, specific criteria for the prohibitions are delineated and several questions are asked. Please provide your input by the 7th of February 2025 at the latest.	この意見募集では、AI法における禁止事項である「社会的スコアリングのためのAIシステム」を取り上げる。意見募集では、禁止事項の具体的な基準が示され、いくつかの質問が提示されている。意見は遅くとも2025年2月7日までにご提出いただきたい。
At a later stage, we will also ask for input with respect to other prohibitions.	後日、その他の禁止事項についても意見を募集する予定である。
Also view: Input on prohibited AI systems	こちらもご覧ください：禁止されたAIシステムに関する意見

過去の2回分も含めて...いずれもこのブログで紹介しています(^^) (第1回　第2回)

・Input on prohibited AI systems

Input on prohibited AI systems	禁止されるAIシステムに関する意見
As coordinating supervisor on algorithms and AI, the AP has started with the preparation of the supervision on prohibited AI systems. The prohibitions apply from the 2nd of February 2025 onwards.	アルゴリズムおよびAIに関する調整監督者として、APは禁止されるAIシステムに関する監督の準備から着手した。禁止は2025年2月2日以降に適用される。
Citizens, governments, businesses and other organisations will be asked to provide their input on the prohibitions in the AI Act. We can use all the input to consider the necessary further clarification of the prohibited systems.	市民、政府、企業、その他の組織は、AI法における禁止事項に関する意見を求められることになる。我々は、禁止されるシステムについて必要なさらなる明確化を検討するために、すべての意見を活用することができる。
The AI Act sets out multiple prohibitions, that is why we will publish several calls.	AI法では複数の禁止事項が定められているため、複数の意見募集を行う。
Current call for input	現在の意見募集
Third call: AI systems for social scoring	第3回意見募集：社会的スコアリングのためのAIシステム
In the third call for input, we address the prohibition C in the AI Act: AI systems for social scoring.	第3回意見募集では、AI法の禁止事項C、すなわち社会的スコアリングのためのAIシステムを取り上げる。
In the call for input, specific criteria for the prohibition are delineated and several questions are asked. Please provide your input by the 7th of February 2025 at the latest.	意見募集では、禁止事項の具体的な基準が示され、いくつかの質問が提示される。2025年2月7日までに意見を提出すること。
Previous calls for input	これまでの意見募集
First call: manipulative and exploitative AI systems	第1回：操作および搾取を目的としたAIシステム
In the first call for input, we adress two of the prohibitions in the AI Act: manipulative and deceptive AI systems (prohibition A) and exploitative AI systems (prohibition B).	第1回意見募集では、AI法における禁止事項のうち、操作および欺瞞を目的としたAIシステム（禁止事項A）と搾取を目的としたAIシステム（禁止事項B）の2つを取り上げた。
Update: this call is closed. Read the summary of responses and next steps.	最新情報：この意見募集は終了した。回答の概要と今後のステップについてはこちら。
Second call: AI systems for emotion recognition in the areas of workplace and education institutions	第2回：職場および教育機関における感情認識を目的としたAIシステム
In the second call for input , we address the sixth prohibition in the AI Act: AI systems for emotion recognition in the areas of workplace and education institutions (prohibition F).	第2回意見募集では、AI法における6つ目の禁止事項である、職場および教育機関における感情認識用AIシステム（禁止事項F）について取り扱う。
Update: this call is closed.	更新：この募集は終了した。

で今回の文書...

・[PDF] 

AI systems for social scoring	社会的スコアリングのためのAIシステム
Prohibition in EU Regulation 2024/1689 (AI Act)	EU規則2024/1689（AI法）による禁止
Autoriteit Persoonsgegevens (NL) – Department for the Coordination of Algorithmic Oversight (DCA)	オランダ個人データ保護局 - アルゴリズム監督調整局（DCA）
December 2024	2024年12月
DCA-2024-03	DCA-2024-03
Summary	概要
The European AI Act (2024/1689) has been in force since 1 August 2024 and regulates the use of Artificial Intelligence (AI) in the European Union (EU). The AI act has a risk-based approach. As a result, certain AI systems posing an unacceptable risk are prohibited from 2 February 2025.	欧州AI法（2024/1689）は2024年8月1日より施行されており、欧州連合（EU）における人工知能（AI）の利用を規制している。AI法はリスクベースのアプローチを採用している。その結果、容認できないリスクをもたらす特定のAIシステムは、2025年2月2日より禁止される。
It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In order to prepare for this in The Netherlands, the Autoriteit Persoonsgegevens (AP) asks interested parties (citizens, governments, businesses and other organisations) and their representatives for their needs, information and insights. We can use all input to consider the necessary further clarification of the prohibited AI systems.	禁止事項が監督の目的でどのように解釈されるかについては、AI法の監督当局が説明する。オランダではこれに備えるため、オランダ個人データ保護局（AP）は、利害関係者（市民、政府、企業、その他の組織）およびその代表者に対して、ニーズ、情報、見解を求めている。禁止されたAIシステムについて、必要なさらなる明確化を検討するために、あらゆる意見を活用することができる。
On 27 September 2024, the AP published the first call for input on the first two prohibitions of the AI Act and on 31 October the second call for input on emotion recognition in the areas of workplace or education institutions. In this third call for input, we address the third prohibition: AI systems for social scoring  (prohibition C). This document outlines specific criteria for these prohibited AI systems while requesting (additional) input through a set of questions. Contributions can be submitted until 7 February 2025.	2024年9月27日、APはAI法の最初の2つの禁止事項に関する最初の意見募集を行い、10月31日には職場や教育機関における感情認識に関する2回目の意見募集を行った。この3回目の意見募集では、3つ目の禁止事項である「社会的スコアリングのためのAIシステム（禁止事項C）」を取り上げる。この文書では、これらの禁止されたAIシステムに関する具体的な規準を概説しながら、一連の質問を通じて（追加の）意見を求めている。意見は2025年2月7日まで提出可能である。
The AP makes this call for input based on its role as a coordinating supervisor of algorithms and AI. For the purpose of this new task, the Department for the Coordination of Algorithmic Oversight (DCA) was established within the AP. This call for input also aligns with the preparatory work being done in support of future supervision of AI systems that are prohibited under the AI Act. The Dutch government is currently working on the formal designation of national supervisory authorities for the AI Act.	APは、アルゴリズムおよびAIの調整監督機関としての役割に基づき、意見募集の呼びかけを行っている。この新たな任務を遂行するために、AP内にアルゴリズム監督調整局（DCA）が設立された。この意見募集の呼びかけは、AI法で禁止されたAIシステムの将来的な監督を支援する準備作業とも一致している。オランダ政府は現在、AI法に関する国家監督当局の正式指定に取り組んでいる。
I. Background	I. 背景
1.   The European AI Act (2024/1689) has been in force since 1 August 2024. This Regulation sets out rules for the provision and the use of artificial intelligence (AI) in the EU. The premise of the AI Act is that while there are numerous beneficial applications of AI, the technology also entails risks that have to be managed. The legislation follows a risk-based approach. More restrictive rules will apply to those AI systems that pose a greater risk. Some systems entail such an unacceptable risk that their placing on the market or use is completely prohibited. This is, for example, the case with AI systems that are used for social scoring. The prohibitions are set out in Article 5 of the AI Act.	1. 欧州AI法（2024/1689）は2024年8月1日より施行されている。この規則は、EUにおける人工知能（AI）の提供および利用に関する規則を定めている。AI法の前提は、AIには数多くの有益な用途がある一方で、この技術には管理が必要なリスクも伴うというものである。この法律はリスクベースのアプローチを採用している。より大きなリスクをもたらすAIシステムには、より制限的な規則が適用される。一部のシステムは、市場への投入や使用が完全に禁止されるほど容認できないリスクを伴う。これは、例えば社会的スコアリングに使用されるAIシステムの場合である。禁止事項はAI法第5条に規定されている。
2.   This call for input provides a preliminary basis for further clarification of the prohibitions in the AI Act. To get there, this call for input aims to gather generic information and insights on, among other things, the functioning of AI technologies and the application possibilities that are relevant to the clarification of the prohibitions.	2. この意見募集は、AI法における禁止事項のさらなる明確化に向けた予備的な基礎を提供するものである。この意見募集では、禁止事項の明確化に関連するAI技術の機能や応用可能性など、一般的な情報や見識を集めることを目的としている。
Prohibited AI applications as from February 2025	2025年2月以降禁止されるAIアプリケーション
3. The prohibitions in the AI Act will become applicable soon. As from 2 February 2025, the prohibited AI systems listed in Article 5 may no longer be put on the European market or used. As from 2 August 2025, market surveillance authorities should be designated for prohibited AI systems and sanctions may be imposed for violations of the prohibitions. Before this time, violation of one of the prohibitions could already lead to civil liability.	3. AI法の禁止規定は間もなく適用される。2025年2月2日以降、第5条に列挙された禁止AIシステムは欧州市場に投入したり使用したりすることはできなくなる。2025年8月2日以降、禁止AIシステムについては市場監視当局が指定され、禁止規定違反に対して制裁が科される可能性がある。それ以前であっても、禁止規定のいずれかに違反した場合は民事責任を問われる可能性がある。
Supervision in the Netherlands on compliance with the prohibitions	オランダにおける禁止事項の遵守に関する監督
4.     The Dutch government is currently working on legislation designating which supervisory authority will be responsible for overseeing compliance with the prohibitions. The AP (from the Department for the Coordination of Algorithmic Oversight) and the Dutch Authority for Digital Infrastructure (RDI) have issued an advice on this matter in collaboration and coordination with other supervisory authorities. It has been recommended, among other things, that the AP could be designated as the market surveillance authority for most of the prohibitions in Article 5. Following these recommendations, the AP will closely cooperate with other relevant supervisors for the supervision of prohibited AI systems.	4. オランダ政府は現在、どの監督当局が禁止事項の遵守を監督する責任を負うかを定める法律の策定に取り組んでいる。AP（アルゴリズム監督調整局）とオランダのデジタルインフラ当局（RDI）は、他の監督当局と協力・調整しながら、この問題に関する助言を発表した。とりわけ、第5条の禁止事項のほとんどについて、APを市場監視当局として指定することが推奨されている。これらの勧告に従い、APは禁止されたAIシステムの監視に関して、他の関連監督当局と緊密に協力する。
5.     Because the prohibitons in this call concern AI systems that also fall under other Union laws, this call has been coordinated within the AI  and Algorithm group of the Dutch Cooperation Platform of Digital Supervisory authorities. This is in the spirit of the requirement in Article 70(8) of the AI Act to consult relevant national competent authorities responsible for other Union law that covers AI systems.	5. 本要請における禁止事項は、他のEU法にも該当するAIシステムに関するものであるため、本要請は、オランダのデジタル監督当局協力プラットフォームのAIおよびアルゴリズムグループ内で調整されている。これは、AIシステムを対象とする他のEU法を担当する関連の国内所轄当局と協議するというAI法第70条(8)項の要件の精神に則ったものである。
II. About this call for input	II. 本意見募集要請について
Purpose: Why do we ask for input	目的：なぜ意見を求めるのか
6.     It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In preparation for this, the AP is asking for information and insights from stakeholders (citizens, governments, companies and other organisations) and their representatives. All responses can be used for further explanation of the prohibited AI. Within the AP, the Department for the Coordination of Algorithmic Oversight is charged with this task.	6. 禁止事項が監督の目的でどのように解釈されるかを説明するのは、AI法の監督当局の責任である。これに備えて、APは利害関係者（市民、政府、企業、その他の組織）およびその代表者から情報や見識を求めている。すべての回答は、禁止されたAIのさらなる説明に使用することができる。AP内では、アルゴリズム監督調整局がこの任務を担っている。
7.     This call for input discusses the prohibition outlined in Article 5, paragraph 1, subparagraph c of the AI Act. In addition to this call for input, the AP already published a first call on 27 September 2024 on two other prohibitions, namely the prohibition on manipulative and deceptive AI systems and the prohibition on exploitative AI systems. The second call for input on emotion recognition in the areas of workplace or education institutions was published on October 31 2024	7. この意見募集では、AI法第5条第1項c号に規定された禁止事項について議論する。この意見募集に加えて、APはすでに2024年9月27日に、2つの他の禁止事項、すなわち、操作および欺瞞的なAIシステムに関する禁止事項と、搾取的なAIシステムに関する禁止事項に関する最初の意見募集を行っている。職場または教育機関における感情認識に関する2回目の意見募集は、2024年10月31日に発表された
8.     The legislative text and the recitals serve as the foundations for this call for input. Given the scope and possible impact of this prohibition, a call for input is issued for this prohibition. Please refer to the annex to this document for an overview of all prohibitions in subparagraphs (a) to (g) of Article 5, paragraph 1 of the AI Act.	8. 立法文および前文は、本意見募集の基礎となる。本禁止事項の範囲および影響を考慮し、本禁止事項に関する意見募集を行う。AI法第5条第1項(a)から(g)のすべての禁止事項の概要については、本文書の附属書を参照のこと。
9.     This call for input highlights specific aspects of this prohibition. The focus is on those specific criteria that determine whether or not an AI system is within the scope of this prohibition. Each criterion is briefly explained based on the legislator’s recitals of the AI Act. In some cases, we provide an interpretation of our own. If we do so, this is explicitly mentioned. We then pose several questions, the answers to which will contribute to a better understanding of the prohibition.	9. この意見募集では、この禁止事項の特定の側面を強調する。焦点は、AIシステムがこの禁止事項の対象範囲内にあるかどうかを決定する特定の規準にある。各規準は、AI法の立法者の序文に基づいて簡単に説明されている。場合によっては、独自の解釈を提示している。その場合は、その旨を明示的に記載している。次に、禁止事項のより良い理解に役立ついくつかの質問を提示する。
Process: This is how you send your input to us.	プロセス： これが、皆様からご意見をいただく方法である。
10.  You decide which questions you answer. You can also provide us with other relevant input in addition to the questions asked. Please send your input to [mail] by 7 February 2025. Please mention the subject “call for input DCA-2024-03 (‘AI systems for social scoring’) and your name and/or your organisation in your email. If desired, you can provide us with your contact details so that we can reach you in case we have further questions. When we have received your input, we will send you a confirmation by e-mail.	10. どの質問に回答するかは、皆様が決定する。また、質問された項目以外にも、関連するご意見を提出していただいても構わない。ご意見は、2025年2月7日までに[mail] までお送りいただきたい。メールには、「意見募集 DCA-2024-03（「社会的スコアリングのためのAIシステム」）について」という件名と、氏名および/または所属を記載すること。必要に応じて、追加の質問がある場合に連絡できるよう、連絡先を記載することも可能。意見を受け取った後、確認のメールを返信する。
Follow-up: What do we do with your input?	フォローアップ：意見はどのように扱われるのか？
11.  After the closure of this call for input, the AP will publish a summary and appreciation of the input on AI systems for emotion recognition in the areas of workplace or education institutions. In this summary, we will refer in generic terms to the input received (e.g., “several sectoral representative organisations have indicated that’, “a developer of AI systems points out that”, “organisations advocating for fundamental rights note that”). If preferred and indicated by you, we may explicitly name your organisation or group. Through our summarised and evaluative response, we can also share the acquired insights with other (European) AI supervisory authorities. For instance, the summary and appreciation of the contribution may be utilised in the drafting of guidelines on the prohibitions.	11. 意見募集期間終了後、APは職場または教育機関における感情認識AIシステムに関する意見の要約と評価を公表する。この要約では、受け取った意見を一般的に言及する（例えば、「複数の部門代表組織が指摘している」、「AIシステム開発者が指摘している」、「基本的人権を擁護する組織が指摘している」など）。ご要望があり、ご指示いただければ、貴団体またはグループを明示的に名指しすることも可能である。要約と評価を伴う回答を通じて、我々はまた、他の（欧州）AI監督当局と得られた洞察を共有することもできる。例えば、貢献の要約と評価は、禁止に関するガイドラインのドラフト作成に活用できる可能性がある。
12.  We will only use your input for our task to obtain information and insights about the prohibitions in the AI Act. We will delete your personal data after publication of our summary and evaluation of the input, unless you have given permission for further use. For more information about how we process personal data, please see: The AP and privacy.	12. 皆様からいただいたご意見は、AI法における禁止事項に関する情報および見識を得るという私たちの任務にのみ使用する。私たちは、皆様からいただいたご意見の要約および評価を公表した後、皆様がそれ以上の使用を許可しない限り、皆様の個人情報を削除する。個人情報の取り扱いに関する詳細は、APとプライバシーを参照のこと。
More calls for input	さらなる意見募集
13. Following this call, there may be more calls for input on other parts of the AI Act, including the prohibitions. The AP has previously called for input on manipulative, misleading and exploitative AI systems as well as on AI systems that are used for emotion recognition in the areas of workplace or education institutions.	13. 本意見募集に続き、禁止事項を含むAI法の他の部分について、さらなる意見募集が行われる可能性がある。APは、これまでにも、操作的なAIシステム、誤解を招くAIシステム、搾取的なAIシステム、および職場や教育機関における感情認識に使用されるAIシステムについて意見を募集している。
III. Definition of the prohibition on AI systems for social scoring	III. 社会的スコアリングのためのAIシステムの禁止の定義
General scope of prohibited AI systems	禁止されるAIシステムの一般的な範囲
14.The AI Act (and its prohibitions) apply to ‘AI systems’. Thus, in order to determine whether the Regulation applies, an important question is whether the product falls within the definition of an AI system:	14.AI法（およびその禁止事項）は「AIシステム」に適用される。したがって、規則が適用されるかどうかを判断するには、その製品がAIシステムの定義に該当するかが重要な問題となる。
‘ A machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers from the input it receives how to generate outputs such as predictions, content, recommendations or decisions that can influence physical or virtual environments.’	「さまざまなレベルの自律性を備えて設計され、展開後に適応性を示す可能性があり、明示的または暗黙的な目的のために、予測、コンテンツ、推奨、または物理的または仮想環境に影響を与える可能性のある決定などの出力を生成する方法を、受け取った入力から推論する、機械ベースのシステム」
15.The prohibitions are addressed to providers (e.g. developers), deployers, importers, distributors and other operators. These operators shall not place on the market, put into service or use the prohibited AI systems. Therefore, it is important for the above operators to ensure that they do not place on the market or use a prohibited AI system. To do so, they will have to verify whether the AI system in question falls under the prohibitions in Article 5.	15.禁止事項は、プロバイダー（開発者など）、展開者、輸入業者、流通業者、その他の運営者に適用される。これらの事業者は、禁止されたAIシステムを市場に投入したり、使用したりしてはならない。したがって、上記の事業者は、禁止されたAIシステムを市場に投入したり使用したりしないことを確実にすることが重要である。そのためには、当該AIシステムが第5条の禁止事項に該当するかどうかを確認する必要がある。
Content of the prohibition	禁止の内容
16.This call for input focuses on the prohibition of AI systems used for social scoring. The AI Act prohibits AI systems used for social scoring by evaluating or classifying natural persons or groups of persons based on their social behaviour or personal characteristics (hereinafter: systems for social scoring). In the remainder of this call for input, we will refer to this prohibition as ‘prohibition C’. The Regulation defines this prohibition as follows:	16.本意見募集では、ソーシャル・スコアリングに用いられるAIシステムの禁止に焦点を当てる。AI法は、自然人または自然人の集団を、その社会的行動または個人的特性に基づいて評価または分類するAIシステム（以下「ソーシャル・スコアリング用システム」という）を禁止している。本意見募集の残りの部分では、この禁止を「禁止C」と呼ぶ。規則では、この禁止は次のように定義されている。
Article 5(1)(c) (‘Prohibition C’):	第5条(1)(c)（「禁止C」）：
‘the placing on the market, putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:	「一定期間にわたって、自然人の評価または分類を行うAIシステムを市場に投入し、稼働させ、または使用すること。ただし、その評価または分類は、当該自然人の社会的行動、または既知、推論、予測された個人または人格的特性に基づくものとする。また、社会的スコアは、以下のいずれか、または両方につながるものとする。
i)            detrimental or unfavourable treatment of certain natural persons or groups of persons in a social contexts that are unrelated to the contexts in which the data was originally generated or collected;	i) データがもともと生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと
ii)          detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;’	ii) 特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと、ただし、その社会的行動またはその重大性に対して正当化できない、または不均衡である場合
17.Finally, the AI Act is without prejudice to the GDPR. Obligations of providers and deployers of AI systems in their role as controllers or processors stemming from Union or national law on the protection of personal data continue to apply in respect of the design, development or use of AI systems.	17.最後に、AI法はGDPRに影響を及ぼすものではない。AIシステムの設計、開発、または使用に関して、個人データの保護に関するEU法または国内法に由来する管理者または処理者としてのAIシステム提供者および展開者の義務は引き続き適用される。
IV. Criteria and questions regarding the prohibition	IV.禁止に関する規準および質問
18. In order to structure this call for input, separate criteria of the prohibitions have been set out in more detail in the next section. These criteria are highlighted because they are important conditions for determining whether or not AI systems are covered by prohibition C. A brief explanation is provided for each criterion, based on the explanation provided by the legislator in the explanatory recitals to the AI Act. In some cases, explanations are based on the AP's own interpretation; this is clearly indicated. This is followed by some accompanying questions that you can use when giving your input.	18. この意見募集要項を構成するために、禁止事項の個別の規準が次のセクションでより詳細に説明されている。これらの規準は、AIシステムが禁止事項Cの対象となるかどうかを判断する上で重要な条件であるため、強調されている。各規準について、AI法の説明的な序文で立法者が提供した説明に基づいて、簡単な説明が提供されている。一部のケースでは、AP独自の解釈に基づく説明も含まれている。これは明確に示されている。これに続いて、意見を述べる際に使用できるいくつかの関連質問が記載されている。
Criterion 1: Social scoring: evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics	規準1：ソーシャル・スコアリング：一定期間における自然人または人々のグループの社会的行動、または既知、推測、予測される個人的または人格的特性に基づく評価または分類
19. This prohibition covers certain AI systems intended for the evaluation or classification of natural persons or groups of persons, that is social scoring. This evaluation or classification – and thus the social scoring – may lead to the detrimental or unfavourable treatment of certain natural persons or groups of persons. The recital describes that social scoring may lead to discriminatory outcomes and the exclusion of certain groups, violating the right to dignity and non-discrimination and values such as equality and justice. The recitals also highlight that these AI systems for social scoring can be provided or deployed by both private and public actors.	19. この禁止は、自然人または人々のグループの評価または分類を目的とする特定のAIシステム、すなわちソーシャル・スコアリングを対象としている。この評価または分類、つまり社会的スコアリングは、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらす可能性がある。前文では、社会的スコアリングは差別的な結果をもたらし、特定のグループを排除し、尊厳および非差別の権利、ならびに平等および正義といった価値観を侵害する可能性があると説明されている。また、前文では、社会的スコアリングのためのこれらのAIシステムは、民間および公共のアクターの両方によって提供または展開される可能性があることも強調されている。
20. The evaluation or classification should furthermore take place over a certain period of time and be based on social behaviour, or known, inferred or predicted personal or personality characteristics. Although the recitals do not provide any further explanation on the evaluation or classification based on known, inferred or predicted personal or personality characteristics, it is explained that, where this evaluation is based on social behaviour, it can be carried out in multiple contexts.	20. 評価または分類はさらに一定期間にわたって行われるべきであり、社会的行動、または既知、推論、予測された個人または人格的特性に基づくべきである。既知、推論、予測された個人または人格的特性に基づく評価または分類について、前文ではさらなる説明は提供されていないが、この評価が社会的行動に基づく場合、複数の文脈で実施できることが説明されている。
Questions related to criterion 1	規準1に関する質問
1. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based on social behavior?	1. 一定期間における自然人または自然人の集団を評価または分類するために使用される（仮想の）AIシステムについて、また、それが社会行動に基づいて可能となる理由について説明できるか？
2. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based  known, inferred or predicted personal or personality characteristics?	2. 一定期間における自然人または自然人グループを評価または分類するために使用される（仮想）AIシステムについて説明し、それが既知、推論、または予測された個人または人格特性に基づいて可能となることを説明できるか？
3. Is it clear to you what the distinction is between known, inferred and predicted personality characteristics? If not, could you explain this further?	3. 既知、推論、予測された人格特性の区別が明確であるか？明確でない場合、さらに説明できるか？
4. What questions or need for clarification in the context of this prohibition do you still have when distinguishing between evaluation or classification? What questions or need for clarification do you have in the context of this prohibition when distinguishing between this evaluation or classification based on social behaviour on the one hand or known, derived and predicted personality characteristics on the other hand?	4. 評価または分類を区別するにあたり、この禁止事項に関して、まだ疑問や明確化の必要性があるか？この禁止事項に関して、社会的行動に基づく評価または分類を区別するにあたり、疑問や明確化の必要性があるか？
5. A social score is the result of an evaluation or classification. Can you give an (imaginary) example of a description of a social score?	5. 社会スコアは評価または分類の結果である。社会スコアの記述の（架空の）例を挙げて説明できるか？
Criterion 2: Detrimental or unfavourable treatment	規準 2：有害または不利益な取り扱い
21.  The evaluation or classification by an AI system as described above – i.e. the ‘social scoring’ and the resulting social score – may result in detrimental or unfavourable treatment of certain natural persons or groups of persons. The following paragraphs describe two types of detrimental or unfavourable treatments, resulting from the social score, each of which, individually or in combination, entails that the AI practice is prohibited.	21. 上記で説明したAIシステムによる評価または分類、すなわち「社会的スコアリング」およびその結果としての社会スコアは、特定の自然人または自然人グループに対する有害または不利益な取り扱いにつながる可能性がある。以下の段落では、ソーシャルスコアに起因する2種類の不利益または不都合な扱いについて説明する。それぞれ単独または組み合わせにより、AIの使用が禁止されることになる。
According to the AP, AI systems that favour people could, in certain cases, also be covered by the prohibition if they indirectly result in detrimental or unfavourable treatment of other people.	APによると、特定のケースでは、人々を優遇するAIシステムも、間接的に他の人々への不利益または不都合な扱いを引き起こす場合、禁止の対象となる可能性がある。
22.  Firstly, certain AI systems for social scoring are prohibited if the social score generated by the AI system results in the detrimental or unfavourable treatment of individuals in social contexts that are unrelated to the contexts in which the data were originally generated or collected. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. It is however important that the social context in which this treatment takes place should not be related  to the context in which the data were originally generated or collected. As mentioned in paragraph 20 above, social scoring can take place in different contexts over a given period of time. According to the AP, it could therefore be concluded that it is in any event necessary that one of those contexts bears no relation to the context in which the detrimental treatment takes place. Furthermore, according to the AP it seems that the context in which the data were originally generated or collected does not necessarily have to be a social context.	22. まず、AIシステムによって生成された社会的スコアが、データがもともと生成または収集された文脈とは無関係な社会的文脈において、個人の不利益または不利な扱いにつながる場合、特定の社会的スコアリングのためのAIシステムは禁止される。上記のような状況における不利益または不利な扱いとはどのようなものかについては、前文では説明されていない。しかし、この扱いがなされる社会的文脈は、データがもともと生成または収集された文脈とは関連していないことが重要である。上述の第20項で述べたように、ソーシャル・スコアリングは、一定期間にわたって異なる状況下で行われる可能性がある。APによれば、いずれにしても、そのいずれかの状況が不利益な取扱いがなされる状況とは無関係であることが必要であると結論づけられる。さらに、APによれば、データが最初に生成または収集された状況は、必ずしも社会的状況である必要はないようである。
23.  Secondly, certain AI systems for social scoring are prohibited if the social score provided by the AI system results in the detrimental or unfavourable treatment of persons that is unjustified or disproportionate in relation to the gravity of the social behaviour. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. The detrimental or unfavourable treatment should at least be: either unjustified, or disproportionate in relation to the gravity of the social behaviour.	23. 第二に、社会的スコアリングのための特定のAIシステムは、AIシステムが提供する社会スコアが、社会行動の重大性との関係において、不当または不均衡な、個人に対する不利益または不利な扱いをもたらす場合、禁止される。上記のような状況における不利益または不利な扱いの定義は、前文では説明されていない。不利益または不利な扱いは、少なくとも、社会行動の重大性との関係において、不当または不均衡なものでなければならない。
Questions related to criterion 2	規準2に関する質問
6.     Can you give (imaginary) examples of a detrimental or unfavourable treatment of persons that is related to a social score of an AI system?	6. 人工知能システムの社会的スコアに関連する、不利益または不利な扱いを受けた人の（架空の）例を挙げて説明できるか？
7.     Are there situations in which the advantage of one person or group of persons also leads to a implicit disadvantage of other persons? Can you give an (imaginary) example of this?	7. 一人の人または人々のグループが有利になることが、他の人々の暗黙の不利益につながる状況はあるか？この例を挙げて説明できるか？
8.     Can you describe or give an example of an AI system where the detrimental or unfavourable treatment in a social context is or is not related to the contexts in which the data were originally collected or generated?	8. 社会的文脈において有害または不利益な扱いが行われる、または行われない場合、その扱いが、データがもともと収集または生成された文脈に関連しているか、または関連していないか、AIシステムの例を挙げて説明できるか？
9.     Is it clear to you when there is an adverse or unfavourable treatment in a social context that is unrelated to the contexts in which the data were originally generated or collected? If not, what do you need more clarity about? Can you explain this further?	9. 社会的文脈において有害または不利益な扱いが行われる場合、その扱いが、データがもともと生成または収集された文脈に関連していないことは明確か？ そうでない場合、何をより明確にする必要があるか？ これをさらに説明できるか？
10.  Could you describe or give an example of AI systems where the detrimental or unfavourable treatment is unjustified or disproportionate to the gravity of the social behaviour?	10. 不利なまたは不適切な取扱いが、社会行動の重大性に対して不当または不均衡であるAIシステムの説明または例を挙げて説明できるか？
11. Is it sufficiently clear to you when there is a detrimental or unfavourable treatment that is unjustified or disproportionate to the social behaviour or its gravity?  If not, what do you need more clarity about? Can you explain this in more detail?	11. 不利なまたは不適切な取扱いが、社会行動またはその重大性に対して不当または不均衡である場合、十分に明確であるか？ そうでない場合、何をより明確にする必要があるか？ これをより詳細に説明できるか？
Scope of the prohibition	禁止の範囲
24.  The recitals of the Regulation also set out situations in which an AI system should not be covered by the prohibitions. The recitals describe that the prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.	24. 規則の前文では、AIシステムが禁止の対象とされるべきではない状況も示されている。前文では、EU法および国内法に従って特定の目的のために実施される自然人による合法的な評価行為に禁止が影響を及ぼすべきではないことが説明されている。
Questions related to the scope of the prohibition	禁止の範囲に関する質問
12.  Could you provide an (imaginary) description of an AI social scoring system deployed in accordance with Union or national law?	12. 連合法または国内法に従って展開されたAIソーシャル・スコアリング・システムの（架空の）説明を提供できるか？
13. What further questions or clarifications do you have about the scope of this prohibition?	13. この禁止の範囲について、さらに質問または明確化したいことはあるか？
25. In conclusion, it is stressed that this document does not cover all aspects of the prohibition.  Therefore, interested parties are expressly invited to provide relevant input, also outside the questions asked, for the further clarification of prohibition C	25. 結論として、この文書は禁止のすべての側面を網羅しているわけではないことを強調しておく。 したがって、利害関係者は、禁止Cのさらなる明確化のために、質問事項以外についても関連する意見を提示することが明確に求められている
Concluding questions	結語
14.  Apart from the questions posed, is there any relevant input that you would like to provide for the further clarificatio  n of Prohibition C?	14. 提示した質問以外に、禁止事項Cのさらなる明確化のために提供したい関連情報はあるか？
15. Do you think it is desirable that we explicitly mention your organisation or group in our public response to and appreciation of this call for input, e.g. so that we can discuss examples and considerations that you provide?	15. 意見募集への回答と謝意を表明する公開文書において、貴組織またはグループを明示的に言及することが望ましいと考えるか？例えば、貴組織が提供した事例や考察について議論できるようにするためなど。
Annex: overview of prohibitions from Article 5, paragraph 1 of the AI Act 2024/1689	附属書：AI法2024/1689第5条第1項による禁止事項の概要
Prohibition A: Certain manipulative AI systems	禁止事項A： ある種の操作的なAIシステム
AI systems that deploy subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm.	人の意識を超えたサブリミナル的な技法、または意図的に操作的もしくは欺瞞的な技法を展開するAIシステムであって、その目的または効果が、十分な情報に基づいた意思決定を行う能力を著しく損なうことによって、人または人の集団の行動を実質的に歪め、それによって、その人、他の人または人の集団に重大な危害をもたらす、またはもたらす可能性が合理的に高い方法で、他の方法では行わなかったであろう意思決定を行わせるもの。
Prohibition B: Certain exploitative AI systems	禁止事項B：特定の搾取的AIシステム
AI systems that exploit any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm.	自然人または特定の集団の年齢、障害または特定の社会的もしくは経済的状況に起因する脆弱性を悪用するAIシステムであって、その人またはその集団に属する人の行動を、その人またはその集団に属する人に重大な危害をもたらすか、またはもたらす可能性が合理的に高い方法で、実質的に歪めることを目的とし、またはその効果を有するもの。
Prohibition C: Certain AI systems for social scoring	禁止事項C：社会的スコアリングのための特定のAIシステム
AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:	自然人または集団の社会的行動または既知、推論もしくは予測される個人的もしくは人格的特性に基づいて、一定期間にわたって評価または分類するためのAIシステムであって、社会的スコアが以下のいずれかまたは両方につながるもの：
• detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;	•  データが元々生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または集団が不利益または不利な扱いを受けること；
• detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity.	•  社会的行動またはその重大性に不当または不釣り合いな,特定の自然人または集団に対する不利益または不利な取り扱い。
Prohibition D: Certain AI systems for predictive policing	禁止事項D：予測的取り締まりのための特定のAIシステム
AI systems for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity.	自然人が犯罪を犯すリスクを評価または予測するために、自然人のプロファイリングまたは人格的特徴および特性の評価のみに基づいて、自然人のリスクアセスメントを行うためのAIシステム。この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実に既に基づいている、犯罪活動への人の関与に関する人間の評価を支援するために使用されるAIシステムには適用されない。
Prohibition E: Untargeted scraping of facial images	禁止事項E．顔画像の非対象スクレイピング
AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage.	インターネットやCCTV映像から顔画像を非対象にスクレイピングすることにより、顔認識データベースを作成または拡張するAIシステム。
Prohibition F: Certain AI systems for emotion recognition in the workplace or in education	禁止事項F：職場や教育機関における感情認識のための特定のAIシステム
AI systems that infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons.	職場や教育機構の分野における自然人の感情を推論するAIシステム。ただし、医療上または安全上の理由からAIシステムの導入または市場投入が意図されている場合を除く。
Prohibition G: Certain AI systems for biometric categorisation of persons	禁止事項G：人物の生体データ分類のための特定のAIシステム
AI systems for biometric categorisation that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorising of biometric data in the area of law enforcement.	人種、政治的意見、労働組合員、宗教的または哲学的信条、性生活または性的指向を推測または推論するために、生体データに基づいて個々の自然人を分類する生体データ分類のためのAIシステム。この禁止は、合法的に取得された生体データセット（画像など）を生体データに基づいてラベリングまたはフィルタリングしたり、法執行の分野で生体データを分類したりすることは対象としない。
Prohibition H: Certain AI systems for real-time remote biometric identification in publicly accessible spaces for purpose of law enforcement	禁止事項H：法執行を目的とした、一般にアクセス可能な空間におけるリアルタイムの遠隔バイオメトリッ ク識別のための特定のAIシステム
AI-systems used for of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:	法執行を目的とした、一般にアクセス可能な空間における「リアルタイムの」遠隔バイオメトリッ ク識別システムのために使用されるAIシステムは、そのような使用が以下のいずれかの目的の ために厳密に必要である場合を除く：
• the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;	• 誘拐,人身売買,性的搾取の特定の被害者,および行方不明者の捜索。
• the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;	• 自然人の生命または身体の安全に対する特定の、実質的かつ差し迫った脅威、または真正かつ現在の、または真正かつ予見可能なテロ攻撃の脅威の防止；
• the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.	• 附属書IIに規定され,かつ,当該加盟国において少なくとも4年の拘禁刑または拘禁令によって処罰される犯罪について,犯罪捜査または訴追を行い,または刑事罰を執行する目的で,犯罪を犯したと疑われる者を特定または識別すること。
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.	第1号の(h)点は、法執行以外の目的での生体データの処理に関する規則(EU)2016/679の第9条を損なうものではない。

---

第1回に意見募集結果と今後について...

・2024.12.18 Summary and next steps call for input on manipulative and exploitative AI systems

Summary and next steps call for input on manipulative and exploitative AI systems	操作および搾取的AIシステムに関する意見募集の概要と次のステップ
18 December 2024	2024年12月18日
Themes: Coordination of algorithmic and AI supervision EU AI Act	テーマ：アルゴリズムおよびAIの監督の調整 EU AI法
In 2024, the Dutch Data Protection Authority (AP) called for input on the first two prohibitions in the AI Act.	2024年、オランダデータ保護当局（AP）は、AI法の最初の2つの禁止事項に関する意見を募集した。
This document provides a summary of responses and identifies follow-up steps in relation to the call for input regarding the first two prohibitions of the AI Act, concerning:	本書では、AI法の最初の2つの禁止事項に関する意見募集に関する回答の概要をまとめ、以下の事項に関する今後の対応について明らかにする。
・AI systems that use manipulative or deceptive techniques.	・人を操る、または欺く技術を使用するAIシステム
・AI systems that exploit human vulnerabilities.	・人間の脆弱性を悪用するAIシステム

・[PDF]

Manipulative, deceptive and exploitative AI systems	操作的欺瞞的、搾取的なAIシステム
Summary of responses and next steps	回答の要約と今後のステップ
Autoriteit Persoonsgegevens (AP) - Department for the Coordination of Algorithmic Oversight (DCA)	個人データ保護局（AP） - アルゴリズム監督調整局（DCA）
December 2024 DCA-2024-04	2024年12月 DCA-2024-04
Summary and next steps	要約と今後のステップ
This document provides a summary of responses and identifies follow-up steps in relation to the previous call for input regarding the first two prohibitions in Article 5 of the AI Act (see document DCA-2024-01). This concerns AI systems that use manipulative or deceptive techniques, as well as AI systems that exploit human vulnerabilities. Overall, the AP distils three main observations from the responses received.	本書は、AI法第5条の最初の2つの禁止事項に関する前回の意見募集（文書DCA-2024-01を参照）に対する回答の概要と今後の対応について説明するものである。これは、操作的なまたは欺瞞的な手法を用いるAIシステム、および人間の脆弱性を悪用するAIシステムに関するものである。全体として、APは、受け取った回答から3つの主な所見を導き出した。
Main observation 1 – Many respondents note that the practices to which the prohibitions relate are already regulated or prohibited by other horizontal or sector-specific laws and regulations.	主な所見1 – 多くの回答者は、禁止事項に関連する行為はすでに他の水平または分野別の法律や規制によって規制または禁止されていると指摘している。
The prohibitions in question are closely linked to consumer protection laws such as directives on unfair commercial practices, the Digital Services Act (DSA) and financial regulations. The practices also affect the lawful processing of personal data as regulated in, among others, the General Data Protection Regulation (GDPR). According to the AP, the prohibitions in the AI Act have a preventive nature (AI systems may not be developed or used) and therefore the prohitions complement the aforementioned laws. As such, the prohibitions provide an opportunity for more effective supervision of situations in which AI systems play a role in cases of deception, manipulation and exploitation of persons. It is important that these regulations are explained and applied as coherently as possible. This requires close cooperation and coordination between the Netherlands Authority for Consumers and Markets (ACM), Dutch Authority for the Financial Markets (AFM) and the AP.	問題となっている禁止事項は、不公正な商慣行に関する指令、デジタルサービス法（DSA）、金融規制などの消費者保護法と密接に関連している。また、これらの慣行は、一般データ保護規則（GDPR）などで規定されている個人データの合法的な処理にも影響を及ぼす。APによると、AI法における禁止事項は予防的な性質（AIシステムの開発や使用を禁止する）を持つため、前述の法律を補完するものとなる。そのため、禁止事項は、AIシステムが欺瞞、操作、搾取のケースで役割を果たす状況をより効果的に監督する機会を提供する。これらの規制は、できる限り首尾一貫した形で説明および適用されることが重要である。そのためには、オランダ消費者市場局（ACM）、オランダ金融市場局（AFM）、AP間の緊密な協力と調整が必要である。
Main observation 2 – Several respondents point to the additional possibilities that AI offers to deceive, manipulate or exploit people more convincingly.	主な所見2 – 複数の回答者は、AIが人を欺いたり、操作したり、利用したりする可能性をより説得力のある形で提供していると指摘している。
A frequently cited example of this is the use of dark patterns, where interfaces are designed or organised in such a way that they deceive or manipulate people into making choices or decisions that they would not otherwise make. AI technology can reinforce manipulative or deceptive patterns by, for example, better responding to a person's characteristics or vulnerabilities during the interaction with the user.	この例としてよく挙げられるのが、ダークパターン（dark patterns）の使用であり、これは、ユーザーが通常選択しないような選択や決定をさせるために、人を欺いたり、操作したりするようにインターフェースが設計または構成されていることを指す。AI技術は、例えば、ユーザーとのやり取りの際に、個人の特性や脆弱性により適切に対応することで、操作や欺瞞のパターンを強化することができる。
Main observation 3 – Respondents note that the prohibitions are not elaborated in standards and therefore need to be further clarified in guidelines.	主な所見3 – 回答者は、禁止事項が規準で詳細に説明されていないため、ガイドラインでさらに明確化する必要があると指摘している。
The prohibitions in the AI Act are new and contain connections and concepts that are operationalised only to a limited extent in the AI Act itself. This means there are also a number of topics that require further clarification, as is noticeable in the input from respondents. This concerns, for example, the extent to which there must be a link between the AI system and the deception or manipulation; the scope of the concept of harm; when significant harm has been caused; what exactly can be understood as a subliminal or deceptive technique; what types of vulnerabilities an AI system can exploit and whether a behavioural distortion can also occur gradually.	AI法における禁止事項は新しいものであり、AI法自体では限定的にしか運用化されていない関連性や概念を含んでいる。これは、回答者からの意見にも顕著に見られるように、さらなる明確化が必要なトピックが多数あることを意味する。例えば、AIシステムと欺瞞または操作との間のリンクの程度、危害の概念の範囲、重大な危害が引き起こされた場合、潜在的なまたは欺瞞的な手法として具体的に何を理解できるか、AIシステムが利用できる脆弱性の種類、行動の歪曲も徐々に起こり得るか、などである。
The AP uses these insights to support the preparation of Dutch supervisory authorities to supervise the prohibitions and will further incorporate the input received in the explanation of the prohibitions in the coming months. This involves cooperation and coordination with other supervisory authorities, including in the AI and Algorithm Chamber of the Digital Regulation Cooperation Platform (SDT). In addition, the input provides a basis for the AP's contribution from practice in the discussion on the guidelines on the prohibitions that the European Commission is currently working on.	APは、これらの洞察を活用して、オランダの監督当局による禁止事項の監督準備を支援し、今後数か月の間に、禁止事項の説明に受け取った意見をさらに組み込んでいく予定である。これには、デジタル規制協力プラットフォーム（SDT）のAIおよびアルゴリズム委員会を含む、他の監督当局との協力と調整が含まれる。さらに、これらの意見は、欧州委員会が現在策定中の禁止事項に関するガイドラインの議論において、APが実務面から貢献するための基礎となる。
I.  Background	I. 背景
AI Act & prohibited AI	AI法および禁止されるAI
1. The AI Act (2024/1689) entered into force on 1 August 2024. This act sets out rules on the development and use of artificial intelligence (AI) in the EU. The starting point of the AI Act is that there are many useful applications of AI, but that the technology also entails risks that need to be managed. Some AI systems with unacceptable risk will be prohibited.	1. AI法（2024/1689）は2024年8月1日に施行された。この法律は、EUにおける人工知能（AI）の開発と利用に関する規則を定めている。AI法の起点は、AIには多くの有用な用途がある一方で、その技術には管理が必要なリスクも伴うという点である。容認できないリスクを伴う一部のAIシステムは禁止される。
Call for input	意見募集
2. On 27 September 2024, the AP issued a call for input regarding the first two prohibitions in Article 5 of the AI Act. This concerns AI systems that use manipulative or deceptive techniques (hereinafter referred to as prohibition A), as well as AI systems that exploit human vulnerabilities (hereinafter referred to as prohibition B).	2. 2024年9月27日、APはAI法第5条の最初の2つの禁止事項に関する意見募集を開始した。これは、人を操るまたは欺く技術を使用するAIシステム（以下、禁止A）と、人間の脆弱性を悪用するAIシステム（以下、禁止B）に関するものである。
3. The call for input aims to gather information and insights from stakeholders (citizens, governments, companies and other organisations) and organisations that represent them. The AP aims to collect information to provide a basis for preparing further interpretation of the prohibitions in the AI Act. The call for input is also part of a series of calls on the various prohibitions in the AI Act. More information about the AI Act, the prohibitions and the role of the AP in supervision can be found on the website of the AP and in the previously published call for input.	3. 意見募集は、ステークホルダー（市民、政府、企業、その他の組織）およびそれらを代表する組織から情報や見識を集めることを目的としている。APは、AI法における禁止事項のさらなる解釈の準備の基礎となる情報を収集することを目的としている。意見募集は、AI法におけるさまざまな禁止事項に関する一連の呼びかけの一部でもある。AI法、禁止事項、監督におけるAPの役割に関する詳細は、APのウェブサイトおよび以前に公表された意見募集を参照のこと。
4. Between 27 September and 17 November 2024, the AP received fifteen responses from various organisations and individuals with diverse backgrounds, including academics. The AP is pleased that the call has reached citizens, companies, researchers and social organisations and that they have wanted to contribute by submitting input.	4. 2024年9月27日から11月17日までの間、APは、学術関係者を含むさまざまな背景を持つ個人および団体から15件の回答を得た。APは、この意見募集が市民、企業、研究者、社会組織に届き、彼らが意見を提出することで貢献したいと考えたことを喜ばしく思う。
5. Following the call for input, this summary document was prepared. All input has been reviewed by the AP and the main points have been included in this document. The document refers only in generic terms to the submitters of the input received. In a limited number of places in this document, the input is also appreciated by the AP. This has been done where appropriate and where it could be traced back directly to the provisions in the AI Act or where an (additional) point of view could be provided. In doing so, the AP aims to contribute to the discussion on the interpretation of the prohibitions. With this document, the AP does not intend to provide an explanation of the prohibitions or related laws.	5. 意見募集の後、この要約文書が作成された。すべての意見はAPによって検討され、主な内容は本書に盛り込まれた。本書では、提出者について一般的な用語のみを使用している。本書では限られた箇所で、APも意見を評価している。これは、AI法の規定に直接関連する箇所、または（追加の）見解が提供できる箇所において、適切と思われる場合に実施された。これにより、APは禁止事項の解釈に関する議論に貢献することを目指している。本報告書において、APは禁止事項または関連法の説明を行う意図はない。
AI Act compliance supervision	AI法遵守の監督
6. The AP made this call for input in its role as coordinating supervisor of algorithms and AI. Within the AP, these tasks have been assigned to the Department for the Coordination of Algorithmic Oversight (DCA). The call for input is an extension of the preparatory work being done for the supervision of prohibited AI systems under the AI Act. The government is currently working on the formal designation of national supervisors for the AI Act. The AP (from the Department for the Coordination of Algorithmic Oversight) and the Dutch Authority for Digital Infrastructure (RDI) have issued an advice on this matter in collaboration and coordination with other supervisory authorities. It has been recommended, among other things, that the AP be designated as the market surveillance authority for most of the prohibitions in Article 5.	6. APは、アルゴリズムおよびAIの調整監督機関として、意見募集の呼びかけを行った。AP内では、これらのタスクはアルゴリズム監督調整局（DCA）に割り当てられている。意見募集の呼びかけは、AI法に基づく禁止AIシステムの監督に向けた準備作業の延長である。政府は現在、AI法に基づく国家監督機関の正式指定に取り組んでいる。AP（アルゴリズム監督調整局）とオランダのデジタルインフラ当局（RDI）は、他の監督当局と協力・調整しながら、この問題に関する助言を提示している。特に、第5条の禁止事項のほとんどについて、APを市場監視当局として指定することが推奨されている。
II. Summary and evaluation of submitted input	II. 提出された意見の要約と評価
General points	一般的な指摘
Relationship with other laws and regulations	他の法律や規則との関係
Various respondents note that the practices to which the prohibitions in question relate are in some cases already regulated or prohibited by other horizontal or sector-specific laws and regulations.	さまざまな回答者が、問題となっている禁止事項に関連する行為は、他の横断的または分野別の法律や規則によってすでに規制または禁止されている場合があることを指摘している。
7.  Examples include the rules in consumer law, for example, when it concerns unfair commercial practices or dark patterns (including Article 25 DSA), or (specific) financial regulations that protect consumers against deception and manipulation. The AP points out that several guidelines are already available on these rules, such as the Guidelines for the Protection of Online Consumers of the Netherlands Authority for Consumers & Markets (ACM) or the Policy Rules of the Dutch Authority for the Financial Markets (AFM) regarding the provision of information in the financial sector. Also, processing of personal data that underlies prohibited practices is regulated by the GDPR and processing of personal data for the purposes of the prohibited practices will also be unlawful.	例えば、不公正な商慣行やダークパターン（第25条DSAを含む）に関する消費者保護法の規定、または（特定の）金融規制による消費者保護などである。APは、オランダ消費者・市場局（ACM）による「オランダのオンライン消費者保護に関するガイドライン」や、金融セクターにおける情報提供に関するオランダ金融市場局（AFM）の「ポリシー規則」など、これらの規則に関するいくつかのガイドラインがすでに存在していることを指摘している。また、禁止行為の根底にある個人データの処理はGDPRによって規制されており、禁止行為を目的とした個人データの処理も違法となる。
8. According to the AP, what is special about the prohibitions in the AI Act is that, in cases where manipulation, deception and exploitation involves an AI system, they relate to both the development and the use of such systems. Therefore, both providers and users could be held liable. This will enable action to be taken against harmful practices involving AI at various points in the AI value chain. Furthermore, the prohibitions concern many different types of harm. In addition, the prohibitions in question also relate to the harm of groups of persons. This may make it less complicated to take action against prohibited AI practices than under other legal frameworks, which, for example, do not target providers, relate to psychological harm or concern groups of persons. That is why the prohibitions – in addition to, and interpreted in conjunction with, other rules governing similar practices – provide a means to supervise AI systems more effectively.	8. APによると、AI法における禁止事項の特別な点は、操作、欺瞞、搾取がAIシステムに関わる場合、そのようなシステムの開発と使用の両方に適用されることである。したがって、提供者と利用者の両方が責任を問われる可能性がある。これにより、AIバリューチェーンのさまざまな段階で、AIに関わる有害な行為に対して措置を取ることが可能になる。さらに、禁止事項は多くの異なる種類の被害を対象としている。さらに、禁止事項は、複数の人々に対する危害にも関連している。このため、例えば、プロバイダーを対象としておらず、心理的な危害に関連していたり、複数の人々に対する危害を懸念していたりする他の法的枠組みよりも、禁止されたAIの慣行に対する措置を講じやすくなる可能性がある。これが、禁止事項が、同様の慣行を規制する他の規則に加えて、またそれらと併せて解釈されることにより、AIシステムをより効果的に監督する手段を提供している理由である。
9. The alignment of and between regulations is important. According to the AP, the prohibitions should be interpreted and applied as much as possible in accordance with, and in conjunction with, existing (European) regulations in the areas of inter alia consumer protection and financial services, the DSA and the GDPR.	9. 規制間の整合性は重要である。APによると、禁止事項は、とりわけ消費者保護および金融サービス、DSA、GDPRの分野における既存の（欧州）規制にできる限り従い、かつ、それらと併せて解釈・適用されるべきである。
10.  In doing so, supervision of the prohibitions in the AI Act should focus primarily on practices in which AI technology plays an important role. This requires close cooperation and coordination between the supervisory authorities, including in particular the ACM and AFM. The authorities are already making efforts to achieve this.	10. そうすることで、AI法における禁止事項の監督は、AI技術が重要な役割を果たす行為に主に焦点を当てるべきである。そのためには、特にACMおよびAFMを含む監督当局間の緊密な協力と調整が必要である。当局はすでにこの実現に向けて努力している。
Relationship to high-risk uses and other prohibitions	高リスク用途およびその他の禁止事項との関係
Respondents note that the prohibitions also relate to high-risk applications and other prohibitions, and that clarity should be provided on this.	回答者は、禁止事項は高リスク用途およびその他の禁止事項にも関連しており、この点について明確化が必要であると指摘している。
11. Respondents raise the question whether the exception for AI systems that do not pose a significant risk to the health, safety or fundamental rights of natural persons (Article 6, third paragraph of the AI Act), also applies to the prohibitions. Such systems would then not considered to be high-risk. According to the AP, this exception only applies to AI systems that would otherwise be considered high-risk AI systems (Chapter III of the AI Act). This exception therefore does not apply to the prohibitions in the AI Act.	11. 意見提出者は、自然人の健康、安全、基本権に重大なリスクをもたらさないAIシステムに対する例外（AI法第6条第3項）が禁止事項にも適用されるかという疑問を提起している。そのようなシステムは、高リスクとはみなされない。APによると、この例外は、高リスクAIシステムとみなされる可能性のあるAIシステムのみに適用される（AI法第3章）。したがって、この例外はAI法の禁止事項には適用されない。
12.  Several respondents also point to the link with the banned and high-risk AI systems for emotion recognition in relation to the prohibitions delineated upon in this summary. This particularly concerns the possibilities that emotion recognition offers to better respond to people's vulnerabilities or to manipulate or deceive them more effectively.	12. 複数の回答者は、この要約で示した禁止事項に関連して、感情認識のための禁止された高リスクAIシステムとの関連性も指摘している。これは特に、感情認識が人々の脆弱性により適切に対応したり、より効果的に操作したり欺いたりする可能性を提供する点に関係している。
Involving professionals	専門家の関与
A respondent noted that developments in AI technology are occurring rapidly and that at the same time, there is a need for clarity on the application of the rules and best practices.	回答者は、AI技術の発展は急速に進んでいるが、同時に、規則やベストプラクティスの適用に関する明確性も必要であると指摘した。
13.  AI professionals can contribute to clarification. The AP considers this dialogue with stakeholders to be important so that the AP, together with other supervisory authorities, can contribute to the explanation and guidance on the AI Act. The respondent also emphasises the importance of education and practical training by the organisation. According to the AP, this also ties in with the subject of AI literacy (Article 4 of the AI Act) and the steps that organisations developing or using AI systems are taking to promote AI literacy.	13. AIの専門家は明確化に貢献できる。APは、他の監督当局とともに、AI法に関する説明やガイダンスに貢献できるよう、ステークホルダーとの対話を重要視している。回答者はまた、組織による教育および実地訓練の重要性を強調している。APによれば、これはAIリテラシー（AI法第4条）のテーマとも関連しており、AIシステムを開発または使用する組織がAIリテラシーの促進のために講じている措置とも関連している。
Specific points	具体的な指摘
Criterion 1 (prohibitions A and B): AI-enabled manipulative, deceptive or exploitative practices	規準1（禁止事項AおよびB）：AIによる操作、欺瞞、搾取的な行為
Several respondents indicated that manipulative, deceptive or exploitative practices are increasingly enabled by AI and that the use of AI increases the risks associated with these practices. According to respondents, the use of AI, in combination with the use of available personal data, makes it possible to approach and interact with people when they are at their weakest or most vulnerable. Because of their adaptability, AI systems are also able to respond well to a person's circumstances or vulnerabilities. Clarification seems particularly needed on the issue of the link between the manipulative, deceptive or exploitative practice and the AI system.	回答者の一部は、AIによって操作、欺瞞、搾取的な行為がますます可能になり、AIの利用によってこれらの行為に伴うリスクが高まると指摘した。回答者によると、利用可能な個人データの利用と組み合わせたAIの利用によって、人が最も弱っている時や最も脆弱な時に、その人に近づき、関わることも可能になる。AIシステムは適応性があるため、人の状況や脆弱性にもうまく対応できる。特に、操作、欺瞞、搾取的な行為とAIシステムとの関連性について明確化する必要があると思われる。
14.  Respondents often note the additional possibilities offered by AI to use dark patterns, where interfaces are designed or organised to deceive or manipulate people into making choices or decisions that they would not otherwise make. For example, AI technology can be used to further tailor an interface and the information provided therein to a person's characteristics or vulnerabilities, thereby reinforcing manipulative or deceptive patterns in the interface.	14. 回答者は、AIによってダークパターンが利用される可能性がさらに高まることをしばしば指摘している。ダークパターンとは、ユーザーを欺いたり操作したりして、通常であれば選択や意思決定を行わないような選択や意思決定を行わせることを目的として、インターフェースが設計または構成されることを指す。例えば、AI技術は、インターフェースやそこに提供される情報を個人の特性や脆弱性に合わせてさらにカスタマイズするために使用することができ、それによってインターフェースにおける操作や欺瞞のパターンが強化される。
15.  Several respondents also point to the possibilities that generative AI offers to deceive or manipulate people more convincingly. Respondents also point out the possibilities of using AI to spread or recommend misinformation or manipulative content, or to persuade people to change their voting behaviour, for example. An individual respondent also noted that the risk of deception, manipulation or exploitation is greater if AI technology is more deeply integrated into other applications compared to when the technology is superficially and visibly present in, for example, a chatbot. Many of these concerns also relate to the regulation of General Purpose AI models and the transparency obligations in Article 50 of the AI Act. The supervision of the ACM and the ACM Guidelines regarding the Digital Services Regulation are also relevant here, as they largely relate to online platforms and, for example, the dissemination of misinformation and disinformation.	15. また、複数の回答者は、生成的AIが人々をより説得力を持って欺いたり操作したりする可能性を指摘している。回答者はまた、AI を利用して誤情報や操作的なコンテンツを拡散したり推奨したり、あるいは人々に投票行動の変更を説得したりする可能性についても指摘している。また、ある回答者は、AI 技術が他のアプリケーションに深く統合されている場合、例えばチャットボットに表面的に目に見える形で存在している場合と比較して、欺瞞、操作、搾取のリスクがより高くなることを指摘している。これらの懸念の多くは、汎用AIモデルの規制やAI法第50条の透明性義務にも関連している。デジタルサービス規制に関するACMおよびACMガイドラインの監督も、オンラインプラットフォームや、例えば誤情報や偽情報の拡散と大きく関連しているため、関連性がある。
16.  Some respondents indicate that the necessary link between an AI system and manipulation, deception and exploitation needs clarification. According to respondents, the question is whether and when practices involving manipulation, deception or exploitation are related to the use of AI. One respondent noted that this aspect of the prohibitions is crucial to the scope of the prohibitions. In light of that, this respondent notes that using other simpler technologies in combination with AI can also lead to manipulation, deception and exploitation. According to the AP, this shows how important the explanation of the term 'AI system' is for the applicability of the prohibitions. According to the AP, this also underlines the importance of choosing an integral approach in the future interpretation of this definition with regard to practices in which AI technology is used. This in order to address the risks of the use of, for example, deceptive AI systems.	16. ある回答者は、AIシステムと操作、欺瞞、搾取との間の必要な関連性を明確にする必要があると指摘している。回答者によると、問題は、操作、欺瞞、搾取を伴う行為がAIの利用と関連しているかどうか、また、関連している場合、それはいつなのかということである。ある回答者は、禁止の範囲を考える上で、この禁止の側面が極めて重要であると指摘している。その観点から、この回答者は、AIと組み合わせた他のより単純な技術の利用も、操作、欺瞞、搾取につながりうると指摘している。APによれば、これは禁止規定の適用可能性にとって「AIシステム」という用語の説明がいかに重要であるかを示している。APによれば、これはまた、AI技術が使用される行為に関して、この定義の将来の解釈において包括的なアプローチを選択することの重要性を強調している。これは、例えば欺瞞的なAIシステムの使用のリスクに対処するためである。
Criterion 2 (prohibition A): Deployment of subliminal and deceptive techniques	規準2（禁止A）：潜在意識や欺瞞的手法の展開
Respondents indicate that – in the framework of prohibition A – there is still a great deal of uncertainty about what can be understood by subliminal techniques of which people are not aware, or by manipulative or deceptive techniques. They argue that it is particularly necessary to clarify what such techniques entail. The extent to which manipulation or deception must have been intended also requires clarification.	回答者は、禁止Aの枠組みにおいて、人々が気づかない潜在意識的手法や、操作的手法、欺瞞的手法が何を意味するのかについて、依然として多くの不確実性があると指摘している。回答者は、このような手法が何を意味するのかを明確にする必要があると主張している。また、操作や欺瞞が意図されていた程度についても明確にする必要がある。
17.  In the framework of the questions about subliminal techniques, several respondents mention examples such as systems that use imperceptible pitches or images that are displayed very quickly. If such techniques can indeed lead to behavioural distortion, then according to the AP, it should be clarified whether these indeed constitute subliminal techniques within the meaning of the AI Act. Respondents also again mentioned the use of dark patterns in their answers regarding subliminal techniques.	17. サブリミナル手法に関する質問の枠組みの中で、回答者の何人かは、知覚できない音程や非常に速く表示される画像を使用するシステムなどの例を挙げている。 このような手法が実際に行動の歪曲につながるのであれば、APによれば、これらの手法がAI法の意図するサブリミナル手法に該当するのかどうかを明確にする必要がある。 回答者はまた、サブリミナル手法に関する回答の中で、ダークパターンの使用についても言及している。
18.  One respondent notes that further clarification should be provided as to how this prohibition can refer to purposefully manipulative or deceptive techniques.  Simultaneously,  the section in the legal provision on the prohibition about the ‘distortion of behaviour’ refers to a distortion that is the objective or the effect of the use of the AI system. According to this respondent, it should therefore be possible for manipulative or deceptive techniques to also fall under the prohibition if they only have the effect (and therefore do not necessarily have the purpose) of materially distorting the behaviour of individuals. According to the AP, how this criterion, in particular the 'intention' of the use of manipulative or deceptive techniques, should be interpreted is indeed a point of concern.	18. ある回答者は、この禁止が意図的な操作や欺瞞的な手法をどのように参照し得るのかについて、さらなる明確化が必要であると指摘している。同時に、行動の歪曲に関する禁止に関する法規定の条項では、AIシステムの使用の目的または効果としての歪曲について言及している。この回答者によると、したがって、個人の行動を実質的に歪める効果（必ずしも目的があるとは限らない）を持つ場合、操作または欺瞞的な技術も禁止の対象となり得るはずである。APによると、この規準、特に操作または欺瞞的な技術の使用の「意図」をどのように解釈すべきかは、確かに懸念事項である。
Criterion 3 (prohibition B): Exploitation of vulnerabilities	規準3（禁止B）：脆弱性の悪用
In the framework of prohibition B, respondents note that AI technologies make it increasingly easier to exploit human vulnerabilities. According to respondents, it is also necessary to clarify what kind of vulnerabilities included in this prohibition and whether this may also involve the use of proxies that indicate a person's vulnerabilities.	禁止Bの枠組みにおいて、回答者は、AI技術により人間の脆弱性を悪用することがますます容易になっていると指摘している。回答者によると、この禁止事項に含まれる脆弱性の種類を明確化する必要があるほか、人間の脆弱性を示す代理の使用も含まれる可能性があるかどうかを明確化する必要もある。
19.  According to various respondents, it is unclear what exactly is meant by exploiting vulnerabilities. One respondent indicated that it would be helpful if there were guidelines to assess whether vulnerabilities are being exploited. According to one respondent, the use of AI and the (personal) data processed in the process makes it possible to gain more insight into a person's circumstances, such as their financial circumstances. This would make it easier to exploit vulnerabilities associated with it. Another respondent notes that large data processing and the use of AI also make it possible to exploit people's vulnerabilities in less visible and subtle ways. In such cases, proxy data is used that does not directly indicate the presence of a vulnerability, but is an indirect indicator of it. According to the AP, this recognises the fact that the availability of more (personal) data and the increased possibilities to process this data with AI technologies only increases the risks of exploitation of vulnerable people. However, according to the AP, the interpretation of this prohibition ultimately depends on whether the AI system uses vulnerabilities that, as described in the AI Act, are the result of a person's age, disability or a specific social or economic situation. So in this assessment, it is not necessary per se to assess how and on the basis of which (personal) data the AI system determines that there is a vulnerability.	19. 様々な回答者によると、脆弱性を悪用するとは具体的に何を意味するのかが不明確である。ある回答者は、脆弱性が悪用されているかどうかを評価するガイドラインがあれば役立つと指摘した。ある回答者によると、AIと（個人）データの処理により、個人の経済状況など、個人の状況についてより深い洞察を得ることが可能になる。これにより、それに関連する脆弱性を悪用しやすくなる。別の回答者は、大量のデータ処理とAIの利用は、目立たない微妙な方法で人々の脆弱性を悪用することも可能にする、と指摘している。このような場合、脆弱性の存在を直接示すものではないが、間接的な指標となる代理データが使用される。APによると、これは、より多くの（個人）データが利用可能になり、AI技術でこのデータを処理できる可能性が高まることで、脆弱な人々を悪用するリスクが高まるという事実を認識している。しかし、APによると、この禁止の解釈は、AIシステムがAI法に記載されているような、人の年齢、障害、特定の社会的または経済的状況の結果として生じる脆弱性を利用しているかどうかによって最終的に決まる。したがって、この評価では、AIシステムがどのように、またどの（個人）データに基づいて脆弱性があると判断しているかを評価する必要はない。
20.  Lastly, respondents also believe that AI can be used to protect or support vulnerable people. For example, one respondent indicates that AI can be used to provide timely information or signalling to vulnerable users of certain essential services, which is sometimes also a legal requirement imposed on parties. In addition, according to respondents, the use of AI technology also offers opportunities to, for example, physically, sensorily or cognitively support persons with disabilities by means of assistive AI technologies.	20. 最後に、回答者は、AI が脆弱な人々を保護または支援するために使用できるとも考えている。例えば、ある回答者は、AI を、特定の不可欠なサービスの脆弱なユーザーに適時に情報またはシグナルを提供するために使用できると指摘している。これは、当事者に課される法的要件である場合もある。さらに、回答者によると、AI 技術の使用は、例えば、支援用 AI 技術によって身体、感覚、認知面で障害者を支援する機会も提供する。
Criterion 4 (prohibitions A and B): Significant harm	規準4（禁止事項AおよびB）：重大な危害
Respondents indicate that it may be complicated (in certain cases) to determine what kind of harm may be caused in the event of a distortion of behaviour, and when this harm is significant.	回答者は、行動の歪曲が生じた場合にどのような危害が生じる可能性があるか、また、その危害が重大であるか否かを判断することは（特定のケースでは）複雑になる可能性があると指摘している。
21.  According to one respondent, significant harm, as described in the recitals of the AI Act as ‘in particular having sufficiently important adverse impacts on physical, psychological health or financial interests', can take many different forms. This respondent also indicates that the recital provides a non-exhaustive list of the types of adverse impacts due to harm.	21. ある回答者によると、AI法の前文で「特に、身体的、心理的健康または経済的利益に十分に重要な悪影響を及ぼす」と説明されている重大な悪影響は、さまざまな形態を取る可能性がある。この回答者は、前文は悪影響による悪影響の種類を網羅的に列挙したものではないとも指摘している。
22.  Respondents do not have a consistent picture of the scope of the concept of harm. According to one respondent, the concept of harm would, for example, include social harm, e.g. as a result of disinformation, while another respondent indicates that this cannot be the case. According to the respondents, it is important that clarification is provided about which types of harm the prohibitions relate to.	22. 関係者間では、損害という概念の範囲について一貫した見解が示されていない。ある関係者は、損害という概念には、例えば偽情報による社会的損害などが含まれると述べているが、別の関係者は、そうはならないと指摘している。関係者によると、禁止がどの種類の損害に関係するのかについて明確化することが重要である。
23.  It is also noted by a respondent that a causal link must be established between the harm and the distortion of behaviour and that this is an element of this prohibition that requires clarification. One respondent suggested that it could be helpful to establish certain 'presumptions' for determining this harm and to clarify which steps in thought are required when determining the causal link.	23. また、ある回答者は、害と行動の歪曲との間に因果関係が確立されなければならないと指摘しており、これはこの禁止事項の明確化が必要な要素である。ある回答者は、この害を判断するための一定の「推定」を確立し、因果関係を判断する際に思考のどの段階が必要かを明確にすることが役立つ可能性があると提案している。
24.  One respondent indicates that in order to determine whether significant harm has occurred, the 'relativity' of harm must be taken into account. According to the respondent, some harm for the same application of AI might not be significant to one person or group of persons, yet might be significant for another. That is why a flexible approach should be assumed when assessing the significance of harm. Some respondents note that it could be particularly complicated to assess whether significant harm has occurred if it is intangible. All in all, there is a need among respondents for more clarity about the 'significance' of the harm.	24. ある回答者は、重大な損害が発生したかどうかを判断するには、損害の「相対性」を考慮する必要があると指摘している。回答者によると、AIの同じ適用による損害であっても、ある個人またはグループにとっては重大でなくても、別の個人またはグループにとっては重大である可能性がある。そのため、損害の重大性を評価する際には柔軟なアプローチを想定すべきである。回答者の一部は、重大な損害が非物質的なものである場合、損害が発生したかどうかを評価することが特に複雑になる可能性があると指摘している。全体として、回答者からは損害の「重大性」についてより明確にする必要があるとの意見が出されている。
Criterion 5 (prohibitions A and B): With the objective, or the effect of materially distorting behaviour	規準5（禁止事項AおよびB）：目的、または実質的に行動を歪める効果
From the responses of various respondents, it follows that the criterion of 'the material distortion of behaviour' raises questions.	さまざまな回答者の回答から、「実質的な行動の歪曲」という規準には疑問があることが分かる。
25.  A number of respondents indicate that the criterion of 'materially distorting behaviour' can also be found in consumer law. According to some respondents, this concept has already been operationalised. This concept is also linked to the concept of the 'average consumer'. According to one respondent, the link with consumer law is clearer in prohibition A, where it is also explained that the criterion concerns appreciably impairing the ability to make an informed decision, thereby causing the persons to take a decision that they would not have otherwise taken. One respondent does indicate that this prohibition has a different rationale than provisions in consumer law, in which this concept is already used. That is why this criterion should not be interpreted in the same way as in consumer law. According to the AP, the concept of 'the material distortion of behaviour’ should be interpreted as much as possible in conjunction with existing laws. Yet the AP notes that the prohibitions in the AI Act also apply to situations that are not related to the purchase of products or services and the role of people as consumers. As a result, this prohibition likely requires additional operationalisation.	25. 多くの回答者は、「実質的な行動の歪曲」という規準は消費者法にも見られると指摘している。一部の回答者によると、この概念はすでに運用化されている。この概念は「平均的な消費者」の概念とも関連している。ある回答者によると、消費者法との関連性は禁止Aの方が明確であり、この規準は、十分な情報に基づく意思決定能力を著しく損なうものであり、それによって、そうでない場合とは異なる意思決定をさせるものであると説明されている。ある回答者は、この禁止は、すでにこの概念が使用されている消費者法の規定とは異なる根拠に基づいていると指摘している。そのため、この規準は消費者法と同じように解釈すべきではない。APによると、「重大な行動の歪曲」という概念は、可能な限り現行法と併せて解釈すべきである。しかし、APは、AI法における禁止事項は、製品やサービスの購入や消費者の役割とは関係のない状況にも適用されると指摘している。そのため、この禁止事項には、さらなる運用上の明確化が必要である可能性が高い。
26.  It is also important that this criterion applies to people that are 'appreciably' impaired in their ability to make an informed decision. The question arises from the input from respondents whether the prohibition only applies if a clear decision is made, such as purchasing a service or buying a product, or whether the prohibition also applies to situations in which the influence leads to a gradual change in behaviour or change in mood that is harmful or has harmful consequences for, for example, someone's health or wellbeing. According to the AP, clarification also appears to be necessary with regard to temporal properties of possible distortions of behaviour.	26. また、この規準が、十分な情報に基づく意思決定を行う能力が「相当程度」損なわれている人々にも適用されることも重要である。回答者からの意見では、この禁止は、サービス購入や商品購入など、明確な意思決定が行われた場合にのみ適用されるのか、あるいは、影響が徐々に態度や気分に変化をもたらし、例えば健康や幸福に有害な影響や結果をもたらすような状況にも適用されるのかという疑問が提起されている。APによると、行動の歪みの時間的性質についても明確化が必要であるようだ。
Criterion 6 (prohibitions A and B): Individual and group harm	規準6（禁止AおよびB）：個人および集団への危害
According to several respondents, it is important to emphasise that both prohibitions can involve harm suffered by both individuals and groups of persons.	複数の回答者によると、両方の禁止事項が個人および集団に与える危害を強調することが重要である。
27.  According to one respondent, it will have to be explained how different types of harm relate to the individual or to multiple persons. One respondent indicated that it is particularly important to also draw attention to the harm to groups of persons. According to another respondent, this explanation should also take into account harm that 'other' persons may suffer whose behaviour has not been significantly distorted. One respondent indicated that there would be a difference in the actors who could suffer harm per prohibition. According to this respondent, the harm under prohibition B only relates to an individual or individual persons, while under prohibition A, it can also relate to group harm. According to the AP, a textual interpretation of both prohibitions seems to support that reading, but more clarity and certainty is desirable in this area also.	27. ある回答者によると、異なる種類の被害が個人または複数の個人にどのように関連するのかを説明する必要がある。ある回答者は、特に集団に対する被害にも注意を促すことが重要であると指摘した。別の回答者によると、この説明では、行動が著しく歪められていない「その他の」個人が被る可能性のある被害も考慮すべきである。ある回答者は、禁止事項ごとに被害を被る可能性のある行為者に違いがあることを指摘した。この回答者によると、禁止 B の下での損害は個人または個人にのみ関係するが、禁止 A の下では集団的な損害にも関係する可能性がある。AP によると、両方の禁止事項の文言解釈は、この解釈を支持しているように見えるが、この分野でもより明確性と確実性が望まれる。
Scope of the prohibitions	禁止事項の範囲
According to respondents, there should be more clarity on the cases in which an AI system should not fall under the provisions on the prohibitions.	回答者によると、AI システムが禁止事項の規定に該当しない場合について、より明確にする必要がある。
28.  One respondent indicated that this clarification should focus on the section on common and legitimate commercial practices, with this respondent emphasising that a common commercial practice is necessarily a legitimate one. Other respondents indicate that it would be helpful to provide more insight into the types of legitimate practices in the context of medical treatment that should not be affected by the prohibitions in this act.	28. ある回答者は、この明確化は「共通かつ正当な商慣行」のセクションに焦点を当てるべきだと指摘し、この回答者は、共通の商慣行は必然的に正当なものであると強調した。他の回答者は、この法律の禁止事項の影響を受けないべき医療行為における正当な慣行の種類について、より詳細な情報を提供することが有益であると指摘している。
III. Follow-up	III. フォローアップ
29. The publication of this summary document concludes the information gathering process through the call for input on the prohibitions on manipulative, deceptive and exploitative AI systems. The submitted input leads to a number of key points, which are relevant to the interpretation that will be given to the prohibitions in the AI Act:	29. この要約文書の公表をもって、人為的、欺瞞的、搾取的なAIシステムに対する禁止措置に関する意見募集による情報収集プロセスは終了する。提出された意見は、AI法における禁止措置の解釈に関連する多くの重要なポイントにつながる。
a. Both prohibitions contain many terms and concepts that are not (or only to a very limited extent) explained in the AI Act. Interpretation through (European) guidelines, as well as further clarification with specific examples, are crucial to ensure that these prohibitions offer protection to citizens and that legal security is provided to market parties. This concerns, for example, the scope of the AI system definition, the techniques to manipulate or deceive, the use of vulnerabilities and the harm that can also be suffered by groups.	a. 両方の禁止事項には、AI法では説明されていない（またはごく限られた範囲でしか説明されていない）用語や概念が数多く含まれている。これらの禁止事項が市民を保護し、市場関係者に法的安定性を提供することを確実にするためには、（欧州）ガイドラインによる解釈や、具体的な例を用いたさらなる明確化が不可欠である。これには、例えば、AIシステム定義の範囲、操作または欺瞞のテクニック、脆弱性の利用、集団が被る可能性のある被害などが含まれる。
b. In particular, the prohibition regarding manipulative and deceptive AI (Article 5, first paragraph, point (a) of the AI Act) relates to laws in the field of consumer protection, financial services and to the DSA. Clarification is needed on how these prohibitions relate to concepts in those laws, given the independent nature and rationale of the prohibitions in the AI Act. Here, for example, it concerns the meaning of 'significant harm' or the material distortion of behaviour. In this context, many of the practices mentioned, such as the use of dark patterns, require special attention.	b. 特に、操作および欺瞞的なAIに関する禁止事項（AI法第5条第1項第(a)号）は、消費者保護、金融サービス分野の法律、およびDSAに関連する。AI法における禁止規定の独立した性質と根拠を踏まえると、これらの禁止規定がそれらの法律の概念とどのように関連するのかについて明確化が必要である。例えば、これは「重大な損害」の意味や行動の重大な歪曲に関するものである。この文脈において、ダークパターンの使用など、言及された慣行の多くは特別な注意を必要とする。
c. The prohibitions also relate to other rules in the AI Act, which will sometimes also be supervised upon at EU level. This relation and the scope of these provisions should be clarified by the market surveillance authorities and the AI Office. Here it concerns the relationship of the prohibitions with e.g. transparency obligations (Article 50), other prohibitions or high-risk applications (such as emotion recognition) and the rules for general purpose AI models.	c. 禁止事項は、AI法の他の規定にも関連しており、EUレベルでも監督されることがある。この関連性と規定の範囲は、市場監視当局とAI局によって明確化されるべきである。ここでは、禁止事項と透明性義務（第50条）、他の禁止事項または高リスクのアプリケーション（感情認識など）、汎用AIモデルの規定との関係が問題となる。
30. The AP is working on the preparation of the supervision on the prohibitions in the Netherlands and, in the coming months, will further use the input received for the preparation of information and explanation on the prohibitions.. The knowledge gained is shared with Dutch supervisory authorities in the Digital Regulation Cooperation Platform (SDT), and the AI and Algorithm Chamber (AAK) of the SDT will discuss which follow-up actions are needed to clarify the prohibitions in the AI Act. The above approach is in line with the vision of supervisory authorities to strive for a harmonised interpretation and application of rules that can be simultaneously applied to prohibited AI practices.	30. APはオランダにおける禁止事項の監督準備に取り組んでおり、今後数か月間、禁止事項に関する情報および説明の準備に際しては、さらに得られた意見を活用する予定である。得られた知識はデジタル規制協力プラットフォーム（SDT）のオランダ監督当局と共有され、SDTのAIおよびアルゴリズム委員会（AAK）は、AI法における禁止事項を明確化するためにどのような追加措置が必要かについて議論する。上記の手法は、禁止されたAIの慣行に同時に適用できるルールの調和のとれた解釈と適用を目指す監督当局のビジョンに沿ったものである。
31. The AP will also use the insights gathered from practice as a basis for contributing to the discussion on the guidelines on the prohibitions. The European Commission intends to publish the first guidelines in early 2025. To this end, it has launched a consultation for stakeholders, including AI system providers, companies, national authorities, academics, research institutions and civil society. More information on these guidelines and consultation can be found on the European Commission website.	31. APは、実務から得られた洞察を、禁止行為に関するガイドラインの議論に貢献するための基礎としても活用する。欧州委員会は、2025年初頭に最初のガイドラインを公表する予定である。この目的のために、欧州委員会は、AIシステムプロバイダー、企業、各国当局、学術関係者、研究機関、市民社会を含む利害関係者との協議を開始した。これらのガイドラインおよび協議に関する詳細は、欧州委員会のウェブサイトに掲載されている。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.11.08 オランダ データ保護局 意見募集 職場や教育における感情認識のための特定のAIシステムの禁止 (2024.10.31)

・2024.10.30 オランダ 会計検査院 政府はAIのリスクアセスメントをほとんど実施していない...

・2024.10.18 オランダ AI利用ガイド (2024.10.16)

・2024.09.29 オランダ データ保護局 意見募集 「操作的欺瞞的、搾取的なAIシステム」

・2024.09.05 オランダ データ保護局 顔認識のための違法なデータ収集でClearviewに3,050万ユーロ（48.5億円）

・2024.08.28 オランダ データ保護局 ドライバーデータの米国への転送を理由にUberに2億9000万ユーロ（467億円）の罰金

・2024.08.12 オランダ データ保護局が注意喚起：AIチャットボットの使用はデータ漏洩につながる可能性がある

・2024.08.11 オランダ AI影響アセスメント (2023.03.02)

・2024.08.05 欧州AI法が施行された... (2024.08.01)