欧州データ保護監察機関 (EDPS) 生成的AIを使用するEU組織のための最初のEDPSオリエンテーション

こんにちは、丸山満彦です。

欧州データ保護監察機関 (EDPS)が、EU組織が生成的AIを利用することに関する最初の方向性を示す文書を公表していますね...

つまり、生成的AIと個人データ保護に関する最初のオリエンテーションというわけですね...

EUは動きが早いねぇ...

これを第一歩にして、さらに詳細な検討が進められていくんでしょうね...

● EUROPEAN DATA PROTECTION SUPERVISOR

プレス...

・2024.06.04 EDPS Guidelines on generative AI: embracing opportunities, protecting people

EDPS Guidelines on generative AI: embracing opportunities, protecting people	生成的AIに関するEDPSガイドライン：機会を受け入れ、人々を保護する
The EDPS has published today its guidelines on generative Artificial Intelligence and personal data for EU institutions, bodies, offices and agencies (EUIs). The guidelines aim to help EUIs comply with the data protection obligations set out in Regulation (EU) 2018/1725, when using or developing generative AI tools.	EDPSは本日、EUの機関・団体・事務所・機関（EUI）のための生成的人工知能と個人データに関するガイドラインを発表した。本ガイドラインは、EUIが生成的AIツールを使用または開発する際に、規則（EU）2018/1725に定められたデータ保護義務を遵守することを支援することを目的としている。
Wojciech Wiewiórowski, EDPS, said: “The guidelines that I have issued today on generative AI are a first step towards more extensive recommendations in response to the evolving landscape of generative AI tools, which my team and I continue to monitor and analyse closely. Our advice published today is drafted with the aim of covering as many possible scenarios involving the use of generative AI, to provide enduring advice to EUIs so that they can protect individuals’ personal information and privacy.”	EDPSのWojciech Wiewiórowski氏は次のように述べた： 「本日発表した生成的AIに関するガイドラインは、進化する生成的AIツールの状況に対応するため、より広範な勧告に向けた第一歩であり、私のチームと私は注意深く監視と分析を続けている。本日発表した我々の助言は、生成的AIの使用に関わる可能性のあるシナリオをできるだけ多くカバーし、EUIが個人の個人情報とプライバシーを保護できるよう、永続的な助言を提供することを目的としてドラフトされたものである」。
To ensure their practical application by EUIs, the guidelines emphasise on data protection’s core principles, combined with concrete examples, as an aid to anticipate risks, challenges and opportunities of generative AI systems and tools.	EUIによる実践的な適用を確実にするため、ガイドラインは、生成的AIシステムやツールのリスク、課題、機会を予測するための一助として、具体例と組み合わせたデータ保護の基本原則に重点を置いている。
As such, the guidelines focus on a series of important topics, including advice on how EUIs can distinguish whether the use of such tools involves the processing of individuals’ data; when to conduct a data protection impact assessment; and other essential recommendations.	そのため、本ガイドラインは、EUIがそのようなツールの使用が個人のデータ処理に関わるかどうかを区別する方法、データ保護影響評価を実施するタイミング、その他の重要な勧告に関するアドバイスなど、一連の重要なトピックに焦点を当てている。
The EDPS issues these guidelines within its role as independent data protection authority of the EUIs, so that they comply with the EU’s data protection law applicable to them, in particular Regulation (EU) 2018/1725. The EDPS has not issued these guidelines within its role as AI Supervisor of the EUIs under the EU’s Artificial Intelligence Act for which a separate strategy is being prepared.	EDPSは、EUIに適用されるEUのデータ保護法、特に規則（EU）2018/1725を遵守するよう、EUIの独立したデータ保護認可機関としての役割の中で、これらのガイドラインを発行している。EDPSは、別個の戦略が準備されているEUの人工知能法に基づくEUIのAI監督機関としての役割の範囲内では、本ガイドラインを発行していない。

で、報告書...

・[PDF]  [HTML] Generative AI and the EUDPR. First EDPS Orientations for ensuring data protection compliance when using Generative AI systems.

First EDPS Orientations for EUIs using Generative AI	生成的AIを使用するEUIのための最初のEDPSオリエンテーション
These EDPS Orientations on generative Artificial Intelligence (generative AI) and personal data protection intend to provide practical advice and instructions to EU institutions, bodies, offices and agencies (EUIs) on the processing of personal data when using generative AI systems, to facilitate their compliance with their data protection obligations as set out, in particular, in Regulation (EU) 2018/1725. These orientations have been drafted to cover as many scenarios and applications as possible and do not prescribe specific technical measures. Instead, they put an emphasis on the general principles of data protection that should help EUIs comply with the data protection requirements according to Regulation (EU) 2018/1725.	生成的人工知能（生成的AI）と個人データ保護に関するこのEDPSオリエンテーションは、EU機構、団体、事務所、機関（EUI）が生成的AIシステムを使用する際の個人データ処理について、特に規則（EU）2018/1725に規定されているデータ保護義務への準拠を促進するための実践的な助言と指示を提供することを意図している。これらの方向性は、できるだけ多くのシナリオとアプリケーションをカバーするようにドラフトされており、特定の技術仕様を規定するものではない。その代わりに、EUIが規則（EU）2018/1725によるデータ保護要件を遵守するのに役立つデータ保護の一般原則に重点を置いている。
These orientations are a first step towards more detailed guidance that will take into account the evolution of Generative AI systems and technologies, their use by EUIs, and the results of the EDPS’ monitoring and oversight activities.	これらの方向性は、生成的AIシステムや技術の進化、EUIによる利用、EDPSの監視・監督活動の結果を考慮した、より詳細なガイダンスに向けた第一歩である。
The EDPS issues these orientations in its role as a data protection supervisory authority and not in its new role as AI supervisory authority under the AI Act.	EDPSは、AI法に基づくAI監督当局としての新たな役割ではなく、データ保護監督当局としての役割において、これらの指針を発行する。
These orientations are without prejudice to the Artificial Intelligence Act.	これらのオリエンテーションは、人工知能法を妨げるものではない。
Introduction and scope.	序文と範囲
1. What is generative AI?	1. 生成的AIとは何か？
2. Can EUIs use generative AI?	2. EUIは生成的AIを使えるのか？
3. How to know if the use of a generative AI system involves personal data processing?	3. 生成的AIシステムの使用が個人データ処理に関わるかどうかを知る方法は？
4. What is the role of DPOs in the process of development or deployment of generative AI systems?	4. 生成的AIシステムの開発・導入プロセスにおけるDPOの役割は何か？
5. An EUI wants to develop or implement generative AI systems. When should a DPIA be carried out?	5. EUIが生成的AIシステムの開発または導入を望んでいる。いつDPIAを実施すべきか？
6. When is the processing of personal data during the design, development and validation of generative AI systems lawful?	6. 生成的AIシステムの設計、開発、検証における個人データの処理はいつ合法となるか？
7. How can the principle of data minimisation be guaranteed when using generative AI systems?	7. 生成的AIシステムを使用する場合、データ最小化の原則はどのように保証されるか？
8. Are generative AI systems respectful of the data accuracy principle?	8. 生成的AIシステムはデータの正確性の原則を尊重しているか？
9. How to inform individuals about the processing of personal data when EUIs use generative AI systems?	9. EUIが生成的AIシステムを使用する場合、個人データの処理についてどのように個人に知らせるか？
10. What about automated decisions within the meaning of Article 24 of the Regulation?	10. 規則第24条にいう自動化された決定についてはどうか。
11. How can fair processing be ensured and avoid bias when using generative AI systems?	11. 生成的AIシステムを使用する場合、どのようにして公正な処理を確保し、バイアスを避けることができるか？
12. What about the exercise of individual rights?	12. 個人の権利行使についてはどうか。
13. What about data security?	13. データセキュリティについてはどうか。
14. Do you want to know more?	14. もっと知りたいか？
Introduction and scope	序文と範囲
These orientations are intended to provide some practical advice to the EU institutions, bodies, offices and agencies (EUIs) on the processing of personal data in their use of generative AI systems, to ensure that they comply with their data protection obligations in particular as set out in the Regulation (EU) 2018/1725[1] (‘the Regulation’, or EUDPR). Even if the Regulation does not explicitly mention the concept of Artificial Intelligence (AI), the right interpretation and application of the data protection principles is essential to achieve a beneficial use of these systems that does not harm individuals’ fundamental rights and freedoms.	これらのオリエンテーションは、EUの機構、団体、事務所、機関（EUI）が生成的AIシステムを利用する際の個人データの取り扱いについて、特に規則（EU）2018/1725[1]（「規則」、またはEUDPR）で規定されているデータ保護義務を遵守するための実践的なアドバイスを提供することを目的としている。たとえ同規則が人工知能（AI）の概念に明確に言及していないとしても、個人の基本的権利と自由を害することのないこれらのシステムの有益な利用を実現するためには、データ保護原則の正しい解釈と適用が不可欠である。
The EDPS issues these orientations in his role as a data protection supervisory authority and not in his new role as AI supervisory authority under the AI Act.	EDPSは、データ保護監督当局としての役割において、またAI法に基づくAI監督当局としての新たな役割においてではなく、これらのオリエンテーションを発行する。
These orientations do not aim to cover in full detail all the relevant questions related to the processing of personal data in the use of generative AI systems that are subject to analysis by data protection authorities. Some of these questions are still open, and additional ones are likely to arise as the use of these systems increases and the technology evolves in a way that allows a better understanding on how generative AI works.	これらの防御方針は、データ保護当局の分析主体である生成的AIシステムの使用における個人データ処理に関連するすべての問題を詳細に網羅することを目的としているわけではない。これらの疑問点のいくつかはまだ未解決であり、これらのシステムの使用が増加し、生成的AIがどのように機能するかについてよりよく理解できるように技術が進化するにつれて、さらなる疑問点が生じる可能性がある。
Because artificial intelligence technology evolves quickly, the specific tools and means used to provide these types of services are diverse and they may change very quickly. Therefore, these orientations have been drafted as technologically neutral as possible.	人工知能技術は急速に進化するため、この種のサービスを提供するために使用される具体的なツールや手段は多様であり、それらは急速に変化する可能性がある。そのため、これらのオリエンテーションは、可能な限り技術的に中立な立場でドラフトされた。
These orientations are structured as follows: key questions, followed by initial responses along with some preliminary conclusions, and further clarifications or examples.	これらのオリエンテーションは次のような構成になっている。すなわち、主要な質問、それに続く予備的な結論に沿った初期的な回答、そしてさらなる説明や例である。
These initial orientations serve as a preliminary step towards the development of more comprehensive guidance. Over time, these orientations will be updated, refined and expanded to address further elements needed to support EUIs in the development and implementation of these systems. Such an update should take place no later than twelve months after the publication of this document.	これらの初期オリエンテーションは、より包括的なガイダンスの策定に向けた予備的なステップとしての役割を果たす。時間の経過とともに、これらのオリエンテーションは更新され、洗練され、拡大され、EUIがこれらのシステムを開発・実施するのを支援するために必要な要素をさらに取り上げることになる。このような更新は、遅くとも本文書の発行から12ヶ月以内に行われるべきである。
1. What is generative AI?	1. 生成的AIとは何か？
Generative AI is a subset of AI that uses specialised machine learning models designed to produce a wide and general variety of outputs, capable of a range of tasks and applications, such as generating text, image or audio. Concretely, it relies on the use of the so-called foundation models, which serve as baseline models for other generative AI systems that will be ‘fine-tuned’ from them.	生成的AIはAIのサブセットであり、テキスト、画像、音声の生成など、さまざまなタスクやアプリケーションに対応し、幅広く一般的な出力を生成するように設計された特殊な機械学習モデルを使用する。具体的には、いわゆる基礎モデルの使用に依存している。基礎モデルは、そこから「微調整」される他の生成的AIシステムのベースライン・モデルとして機能する。
A foundation model serves as the core architecture or base upon which other, more specialised models, are built. These models are trained on the basis of diverse and extensive datasets, including those containing publicly available information. They can represent complex structures like images, audio, video or language and can be fine-tuned for specific tasks or applications.	基礎モデルは、他の、より専門化されたモデルが構築される際の中核となるアーキテクチャやベースとして機能する。これらのモデルは、一般に公開されている情報を含む、多様で広範なデータセットに基づいて訓練される。これらのモデルは、画像、音声、映像、言語などの複雑な構造を表現することができ、特定のタスクや用途に合わせて微調整することができる。
Large language models are a specific type of foundation model trained on massive amounts of text data (from millions to billions of words)that can generate natural language responses to a wide range of inputs based on patterns and relationships between words and phrases. This vast amount of text used to train the model may be taken from the Internet, books, and other available sources. Some applications already in use are code generation systems, virtual assistants, content creation tools, language translation engines, automated speech recognition, medical diagnosis systems, scientific research tools, etc.	大規模言語モデルは、膨大な量のテキストデータ（数百万語から数十億語）に対して学習される特定のタイプの基礎モデルであり、単語やフレーズ間のパターンや関係に基づいて、幅広い入力に対する自然言語応答を生成することができる。モデルの学習に使用される膨大なテキストは、インターネット、書籍、その他の利用可能なソースから取得することができる。すでに使われているアプリケーションとしては、コード生成システム、バーチャルアシスタント、コンテンツ作成ツール、言語翻訳エンジン、自動音声認識、医療診断システム、科学研究ツールなどがある。
The relationship between these concepts is hierarchical. Generative AI is the broad category encompassing models designed to create content. A foundation model, such as a large language model, acts as the foundational architecture upon which more specialized models are built. Specialised models, built upon the foundation model, cater to specific tasks or applications, using the knowledge and capabilities of the foundational architecture.	これらの概念の関係は階層的である。生成的AIは、コンテンツを作成するために設計されたモデルを包含する広範なカテゴリーである。大規模な言語モデルのような基礎モデルは、より専門化されたモデルが構築される基礎アーキテクチャとして機能する。基礎モデルの上に構築される専門化されたモデルは、基礎アーキテクチャの知識と能力を使用して、特定のタスクやアプリケーションに対応する。
The life cycle of a generative AI model covers different phases, starting by the definition of the use case and scope of the model. In some cases, it might be possible to identify a suitable foundation model to start with, in other cases a new model may be built from scratch. The following phase involves training the model with relevant datasets for the purpose of the future system, including fine-tuning of the system with specific, custom datasets required to meet the use case of the model. To finalise the training, specific techniques requiring human agency are used to ensure more accurate information and controlled behaviour. The following phase aims at evaluating the model and establishing metrics to regularly assess factors, such as accuracy, and the alignment of the model with the use case. Finally, models are deployed and implemented, including continuous monitoring and regular assessment using the metrics established in previous phases.	生成的AIモデルのライフサイクルは、ユースケースとモデルのスコープの定義から始まり、さまざまなフェーズにわたる。適切な基礎モデルを特定できる場合もあれば、ゼロから新しいモデルを構築する場合もある。次の段階では、モデルのユースケースを満たすために必要な特定のカスタムデータセットによるシステムの微調整を含め、将来のシステムの目的に関連するデータセットを使ってモデルをトレーニングする。トレーニングの最終段階として、より正確な情報と制御された動作を保証するために、人間の介在を必要とする特定の技術が使用される。次の段階では、モデルを評価し、精度やユースケースとモデルの整合性などの要素を定期的に評価するためのメトリクスを確立する。最後に、モデルは実装され、実装される。これには、前のフェーズで確立されたメトリクスを使用した継続的なモニタリングと定期的な評価が含まれる。
Relevant use cases in generative AI are general consumer-oriented applications (such as ChatGPT and similar systems that can be already found in different versions and sizes[2], including those that can be executed in a mobile phone). There are also business applications in specific areas, pre-trained models, applications based on pre-trained models that are tuned for specific use in an area of activity, and, finally, models in which the entire development, including the training process, is carried out by the responsible entity.	生成的AIに関連するユースケースは、一般的な消費者向けアプリケーション（ChatGPTや、携帯電話で実行可能なものを含め、すでにさまざまなバージョンやサイズ[2]で見つけることができる同様のシステムなど）である。また、特定の分野でのビジネスアプリケーション、事前学習モデル、活動分野での特定の用途のために調整された事前学習モデルに基づくアプリケーション、そして最後に、学習プロセスを含む開発全体が担当事業体によって実施されるモデルもある。
Generative AI, like other new technologies, offers solutions in several fields meant to support and enhance human capabilities. However, it also creates challenges with potential impact on fundamental rights and freedoms that risk being unnoticed, overlooked, not properly considered and assessed.	生成的AIは、他の新技術と同様に、人間の能力をサポートし、強化することを目的としたいくつかの分野でソリューションを提供している。しかし、基本的な権利や自由に影響を及ぼす可能性のある課題も生じており、それが気づかれず、見過ごされ、適切に考慮されず、アセスメントされないリスクもある。
The training of a Large Language Model (LLM) (and generally of any machine-learning model) is an iterative, complex and resource intensive process that involves several stages and techniques aiming at creating a model capable of generating human-like text in reaction to commands (or prompts) provided by users. The process starts with the model being trained on massive datasets, most of it normally unlabelled and obtained from public sources using web-scraping technologies (- data protection authorities already have expressed concern and outline the key privacy and data protection risks associated with the use of publicly accessible personal data). After that, LLMs are - not in all cases - fine-tuned using supervised learning or through techniques involving human agency (such as the Reinforcement Learning with Human Feedback (RLHF) or Adversarial Testing via Domain experts ) to help the system better recognize and process information and context, as well as to determine preferred responses, whether to limit output in reply to sensitive questions and to align it with the values of the developers (e.g. avoid producing harmful or toxic output). Once in production, some systems use the input data obtained through the interaction with users as a new training dataset to refine the model.	大規模言語モデル（LLM）（そして一般的にあらゆる機械学習モデル）の訓練は、反復的かつ複雑で、リソースを大量に消費するプロセスであり、ユーザーから提供されたコマンド（またはプロンプト）に反応して人間のようなテキストを生成できるモデルを作成することを目的とした、いくつかの段階とテクニックを含む。このプロセスは、膨大なデータセットでモデルを学習させることから始まるが、そのほとんどは通常ラベル付けされておらず、ウェブスクレイピング技術を使って公開ソースから取得される（データ保護当局はすでに懸念を表明しており、一般にアクセス可能な個人データの使用に関連する主要なプライバシー・データ保護リスクを概説している）。その後、LLMは、教師あり学習や、人間が関与する技術（人間のフィードバックによる強化学習（RLHF）やドメイン専門家による敵対的テストなど）を使って微調整され、システムが情報やコンテキストをよりよく認識・処理できるようにする。また、好ましい応答を決定したり、微妙な質問に対する出力を制限したり、開発者の価値観に沿うようにする（有害・有毒な出力を避けるなど）。本番稼動後は、ユーザーとの対話を通じて得られた入力データを、モデルを改良するための新しいトレーニングデータセットとして使用するシステムもある。
2. Can EUIs use generative AI?	2. EUIは生成的AIを使えるか？
As an EUI, there is no obstacle in principle to develop, deploy and use generative AI systems in the provision of public services, providing that the EUI's rules allow it, and that all applicable legal requirements are met, especially considering the special responsibility of the public sector to ensure full respect for fundamental rights and freedoms of individuals when making use of new technologies.	EUIとして、公共サービスの提供において生成的AIシステムを開発、配備、使用することは、EUIの規則がそれを許可し、適用されるすべての法的要件が満たされていれば、特に、新しい技術を利用する際に個人の基本的権利と自由の完全な尊重を保証する公共部門の特別な責任を考慮すれば、原則として支障はない。
In any case, if the use of generative AI systems involves the processing of personal data, the Regulation applies in full. The Regulation is technologically neutral, and applies to all personal data processing activities, regardless of the technologies used and without prejudice to other legal frameworks, in particular the AI Act. The principle of accountability requires responsibilities to be clearly identified and respected amongst the various actors involved in the generative AI model supply chain.	いずれにせよ、生成的AIシステムの使用が個人データの処理を伴う場合、同規則は全面的に適用される。同規則は技術的に中立であり、使用される技術にかかわらず、また他の法的枠組み、特にAI法を損なうことなく、すべての個人データ処理活動に適用される。説明責任の原則は、生成的AIモデルのサプライチェーンに関わる様々な関係者の間で責任を明確に特定し、尊重することを求めている。
EUIs can develop and deploy their own generative AI solutions or can alternatively deploy for their own use solutions available on the market. In both cases, EUIs may use providers to obtain all or some of the elements that are part of the generative AI system. In this context, EUIs must clearly determine the specific roles - controller, processor, joint controllership - for the specific processing operations carried out and their implications in terms of obligations and responsibilities under the Regulation.	EUIは、生成的AIソリューションを独自に開発・実装することも、市場で入手可能なソリューションを独自に使用することもできる。いずれの場合も、EUIはプロバイダを利用して、生成的AIシステムの一部である要素のすべてまたは一部を入手することができる。このような状況において、EUIは、実施される特定の処理操作と、規則上の義務および責任の観点からのその意味について、管理者、処理者、共同管理者といった特定の役割を明確に決定しなければならない。
As AI technologies advance rapidly, EUIs must consider carefully when and how to use generative AI responsibly and beneficially for public good. All stages of a generative AI solution life cycle should operate in accordance with the applicable legal frameworks, including the Regulation, when the system involves the processing of personal data.	AI技術が急速に進歩する中、EUIは生成的AIをいつ、どのように責任を持って、公益のために有益に利用するかを慎重に検討しなければならない。生成的AIソリューションのライフサイクルのすべての段階は、システムが個人データの処理を伴う場合、規則を含む適用される法的枠組みに従って運用されるべきである。
The terms trustworthy or responsible AI refer to the need to ensure that AI systems are developed in an ethical and legal way. It entails considering the unintended consequences of the use of AI technology and the need to follow a risk-based approach covering all the stages of the life cycle of the system. It also implies transparency regarding the use of training data and its sources, on how algorithms are designed and implemented, what kind of biases might be present in the system and how are tackled possible impacts on individual’s fundamental rights and freedoms. In this context, generative AI systems must be transparent, explainable, consistent, auditable and accessible, as a way to ensure fair processing of personal data.	信頼できるAIや責任あるAIという用語は、AIシステムが倫理的かつ合法的な方法で開発されることを保証する必要性を指す。そのためには、AI技術の使用が意図しない結果をもたらすことを考慮し、システムのライフサイクルの全段階を網羅するリスクベースのアプローチに従う必要がある。また、学習データの使用とその出典、アルゴリズムの設計と実装方法、システムにどのようなバイアスが存在する可能性があるか、個人の基本的権利と自由への影響の可能性にどのように対処するかについて、透明性を確保する必要がある。この観点から、生成的AIシステムは、個人データの公正な処理を保証する方法として、透明性があり、説明可能で、一貫性があり、監査可能で、アクセス可能でなければならない。
3. How to know if the use of a generative AI system involves personal data processing?	3. 生成的AIシステムの使用が個人データ処理を伴うかどうかを知るには？
Personal data processing in a generative AI system can occur on various levels and stages of its lifecycle, without necessarily being obvious at first sight. This includes when creating the training datasets, at the training stage itself, by infering new or additional information once the model is created and in use, or simply through the inputs and outputs of the system once it is running.	生成的AIシステムにおける個人データ処理は、そのライフサイクルの様々なレベルや段階で発生する可能性があり、必ずしも一見して明らかである必要はない。これには、訓練データセットの作成時、訓練段階そのもの、モデルが作成され使用されるようになってからの新たな情報や追加情報の推論、あるいはシステムが稼働してからの単純な入出力などが含まれる。
When a developer or a provider of a generative AI system claims that their system does not process personal data (for reasons such as the alleged use of anonymised datasets or synthetic data during its design, development and testing), it is crucial to ask about the specific controls that have been put in place to guarantee this. Essentially, EUIs may want to know what steps or procedures the provider uses to ensure that personal data is not being processed by the model.	生成的AIシステムの開発者やプロバイダが、そのシステムは個人データを処理していないと主張する場合（設計、開発、テスト時に匿名化されたデータセットや合成データを使用していると主張するなどの理由で）、これを保証するために実施されている具体的な制御について質問することは極めて重要である。基本的にEUIは、個人データがモデルによって処理されていないことを保証するためにプロバイダがどのような手順や手続きを用いているかを知りたいと考えるだろう。
The EDPS has already cautioned[3] against the use of web scraping techniques to collect personal data, through which individuals may lose control of their personal information when these are collected without their knowledge, against their expectations, and for purposes that are different from those of the original collection. The EDPS has also stressed that the processing of personal data that is publicly available remains subject to EU data protection legislation. In that regard, the use of web scraping techniques to collect data from websites and their use for training purposes might not comply with relevant data protection principles, including data minimisation and the principle of accuracy, insofar as there is no assessment on the reliability of the sources.	EDPSはすでに[3]、個人データを収集するためにウェブスクレイピング技術を使用することに警告を発している。このような技術を使用すると、個人が知らないうちに、期待に反して、当初の収集目的とは異なる目的で個人情報が収集され、個人情報の管理者を失う可能性がある。EDPSはまた、一般に公開されている個人データの処理は、依然としてEUデータ保護法の主体であると強調している。この点で、Webスクレイピング技術を使用してWebサイトからデータを収集し、それをトレーニング目的に使用することは、情報源の信頼性に関するアセスメントがない限り、データの最小化や正確性の原則を含む関連するデータ保護の原則に準拠しない可能性がある。
Regular monitoring and the implementation of controls at all stages can help verify that there is no personal data processing, in cases where the model is not intended for it.	定期的な監視とすべての段階での制御の実施は、モデルが意図していない場合に、個人データ処理がないことを確認するのに役立つ。
EUI-X, a fictional EU institution, is considering the acquisition of a product for automatic speech recognition and transcription. After studying the available options, it has focused on the possibility of using a generative AI system to facilitate this function. In this particular case, it is a system that offers a pre-trained model for speech recognition and translation. Since this model will be used for the transcription of meetings using recorded voice files, it has been determined that the use of this model requires the processing of personal data and therefore it must ensure compliance with the Regulation.	EUの架空の機関であるEUI-Xは、自動音声認識と文字起こしのための製品の購入を検討している。利用可能な選択肢を検討した結果、この機能を促進するために生成的AIシステムを使用する可能性に注目した。この特別なケースでは、音声認識と翻訳のための事前学習モデルを提供するシステムである。このモデルは、録音された音声ファイルを使用した会議の文字起こしに使用されるため、このモデルの使用には個人データの処理が必要であり、したがって規則の遵守を保証する必要があると判断された。
4. What is the role of DPOs in the process of development or deployment of generative AI systems?	4. 生成的AIシステムの開発または実装プロセスにおけるDPOの役割は何か？
Article 45 of the Regulation establishes the tasks of the data protection officer. DPOs inform and advise on the relevant data protection obligations, assist controllers to monitor internal compliance, provide advice where requested regarding DPIAs, and act as the contact point for data subjects and the EDPS.	規則第45条は、データ保護責任者の業務を定めている。DPOは、関連するデータ保護義務について通知・助言し、データ管理者が内部コンプライアンスを監視するのを支援し、DPIAに関して要請があれば助言を提供し、データ主体およびEDPSの窓口となる。
In the context of the implementation by EUIs of generative AI systems that process personal data it is important to ensure that DPOs, within their role, advise and assist in an independent manner on the application of the Regulation, have a proper understanding of the lifecycle of the generative AI system that the EUI is considering to procure, design or implement and how it works. This means, obtaining information on when and how these systems process personal data, and how the input and output mechanisms work, as well as the decision-making processes implemented through the model. It is important, as the Regulation points out[4], to provide advice to controllers when conducting data protection impact assessments. Controllers must ensure that all processes are properly documented and that transparency is guaranteed, including updating records of processing and, as a best practice, carrying out a specific inventory on generative AI - driven systems and applications. Finally, the DPO should be involved in the review of compliance issues in the context of data sharing agreements signed with model providers.	EUIが個人データを処理する生成的AIシステムを導入する場合、DPOがその役割の中で、規則の適用について独立した立場で助言・支援し、EUIが調達・設計・導入を検討している生成的AIシステムのライフサイクルとその仕組みを適切に理解することが重要である。つまり、これらのシステムがいつ、どのように個人データを処理するのか、インプットとアウトプットのメカニズムがどのように機能するのか、モデルを通じて実行される意思決定プロセスに関する情報を入手することである。規則が指摘しているように[4]、データ保護影響アセスメントを実施する際に、輸入事業者に助言を提供することが重要である。管理者は、すべてのプロセスが適切に文書化され、処理記録の更新や、ベストプラクティスとして生成的AI主導のシステムやアプリケーションに関する特定のインベントリーの実施など、透明性が保証されていることを保証しなければならない。最後に、DPOは、モデルプロバイダーと締結したデータ共有契約におけるコンプライアンス問題の検討に関与すべきである。
From the organisational perspective, the implementation of generative AI systems in compliance with the Regulation should not be a one-person effort. There should be a continuous dialogue among all the stakeholders involved across the lifecycle of the product. Therefore, controllers should liaise with all relevant functions within the organisation, notably the DPO, Legal Service, the IT Service and the Local Informatics Security Officer (LISO) in order to ensure that the EUI works within the parameters of trustworthy generative AI, good data governance and complies with the Regulation. The creation of an AI task force, including the DPO, and the preparation of an action plan, including awareness raising actions at all levels of the organisation and the preparation of internal guidance may contribute to the achievement of these objectives.	組織的な観点からは、規則に準拠した生成的AIシステムの導入は、一人だけの取り組みであってはならない。製品のライフサイクルを通じて、関係するすべての利害関係者の間で継続的な対話が必要である。したがって、管理者は、EUIが信頼できる生成的AI、優れたデータガバナンスのパラメーターの範囲内で機能し、規則を遵守することを確実にするために、組織内のすべての関連機能、特にDPO、法務サービス、ITサービス、地域情報セキュリティ担当者（LISO）と連携すべきである。DPOを含むAIタスクフォースの設置、組織の全レベルにおける意識向上活動や内部ガイダンスの作成を含む行動計画の作成は、これらの目的の達成に貢献する可能性がある。
As an example of contractual clauses, the European Commission, through the “Procurement of AI Community” initiative, has brought together relevant stakeholders in procuring AI-solutions to develop wide model contractual clauses for the procurement of Artificial Intelligence by public organisations. It is also relevant to consider the standard contractual clauses between controllers and processors under the Regulation.	契約条項の一例として、欧州委員会は「インテリジェンス・コミュニティの調達」イニシアティブを通じて、AIソリューションの調達に関わる関係者を集め、公的機関による人工知能調達のための幅広いモデル契約条項を策定した。また、同規則に基づく管理者と処理者間の標準契約条項を検討することも適切である。
5. An EUI wants to develop or implement generative AI systems. When should a DPIA be carried out?	5. EUIが生成的AIシステムの開発または実装を望んでいる。DPIAはいつ実施されるべきか？
The principles of data protection by design and by default[5] aim to protect personal data throughout the entire life cycle of data processing, starting from the inception stage. By complying with this principle of the Regulation, based on a risk-oriented approach, the threats and risks that generative AI may entail can be considered and be mitigated sufficiently in advance. Developers and deployers may need to carry out their own risk assessments and document any mitigation action taken.	設計およびデフォルトによるデータ保護の原則[5]は、データ処理のライフサイクル全体を通じて個人データを保護することを目的としており、データ処理の開始段階から始まる。リスク指向のアプローチに基づき、規則のこの原則を遵守することで、生成的AIが伴いうる脅威とリスクを事前に考慮し、十分に軽減することができる。開発者や導入者は、独自のリスクアセスメントを実施し、講じた緩和措置を文書化する必要があるかもしれない。
The Regulation requires that a DPIA[6] must be carriedout before any processing operation that is likely to implicate a high risk[7] to fundamental rights and freedoms of individuals.. The Regulation points out the importance of carrying out such assessment, where new technologies are to be used or are of a new kind in relation to which no assessment has been carried out before by the controller, in the case of generative AI systems for example.	同規則は、個人の基本的権利と自由に対して高いリスク[7]を伴う可能性のある処理操作の前に、DPIA[6]を実施しなければならないとしている。同規則は、新技術が使用される場合、または、生成的AIシステムなどのように、これまで輸入事業者によってアセスメントが実施されていなかった新しい種類の技術が使用される場合、このようなアセスメントを実施することの重要性を指摘している。
The controller is obliged to seek the advice of the data protection officer (DPO) when carrying out a DPIA. Because of the assessment, appropriate technical and organisational measures must be taken to mitigate the identified risks given the responsibilities the context and the available state-of-the-art measures.	管理者はDPIAを実施する際、データ保護責任者（DPO）の助言を求める義務がある。アセスメントにより、識別されたリスクを軽減するために、その状況および利用可能な最新手段の責任を考慮した上で、適切な技術的および組織的措置を講じなければならない。
It may be appropriate, in the context of the use of generative AI to seek the views of those affected by the system, either the data subject themselves or their representatives in the area of intended processing. In addition to the reviews to assess whether the DPIA is rightly implemented, regular monitoring and reviews of the risk assessments need to be carried out, since the functioning of the model may exacerbate identified risks or create new ones. Those risks are related to personal data protection, but are also related to other fundamental rights and freedoms.	生成的AIの使用という文脈では、システムの影響を受けるデータ主体本人またはその代表者の意見を、意図された処理領域で求めることが適切な場合がある。DPIAが適切に実施されているかどうかを評価するためのレビューに加えて、モデルの 機能が特定されたリスクを悪化させたり、新たなリスクを生み出す可能性があるため、定期的 なモニタリングとリスクアセスメントのレビューも実施する必要がある。これらのリスクは個人データ保護に関連するものであるが、その他の基本的権利や自由にも関連するものである。
All the actors involved in the DPIA must ensure that any decision and action is properly documented, covering the entire generative AI system lifecycle, including, actions taken to manage risks and the subsequent reviews to be carried out.	DPIAに関与するすべての関係者は、生成的AIシステムのライフサイクル全体を網羅し、リスクマネジメントのために取られた措置や、その後に実施されるレビューを含め、あらゆる決定と措置が適切に文書化されることを保証しなければならない。
It is EUI´s responsibility to appropriately manage the risks connected to the use of generative AI systems. Data protection risks must be identified and addressed throughout the entire life cycle of the generative AI system. This includes regular and systematic monitoring to determine, as the system evolves, whether risks already identified are worsening or whether new risks are appearing. The understanding of risks linked to the use of generative AI is still ongoing so there is a need to keep a vigilant approach towards non-identified, emerging risks. If risks that cannot be mitigated by reasonable means are identified, it is time to consult the EDPS.	生成的AIシステムの使用に関連するリスクを適切に管理することはEUIの責任である。データ保護リスクは、生成的AIシステムのライフサイクル全体を通じて特定され、対処されなければならない。これには、システムの進化に伴い、すでに識別されたリスクが悪化していないか、あるいは新たなリスクが出現していないかを判断するための定期的かつ体系的なモニタリングが含まれる。生成的AIの使用に関連するリスクの理解はまだ進行中であるため、識別されていない新たなリスクに対する警戒を怠らない必要がある。合理的な手段で低減できないリスクが識別された場合は、EDPSに相談する時である。
The EDPS has established a template allowing controllers to assess whether they have to carry out a DPIA [annex six to Part I of the accountability toolkit]. In addition, the EDPS has established an open list of processing operations subject to the requirement for a DPIA. Where necessary, the controller shall carry out a review to assess if the data processing is being performed in accordance with the data protection impact assessment, at least when there is a change to the risks represented by processing operations. If following the DPIA, controllers are not sure whether risks are appropriately mitigated, they should proceed to a prior consultation with the EDPS.	EDPSは、管理者がDPIAを実施する必要があるかどうかを評価するためのテンプレートを策定している［アカウンタビリティ・ツールキットのパートIの附属書6］。さらに、EDPSはDPIAの要求対象となる処理業務のオープンリストを策定した。必要な場合、データ管理者は、少なくとも処理業務に代表されるリスクに変更があった場合に、データ処理がデータ保護影響アセスメントに従って行われているかどうかを評価するためのレビューを実施しなければならない。DPIA 後、管理者がリスクを適切に低減できているかどうか確信が持てない場合は、 EDPS との事前協議に進むべきである。
6. When is the processing of personal data during the design, development and validation of generative AI systems lawful?	6. 生成的AIシステムの設計、開発、検証における個人データの処理はいつ合法か？
The processing of personal data in generative AI systems may cover the entire lifecycle of the system, encompassing all processing activities related to the collection of data, training, interaction with the system and systems’ content generation. Collection and training-related processing activities include obtaining data from publicly available sources on the Internet, directly, from third parties, or from the EUIs’ own files. Personal data can also be obtained by the generative AI model directly from the users, via the inputs to the system or through inference of new information. In the context of generative AI systems, the training and use of the systems relies normally on systematic and large scale processing of personal data, in many cases without the awareness of the individuals whose data are processed.	生成的AIシステムにおける個人データの処理は、データの収集、訓練、システムとの相互作用、システムのコンテンツ生成に関連するすべての処理活動を包含し、システムのライフサイクル全体をカバーすることができる。収集と訓練に関連する処理活動には、インターネット上の一般に利用可能なソースから、直接、サードパーティから、またはEUI自身のファイルからデータを取得することが含まれる。個人データは、生成的AIモデルによって、システムへの入力を通じて、あるいは新しい情報の推論を通じて、ユーザーから直接取得することもできる。生成的AIシステムの文脈では、システムのトレーニングおよび使用は通常、個人データの体系的かつ大規模な処理に依存しており、多くの場合、そのデータが処理される個人の意識向上および使用はない。
The processing of any personal data by EUIs is lawful if at least one of the grounds for lawfulness[8] listed in the Regulation is applicable. In addition, for the processing of special categories of personal data to be lawful, one of the exceptions[9] listed in the Regulation must apply. When the processing is carried out for the performance of task carried out in the public interest[10] or is necessary for the compliance with a legal obligation[11] to which the controller is subject to, the legal ground for the processing must be laid down in EU law. In addition, the referred EU Law should be clear and precise and its application should be foreseeable to individuals subject to it, in accordance with the requirements set out in the Charter of Fundamental Rights of the European Union and the European Convention for the Protection of Human Rights and Fundamental Freedoms.	EUIによる個人データの処理は、規則[8]に列挙された適法性の根拠[9]の少なくとも1つが適用されれば適法である。さらに、特別カテゴリーの個人データの処理が合法的であるためには、規則に列挙された例外[9]のいずれかが適用されなければならない。処理が公益[10]のために実施される場合、または管理者が従う法的義務[11]の遵守のために必要な場合、処理の法的根拠はEU法に定められていなければならない。さらに、参照されるEU法は、欧州連合基本権憲章および人権および基本的自由の保護に関する欧州条約に定める要件に従い、明確かつ正確でなければならず、その適用が対象となる個人にとって予見可能でなければならない。
Moreover, where a legal basis gives rise to a serious interference with fundamental rights to data protection and privacy, there is a greater need for clear and precise rules governing the scope and the application of the measure as well as the accompanying safeguards. Therefore, the greater the interference, the more robust and detailed the rules and safeguards should be. When relying on internal rules, these internal rules should precisely define the scope of the interference with the right to the protection of personal data, through identification of the purpose of processing, categories of data subjects, categories of personal data that would be processed, controller and processors, and storage periods, together with a description of the concrete minimum safeguards and measures for the protection of the rights of individuals.	さらに、法的根拠がデータ保護とプライバシーに対する基本的権利への重大な干渉をもたらす場合、その措置の範囲と適用、および付随するセーフガードを規定する明確かつ正確なルールの必要性が高まる。したがって、干渉が大きければ大きいほど、規則と保護措置はより強固で詳細なものでなければならない。内部規則に依拠する場合、その内部規則は、個人の権利保護のための具体的な最低保障措置と措置の説明とともに、処理の目的、データ主体、処理される個人データのカテゴリー、管理者、処理者、保存期間の特定を通じて、個人データ保護の権利に対する干渉の範囲を正確に定義すべきである。
The use of consent[12] as a legal basis may apply in some circumstances in the context of the use of generative AI systems. Obtaining consent[13] under the Regulation, and for that consent to be valid, it needs to meet all the legal requirements, including the need for a clear affirmative action by the individual, be freely given, specific, informed and unambiguous. Given the way in which generative AI systems are trained, and the sources of training data, including publicly available information, the use of consent as such must be carefully considered, also in the context of its use by public bodies, such as EUIs. In addition, if consent is withdrawn, all data processing operations that were based on such consent and took place before the withdrawal - and in accordance with the Regulation - remain lawful. However, in this case, the controller must stop the processing operations concerned. If there is no other lawful basis justifying the processing of data, the relevant data must be deleted by the controller.	法的根拠としての同意[12]の使用は、生成的AIシステムの使用という文脈において、状況によっては適用される可能性がある。同規則に基づく同意[13]を取得し、その同意が有効であるためには、個人による明確な肯定的行為の必要性、自由に与えられ、具体的で、十分な情報を提供され、かつ曖昧でないことなど、すべての法的要件を満たす必要がある。生成的AIシステムの学習方法や、一般に入手可能な情報を含む学習データの情報源を考えると、EUIなどの公的団体による使用という文脈においても、同意の使用は慎重に検討されなければならない。さらに、同意が撤回された場合、そのような同意に基づき、撤回前に行われた、規則に従って行われたすべてのデータ処理業務は、引き続き合法である。ただし、この場合、管理者は当該処理業務を停止しなければならない。データ処理を正当化する合法的根拠が他にない場合、データ管理者は該当するデータを削除しなければならない。
Service providers of generative AI models may use legitimate interest under the EU General Data Protection Regulation[14] (GDPR) as a legal basis for data processing, particularly with regard to the collection of data used to develop the system, including the training and validations processes. The Court of Justice of the European Union (CJEU) has held[15] that the use of legitimate interest lays down three cumulative conditions so that the processing of personal data covered by that legal basis is lawful. First, the pursuit of a legitimate interest by the data controller or by a third party; second, the need to process personal data for the purposes of the legitimate interests pursued; and third, that the interests or fundamental freedoms and rights of the person concerned by the data protection do not take precedence over the legitimate interest of the controller or of a third party In the case of data processing by generative AI systems, many circumstances can influence the balancing process inherent in the provision, leading to effects such as unpredictability for the data subjects, as well as legal uncertainty for controllers. In that regard, EUIs have a specific responsibility to verify that providers of generative AI systems have complied with the conditions of application of this legal basis, taking into account the specific conditions of processing carried out by these systems.	生成的AIモデルのサービスプロバイダは、データ処理の法的根拠として、EU一般データ保護規則[14]（GDPR）に基づく正当な利益を使用することができる。欧州連合司法裁判所(CJEU)[15]は、正当な利益の使用は、その法的根拠によってカバーされる個人データの処理が合法的であるように、3つの累積的条件を定めている。第1に、データ管理者または第三者による正当な利益の追求、第2に、追求される正当な利益の目的のために個人データを処理する必要性、第3に、データ保護に関係する人の利益または基本的自由および権利が、データ管理者または第三者の正当な利益に優先しないことである。生成的AIシステムによるデータ処理の場合、多くの状況がこの規定に内在するバランス・プロセスに影響を及ぼし、データ主体にとって予測不可能であると同時に、管理者にとっても法的不確実性が生じる。この点で、EUIは、生成的AIシステムのプロバイダが、これらのシステムによって実行される処理の特定の条件を考慮に入れて、この法的根拠の適用条件を遵守していることを検証する特別な責任を負っている。
As controllers for the processing of personal data, EUIs are accountable for the transfers of personal data that they initiate and for those that are carried out on their behalf within and outside the European Economic Area. These transfers can only occur if the EUI in question has instructed them or allowed them, or if such transfers are required under EU law or under EU Member States' Law. Transfers can occur at different levels in the context of the development or use of generative AI systems, including when EUIs make use of systems based on cloud services or when they have to provide, in certain cases, personal data to be used to train, test or validate a model. In either case, these data transfers must comply with the provisions laid down in Chapter V[16] of the Regulation, while also subject to the other provisions of the Regulation, and be consistent with the original purpose of the data processing.	個人データ処理の管理者として、EUIは、EUIが開始した個人データの移転、およびEUIに代わって欧州経済領域内外で実施される個人データの移転について責任を負う。これらの移転は、当該EUIが指示または許可した場合、あるいはEU法またはEU加盟国の法律の下でそのような移転が義務付けられている場合にのみ発生する。EUIがクラウドサービスに基づくシステムを利用する場合や、モデルの訓練、テスト、検証に使用する個人データを提供しなければならない場合など、生成的AIシステムの開発または使用の文脈では、さまざまなレベルで移転が発生する可能性がある。いずれの場合においても、これらのデータ移転は、同規則の第V章[16]に規定された規定を遵守するとともに、同規則の他の規定にも準拠し、データ処理の本来の目的に合致したものでなければならない。
Personal data processing in the context of generative AI systems requires a legal basis in line with the Regulation. If the data processing is based on a legal obligation or in the exercise of public authority, that legal basis must be clearly and precisely set out in EU law. The use of consent as a legal basis requires careful consideration to ensure that it meets the requirements of the Regulation, in order to be valid.	生成的AIシステムの文脈における個人データ処理には、規則に沿った法的根拠が必要である。データ処理が法的認可または公権力の行使に基づくものである場合、その法的根拠はEU法に明確かつ正確に規定されていなければならない。同意を法的根拠として使用する場合、それが有効であるためには、同規則の要件を満たしているかどうかを慎重に検討する必要がある。
For example, the GPA Resolution on Generative Artificial Intelligence Systems states that, where required under relevant legislation, developers, providers and deployers of generative AI systems must identify at the outset the legal basis for the processing of personal data related to: a) collection of data used to develop generative AI systems; b) training, validation and testing datasets used to develop or improve generative AI systems; c) individuals’ interactions with generative AI systems; d) content generated by generative AI systems.	例えば、「生成的人工知能システムに関するGPA決議」では、関連法に基づいて要求される場合、生成的AIシステムの開発者、プロバイダ、導入者は、a) 生成的AIシステムの開発に使用されるデータの収集、b) 生成的AIシステムの開発または改善に使用されるトレーニング、検証、テストのデータセット、c) 生成的AIシステムと個人の相互作用、d) 生成的AIシステムによって生成されるコンテンツ、に関連する個人データ処理の法的根拠を当初に特定しなければならないとしている。
7. How can the principle of data minimisation be guaranteed when using generative AI systems?	7. 生成的AIシステムを使用する際、データ最小化の原則はどのように保証されるのか？
The principle of data minimisation means that controllers shall ensure that personal data undergoing processing are adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed. There is a misconception that the principle of data minimisation[17]has no place in the context of artificial intelligence. However, data controllers have an obligation to limit the collection and otherwise processing of personal data to what is necessary for the purposes of the processing, avoiding indiscriminate processing of personal data. This obligation covers the entire lifecycle of the system, including testing, acceptance and release into production phases. Personal data should not be collected and processed indiscriminately. EUIs must ensure that staff involved in the development of generative AI models are aware of the different technical procedures available to minimise the use of personal data and that those are duly taken into account in all stages of the development.	データ最小化の原則とは、管理者は、処理中の個人データが適切で、関連性があり、処理目的との関連で必要なものに限定されることを保証しなければならないことを意味する。データ最小化の原則[17]は人工知能の文脈では適用されないという誤解がある。しかし、データ管理者には、個人データの収集およびその他の処理を、処理の目的に必要なものに限定し、個人データの無差別な処理を避ける義務がある。この義務は、テスト、受け入れ、本番段階へのリリースを含む、システムのライフサイクル全体をカバーする。個人データを無差別に収集し、処理してはならない。EUIは、生成的AIモデルの開発に携わる職員が、個人データの使用を最小限に抑えるために利用可能なさまざまな技術的手順を認識し、それらが開発の全段階において正当に考慮されていることを確認しなければならない。
EUIs should develop and use models trained with high quality datasets limited to the personal data necessary to fulfil the purpose of the processing. In this way, these datasets should be well labelled and curated, within the framework of appropriate data governance procedures, including periodic and systematic review of the content. Datasets and models must be accompanied by documentation on their structure, maintenance and intended use. When using systems designed or operated by third-party service providers, EUIs should include in their assessments considerations related to the principle of data minimisation.	EUIは、処理の目的を達成するために必要な個人データに限定した高品質のデータセットを用いて学習させたモデルを開発し、使用すべきである。このように、これらのデータセットは、内容の定期的かつ体系的なレビューを含む、適切なデータガバナンス手続きの枠組みの中で、適切にラベル付けされ、管理されなければならない。データセットとモデルには、その構造、保守、使用目的に関する文書を添付しなけれ ばならない。サードパーティが設計または運用するシステムを使用する場合、EUIはアセスメントにおいて、データ最小化の原則に関連する考慮事項を含めるべきである。
The use of large amounts of data to train a generative AI system does not necessarily imply greater effectiveness or better results. The careful design of well-structured datasets, to be used in systems that prioritise quality over quantity, following a properly supervised training process, and subject to regular monitoring, is essential to achieve the expected results, not only in terms of data minimisation, but also when it concerns quality of the output and data security.	生成的AIシステムを訓練するために大量のデータを使用することは、必ずしも効果や結果の向上を意味しない。量よりも質を優先するシステムで使用され、適切に監視された学習プロセスを経て、定期的に監視される、十分に構造化されたデータセットの慎重な設計は、データの最小化という点だけでなく、出力の質やデータセキュリティに関しても、期待される結果を達成するために不可欠である。
EUI-X intends to train an AI system to be able to assist with tasks related to software development and programming. For this, they would like to use a content generation tool that will be available through the individual IT staff members’ accounts. The EUI-X needs to reflect before training the algorithm to make sure they will not be processing personal data that would not be useful for the intended purpose. For example, they may carry out a statistical analysis to demonstrate that a minimum amount of data is necessary to achieve the result. Furthermore, they will need to check and justify whether they will be processing special categories of personal data. Additionally, they will need to examine the typology of data (i.e. synthesised, anonymised or pseudonymised). Finally, they will need to verify all relevant technical and legal elements of the data sources used, including their lawfulness, transparency and accuracy.	EUI-Xは、ソフトウェア開発とプログラミングに関連する作業を支援できるAIシステムを訓練することを意図している。そのためには、個々のITスタッフのアカウントから利用できるコンテンツ生成的ツールを使いたいと考えている。EUI-Xは、アルゴリズムを訓練する前に、意図した目的に役立たない個人データを処理しないように注意する必要がある。例えば、統計分析を実施し、結果を達成するために必要最小限のデータ量であることを証明することができる。さらに、特別カテゴリーの個人データを処理するかどうかを確認し、正当化する必要がある。さらに、データの類型（合成、匿名化、仮名化など）を検討する必要がある。最後に、使用するデータソースの合法性、透明性、正確性など、関連する技術的・法的要素をすべて検証する必要がある。
8. Are generative AI systems respectful of the data accuracy principle?	8. 生成的AIシステムはデータの正確性の原則を尊重しているか？
Generative AI systems may use in all stages of their lifecycle, notably during the training phase, huge amounts of information, including personal data.	生成的AIシステムは、そのライフサイクルのあらゆる段階、特に訓練段階において、個人データを含む膨大な量の情報を使用する可能性がある。
The principle of data accuracy[18] requires data to be accurate, up to date, while the data controller is required to update or delete data that is inaccurate. Data controllers must ensure data accuracy at all stages of the development and use of an artificial intelligence system. Indeed, they must implement the necessary measures to integrate data protection by design that will help to increase data accuracy in all the stages.	データ正確性の原則[18]は、データが正確で最新であることを要求し、データ管理者は不正確なデータを更新または削除することを要求する。データ管理者は、人工知能システムの開発と利用のすべての段階で、データの正確性を確保しなければならない。実際、データ管理者は、すべての段階においてデータの正確性を高めるのに役立つ、設計によるデータ保護を統合するために必要な措置を実施しなければならない。
This implies verifying the structure and content of the datasets used for training models, including those sourced or obtained from third parties. It is equally important to have control over the output data, including the inferences made by the model, which requires regular monitoring of that information, including human oversight. Developers should use validation sets[19] during training and separate testing sets for final evaluation to obtain an estimation on how the system will perform. Although generally not data protection oriented, metrics on statistical accuracy (the ability of models to produce correct outputs or predictions based on the data they have been trained on), when available, can offer an indicator for the accuracy of the data the model uses as well as on the expected performance.	これには、サードパーティから入手したものも含め、モデルの学習に使用するデータセットの構造と内容を検証することが含まれる。モデルによる推論を含む出力データを制御することも同様に重要であり、これには人間の監視を含む情報の定期的な監視が必要である。開発者は、トレーニング中に検証セット[19]を使用し、最終評価には別のテストセットを使用して、シ ステムがどのように機能するかの推定を得るべきである。一般にデータ防御は重視されないが、統計的精度（学習させたデータに基づいて正しい出力や予測を行うモデルの能力）に関する指標が利用可能であれば、モデルが使用するデータの精度や期待される性能に関する指標を提供することができる。
When EUIs use a generative AI system or training, testing or validation datasets provided by a third party, contractual assurances and documentation must be obtained on the procedures used to ensure the accuracy of the data used for the development of the system. This includes data collection procedures, preparation procedures, such as annotation, labelling, cleaning, enrichment and aggregation, as well as the identification of possible gaps and issues that can affect accuracy. The technical and user documentation of the system, including model cards, should enable the controller of the system to carry out appropriate checks and actions regularly to ensure the accuracy principle. This is even more important since models, even when trained with representative high quality data, may generate output containing inaccurate or false information, including personal data, the so-called “hallucinations.”	EUIが生成的AIシステム、またはサードパーティから提供されたトレーニング、テスト、検証データセットを使用する場合、システムの開発に使用されたデータの正確性を確保するために使用された手順について、契約上の保証と文書を取得しなければならない。これには、データ収集手順、注釈、ラベリング、洗浄、濃縮、集計などの準備手順、正確性に影響を及ぼす可能性のあるギャップや問題の特定などが含まれる。モデルカードを含むシステムの技術文書と利用者文書によって、システムの管理者は、精度の原則を確保するために、適切なチェックと処置を定期的に実施できるようにしなければならない。代表的な高品質データで学習させたモデルであっても、個人データ、いわゆる "幻覚 "を含む不正確な情報や虚偽の情報を含む出力を生成する可能性があるため、このことはさらに重要である。
Despite the efforts to ensure data accuracy, generative AI systems are still prone to inaccurate results that can have an impact on individuals´ fundamental rights and freedoms.	データの正確性を確保する努力にもかかわらず、生成的AIシステムは、個人の基本的権利と自由に影響を及ぼしうる不正確な結果を生み出しやすい。
While providers are implementing advanced training systems to ensure that models use and generate accurate data, EUIs should carefully assess data accuracy throughout the whole lifecycle of the generative AI systems and consider the use of such systems if the accuracy cannot be maintained.	プロバイダは、モデルが正確なデータを使用し、生成することを保証するために高度なトレーニングシステムを導入しているが、EUIは生成的AIシステムのライフサイクル全体を通してデータの正確性を慎重にアセスメントし、正確性が維持できない場合はそのようなシステムの使用を検討すべきである。
EUI-X, following the advice of the DPO, has decided that the results of the ASR model, when used for the transcription of official meetings and hearings, will be subject to validation by qualified staff of the EUI. In cases where the model is used for other less sensitive meetings, the transcription will always be accompanied by a clear indication that it is a document generated by an AI system. EUI-X has prepared and approved at top-management level a policy for the use of the model as well as data protection notices compliant with the Regulation requesting the consent of individuals, both for the recording of their voice during meetings and for its processing by the transcription system. A DPIA has also been carried prior to the deployment of the AI system by the EUI.	EUI-Xは、DPOの助言に従い、ASRモデルの結果を公式の会議やヒアリングのテープ起こしに使用する場合は、EUIの有資格スタッフによる検証を受けることを決定した。ASRモデルを機密性の低いその他の会議に使用する場合、文字起こしには必ず、それが生成的AIシステムによって作成された文書であることを明示する。EUI-Xは、このモデルの使用に関する方針と、会議中の音声の録音と文字起こしシステムによる処理の両方について、個人の同意を求める規則に準拠したデータ保護通知を作成し、トップマネジメントレベルで承認している。また、EUIによるAIシステムの導入に先立ち、DPIAも実施されている。
9. How to inform individuals about the processing of personal data when EUIs use generative AI systems?	9. EUIが生成的AIシステムを使用する際、個人データの処理についてどのように個人に知らせるか？
Appropriate information and transparency policies can help mitigate risks to individuals and ensure compliance with the requirements of the Regulation, in particular, by providing detailed information on how, when and why EUIs process personal data in generative AI systems. This implies having comprehensive information - that must be provided by developers or suppliers as the case may be - about the processing activities carried out at different stages of development, including the origin of the datasets, the curation/tagging procedure, as well as any associated processing. In particular, EUIs should ensure that they obtain adequate and relevant information on those datasets used by their providers or suppliers and that such information is reliable and regularly updated. Certain systems (i.e. chatbots) may require specific transparency requirements, including informing individuals that they are interacting with an AI system without human intervention.	適切な情報と透明性方針は、特に、EUIが生成的AIシステムで個人データをいつ、どのように、なぜ処理するかについての詳細な情報を提供することによって、個人に対するリスクを軽減し、規則の要求事項の遵守を確保するのに役立つ。これは、データセットの出所、キュレーション／タグ付けの手順、関連する処理など、開発のさまざまな段階で行われる処理活動に関する包括的な情報（場合によっては開発者またはサプライヤーによって提供されなければならない）を持つことを意味する。特に、EUIは、プロバイダやサプライヤーが使用するデータセットについて、適切かつ関連性のある情報を入手し、そのような情報が信頼できるもので、定期的に更新されるようにしなければならない。特定のシステム（チャットボットなど）は、人間の介入なしにAIシステムとやりとりしていることを個人に知らせるなど、特定の透明性要件が必要となる場合がある。
As the right to information[20] includes the obligation to provide individuals, in cases of profiling and automated decisions, meaningful information about the logic of such decisions, as well as their meaning and possible consequences on the individuals, it is important for the EUI to maintain updated information, not only about the functioning of the algorithms used, but also about the processing datasets. This obligation should generally be extended to cases where, although the decision procedure is not entirely automated, it includes preparatory acts based on automated processing.	情報への権利[20]には、プロファイリングや自動化された意思決定の場合、そのような意思決定の論理や、その意味、個人に起こりうる結果について、意味のある情報を個人に提供する義務が含まれているため、EUIは、使用されているアルゴリズムの機能だけでなく、処理データセットについても、更新された情報を維持することが重要である。この義務は一般的に、決定手続きが完全に自動化されているわけではないが、自動処理に基づく準備行為が含まれている場合にも適用されるべきである。
EUIs must provide to individuals all the information required in the Regulation when using generative AI systems that process personal data. The information provided to individuals must be updated when necessary to keep them properly informed and in control of their own data.	EUIは、個人データを処理する生成的AIシステムを使用する場合、規則で要求されるすべての情報を個人に提供しなければならない。個人に提供される情報は、適切な情報を提供し、自己のデータを管理するために、必要に応じて更新されなければならない。
EU-X is preparing a chatbot that will assist individuals when accessing certain areas of its website. The controllers affected, with the advice of the DPO, have prepared a data protection notice, available in the EU-X website. The notice includes information on the purpose of the processing, the legal basis, the identification of the controller and the contact details of the DPO, the recipients of the data, the categories of personal data collected, the retention of the data as well on how to exercise individual rights. The notice also includes information on how the system works and on the possible use of the user´s input to refine the chat function. EU-X uses consent as a legal basis, but users can withdraw their consent at any moment. The notice also clarifies that minors are not permitted to use the chatbot. Before using the EUI’s chatbot, individuals can provide consent after reading the data protection notice.	EU-Xは、ウェブサイトの特定のエリアにアクセスする際に個人を支援するチャットボットを準備している。影響を受けるデータ管理者は、DPOの助言を得て、EU-Xのウェブサイトで入手可能なデータ保護通知を作成した。この通知には、処理の目的、法的根拠、管理者の特定とDPOの連絡先、データの取得者、収集された個人データのカテゴリー、データの保持、個人の権利行使方法に関する情報が含まれている。また、この通知には、システムの機能、およびチャット機能を改良するためのユーザー入力の使用可能性に関する情報も含まれる。EU-Xは同意を法的根拠としているが、ユーザーはいつでも同意を撤回することができる。また、未成年者がチャットボットを使用することは許可されていない。EUIのチャットボットを使用する前に、個人はデータ保護通知を読んだ上で同意を提供することができる。
10. What about automated decisions within the meaning of Article 24 of the Regulation?	10. 規則第24条にいう自動化された決定についてはどうか。
The use of a generative AI system does not necessarily imply automated decision-making[21] within the meaning of the Regulation. However, there are generative AI systems that provide decision-making information obtained by automated means involving profiling and /or individual assessments. Depending on the use of such information in making the final decision by a public service, EUIs may fall within the scope of application of Article 24 of the Regulation, so they need to ensure that individual safeguards are guaranteed, including at least the right to obtain human intervention on the part of the controller, to express his or her point of view and to contest the decision.	生成的AIシステムの使用は、必ずしも規則の意味における自動意思決定[21]を意味しない。しかし、プロファイリングやアセスメントを含む自動化された手段によって得られた意思決定情報を提供する生成的AIシステムは存在する。公共サービスによる最終的な意思決定におけるそのような情報の使用によっては、EUIは規則第24条の適用範囲に入る可能性があるため、少なくとも管理者側の人的介入を得る権利、自己の見解を表明する権利、意思決定に異議を申し立てる権利など、個人の保護措置が保証されていることを保証する必要がある。
In managing AI decision-making tools, EUIs must consider carefully how to ensure that the right to obtain human intervention is properly implemented. This is of paramount importance in case EUIs deploy autonomous AI agents that can perform tasks and make decisions without human intervention or guidance.	AIの意思決定ツールを管理するにあたり、EUIは、人間の介入を得る権利が適切に実施されるようにする方法を慎重に検討しなければならない。これは、EUIが人間の介入や指導なしにタスクを実行し、意思決定を行うことができる自律型AIエージェントを導入する場合に、最も重要なことである。
EUIs must be very attentive to the weight that the information provided by the system has in the final steps of the decision-making procedure, and whether it has a decisive influence on the final decision taken by the controller. It is important to recognise the unique risks and potential harms of generative AI systems in the context of automated decision-making, particularly on vulnerable populations and children[22].	EUIは、意思決定手順の最終段階においてシステムから提供される情報がどのような重みを持つか、また、その情報がコントローラーが下す最終的な意思決定に決定的な影響を与えるかどうかに細心の注意を払わなければならない。自動化された意思決定の文脈において、特に脆弱な集団や子どもに対する生成的AIシステム特有のリスクと潜在的な危害を認識することが重要である[22]。
Where generative AI systems are planned to support decision-making procedures, EUIs must consider carefully whether to put them into operation if their use raises questions about their lawfulness or their potential of being unfair, unethical or discriminatory decisions.	生成的AIシステムが意思決定手続を支援するために計画されている場合、EUIは、その使用が適法性に疑問を抱かせるものであったり、不公正、非倫理的、差別的な意思決定となる可能性がある場合には、運用を開始するかどうかを慎重に検討しなければならない。
EUI-X is considering using an AI system for the initial screening and filtering of job applications. Service provider C has offered a generative AI system that performs an analysis of the formal requirements and an automated assessment of the applications, providing scores and suggestions on which candidates to interview in the next phase. Having consulted the documentation on the model, including the available measures on statistical accuracy (measures on precision and sensitivity of the model) and in view of the possible presence of bias in the model, EUI-X has decided that it will not use the system at least until there are clear indications that the risk of bias has been eliminated and the measures on precision improve, to the analysis of formal requirements.	EUI-Xは、求人応募の初期スクリーニングとフィルタリングにAIシステムの利用を検討している。サービスプロバイダーCは、正式な要件の分析と応募書類の自動評価を行い、次の段階で面接すべき候補者のスコアと提案を提供する生成的AIシステムを提供した。EUI-Xは、利用可能な統計的精度に関する指標（モデルの精度と感度に関する指標）を含むモデルに関する文書を参照し、モデルにバイアスが存在する可能性があることを考慮し、少なくとも、バイアスのリスクが排除され、形式的要求事項の分析に対する精度の指標が改善されることが明確に示されるまでは、このシステムを使用しないことを決定した。
In any case, if such system is considered as ‘fit for purpose’ (i.e. candidates’ screening) and compliant with all regulations applicable to the EUI, the EUI should be able to demonstrate that it can validly rely on one of the exceptions under Article 24(2) of the Regulation; that the EUI has implemented suitable measures to safeguard individuals’ rights, including the right to obtain human intervention by the EUI, to express her or his point of view and to contest the decision (e.g., non-eligibility).	いずれにせよ、そのようなシステムが「目的に適合」（すなわち候補者のスクリーニング）し、EUIに適用されるすべての規制に準拠していると考えられる場合、EUIは、規則第24条2項に基づく例外のひとつに有効に依拠できること、EUIによる人的介入を受ける権利、自分の意見を表明する権利、決定に異議を唱える権利（例えば不適格）など、個人の権利を保護するための適切な措置をEUIが実施していることを証明できなければならない。
Information must be provided by the EUI, in accordance with Article 15(2)(f) of the Regulation, if the data is collected from the individual, about the logic involved by the AI system, as well as on the envisaged consequences of such processing for the individual. A DPIA must also be carried out prior to the deployment of the AI system by the EUI.	EUIは、個人からデータを収集する場合、規則第15条2項（f）に従い、AIシステムが関与するロジックと、そのような処理が個人に及ぼすと想定される結果について、情報をプロバイダから提供されなければならない。DPIAは、EUIがAIシステムを導入する前にも実施されなければならない。
The EUI-X may decide to use, instead of a generative AI system, a ‘simpler’ online automated tool for the screening of job applications (for instance, an IT tool checking automatically the number of years of professional experience or of education).	EUI-Xは、生成的AIシステムの代わりに、「より単純な」オンライン自動化ツール（例えば、職業経験年数や学歴を自動的にチェックするITツール）を採用審査に使用することを決定することができる。
11. How can fair processing be ensured and avoid bias when using generative AI systems?	11. 生成的AIシステムを使用する場合、どのようにして公正な処理を保証し、バイアスを回避することができるのか？
In general, artificial intelligence solutions tend to magnify existing human biases and possibly incorporate new ones, which can create new ethical challenges and legal compliance risks. Biases can arise at any stage of the development of a generative AI system through the training of datasets, the algorithms or through the people who develop or use the system. Biases in generative AI systems can lead to significant adverse consequences for individuals’ fundamental rights and freedoms, including unfair processing and discrimination, particularly in areas such as human resource management, public health medical care and provision of social services, scientific and engineering practices, political and cultural processes, the financial sector, environment and ecosystems as well as public administration.	一般的に、人工知能ソリューションは、既存の人間のバイアスを拡大する傾向があり、場合によっては新たなバイアスを取り込む可能性があるため、新たな倫理的課題や法令遵守のリスクが生じる可能性がある。バイアスは、データセットの訓練、アルゴリズム、あるいはシステムを開発したり使用したりする人々を通じて、生成的AIシステムの開発のどの段階でも生じる可能性がある。生成的AIシステムにおけるバイアスは、特に人的資源管理、公衆衛生医療や社会サービスの提供、科学的・工学的実践、政治的・文化的プロセス、金融分野、環境・生態系、行政などの分野において、不公正な処理や差別など、個人の基本的権利と自由に重大な悪影響を及ぼす可能性がある。
Main sources of bias can come, among others, from existing patterns in the training data, lack of information (total or partial) on the affected population, inclusion or omission of variables and data that should not or should be part of the datasets, methodological errors or even bias that are introduced through monitoring.	バイアスの主な原因は、特に、訓練データにおける既存のパターン、影響を受ける人々に関する情報（全体的または部分的）の欠如、データセットに含まれるべきでない変数やデータの包含または省略、方法論の誤り、あるいはモニタリングによってもたらされるバイアスなどである。
It is essential that the datasets used to create and train models ensure an adequate and fair representation of the real world - without bias that can increase the potential harm for individuals or collectives not well represented in the training datasets - while also implementing accountability and oversight mechanisms that allow for continuous monitoring to prevent the occurrence of biases that have an effect on individuals, as well as to correct those behaviours. This includes ensuring that processing activities are traceable and auditable[23] and that EUIs keep supportive documentation. In that regard, it is important that EUIs adopt and implement technical documentation models, which can be of particular importance when the models use several datasets and / or combine different data sources.	モデルの作成と訓練に使われるデータセットは、実世界を適切かつ公正に代表するものであることが不可欠であり、訓練用データセットに十分に反映されていない個人や集団の潜在的な被害を増大させるようなバイアスを排除する必要がある。これには、処理活動が追跡可能で監査可能であること[23]、EUIが裏付けとなる文書を保管することが含まれる。この点で、EUIが技術的な文書化モデルを採用し、実施することは重要であり、モデルが複数のデータセットを使用し、／あるいは異なるデータ・ソースを組み合わせる場合には、特に重要である。
Generative AI systems providers try to detect and mitigate bias in their systems. However, EUIs know best their business case and should test and regularly monitor if the system output is biased by using input data tailored to their business needs.	生成的AIシステムのプロバイダは、システムのバイアスを検出し、軽減しようとする。しかし、EUIは自分たちのビジネスケースを最もよく知っており、自分たちのビジネスニーズに合わせた入力データを使用することで、システムの出力にバイアスがかかっていないかどうかをテストし、定期的に監視すべきである。
EUIs, as public authorities, should put in place safeguards to avoid overreliance on the results provided by the systems that can lead to automation and confirmation biases.	EUIは認可機関として、自動化や確認バイアスにつながる可能性のある、システムから提供される結果への過度の依存を避けるためのセーフガードを設けるべきである。
The application of procedures and best practices for bias minimisation and mitigation should be a priority in all stages of the lifecycle of generative AI systems, to ensure fair processing and to avoid discriminatory practices. For this, there is a need for oversight and understanding of how the algorithms work and the data used for training the model.	生成的AIシステムのライフサイクルのすべての段階において、バイアスの最小化と低減のための手順とベストプラクティスの適用を優先し、公正な処理を確保し、差別的慣行を避けるべきである。そのためには、アルゴリズムがどのように機能し、モデルのトレーニングに使用されるデータを監視し、理解する必要がある。
EU-X is assessing the existence of sampling bias on the automated speech recognition system. Translation services have reported significantly higher word error rates for some speakers than for others. It seems that the system has difficulties to cope with some English accents. After consulting with the developer, it has concluded that there is a deficit in the training data for certain accents, notably when the speakers are not native. Because it is systematic, EU-X is considering refining the model using its own-generated datasets.	EU-Xは、自動音声認識システムのサンプリングバイアスの存在をアセスメントしている。翻訳サービスでは、ある話者の単語誤り率が他の話者よりも著しく高いことが報告されている。 システムは英語のアクセントに対応するのが難しいようだ。開発元と協議した結果、特定のアクセント、特にネイティブスピーカーでない場合のトレーニングデータに不足があるとの結論に達した。これはシステマティックなものであるため、EU-Xは独自に生成したデータセットを使ってモデルを改良することを検討している。
12. What about the exercise of individual rights?	12. 個人の権利の行使についてはどうか？
The particular characteristics of the generative AI systems mean that the exercise of individual rights[24] can present particular challenges, not only in the area of the right of access, but also in relation to the rights of rectification, erasure and objection to data processing. For example, one of the most relevant elements is the difficulty in identifying and gaining access to the personal data stored by the system. In large language models, for example, individual words like "cat" or "dog" are not stored as strings of text. Instead, they are represented as numerical vectors through a process called word embedding. These vectors derive from the model's training on vast amounts of text data. The consequence is that accessing, updating or deleting the data stored in these models, if possible, is very difficult. In this sense, proper management of the datasets can facilitate access to information, which is difficult in the case of unsupervised training based on publicly available sources incorporating personal data. It is equally complex to manage the production of personal data obtained through inference. Finally, the exercise of certain rights, such as the right to erasure, may have an impact on the effectiveness of the model.	生成的AIシステムの特殊な特性は、個人の権利の行使[24]が、アクセス権の分野だけでなく、データ処理に対する是正、消去、異議申し立ての権利との関係でも、特別な困難をもたらす可能性があることを意味する。例えば、最も関連する要素の一つは、システムに保存された個人データを特定し、アクセスすることが困難であることである。例えば、大規模な言語モデルでは、「cat」や「dog」のような個々の単語はテキストの文字列としては保存されない。その代わりに、単語埋め込みと呼ばれるプロセスを通じて、数値ベクトルとして代表者が表現される。これらのベクトルは、膨大な量のテキストデータに対するモデルのトレーニングに由来する。その結果、これらのモデルに保存されているデータへのアクセス、更新、削除は、可能であるとしても非常に困難である。この意味で、データセットを適切に管理することで、情報へのアクセスを容易にすることができるが、これは個人データを組み込んだ一般に入手可能なソースに基づく教師なしトレーニングの場合には困難である。推論によって得られた個人データの作成管理も同様に複雑である。最後に、消去権など特定の権利の行使は、モデルの有効性に影響を及ぼす可能性がある。
Keeping a traceable record of the processing of personal data, as well as managing datasets in a way that allows traceability of their use, may support the exercise of individual rights. Data minimisation techniques can also help to mitigate the risks related to not being able to ensure the proper exercise of individual rights in accordance with the Regulation.	個人データの処理について追跡可能な記録を残すこと、およびその使用について追跡可能な方法でデータセットを管理することは、個人の権利行使を支援する可能性がある。また、データ最小化の技術は、規則に従って個人の権利を適切に行使できないことに関連するリスクを軽減するのに役立つ。
EUIs, as data controllers, are responsible for and accountable for implementing appropriate technical, organisational and procedural measures to ensure the effective exercise of individual rights. Those measures should be designed and implemented from the early stages of the lifecycle of the system, allowing for detailed recording and traceability of processing activities.	EUIは、データ管理者として、個人の権利の効果的な行使を確保するための適切な技術的、組織的、手続き的措置を実施する責任があり、その責任を負う。これらの措置は、システムのライフサイクルの初期段階から設計・実施され、処理活動の詳細な記録とトレーサビリティを可能にするものでなければならない。
EU-X has included in the data protection notice for the chatbot a reference to the exercise of individual rights, including access, rectification, erasure, objection and restriction of processing in accordance with the EUDPR. The notice includes contact details of the controller and EU-X DPO, as well as a reference to the possibility of lodging a complaint with the EDPS. Following a request of access from an individual concerning the content of his conversations with the chatbot, EU-X replied, after carrying out the relevant checks, that no content is preserved from the said conversations beyond the established retention period, 30 days. The conversations, as indicated to the individual, has not been used to train the chatbot model.	EU-Xは、チャットボットのデータ保護通知に、EUDPRに基づくアクセス、修正、消去、異議、処理制限を含む個人の権利行使に関する言及を盛り込んだ。この通知には、管理者とEU-X DPOの連絡先の詳細、およびEDPSへの苦情申し立ての可能性に関する言及が含まれている。EU-Xは、チャットボットとの会話内容に関する個人からのアクセス要求に対し、関連するチェックを行った後、当該会話内容については、定められた保存期間である30日を超えて保存されていないと回答した。また、この会話は、チャットボットモデルのトレーニングには使用されていない。
13. What about data security?	13. データセキュリティはどうなのか？
The use of generative AI systems can amplify existing security risks or create new ones, including bringing about new sources and transmission channels of systemic risks in the case of widely used models. Compared to traditional systems, generative AI specific security risks may derive from unreliable training data, the complexity of the systems, opacity, problems to carry out proper testing, vulnerabilities in the system safeguards etc. The limited offer of models in critical sectors for the provision of public services such as health can amplify the impact of vulnerabilities in these systems. The Regulation requires EUIs to implement appropriate technical and organisational measures to ensure a level of security[25] appropriate to the risk for the rights and freedoms of natural persons.	生成的AIシステムの使用は、既存のセキュリティリスクを増幅させたり、広く使用されているモデルの場合、システムリスクの新たな発生源や伝達経路をもたらすなど、新たなリスクを生み出す可能性がある。従来のシステムと比較して、生成的AI特有のセキュリティ・リスクは、信頼性の低い学習データ、システムの複雑性、不透明性、適切なテストの実施に関する問題、システムのセーフガードにおける脆弱性などに由来する可能性がある。健康などの公共サービスを提供する重要な分野では、モデルの提供が限られているため、これらのシステムの脆弱性の影響が増幅される可能性がある。同規則は、EUIに対し、自然人の権利と自由に対するリスクに見合ったセキュリティレベル[25]を確保するための適切な技術的・組織的措置を実施することを求めている。
Controllers should, in addition to the traditional security controls for IT systems, integrate specific controls tailored to the already known vulnerabilities of these systems - model inversion attacks[26], prompt injection[27], jailbreaks[28] - in a way that facilitates continuous monitoring and assessment of their effectiveness. Controllers are advised to only use datasets provided by trusted sources and carry out regularly verification and validation procedures, including for in-house datasets. EUIs should train their staff on how to identify and deal with security risks linked to the use of generative AI systems. As risks evolve quickly, regular monitoring and updates of the risk assessment are needed. In the same way, as the modalities of attacks can change, proper access to advanced knowledge and expertise must be ensured. A possible way to deal with unknown risks is to use “red teaming[29]” techniques to try to find and expose vulnerabilities.	管理者は、ITシステムに対する従来のセキュリティ制御に加えて、これらのシステムの既に知られている脆弱性（モデル反転攻撃[26]、プロンプト・インジェクション[27]、脱獄[28]）に合わせた特定の制御を、その有効性の継続的なモニタリングと評価を容易にする方法で統合すべきである。管理者は、信頼できる情報源から提供されたデータセットのみを使用し、社内のデータセットを含め、定期的に検証・妥当性確認手順を実施するよう助言される。EUIは、生成的AIシステムの使用に関連するセキュリティリスクを特定し、対処する方法について職員を訓練すべきである。リスクは急速に進化するため、定期的なモニタリングとリスクアセスメントの更新が必要である。同様に、攻撃の手口も変化する可能性があるため、高度な知識と専門知識への適切なアクセスを確保しなければならない。未知のリスクに対処する方法として考えられるのは、「レッドチーム[29]」技法を使用して脆弱性を発見し、暴露しようとすることである。
When using Retrieval Augmented Generation[30] with generative AI systems, it is necessary to test that the generative AI system is not leaking personal data that might be present in the system’s knowledge base.	生成的AIシステムで検索拡張生成[30]を使用する場合、生成的AIシステムがシステムの知識ベースに存在する可能性のある個人データを漏洩していないことをテストする必要がある。
The lack of information on the security risks linked to the use of generative AI systems and how they may evolve requires EUIs to exercise extreme caution and carry out detailed planning of all aspects related to IT security, including continuous monitoring and specialised technical support. EUIs must be aware of the risks derived from attacks by malicious third parties and the available tools to mitigate them.	生成的AIシステムの使用に関連するセキュリティ・リスクや、それらがどのように進化する可能性があるかについての情報が不足しているため、EUIは細心の注意を払い、継続的なモニタリングや専門的な技術サポートを含め、ITセキュリティに関連するあらゆる側面について詳細な計画を実施する必要がある。EUIは、悪意のあるサードパーティによる攻撃から派生するリスクと、それを低減するための可用性攻撃ツールを認識していなければならない。
EU-X, following a security assessment, has decided to implement the ASR system on premises, instead of using the API services provided for the developer of the model. EU-X will train its IT staff on the use and further development of the system, in close cooperation with the provider. This may include training on how to refine the model. In addition, EU-X will get the services of an external auditor to verify the proper implementation of the system, including on security.	EU-Xは、セキュリティアセスメントの結果、モデルの開発者に提供されるAPIサービスを利用する代わりに、ASRシステムを構内に実装することを決定した。EU-Xは、プロバイダとの緊密な協力のもと、システムの使用とさらなる開発についてITスタッフのトレーニングを行う。これには、モデルの改良方法に関するトレーニングも含まれる。さらに、EU-Xは外部監査人のサービスを受け、セキュリティ面を含め、システムの適切な実装を検証する。
14. Do you want to know more?	14. もっと知りたい？
EDPS work on AI	AIに関するEDPSの取り組み
45th Closed Session of the Global Privacy Assembly - Resolution on Generative Artificial Intelligence Systems - 20 October 2023	第45回グローバルプライバシー総会 - 生成的人工知能システムに関する決議 - 2023年10月20日
EDPS TechDispatch #2/2023 - Explainable Artificial Intelligence	EDPS TechDispatch #2/2023 - 説明可能な人工知能
EDPS at work: data protection and AI (includes links to several documents published by the EDPS alone or in cooperation with other authorities)	EDPSの活動：データ保護とAI（EDPSが単独で、または他の当局と協力して発表したいくつかの文書へのリンクを含む）
EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)	EDPB-EDPS Joint Opinion 5/2021 - 人工知能（Artificial Intelligence Act）に関する調和された規則を定めた欧州議会及び理事会規則の提案に関する意見書
EDPS Opinion 44/2023 on the Proposal for Artificial Intelligence Act in the light of legislative developments	人工知能法の提案に関するEDPS意見書44/2023（法整備を踏まえて
Large Language Models (EDPS website, part of the EDPS “TechSonar” report 2023-2024)	大規模言語モデル（EDPSウェブサイト、EDPS "TechSonar" レポート2023-2024の一部）
Other relevant documents	その他の関連文書
Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (wp251rev.01)	規則2016/679の目的のための自動化された個人の意思決定とプロファイリングに関するガイドライン（wp251rev.01）
CNIL: AI how-to-sheets	CNIL AIハウツーシート
Spanish Data Protection Authority: Artificial Intelligence: accuracy principle in the processing activity	スペインデータ保護局： 人工知能：処理活動における正確性の原則
Italian Data Protection Authority: Decalogo per la realizzazione di servizi sanitari nazionali attraverso sistemi di Intelligenza Artificiale – September 2023 (Italian)	イタリアデータ保護局：人工知能：処理活動における正確性の原則 人工知能システムによる国家衛生サービスの実現に関する指針 - 2023年9月（イタリア語）
The Hamburg Commissioner for Data Protection and Freedom of Information - Checklist for the use of LLM-based chatbots - 15/11/2023	ハンブルグ情報保護・自由委員会 - LLMベースのチャットボット使用に関するチェックリスト - 2023年11月15日（英語
AI Security Concerns in a nutshell (DE Federal Office for Information Security, March 2023)	AIセキュリティの懸念を一言で（DE連邦情報セキュリティ局、2023年3月）
Multilayer Framework for Good Cybersecurity Practices for AI (ENISA, June 2023)	AIのための優れたサイバーセキュリティ実践のための多層フレームワーク（ENISA、2023年6月）
Ethics Guidelines for Trustworthy AI (EC High-Level Expert Group on AI, 2019)	信頼できるAIのための倫理ガイドライン（AIに関するECハイレベル専門家グループ、2019年）
Living Guidelines on the responsible use of Generative AI in research (ERA Forum Stakeholders’ document, March 2024)	研究における生成的AIの責任ある使用に関する生活ガイドライン（ERAフォーラム利害関係者文書、2024年3月）
OECD AI Incidents Monitor (AIM)	OECD AIインシデントモニター（AIM）
OECD Catalogue or tools and metrics for trustworthy AI	OECDは、信頼できるAIのためのツールや測定基準をカタログ化している。
Footnotes	脚注
[1] Regulation (EU) 2018/1725	[1] 規則（EU）2018/1725
[2] The size of a Large Language Model is usually measured as the number of parameters (tokens it contains. The size of a LLM model is important since some capabilities only appear when the model grows beyond certain limits.	[2] 大規模言語モデルのサイズは、通常、パラメータ（トークン）の数として測定される。LLMモデルのサイズは、モデルがある限界を超えて大きくなって初めて現れる機能もあるため、重要である。
[3] Opinion 41/2023, of 25 September 2023 , on the Proposal for a Regulation on European Union labour market statistics on businesses	[3] 2023年9月25日付意見書41/2023、企業に関する欧州連合の労働市場統計に関する規則案について
[4] Article 39(2) of the Regulation	[4] 規則第39条2項
[5] Article 27 of the Regulation	[5] 規則第27条
[6] Articles 39 and 89 of the Regulation.	[6] 規則第39条および第89条。
[7] The classification of an AI system as posing “high-risk” due to its impact on fundamental rights according to the AI Act, does trigger a presumption of “high-risk” under the GDPR, the EUDPR and the LED to the extent that personal data is processed.	[7] AI法が定める基本的権利への影響により、AIシステムが「高リスク」に分類された場合、個人データが処理される限り、GDPR、EUDPR、LEDの下で「高リスク」であると推定される。
[8] Article 5 of the Regulation.	[8] 規則第5条。
[9] Article 10(2) of the Regulation.	[9] 規則第10条第2項。
[10] Article 5(1)(a) of the Regulation.	[10] 規則第5条(1)(a)。
[11] Article 5(1)(b) of the Regulation	[11] 規則第5条(1)(b)
[12] Articles 5(1)(d) and 7 of the Regulation.	[12] 規則第5条(1)(d)及び第7条
[13] EDPB Guidelines 05/2020 on consent under Regulation 2016/679, available at [web]	[13] EDPB Guidelines 05/2020 on consent under Regulation 2016/679, available at [web]
[14] Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation)	[14] 個人データの処理に関する自然人の保護及び当該データの自由な移動に関する2016年4月27日付欧州議会及び理事会規則（EU）2016/679、並びに指令95/46/EC（一般データ保護規則）の廃止。
[15] Judgment of 4 July 2023, Meta Platforms and Others (General terms of use of a social network), C‑252/21, EU:C:2023:537, paragraph 106 and the case-law cited	[15] 2023年7月4日判決、Meta Platforms and Others (General terms of use of a social network), C-252/21, EU:C:2023:537, paragraph 106 and the case-law cited.
[16] Articles 46 to 51 of the Regulation	[16] 規則第46条から第51条まで
[17]In accordance with Article 4(1)(c) of the Regulation, personal data undergoing processing shall be adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed.	[17]規則第4条1項(c)に従い、処理中の個人データは、適切かつ関連性があり、処理目的との関係で必要なものに限定されなければならない。
[18] Article 4(1)(d) of the Regulation.	[18]規則第4条1項(d)に従う。
[19] Validation sets are used to fine-tune the parameters of a model and to assess its performance.	[19] 検証セットは、モデルのパラメータを微調整し、その性能をアセスメントするために使用される。
[20] Article 14 of the Regulation.	[20] 規則第14条。
[21] Article 24 of the Regulation.	[21] 規則第24条。
[22] Global Privacy Assembly (GPA) (2023). Resolution on Generative Artificial Intelligence Systems.	[22] Global Privacy Assembly（GPA）（2023年）。生成的人工知能システムに関する決議。
[23] The audit of training data can help to detect bias and other problematic issues by studying how the training data is collected, labelled, curated and annotated. The quality of the audit and its results depends on the access to the relevant information, including the training datasets, documentation and implementation details.	[23] 訓練データの検知は、訓練データがどのように収集され、ラベル付けされ、キュレーションされ、アノテーションされているかを調査することで、バイアスやその他の問題点の検知に役立つ。監査の質とその結果は、訓練データセット、文書、実装の詳細を含む関連情報へのアクセスに依存する。
[24] Chapter III of the Regulation.	[24]規則第III章。
[25] Article 33 of the Regulation.	[25] 規則第33条。
[26] A Model inversion attacks takes place when an attacker extracts information from it through reverse-engineering.	[26] モデル逆引き攻撃は、攻撃者がリバース・エンジニアリングによってモデルから情報を抽出する際に行われる。
[27] Malicious actors use prompt injection attacks to introduce malicious instructions as if they were harmless.	[27] 悪意のある行為者はプロンプト・インジェクション攻撃を使い、あたかも無害であるかのように悪意のある命令を導入する。
[28] Malicious actors use jailbreaking techniques to disregard the model safeguards.	[28] 悪意のある行為者は脱獄のテクニックを使ってモデルのセーフガードを無視する。
[29] A red team uses attacking techniques aiming at finding vulnerabilities in the system.	[29] レッドチームはシステムの脆弱性を発見することを目的とした攻撃技術を使用する。
[30] AI systems in which a Large Language Model bases its answers in a knowledge base prepared by the generative AI system owner (e.g. an EUI) with internal sources and not in the knowledge stored by the LLM itself.	[30] 生成的AIシステムにおいて、大規模言語モデルが、LLM自身が記憶している知識ではなく、生成的AIシステムの所有者（例えばEUI）が内部ソースを用いて準備した知識ベースに基づいて回答を行う。

---

日本の検討状況については、

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.06.04 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中... （２）

・2024.04.25 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中...

・2024.01.06 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング中...