インド データセキュリティ協議会 セキュリティとプライバシーリスクの低減： 生成的AIのエンタープライズ利用ガイド (2024.03.21)
こんにちは、丸山満彦です。
インドのデータ保護に関する業界団体であるデータセキュリティ協議会 (Data Security Council of India; DSCI) [wikipedia] が、生成的AIの利用ガイドを公表していました...
生成的AIのサイバーセキュリティやデータ保護について参考になる部分も多いと思いますので、紹介...
● Data Security Council of India; DSCI
・2024.03.21 Mitigating Security & Privacy Risks: A Guide to Enterprise Use of Generative AI
| Mitigating Security & Privacy Risks: A Guide to Enterprise Use of Generative AI | セキュリティとプライバシーリスクの低減： 生成的AIのエンタープライズ利用ガイド |
| With rapidly increasing adoption of and investment into generative AI technologies, it is imperative for enterprise and business users to identify, examine, and prepare mitigation plans for risks arising out of this emerging technology to safeguard against reputational, legal, and financial consequences. In this context, this report presents a timely and comprehensive analysis of the cybersecurity and privacy risks emerging from enterprise use of generative AI systems and tools. | 生成的AI技術の導入と投資が急速に増加する中、エンタープライズやビジネスユーザーにとって、この新たな技術から生じるリスクを特定、検討し、低減計画を準備することは、評判、法的、財務的な影響から保護するために不可欠である。このような背景から、本レポートでは、生成的AIシステムやツールのエンタープライズ利用から生じるサイバーセキュリティとプライバシーのリスクについて、タイムリーかつ包括的な分析を行う。 |
| The report is framed in two parts, Part I-STRENGTHENING CYBERSECURITY FOR GENERATIVE AI and Part II- DATA PROTECTION STRATEGIES FOR GENERATIVE AI. The report first sets the context by breaking down the fundamentals behind the functioning of generative AI and examines the current landscape of use of generative AI systems and tools in an enterprise context. Building on this foundation, the latter sections of the report highlight identified privacy and cybersecurity risks that may arise for an enterprise user of this technology in the absence of established governance frameworks. Finally, based on thorough examination of existing governance and regulatory frameworks, both part I and part II of the report conclude with suggestions for enterprises on possible interventions in organizational policies, governance imperatives, and business processes that could help mitigate the highlighted risks. | 本レポートは、第I部「生成的AIのサイバーセキュリティ強化」と第II部「生成的AIのデータ保護戦略」の2部構成となっている。本レポートではまず、生成的AIの機能の背後にある基本的な事項を説明し、エンタープライズにおける生成的AIのシステムやツールの利用の現状を検証することで、背景を整理している。この基礎の上に立って、レポートの後半では、ガバナンスの枠組みが確立されていない場合に、この技術をエンタープライズで利用する場合に発生する可能性のある、特定されたプライバシーとサイバーセキュリティのリスクを強調している。最後に、既存のガバナンスと規制の枠組みの徹底的な検証に基づいて、レポートの第1部と第2部の両方が、強調されたリスクを軽減するのに役立つ可能性のある組織ポリシー、ガバナンスの必須事項、およびビジネスプロセスへの介入の可能性に関するエンタープライズへの提案で締めくくられている。 |
・[PDF] (downloaded)
目次...
| Objective | 目的 |
| Background | 背景 |
| Historical Evolution: From Probabilistic to Generative Models | 歴史的な進化 確率的モデルから生成的モデルへ |
| The Architecture of Generative AI Technology | 生成的AI技術のアーキテクチャ |
| Part1: STRENGTHENING CYBERSECURITY FOR GENERATIVE AI | Part1： 生成的AIのためのサイバーセキュリティの強化 |
| • Exploring Cybersecurity Risks | ・サイバーセキュリティのリスクを探る |
| • Understanding Vulnerabilities and Threats | ・脆弱性と脅威を理解する |
| • Navigating Unmanaged Adoption: Generative AI in Enterprise Context | ・管理されていない採択の舵取り：エンタープライズにおける生成的AI |
| Part2: DATA PROTECTION STRATEGIES FOR GENERATIVE AI | パート2： 生成的AIのデータ保護戦略 |
| • Applicability of Data Protection Regulations and Principles to Generative AI | ・生成的AIへのデータ保護規制と保護原則の適用可能性 |
| • Data Protection Implications in Enterprise Use of Generative AI | ・生成的AIのエンタープライズ利用におけるデータ保護の影響 |
| Conclusion | 結論 |
いろいろ興味深い内容です...
報告書の一部を仮訳...
| Objective | 目的 |
| The intent of this report is multi-fold. First, the report delves into the fundamentals of generative AI and how it functions. Second, it examines the current landscape of use of generative AI in an enterprise context against the privacy and security risks raised by the proliferation of generative AI adoption in the absence of established governance frameworks. Finally, it suggests some interventions in organizational policies, governance frameworks, and processes that could help mitigate the privacy and security risks identified. | 本報告書の目的は多岐にわたる。第一に、生成的AIの基礎とその機能について掘り下げる。第二に、ガバナンスの枠組みが確立されていない中での生成的AIの普及によって生じるプライバシーとセキュリティのリスクに対して、エンタープライズにおける生成的AIの利用の現状を検証する。最後に、識別されたプライバシーとセキュリティのリスクを軽減するのに役立つ、組織のポリシー、ガバナンスの枠組み、プロセスへの介入を提案する。 |
| The scope of this report is limited to examining the privacy and security implications of the rapid increase in generative AI adoption by enterprises. While issues pertaining to the development of regulatory strategies, ethics in AI development and adoption, and considerations of user harms are just as pertinent. | 本報告書の範囲は、エンタープライズによる生成的AI導入の急速な増加によるプライバシーとセキュリティへの影響の検討に限定されている。規制戦略の策定に関わる問題、AIの開発と採用における倫理、ユーザーの被害に関する考察も同様に適切である。 |
| This report narrows its focus on data protection and cybersecurity considerations for enterprises and businesses as both developers and users of generative AI models. | 本報告書では、生成的AIモデルの開発者と利用者の両方として、エンタープライズと企業にとってのデータ保護とサイバーセキュリティの考慮事項に焦点を絞る。 |
| The initial section of the document provides the requisite context to understand historical evolution of artificial intelligence models and traces the technological developments from probabilistic and discriminatory models to the emergence of models capable of generating novel outputs. | この文書の最初のセクションでは、人工知能モデルの歴史的な進化を理解するために必要な文脈を提供し、確率的モデルや識別モデルから、新しい出力を生成できるモデルの出現までの技術的な発展をたどっている。 |
| Part I focuses on cybersecurity risks and enterprise-level process and governance interventions that may help mitigate these risks. It examines the cybersecurity risks for enterprises leveraging generative AI tools and provides a classification of vulnerabilities in large language models based on their intrinsicality to the nature of the technology. This part concludes with insights for enterprises to effectively manage these vulnerabilities and aims to equip cybersecurity leaders and their teams with the relevant insights to mitigate these risks. | 第Ⅰ部では、サイバーセキュリティリスクと、これらのリスクを軽減するのに役立つエンタープライズレベルのプロセスとガバナンスの介入に焦点を当てる。生成的AIツールを活用するエンタープライズのサイバーセキュリティ・リスクを検証し、テクノロジーの性質に内在する脆弱性に基づく大規模言語モデルの脆弱性の分類を提供する。このパートは、エンタープライズがこれらの脆弱性を効果的にマネジメントするための洞察で締めくくられており、サイバーセキュリティリーダーとそのチームがこれらのリスクを軽減するための関連する洞察を身につけることを目的としている。 |
| Part II focuses on the data protection and privacy considerations associated with the Generative AI tools and systems. This portion of the document first evaluates the manner and extent to which existing data protection norms and regulations apply to generative AI technologies. It also intends to provide an insight into the global data protection regulatory developments centering around generative AI. This section ultimately identifies the specific data governance and protection challenges that emerge from the increasing adoption of generative AI models in enterprises and provides some strategic directional guidance for businesses to mitigate these risks. | パートIIでは、生成的AIのツールやシステムに関連するデータ・プライバシー保護に焦点を当てる。この部分ではまず、既存のデータ保護規範と規制が生成的AI技術に適用される方法と範囲を評価する。また、生成的AIを中心とした世界的なデータ保護規制の動向についての見識を提供することも意図している。本セクションでは最終的に、エンタープライズにおける生成的AIモデルの採用の増加から生じる具体的なデータガバナンスと保護の課題を特定し、これらのリスクを軽減するための企業の戦略的方向性を示すガイダンスを提供する。 |
| Background | 背景 |
| n recent years, the field of Artificial Intelligence (AI) has undergone a remarkable transformation with the emergence of Generative AI. Unlike traditional AI models that are deterministic and follow strict programmed rules, generative models leverage the inherent patterns in data to replicate and adapt them creatively. This branch of AI represents a significant paradigm shift, moving away from passive consumption towards active creation, allowing machines to generate original content. | 近年、人工知能（AI）の分野は、生成的AIの出現によって著しい変貌を遂げている。決定論的で厳格にプログラムされたルールに従う従来のAIモデルとは異なり、生成的AIモデルはデータに内在するパターンを活用し、それらを創造的に複製・適応させる。この生成的AIは、受動的な消費から能動的な創造へと向かう重要なパラダイムシフトを象徴しており、機械がオリジナルのコンテンツを生成することを可能にする。 |
| Generative AI’s versatility extends to creating coherent text, composing music, designing graphics, simulating human speech, crafting 3D objects, and formulating scientific hypotheses. Its applications span diverse sectors, offering new avenues for business operations. Yet, this innovation also amplifies existing cybersecurity risks by lowering technical barriers, potentially empowering less-skilled individuals to experiment with sophisticated cyber-attack techniques. Alongside its promise, generative AI presents a spectrum of risks that demand careful consideration. | 生成的AIの多様性は、首尾一貫したテキストの作成、音楽の作曲、グラフィックのデザイン、人間の会話のシミュレーション、3Dオブジェクトの作成、科学的仮説の策定にまで及ぶ。その用途は多様な分野に及び、事業運営に新たな道を提供する。しかしこの技術革新は、技術的な障壁を低くすることで既存のサイバーセキュリティ・リスクを増幅させ、スキルの低い個人でも高度なサイバー攻撃技術を試すことができるようになる可能性がある。生成的AIは、その将来性とともに、慎重な検討を要するさまざまなリスクを提示している。 |
| Generative AI’s capabilities can scale up reconnaissance to an unimaginable level and scope. The planetary-scale collection and processing of data can provide rapid, multidimensional, and multi-planar insights useful for launching future campaigns. The attack surface will grow exponentially due to Large Language Models (LLMs). It also raises some data protection related concerns and risks. The need for extensive datasets, often containing personal information, heightens the risk of data exposure and unauthorized access. The complex value chain of stakeholders and the diversity of use cases where such models can be utilized, also make it difficult to define concrete measures to adhere to data protection principles. At the output generation layer, biased training data may perpetuate discrimination against individuals and the threat of hallucinations in a model can lead to factually inaccurate inferences. | 生成的AIの能力は、想像を絶するレベルと範囲まで偵察を拡大することができる。惑星規模のデータ収集と処理により、将来のキャンペーン開始に有用な多次元的かつ多平面的な洞察を迅速に提供することができる。大規模言語モデル（LLM）により、攻撃対象は指数関数的に拡大する。また、データ保護に関する懸念やリスクも生じる。多くの場合個人情報を含む膨大なデータセットが必要となるため、データのエクスポージャーや不正アクセスのリスクが高まる。利害関係者の複雑なバリューチェーンや、このようなモデルが利用されるユースケースの多様性も、データ保護の原則を遵守するための具体的な対策を定義することを難しくしている。出力生成レイヤーでは、バイアスされたトレーニングデータが個人に対する識別的差別を永続させる可能性があり、モデル内の幻覚の脅威が事実と異なる推論を導く可能性がある。 |
| These cybersecurity and privacy implications underscore the importance of thoughtful regulation and proactive measures in leveraging generative AI responsibly. | こうしたサイバーセキュリティとプライバシーへの影響は、生成的AIを責任を持って活用する上で、思慮深い規制と事前対策の重要性を強調している。 |
| HISTORICAL EVOLUTION: | 歴史的な進化 |
| From Probabilistic to Generative Models | 確率的モデルから生成的モデルへ |
| AI encompasses the capability of computers to mimic human behaviors. Within AI, Machine Learning (ML) employs mathematical methods to enhance computer performance through data-driven learning. Deep Learning (DL) utilizes layered neural networks for computation, aiming to enable computers to learn and make intelligent decisions autonomously. This advancement in AI has revolutionized the ability of machines to perform complex tasks previously reserved for humans. | AIには、人間の行動を模倣するコンピュータの能力が含まれる。AIの中でも機械学習（ML）は、データ駆動型の学習を通じてコンピュータの性能を向上させる数学的手法を採用している。ディープラーニング（DL）は、コンピュータが自律的に学習し、インテリジェントな意思決定を行えるようにすることを目指し、計算のために階層化されたニューラルネットワークを利用する。このようなAIの進歩は、以前は人間にしかできなかった複雑な作業を機械が行う能力に革命をもたらした。 |
| AI’s journey traces back to machine learning attempts in the 1950s and 1960s, with Alan Turing’s milestone research, ‘Computing machinery and intelligence; which focused on the question, “Can machines think?” 2 | AIの歩みは、1950年代から1960年代にかけての機械学習の試みにまで遡る。アラン・チューリングの画期的な研究「計算機と知能」は、"機械は考えることができるのか？"という問いに焦点を当てたものだった。2 |
| Limited resources slowed progress until the 1990s and 2000s, when advanced hardware emerged. Generative AI surfaced with neural networks, emulating the human brain’s interconnected ‘neurons,’ recognizing patterns without explicit programming. Ian Goodfellow’s Generative Adversarial Network (GAN) in 2014 sparked the field’s growth, joined by models like Variational Autoencoders (VAEs) and Recurrent Neural Networks (RNNs), showcasing their content generation abilities. From basic language models to sophisticated content generators, generative AI evolved into an innovation powerhouse. Gartner predicts over 100 million people will be engaging robo-colleagues by 2026, thus transforming enterprise work.3 | 先進的なハードウェアが登場した1990年代から2000年代までは、限られた資源が進歩を遅らせていた。生成的AIは、人間の脳の相互接続された「ニューロン」をエミュレートし、明示的なプログラミングなしにパターンを認識するニューラルネットワークで登場した。2014年のイアン・グッドフェローの生成的敵対ネットワーク（GAN）がこの分野の成長の火付け役となり、変分オートエンコーダ（VAE）やリカレント・ニューラル・ネットワーク（RNN）といったモデルも加わり、コンテンツ生成能力を披露した。基本的な言語モデルから洗練されたコンテンツ生成器まで、生成的AIはイノベーションの大国へと進化した。ガートナーは、2026年までに1億人以上の人々がロボ同僚と関わるようになり、エンタープライズの仕事に変革をもたらすと予測している3。 |
| The roadmap below examines the development of AI over the last few decades and delves into the advancements which culminated into the age of generative AI that we are witnessing presently.4 | 以下のロードマップは、過去数十年にわたるAIの発展を検証し、我々が現在目撃している生成的AIの時代へと結実した進歩を掘り下げている4。 |
| The user interacts with the model by providing prompts, and the model leverages data from both cloud and on- premises sources. This data can be diverse, including text, images, speech, structured data, or signals, and is used for various tasks like question answering, language generation, sentiment analysis, and more. | ユーザーはプロンプトを提供することでモデルと対話し、モデルはクラウドとオンプレミスの両方のソースからデータを活用する。このデータは、テキスト、画像、音声、構造化データ、信号など多様であり、質問応答、言語生成、感情分析など、さまざまなタスクに使用される。 |
| The model comprises of two neural networks, Generator and Discriminator, engaged in an adversarial setup. This setup forms a zero-sum game, where the success of one network implies a loss for the other. The generator takes combined data from user prompts and training sources, creating synthetic output. This output is then fed into the discriminator, which acts as a binary classifier, distinguishing between real and synthetic sample The network continually strives to improve; the generator aims to create convincing fakes, while the discriminator sharpens its ability to differentiate real from fake. | このモデルは、生成と識別の2つのニューラルネットワークで構成され、生成的敵対的セットアップを行う。このセットアップはゼロサムゲームを形成し、一方のネットワークの成功は他方のネットワークの損失を意味する。生成器は、ユーザーのプロンプトとトレーニングソースから合成データを受け取り、合成出力を作成する。この出力は次に識別器に供給され、識別器は二値分類器として機能し、本物と合成サンプルを区別する。ネットワークは継続的に改善に努め、生成器は説得力のある偽物を作成することを目指し、識別器は本物と偽物を区別する能力を磨く。 |
| Implemented typically as Convolutional Neural Networks (CNNs), both the generator and discriminator often focus on image-related tasks. The goal is for the generator to craft samples that are indistinguishable from real ones, challenging not only the discriminator but also human observers. This competitive cycle updates each network, aiming for continuous performance enhancement. | 一般的には畳み込みニューラルネットワーク（CNN）として実装され、生成器と識別器の両方が画像関連のタスクに焦点を当てることが多い。目標は、生成器が本物のサンプルと見分けがつかないようなサンプルを作成し、識別器だけでなく人間の観察者にも挑戦させることである。この競争サイクルが各ネットワークを更新し、継続的な性能向上を目指す。 |
| Within the generator model, the training data undergoes processes like data ingestion, pre-processing, feature engineering, and monitoring. The inference output from this process is then fed into the discriminator model, where outputs undergo methods such as model serving, monitoring, management, and evaluation through repositories. The overall goal is to enhance the performance of the GenAI model in generating realistic outputs and effectively discerning between real and generated data. | 生成器モデル内では、学習データはデータの取り込み、事前処理、特徴エンジニアリング、モニタリングなどのプロセスを経る。このプロセスからの推論出力は識別的モデルに供給され、出力はリポジトリを通じてモデル提供、監視、管理、評価などの手法を受ける。全体的な目標は、現実的な出力を生成し、実データと生成データを効果的に識別するGenAIモデルの性能を強化することである。 |
| #bbbbb | 第1部：生成的AIのためのサイバーセキュリティの強化 |
| Exploring Cybersecurity Risks* | サイバーセキュリティのリスクを探る*。 |
| By 2026, over 80% of enterprises are projected to embrace GenAI, compared to a mere 5% in 2023 | 2023年にはわずか5％だったのに対し、2026年には80％以上のエンタープライズがGenAIを採用すると予測されている。 |
| The rapid adoption of LLMs and Generative AI (GenAI) is transforming businesses, promising significant advancements. However, unmanaged adoption of these technologies can pose serious cybersecurity risks. As their capabilities in cybersecurity evolve, a two-fold approach is crucial; first, understanding the inherent risks and second, developing robust strategies to mitigate them. | LLMと生成的AI（GenAI）の急速な導入は、ビジネスを変革し、大きな進歩を約束している。しかし、これらの技術の管理されない導入は、深刻なサイバーセキュリティ・リスクをもたらす可能性がある。サイバーセキュリティの能力が進化する中、2つのアプローチが重要である。第1に、内在するリスクを理解すること、第2に、リスクを軽減するための強固な戦略を策定することである。 |
| By 2026, over 80% of enterprises are projected to embrace GenAI, compared to a mere 5% in 20235. This rapid growth highlights the growing importance of Gen AI, but also underscores the need to address potential misuse. Malicious actors could weaponize LLMs for crafting sophisticated cyber-attacks, spreading misinformation, or even gaining unauthorized access to sensitive data. | 2035年にはわずか5％だったのに対し、2026年には80％以上のエンタープライズがGenAIを採用すると予測されている。この急成長は、Gen AIの重要性の高まりを浮き彫りにしているが、同時に潜在的な悪用に対処する必要性も強調している。悪意ある行為者はLLMを武器にして、巧妙なサイバー攻撃を仕掛けたり、誤情報を拡散したり、あるいは機密データに不正アクセスしたりする可能性がある。 |
| To navigate this complex landscape, we must delve deeper into the vulnerabilities associated with LLMs. These range from hardware and software vulnerabilities to user-level threats like misinformation and fraud. Recognizing these risks and proactively implementing strong cybersecurity measures is essential. | この複雑な状況を乗り切るためには、LLMに関連する脆弱性を深く掘り下げる必要がある。これらの脆弱性は、ハードウェアやソフトウェアの脆弱性から、誤情報や詐欺のようなユーザーレベルの脅威まで多岐にわたる。これらのリスクを認識し、強力なサイバーセキュリティ対策を積極的に実施することが不可欠である。 |
| Hardware-Level Threats | ハードウェアレベルの脅威 |
| Hardware attacks typically require physical access to devices. However, since LLMs cannot directly access physical devices, they can only interact with information associated with the hardware. Nevertheless, LLMs can inadvertently enable side- channel attacks, which involve analyzing unintentional information leaks from physical systems to infer secret information, such as cryptographic keys. | ハードウェア攻撃は通常、デバイスへの物理的なアクセスを必要とする。しかし、LLMは物理的なデバイスに直接アクセスできないため、ハードウェアに関連する情報としかやり取りできない。それにもかかわらず、LLMは不注意にもサイドチャンネル攻撃を可能にする可能性がある。サイドチャンネル攻撃とは、物理システムからの意図しない情報漏えいを分析し、暗号鍵などの秘密情報を推測することを含む。 |
| Operating System-Level Vulnerabilities | オペレーティング・システム・レベルの脆弱性 |
| LLMs operate at a high level of abstraction and primarily handle text-based input and output, lacking the necessary low- level system access for executing OS-level attacks. Nonetheless, they can be leveraged to analyze information obtained from operating systems, potentially aiding in the execution of such attacks. | LLMは高い抽象度で動作し、主にテキストベースの入出力を処理するため、OSレベルの攻撃を実行するために必要な低レベルのシステムアクセスが欠けている。それにもかかわらず、オペレーティング・システムから得た情報を分析するために活用することができ、そのような攻撃の実行を助ける可能性がある。 |
| Software-Level Exploits | ソフトウェアレベルの攻撃 |
| LLMs have been employed in software attacks, for instance, creating malware. Malicious developers can utilize LLMs like ChatGPT to distribute undetected malicious software or create various types of malwares, including ransomware, worms, keyloggers, and fileless malware. | LLMは、例えばマルウェアの作成など、ソフトウェア攻撃にも利用されている。悪意のある開発者は、ChatGPTのようなLLMを利用して、検知されずに悪意のあるソフトウェアを配布したり、ランサムウェア、ワーム、キーロガー、ファイルレス・マルウェアなど、さまざまな種類のマルウェアを作成したりすることができる。 |
| Network-Level Risks | ネットワークレベルのリスク |
| LLMs can be utilized to initiate network attacks, such as phishing. Modifying inputs to LLMs like ChatGPT can influence the content of generated emails, making them more convincing. | LLMは、フィッシングなどのネットワーク攻撃を開始するために利用することができる。ChatGPTのようなLLMへの入力を変更することで、生成されるメールの内容に影響を与え、より説得力のあるものにすることができる。 |
| User-Level Threats | ユーザーレベルの脅威 |
| LLMs can generate highly convincing yet deceptive content, posing risks in various user interactions: | LLMは非常に説得力のある、しかし欺瞞的なコンテンツを生成することができ、様々なユーザーとのやり取りにおいてリスクをもたらす： |
| > Misinformation: Synthetic content generated by LLMs raises concerns about the integrity of online information. For example, deepfakes are fabricated videos and audios that manipulate public opinion, along with fake news and social media bots. | > 誤情報：LLMによって生成された合成コンテンツは、オンライン情報の完全性に懸念を抱かせる。例えば、世論を操作する動画や音声を捏造するディープフェイクや、フェイクニュース、ソーシャルメディア上のボットなどがある。 |
| > Social Engineering: Well-trained LLMs can infer personal attributes from text and extract sensitive information from seemingly innocuous queries. For example, phishing emails, impersonation (LLMs mimic writing styles to impersonate real people online for malicious purposes), and spam and comment flooding (overwhelming platforms with irrelevant content drowns out legitimate communication). | > ソーシャル・エンジニアリング： よく訓練されたLLMは、テキストから個人の属性を推測し、一見無害なクエリから機密情報を抽出することができる。例えば、フィッシングメール、なりすまし（LLMは文体を模倣し、悪意のある目的でオンライン上の実在の人物になりすます）、スパムやコメントの氾濫（無関係なコンテンツでプラットフォームを圧倒し、正当なコミュニケーションをかき消す）などがある。 |
| > Fraud: Tools like FraudGPT and WormGPT operate similarly to ChatGPT but lack safety controls and are sold on the dark web. They enable cybercriminals to create fraudulent emails, plan attacks, and execute Business Email Compromise (BEC) attacks. | > 詐欺： FraudGPTやWormGPTのようなツールはChatGPTと似たような動作をするが、安全制御がなく、ダークウェブで販売されている。これらのツールは、サイバー犯罪者が詐欺メールを作成し、攻撃を計画し、BEC（Business Email Compromise）攻撃を実行することを可能にする。 |
| The capabilities of LLMs to produce realistic text and mimic human behavior pose challenges to traditional defense mechanisms, such as CAPTCHA challenges, and increase the risk of fingerprinting attacks. These cybersecurity risks highlight the importance of implementing robust measures to mitigate potential threats associated with generative AI technologies. | リアルなテキストを作成し、人間の行動を模倣するLLMの機能は、CAPTCHAチャレンジのような従来の防御メカニズムに課題をもたらし、フィンガープリンティング攻撃のリスクを増大させる。こうしたサイバーセキュリティのリスクは、生成的AI技術に関連する潜在的脅威を軽減するための強固な対策を導入することの重要性を浮き彫りにしている。 |
| Understanding Vulnerabilities and Threats | 脆弱性と脅威を理解する |
| Now that we’ve explored the broader cybersecurity risks associated with Generative AI, let’s shift our focus to understand the vulnerabilities and threats specific to LLMs. These vulnerabilities pertain to weaknesses inherent to LLMs, such as susceptibility to adversarial attacks or unintended biases in generated content. It’s important to distinguish these model-specific concerns from the broader spectrum of cybersecurity risks arising from the deployment and utilization of various generative AI technologies. | 生成的AIに関連する広範なサイバーセキュリティ・リスクを探ったところで、LLMに特有の脆弱性と脅威を理解することに焦点を移そう。これらの脆弱性は、敵対的攻撃に対する感受性や、生成されたコンテンツにおける意図しないバイアスなど、LLMに固有の脆弱性に関係する。このようなモデル固有の懸念は、様々な生成的AI技術の導入と活用から生じる広範なサイバーセキュリティリスクとは区別することが重要である。 |
| AI Inherent Vulnerabilities and Threats | AI固有の脆弱性と脅威 |
| It refers to vulnerabilities and threats inherent to LLMs. For instance, attackers might manipulate input data to produce incorrect or undesired outputs from the LLM. | LLMに固有の脆弱性と脅威を指す。例えば、攻撃者は入力データを操作して、LLMから正しくない、あるいは望ましくない出力を生成する可能性がある。 |
| > Adversarial Attacks: These involve intentional manipulation or deception of machine learning models, exploiting vulnerabilities in the model’s behavior for malicious purposes. | > 敵対的攻撃： 機械学習モデルを意図的に操作または欺くことで、悪意のある目的のためにモデルの動作の脆弱性を悪用する。 |
| > Data Poisoning: Attackers influence the training process by inserting malicious data into the training dataset, compromising pre-trained models through methods such as injecting poisoned content. | > データ・ポイズニング： 悪意のあるデータを学習データセットに挿入することで学習プロセスに影響を与え、ポイズニングされたコンテンツを注入するなどの方法で事前学習モデルを危険にさらす。 |
| > Backdoor Attacks: Malicious manipulation of training data and model processing creates vulnerabilities where hidden backdoors can be embedded, altering specific behaviors or responses when triggered.i | > バックドア攻撃： バックドア攻撃：訓練データとモデル処理を悪意を持って操作することで、隠れたバックドアを埋め込むことができる脆弱性を作り出し、トリガーされたときの特定の動作や応答を変更する。 |
| > Inference Attacks: Adversaries attempt to extract sensitive information about a machine learning model or its training data by making specific queries or observations, exploiting unintended information leakage from the responses. | > 推論攻撃： 抽出攻撃：特定のクエリや観測を行うことで、機械学習モデルやその学習データに関するセンシティブな情報を抽出しようとするもので、レスポンスからの意図しない情報漏えいを悪用する。 |
| > Extraction Attacks: Adversaries extract sensitive information or insights directly from machine learning models or their associated data, aiming to acquire specific resources or confidential information.iii | > 抽出攻撃： 抽出攻撃：機械学習モデルやその関連データから機密情報や洞察を直接抽出し、特定のリソースや機密情報の取得を狙う。 |
| > Bias and Unfairness Exploitation: This concerns prejudiced outcomes or discriminatory behaviors exhibited by LLMs, which have raised ethical and societal concerns. | > バイアスと不正の搾取： 偏見と不公正の悪用：これはLLMが示す偏見に満ちた結果や差別的行動に関するもので、倫理的・社会的な懸念を引き起こしている。 |
| > Instruction Tuning: LLMs are fine-tuned for specific tasks by providing explicit instructions or examples, which can be exploited to reveal vulnerabilities or limitations. | > 指導の調整： LLMは、明示的な指示や例をプロバイダに提供することで、特定のタスクのために微調整されており、これを悪用して脆弱性や限界を明らかにすることができる。 |
| > Jailbreaking: Bypassing security features to enable responses to restricted or unsafe queries, unlocking capabilities typically limited by safety protocols. | > 脱獄： セキュリティ機能を迂回し、制限されたクエリや安全でないクエリに応答できるようにする。 |
| > Prompt Injection: Manipulating LLM's behavior to elicit unexpected and potentially harmful responses by crafting input prompts to bypass safeguards. | > プロンプト・インジェクション： プロンプト・インジェクション：LLMの動作を操作し、入力プロンプトを細工してセーフガードを迂回させることで、予期しない有害な応答を引き出す。 |
| Non-AI Inherent Vulnerabilities and Threats | 非AI固有の脆弱性と脅威 |
| It encompasses external threats and new vulnerabilities not typically observed or investigated in traditional AI models. | 従来のAIモデルでは通常観察も調査もされなかった外部からの脅威や新たな脆弱性が含まれる。 |
| > Remote Code Execution (RCE): RCE attacks, though not directly targeting LLMs, pose a significant threat. Exploiting vulnerabilities in web services or platforms where LLMs are integrated, attackers could execute arbitrary code remotely, compromising LLM environments. | > リモートコード実行（RCE）： リモート・コード実行（RCE）：LLMを直接標的とするものではないが、RCE攻撃は重大な脅威となる。LLMが統合されたウェブサービスやプラットフォームの脆弱性を悪用し、攻撃者がリモートで任意のコードを実行し、LLM環境を侵害する可能性がある。 |
| > Side Channel Vulnerabilities: While LLMs don’t typically leak information through traditional side channels, they are vulnerable to certain side-channel attacks in practical scenarios. Privacy side-channel attacks, for instance, exploit system-level components to extract private information at a higher rate. | > サイドチャンネル脆弱性： LLMは通常、伝統的なサイドチャンネルを通じて情報を漏らすことはないが、実用的なシナリオでは特定のサイドチャンネル攻撃に対して脆弱性がある。例えば、プライバシーのサイドチャンネル攻撃は、システムレベルのコンポーネントを悪用して、より高い確率で個人情報を抽出する。 |
| > Insecure Plugins: Third-party plugins, while enhancing LLM functionality, introduce security risks. Concerns include the potential for stealing sensitive data or executing malicious code. OAuth usage in plugins further amplifies these vulnerabilities. | > 安全でないプラグイン： サードパーティ製プラグインは、LLMの機能を強化する一方で、セキュリティリスクをもたらす。機密データを盗んだり、悪意のあるコードを実行したりする可能性が懸念される。プラグインにおけるOAuthの使用は、これらの脆弱性をさらに増幅させる。 |
| i Both backdoor attacks and data poisoning attacks involve the manipulation of machine learning models, which can encompass the manipulation of inputs. However, the crucial difference lies in the fact that backdoor attacks concentrate on embedding concealed triggers within the model to influence particular behaviors or responses upon trigger activation. | i バックドア・ポイズニング攻撃もデータ・ポイズニング攻撃も、機械学習モデルの操作を伴う。しかし、決定的な違いは、バックドア攻撃が、トリガー起動時に特定の動作や反応に影響を与えるために、モデル内に隠されたトリガーを埋め込むことに集中しているという事実にある。 |
| ii In Attribute Inference Attacks, the attacker seeks to infer sensitive or personal information about individuals or entities by scrutinizing the behavior or responses of machine learning models. Membership inference Attacks aim to ascertain whether a data record was included in a model’s training dataset, utilizing either white-box or black-box access to the model and the specific data record. | ii 属性推論攻撃では、攻撃者は機械学習モデルの動作や応答を精査することで、個人や事業体に関する機密情報や個人情報を推論しようとする。メンバーシップ推論攻撃は、あるデータレコードがモデルのトレーニングデータセットに含まれ ているかどうかを確認することを目的とし、モデルおよび特定のデータレコードへのホワイトボッ クスまたはブラックボックスアクセスを利用する。 |
| iii Extraction attacks strive to directly obtain specific resources like model gradients, training data, or confidential information. In contrast, inference attacks aim to glean knowledge or insights about the characteristics of the model or data, typically by observing the responses or behavior of the model. This encompasses various techniques such as model theft attacks, gradient leakage, and extraction of training data. | iii 抽出攻撃は、モデルの勾配、トレーニングデータ、機密情報などの特定のリソースを直接取得することを目的とする。これとは対照的に、推論攻撃はモデルやデータの特性に関する知識や洞察を得ることを目的とする。これには、モデル盗用攻撃、勾配リーク、学習データの抽出など、さまざまな手法が含まれる。 |
| Navigating Unmanaged Adoption: Generative AI in Enterprise Context | アンマネージド・アダプションをナビゲートする： エンタープライズにおける生成的AI |
| Nearly half (48%) of the organizations do not have specific guidelines and/or policies put into effect yet for responsible AI.6 | 半数近く（48％）の組織は、責任あるAIに関する具体的なガイドラインやポリシーをまだ導入していない6。 |
| Generative AI serves as a catalyst for digital transformation, empowering businesses to make data-driven decisions, personalize customer experiences, and streamline operations. However, alongside harnessing the benefits of generative AI, understanding the cybersecurity landscape is essential to ensure the resilience and security of digital endeavors. | 生成的AIはデジタルトランスフォーメーションの触媒として機能し、企業にデータ主導の意思決定、顧客体験のパーソナライズ、業務の効率化をもたらす。しかし、生成的AIの利点を活用すると同時に、サイバーセキュリティの状況を理解することは、デジタルの試みのレジリエンスとセキュリティを確保するために不可欠である。 |
| Let’s explore the taxonomy of LLMs within the enterprise context. | エンタープライズの文脈におけるLLMの分類法を探ってみよう。 |
| > Third-party LLMs: These are services provided by external entities for end- user consumption. Examples include platforms like OpenAI, where businesses can leverage pre-trained models to enhance their operations. | > サードパーティLLM： サードパーティLLM：エンドユーザーが利用するために外部の事業体が提供するサービスである。例としては、OpenAIのようなプラットフォームがあり、企業は事前学習モデルを活用して業務を強化することができる。 |
| > Consumer LLMs: Organizations that develop generative AI as a service fall into this category. They build and offer generative AI capabilities to consumers or other businesses as part of their products or services. | > 消費者向けLLM： 生成的AIをサービスとして開発する組織がこのカテゴリーに入る。生成的AI機能を構築し、製品やサービスの一部として消費者や他の企業に提供する。 |
| > Employee LLMs: These are deployed internally within an organization and are tailored to specific departments or functions. Employee LLMs utilize organization-specific data to facilitate seamless intra-organizational communication and workflow optimization. | > 従業員向けLLM： 組織内部で展開され、特定の部署や機能に特化した機能である。従業員LLMは組織固有のデータを活用し、組織内のシームレスなコミュニケーションとワークフローの最適化を促進する。 |
| Building Cyber-Resilient Enterprises: Key Security Considerations for Generative AI Adoption | サイバーレジリエンス企業の構築： 生成的AI導入におけるセキュリティ上の主な考慮事項 |
| Enterprises must prioritize the adoption of a proactive and comprehensive approach to cybersecurity to safeguard their digital assets, protect sensitive information, and maintain the trust of their stakeholders. | エンタープライズは、デジタル資産を保護し、機密情報を保護し、ステークホルダーの信頼を維持するために、サイバーセキュリティに対するプロアクティブかつ包括的なアプローチを採用することを優先しなければならない。 |
| Security governance has come to the point that cyber issues must be managed in real time, while also guaranteeing productivity and efficiency and assuring compliance with stringent regulations. | セキュリティ・ガバナンスは、サイバー問題をリアルタイムで管理すると同時に、生産性と効率性を保証し、厳しい規制へのコンプライアンスを保証しなければならないところまで来ている。 |
| > Robust Governance Frameworks: Implement clear and comprehensive governance frameworks that define acceptable use policies for generative AI models across the organization. This framework should address: | > 強固なガバナンスの枠組み： 組織全体で生成的AIモデルの許容される使用ポリシーを定義する明確かつ包括的なガバナンスの枠組みを導入する。このフレームワークでは、以下を取り上げる必要がある： |
| • Authorized Users: Clearly define which roles and departments are permitted to use generative models, ensuring responsible access and usage. | ・認可ユーザー: 生成的モデルの使用を許可される役割と部門を明確に定義し,責任あるアクセスと使用を保証する。 |
| • Automation Scope: Specify the specific processes and tasks where generative AI can be used for automation or enhancement, ensuring alignment with organizational goals and risk tolerance. | ・自動化の範囲: 生成的AIを自動化または強化のために使用できる特定のプロセスおよびタスクを特定し,組織の目標およびリスク許容度との整合性を確保する。 |
| • Data Access Controls: Establish clear guidelines on which internal applications and data sets are accessible to these models, and how they can be used. This minimizes the risk of unauthorized access or misuse. | ・データアクセス管理者: どの社内アプリケーションとデータセットがこれらのモデルにアクセス可能で,どのように使用できるかについて明確なガイドラインを確立する。これにより,不正アクセスや悪用のリスクを最小限に抑えることができる。 |
| • Clear Disclosures: Establish a policy requiring employees to disclose when internal or external work products are created in whole or part by generative AI tools. This transparency helps build trust, identify potential risks, and ensure compliance. | ・明確な情報開示: 生成的AIツールによって社内または社外の成果物の全部または一部が作成された場合,従業員に開示することを義務付ける方針を確立する。この透明性は,信頼の構築,潜在的リスクの特定,コンプライアンスの確保に役立つ。 |
| > Zero-Trust Platforms: Implement zero- trust platforms with anomaly detection to proactively identify and mitigate threats, lowering the risk of breaches. | > ゼロトラスト・プラットフォーム：異常検知機能を備えたゼロ・トラスト・プラットフォームを導入することで、脅威をプロアクティブに特定・緩和し、侵害リスクを低減する。 |
| > Prompt Scrutiny: Carefully review prompts used in generative AI platforms to prevent accidental disclosure of intellectual property or sensitive information. | > プロンプトの精査： 生成的AIプラットフォームで使用されるプロンプトを慎重に見直し、知的財産や機密情報の偶発的な漏洩を防ぐ。 |
| > Enhanced Controls: Deploy encryption and access controls to secure data, preventing unauthorized access and breaches. Regular audits and risk assessments ensure secure endpoints and compliance with security protocols. | > コントロールの強化： データの安全性を確保するために暗号化とアクセス管理を導入し、不正アクセスや侵害を防ぐ。定期的な監査とリスクアセスメントにより、安全なエンドポイントとセキュリティプロトコルの遵守を確保する。 |
| > Employee Training: Provide comprehensive training on responsible AI use, empowering employees to understand and mitigate data privacy and security risks. Encourage critical evaluation of outputs and adherence to best practices. | > 従業員トレーニング： 責任あるAIの使用に関する包括的なトレーニングをプロバイダに提供し、従業員がデータ・プライバシーとセキュリティのリスクを理解し、軽減できるようにする。アウトプットの批判的評価とベストプラクティスの遵守を奨励する。 |
| > Regulatory Compliance: Stay updated on data privacy regulations like DPDPA, GDPR, CPRA, and industry-specific requirements. | > 規制の遵守： DPDPA、GDPR、CPRA、業界固有の要件など、データ・プライバシー規制に関する最新情報を常に入手する。 |
| > Cybersecurity Investments: | > サイバーセキュリティへの投資： |
| • Robust Tools: Invest in robust cybersecurity solutions to protect generative AI models and technologies from cyber threats. Configure network security tools effectively, considering generative AI models as part of the attack surface for data protection. | ・堅牢なツール: 生成的AIモデルとテクノロジーをサイバー脅威から守るために,堅牢なサイバーセキュリティ・ソリューションに投資する。生成的AIモデルをデータ保護のための攻撃対象の一部と考え,ネットワークセキュリティツールを効果的に構成する。 |
| • Privacy-Enhancing Technologies (PETs): Explore traditional PETs like zero-knowledge proofs, differential privacy, and federated learning to address privacy challenges posed by LLMs. Consider innovative PETs techniques as well to tackle these concerns effectively. | ・プライバシー強化技術(PETs): ゼロ知識証明,差分プライバシー,連合学習など従来のPETを探求し,LLMがもたらすプライバシーの課題に対処する。これらの懸念に効果的に取り組むために,革新的なPETs技術も検討する。 |
| > Prefer First-Party Data; Otherwise, Responsibly Source Third-Party Data: Knowing the origin of your input data is crucial for using generative models in business. Prioritize using your organization’s data whenever possible. Ensure proper authorization if you need to use third-party data. Investigate how suppliers source their data and avoid those lacking transparency to mitigate legal risks. | > ファーストパーティのデータを優先し、そうでなければサードパーティのデータを責任を持ってソースとする： 入力データの出所を知ることは、生成的モデルをビジネスで使用する上で極めて重要である。可能な限り、組織のデータを使用することを優先する。サードパーティーのデータを使用する必要がある場合は、適切な認可を確保する。サプライヤーがどのようにデータを調達しているかを調査し、法的リスクを軽減するために透明性に欠けるサプライヤーは避ける。 |
| Technical Controls | 技術的コントロール |
| As discussed earlier, the widespread adoption of LLMs and generative AI presents exciting possibilities but also raises critical security concerns. Unlike traditional software, these evolving models are susceptible to manipulation and misuse. | 先に述べたように、LLMと生成的AIの広範な採用は、エキサイティングな可能性をもたらすが、同時に重大なセキュリティ上の懸念も引き起こす。従来のソフトウェアとは異なり、これらの進化するモデルは操作や悪用の影響を受けやすい。 |
| This section further explores crucial technical controls that organizations can employ to safeguard generative AI, thus promoting trust and upholding responsible utilization of these potent technologies. | このセクションでは、生成的AIを保護するために組織が採用できる重要な技術的管理についてさらに検討し、その結果、信頼を促進し、これらの強力なテクノロジーの責任ある利用を支持する。 |
| > ISO 27032: The principles outlined in ISO 27032 can be effectively applied to LLM security through the following practices: | > ISO 27032：ISO 27032に概説されている原則は、以下の実践を通じてLLMのセキュリティに効果的に適用することができる： |
| i Risk Assessment: Conduct a thorough evaluation to identify potential vulnerabilities and threats specific to generative AI models, data, and workflows. Utilize the guidance to develop a detailed risk management plan that outlines strategies to mitigate these identified risks. | i リスクアセスメント： リスク評価：生成的AIモデル、データ、ワークフローに特有の潜在的脆弱性と脅威を特定するために徹底的な評価を行う。ガイダンスを活用して、特定されたリスクを軽減するための戦略を概説する詳細なリスクマネジメント計画を策定する。 |
| ii Security Policies: Develop clear and concise security policies governing the use of LLMs and generative AI, ensuring they align with the organization’s overall risk management strategy. The framework can guide the development of these policies, ensuring they address the unique security considerations of LLMs. | ii セキュリティ方針： LLM及び生成的AIの使用を統制する明確かつ簡潔なセキュリティポリシ ーを策定し、組織の全体的なリスクマネジメント戦略との整合性を確保する。フレームワークは、これらのポリシーの策定をガイドし、LLM 特有のセキュリ ティ上の考慮事項に確実に対処できるようにする。 |
| iii Effective Incident Management: Establish a well-defined incident management plan to effectively respond to security incidents involving LLMs. It provides guidance on developing and implementing such a plan, minimizing the impact of potential attacks and enabling a swift recovery process. | iii 効果的なインシデント管理を行う： LLM が関与するセキュリティインシデントに効果的に対応するために、明確なインシデント管 理計画を策定する。本書は、このような計画の策定と実施に関するガイダンスを提供し、潜在的な攻撃の影響を最小化し、迅速な復旧プロセスを可能にする。 |
| > MITRE ATT & CK and ATLAS: It offers valuable resources for understanding and mitigating threats specific to machine learning systems. By mapping the LLM’s security strategy to these frameworks, organizations can identify areas where existing security processes, such as API security standards, adequately address potential vulnerabilities. This mapping exercise also highlights gaps in security controls, allowing organizations to prioritize and implement necessary safeguards.7 | > MITRE ATT & CK and ATLAS：機械学習システム特有の脅威を理解し、軽減するための貴重なリソースを提供する。LLMのセキュリティ戦略をこれらのフレームワークにマッピングすることにより、組織は、APIセキュリティ標準などの既存のセキュリティプロセスが潜在的な脆弱性に適切に対処している領域を特定することができる。また、このマッピング作業によって、セキュリティ管理におけるギャップが浮き彫りになり、組織は必要な保護措置に優先順位をつけて実施することができるようになる7。 |
| > THE NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST) | > 国立標準技術研究所（National Institute of Standards and Technology：NIST） |
| The National Institute of Standards and Technology (NIST) has developed a classification and vocabulary for adversarial machine learning threats and countermeasures.8 This resource is intended for those involved in various aspects of AI, including design, development, deployment, evaluation, and governance. The classification system is structured across five key aspects: the type of AI system (Predictive or Generative), the phase of the machine learning lifecycle where attacks take place, the objectives of the attacker, the capabilities of the attacker, and the attacker’s knowledge of the learning process. | 国立標準技術研究所（NIST）は、敵対的な機械学習の脅威と対策に関する分類と語彙を開発した8。このリソースは、設計、開発、展開、評価、ガバナンスなど、AIの様々な側面に携わる人々を対象としている。この分類システムは、AIシステムのタイプ（予測的か生成的か）、攻撃が行われる機械学習ライフサイクルのフェーズ、攻撃者の目的、攻撃者の能力、学習プロセスに関する攻撃者の知識という5つの重要な側面にわたって構成されている。 |
| Lastly, national and international standard-setting organizations should prioritize the development of robust evaluation criteria for LLMs, with a focus on ensuring the diversity of corpora used in training, transparency in model operations, accuracy of outputs, and the implementation of rigorous data security measures. | 最後に、国内外の標準策定機関は、学習に使用するコーパスの多様性、モデル運用の透明性、出力の正確性、厳格なデータセキュリティ対策の実施に重点を置き、LLMの強固な評価基準の策定を優先すべきである。 |
| Cybersecurity Leaders Toolkit | サイバーセキュリティ・リーダーズ・ツールキット |
| The emergence of generative AI demands a swift and decisive response from cybersecurity leaders. It’s no longer a distant threat, but a pressing concern requiring immediate attention. Here’s a proactive approach to mitigate risks. | 生成的AIの出現は、サイバーセキュリティのリーダーたちに迅速かつ断固とした対応を求めている。もはや遠い脅威ではなく、早急な対応が必要な喫緊の課題なのだ。ここでは、リスクを軽減するためのプロアクティブなアプローチを紹介する。 |
| > Assess AI Exposure: | > AI のエクスポージャーを評価する： |
| Bring together cybersecurity, technology, data, and operations leaders for discussions at the board level regarding emerging risks associated with generative AI. Address potential vulnerabilities that could lead to unauthorized access or exposure of sensitive data due to adversarial AI techniques. | サイバーセキュリティ、テクノロジー、データ、運用のリーダーを集め、生成的AIに関連する新たなリスクについて取締役会レベルで議論する。敵対的なAI技術による不正アクセスや機密データのエクスポージャーにつながる可能性のある脆弱性に対処する。 |
| > Secure the AI Pipeline: | > AIパイプラインを保護する： |
| Prioritize the security and encryption of data used in training and fine-tuning AI models. Continuous monitoring for vulnerabilities, malware, and data corruption throughout the model development process and post- deployment to detect and mitigate AI- specific attacks. | AIモデルのトレーニングと微調整に使用するデータのセキュリティと暗号化を優先する。脆弱性、マルウェア、データ破損をモデル開発プロセスからデプロイ後まで継続的に監視し、AI特有の攻撃を検知・軽減する。 |
| > Invest in Specialized Defenses: | > 専門的な防御策に投資する： |
| While existing security measures can extend to protect AI infrastructure and data, combating adversarial attacks on AI models requires innovative defense strategies. | 既存の防御策でAIのインフラやデータを保護することは可能だが、AIモデルに対する敵対的な攻撃には革新的な防御戦略が必要である。 |
| Assess the necessity of AI adoption and its suitability for addressing specific problems. | AI導入の必要性と、特定の問題に対処するための適合性を評価する。 |
| Checklist for AI Adoption | AI導入のためのチェックリスト |
| > Evaluate the impact on privacy and confidentiality and ensure compliance with governance and contingency measures. | > プライバシーと機密性への影響を評価し、ガバナンスと不測の事態への対策を遵守する。 |
| > Determine the readiness of the organization for AI implementation, including in-house expertise and data quality. | > 社内の専門知識やデータの質など、AI導入に対する組織の準備態勢を見極める。 |
| > Establish criteria for vetting AI providers and integrating AI solutions into existing enterprise workflows. | > AIプロバイダを吟味し、AIソリューションを既存のエンタープライズ・ワークフローに統合するための基準を確立する。 |
| Checklist for Generative AI Solution Providers | 生成的AIソリューションプロバイダーのチェックリスト |
| Could the solution provider furnish detailed insights into their data management protocols, specifically regarding how they handle data access and transmission beyond our organizational boundaries? It’s crucial to understand how they safeguard organization’s data, especially when it’s accessed or transferred beyond our control. | ソリューション・プロバイダーは、自社のデータ管理プロトコル、特に組織境界を超えたデータ・アクセスやデータ送信の扱い方について、詳細な洞察を提供できるか？特に、組織の境界を越えてデータにアクセスしたり転送したりする場合に、組織のデータをどのように保護するのかを理解することは極めて重要だ。 |
| What security measures and performance metrics does the solution provider adhere to? Are there any peer-reviewed assessments available that attest to the effectiveness of their security protocols? Furthermore, how seamlessly can their solutions integrate with third-party security tools? This information is vital for ensuring the compatibility and effectiveness of their security measures within the organization’s existing infrastructure. | プロバイダはどのようなセキュリティ対策とパフォーマンス指標を遵守しているか？そのセキュリティ・プロトコルの有効性を証明するような、ピアレビューを受けた評価はあるか？さらに、そのソリューションはサードパーティ製セキュリティ・ツールとどの程度シームレスに統合できるのか。この情報は、組織の既存インフラにおけるセキュリティ対策の互換性と有効性を確保するために不可欠である。 |
| Equipping Teams to Manage Generative AI: A Proactive Approach | チームが生成的AIを管理できるようにする：プロアクティブなアプローチ |
| > Mapping the AI Landscape: | > AI ランドスケープをマッピングする： |
| i Unveiling Usage: Utilize audits, surveys, and endpoint monitoring tools to uncover who’s using AI and for what purposes. | i 利用状況を明らかにする： 監査、調査、エンドポイント監視ツールを活用し、誰がどのような目的でAIを使用しているかを明らかにする。 |
| ii Demystifying the Need: Understand the driving force behind the demand for AI tools and their true value to your organization. | ii ニーズを解明する： AIツールに対する需要の原動力と、組織にとっての真の価値を理解する。 |
| > Weighing Risks and Rewards: | > リスクとリターンを天秤にかける： |
| i Business Impact Assessment: Analyze each AI use case, meticulously weighing its benefits against potential security implications and privacy concerns. | i ビジネスインパクトの評価： 各AIユースケースを分析し、潜在的なセキュリティへの影響やプライバシーへの懸念と、その利点を綿密に比較検討する。 |
| ii Risk-Benefit Equation: Strike a balance between the advantages and potential risks, adjusting data access permissions as needed. | ii リスクと利益の方程式： 利点と潜在的リスクのバランスを取り、必要に応じてデータアクセス許可を調整する。 |
| > Building a Governance Framework: | > ガバナンスの枠組みを構築する： |
| i Policy Compliance: Ensure that AI practices strictly adhere to company policies and establish risk tolerance levels. | i ポリシーの遵守： iポリシーの遵守：AIの実践が企業ポリシーを厳密に遵守していることを確認し、リスク許容レベルを設定する。 |
| ii Controlled Experimentation: Create sandboxes for testing AI technologies and mitigating potential risks before real-time deployment. | ii 管理された実験： リアルタイムの展開前に、AIテクノロジーをテストし、潜在的なリスクを低減するためのサンドボックスを作成する。 |
| iii Supervised Exploration: Encourage supervised exploration of new AI use cases with controlled testing and rollout strategies. | iii 監視下の探索： 管理されたテストとロールアウト戦略により、新しいAIユースケースの監視下での探索を奨励する。 |
| > Keeping a Watchful Eye: Maintain vigilant monitoring of AI outputs, especially during the initial deployment phase. | > 監視の目を光らせる： 特に初期展開の段階では、AIのアウトプットを注意深く監視し続ける。 |
| > Collaborative Data Classification: Partner with CISOs, tech teams, and risk management experts to effectively classify data. Identify and isolate highly sensitive data, restricting access for AI tools. | > 共同データ分類： CISO、技術チーム、リスクマネジメントの専門家と連携し、データを効果的に分類する。機密性の高いデータを特定・隔離し、AIツールへのアクセスを制限する。 |
| > Data Integrity First: Implement robust data classification practices to enhance security and safeguard data integrity. | > データの完全性を第一に：セキュリティを強化し、データの完全性を保護するために、堅牢なデータ格付を実施する。 |
| > Validating the Code: | > コードを検証する： |
| i Security Scanners: Rigorously scan AI-generated coding outputs for any potential security vulnerabilities. | i セキュリティスキャナー： i セキュリティ・スキャナー：AIが生成したコーディング出力を厳密にスキャンし、潜在的なセキュリティ脆弱性を検出する。 |
| ii Validation Processes: Implement robust validation processes to effectively address and mitigate potential security threats. | ii 検証プロセス： 強固な検証プロセスを導入し、潜在的なセキュリティ脅威に効果的に対処し、軽減する。 |
| Considerations for Developers: Security Guardrails | 開発者への配慮 セキュリティ・ガードレール |
| Data Preparation | データの準備 |
| Corpora Cleaning: LLMs are molded by their training corpora, which dictate their behavior, concepts, and data distributions. Hence, the quality of training corpora profoundly impacts the safety of LLMs. However, raw corpora sourced from the web often contain issues of fairness, privacy, and credibility, necessitating careful curation. The figure below illustrates the data preprocessing steps in generative AI, each serving a specific purpose such as ensuring accurate language comprehension, filtering harmful content, addressing biases, safeguarding user privacy, and optimizing dataset efficiency for training. | コーパのクリーニング： LLMはトレーニング・コーパスによって形成され、その動作、概念、データ分布を決定する。したがって、トレーニング・コーパスの質はLLMの安全性に大きく影響する。しかし、ウェブから入手した生のコーパスには、公平性、プライバシー、信頼性の問題が含まれていることが多く、慎重なキュレーションが必要である。下図は、生成的AIにおけるデータの前処理ステップを示しており、それぞれ、正確な言語理解の確保、有害なコンテンツのフィルタリング、バイアスへの対処、ユーザーのプライバシーの保護、学習用データセットの効率の最適化など、特定の目的を果たすものである。 |
| Research Priorities: LLM developers should prioritize research in areas such as building easily maintainable models and evaluating model fitness for specific tasks. Robust training approaches, including adversarial training and robust finetuning, bolster model resilience against attacks and enhance defense mechanisms. | 研究の優先順位： LLMの開発者は、メンテナンスが容易なモデルの構築や、特定のタスクに対するモデルの適合性の評価といった分野の研究を優先すべきである。敵対的トレーニングやロバスト・ファインチューニングを含むロバスト・トレーニング・アプローチは、攻撃に対するモデルのレジリエンスを強化し、防御メカニズムを強化する。 |
| Inference Phase | 推論フェーズ |
| Instruction Processing (Pre-Processing): Pre-processing involves sanitizing user instructions to eliminate potentially malicious content or contexts, minimizing the risk of encountering adversarial inputs. | 命令処理（前処理）： 前処理では、悪意のある可能性のあるコンテンツやコンテキストを排除するために、ユーザー命令をサニタイズし、敵対的な入力に遭遇するリスクを最小限に抑える。 |
| Malicious Detection (In-Processing): Detecting anomalous patterns or indications of malicious intent within LLM computational processes enhances sensitivity and specificity in identifying harmful inputs. | 悪意のある検知プロセス（インプロセス）： LLMの計算プロセス内の異常なパターンや悪意の兆候を検知することで、有害な入力を特定する感度と特異性を高める。 |
| Generation Processing (Post-Processing): Evaluating the properties of generated outputs, including their potential for harm, allows for adjustments to mitigate identified risks before presenting responses to users, ensuring safety and appropriateness. | 生成的処理（後処理）： 生成された出力の特性を評価することで、有害の可能性を含め、ユーザーに応答を提示する前に識別されたリスクを軽減するための調整を行い、安全性と適切性を確保する。 |
| Fine-Tuning | 微調整 |
| Fine-tuning LLMs for specific tasks relies on developer judgment, potentially introducing biases and inefficiencies. In addition, democratizing fine-tuning poses risks of malicious input. | 特定のタスクのためにLLMを微調整することは、開発者の判断に依存し、バイアスや非効率性をもたらす可能性がある。さらに、微調整を民主化することは、悪意のある入力のリスクをもたらす。 |
| Robust documentation of the fine- tuning process, along with technical safeguards like data augmentation and transfer learning, can help mitigate these concerns and promote transparency and accountability. | 微調整プロセスの強固な文書化は、データ補強や転移学習などの技術的な安全策とともに、これらの懸念を軽減し、透明性と説明責任を促進するのに役立つ。 |
| Lack of Standardized Evaluation | 標準化された評価の欠如 |
| There’s no universal standard for assessing LLM outputs, making it difficult for third parties to evaluate performance objectively. Developers often conduct tests, but inconsistent disclosure of methodologies and results hinder transparency. | LLMの出力を評価するための普遍的な標準がないため、サードパーティがパフォーマンスを客観的に評価することが難しい。開発者はしばしばテストを実施するが、方法論や結果の開示に一貫性がなく、透明性を妨げている。 |
| Establishing a standardized evaluation framework is crucial to promote transparency by: | 標準的な評価の枠組みを確立することは、以下のような透明性を促進する上で極めて重要である： |
| i Disclosing evaluation methods and results. | i 評価方法と結果を開示する |
| ii Encouraging independent evaluations. | ii 独立した評価を奨励する |
| iii Fostering collaboration within the AI community to share best practices. | iii ベストプラクティスを共有するためにAIコミュニティ内での協力を促進する。 |
| Security Through Human Oversight | 人間の監視によるセキュリティ |
| Integrating Human-in-the-Loop (HITL) review strengthens security by leveraging human expertise. Humans can: | Human-in-the-Loop (HITL)レビューの統合は、人間の専門知識を活用することでセキュリティを強化する。人間は以下のことができる： |
| i Detect and rectify errors. | i エラーを検知し修正する。 |
| ii Alleviate biases. | ii バイアスを軽減する。 |
| iii Moderate unsuitable content. | iii 不適切なコンテンツを緩和する。 |
| iv Ensure legal compliance. | iv 法令遵守を保証する。 |
| v Manage contextual complexities. | v 状況の複雑さを管理する。 |
| vi Respond promptly to evolving situations. | vi 状況の変化に迅速に対応する。 |
| Responsible Practices of LLM and App Developers | LLMとアプリ開発者の責任ある行動 |
| Design for Specific Purposes: LLMs should be designed and evaluated for specific purposes rather than assumed to be universally applicable. Collaboration between app and LLM developers ensures responsible development and deployment. | 特定の目的のために設計する： LLMは、万能であることを前提とするのではなく、特定の目的のために設計され、評価されるべきである。アプリ開発者とLLM開発者が協力することで、責任ある開発と展開が保証される。 |
| Transparency and Limitations: LLM developers must be transparent about technology limitations, especially when discussing with app developers. App developers should avoid using LLMs for unsuitable tasks. They need to understand that LLMs may not accurately represent up- to-date language patterns or understand beyond language modeling. | 透明性と制限： LLM開発者は、特にアプリ開発者と議論する際、技術の限界について透明性を持たなければならない。アプリ開発者は、不適切なタスクにLLMを使用することを避けるべきである。LLMは最新の言語パターンを正確に表現していない可能性があることや、言語モデリングを超えた理解をしていない可能性があることを理解する必要がある。 |
| LLMs are trained on massive datasets like Common Crawl, which represent only a portion of websites and can contain inherent biases. This poses a risk of biased or harmful outputs without additional, carefully curated training. | LLMはCommon Crawlのような膨大なデータセットでトレーニングされるが、これはウェブサイトの一部しか代表者がおらず、固有のバイアスを含んでいる可能性がある。このため、注意深く調整された追加トレーニングなしでは、出力に偏りや有害性が生じるリスクがある。 |
| Tokenization, the process of breaking down text into units for analysis, can also influence LLM performance in unforeseen ways due to the chosen algorithm. Different approaches, like word-level or component- level tokenization, can have varying impacts. | トークン化（分析のためにテキストを単位に分解するプロセス）も、選択されたアルゴリズムによって、予期せぬ形でLLMの性能に影響を与える可能性がある。単語レベルのトークン化、コンポーネントレベルのトークン化など、アプローチの違いによって影響も様々だ。 |
| Ensuring the security of AI models is crucial in today’s rapidly evolving AI development landscape. By incorporating practices such as thorough threat modeling, secure coding, robust DevSecOps, data encryption, privacy engineering, secure computing, regular updates, strong authentication, adversarial training, and transparent model interpretation, developers can instill reliability and trustworthiness in their AI models. | AIモデルのセキュリティを確保することは、急速に進化する今日のAI開発状況において極めて重要である。徹底的な脅威モデリング、セキュアコーディング、堅牢なDevSecOps、データ暗号化、プライバシー・エンジニアリング、セキュア・コンピューティング、定期的なアップデート、強力な認証、敵対的トレーニング、透明性の高いモデル解釈などのプラクティスを取り入れることで、開発者はAIモデルに信頼性と信用性を植え付けることができる。 |
| As AI technology advances, a proactive stance on security becomes essential to tackle emerging threats and foster a safer and more secure AI-driven environment. | AI技術の進歩に伴い、新たな脅威に対処し、より安全でセキュアなAI駆動環境を育成するためには、セキュリティに対する積極的な姿勢が不可欠となる。 |
| PART II DATA PROTECTION STRATEGIES FOR GENERATIVE AI | パート II 生成的AIのためのデータ保護戦略 |
| Applicability of Data Protection Regulations and Principles to Generative AI | 生成的AIへのデータ保護規制と防御原則の適用可能性 |
| Generative AI models are trained on massive datasets which enables these AI models to undertake highly powerful processing activities. | 生成的AIモデルは膨大なデータセットで訓練されるため、これらのAIモデルは非常に強力な処理活動を行うことができる。 |
| Use of Personal Data in Training and Development | トレーニングと開発における個人データの使用 |
| Generative AI models are trained on massive datasets which enables these AI models to undertake highly powerful processing activities. The data pre- processing phase for developing a generative AI model may be understood to include three key elements; data collection and aggregation, data cleansing, and data scaling.9 It is during the data collection and aggregation stage that personal data may be incorporated into the learning process. | 生成的AIモデルは膨大なデータセットで訓練されるため、これらのAIモデルは非常に強力な処理活動を行うことができる。生成的AIモデルを開発するためのデータ前処理段階は、データの収集と集約、データのクレンジング、データのスケーリングの3つの重要な要素を含むと理解できる9。 |
| U.K. ICO’s infographic demonstrating the model development lifecycle for generative AI and the role of data at each step.10 | 英国ICOのインフォグラフィックは、生成的AIのモデル開発ライフサイクルと、各段階におけるデータの役割を示している10。 |
| For instance, the GPT-3.5 language processing model was reportedly trained on text databases including over 570 GB of data obtained from different types of written content on the internet.11 The GPT- 4 model was also trained on extensive volumes of data using both publicly available data (such as data available on the internet) and data licensed from third- party providers.12 Technical documentation of the GPT-4 model indicates that while attempts have been made to fine-tune models to reject requests requiring access to personal data and to remove personal data from training datasets, yet the model is susceptible to attempts for identifying individuals when its capabilities are augmented with external data points.13 | 例えば、GPT-3.5の言語処理モデルは、インターネット上の様々なタイプの文章コンテンツから得られた570GB以上のデータを含むテキストデータベースで学習されたと報告されている11。GPT-4モデルの技術文書によると、個人データへのアクセスを必要とする要求を拒否したり、学習データセットから個人データを削除したりするためにモデルの微調整が試みられているが、外部データポイントによってモデルの機能が強化された場合、個人を特定しようとする試みの影響を受けやすいことが示されている13。 |
| Publicly available datasets such as Common Crawl14, or Large-Scale Artificial Intelligence Open Network15 are also often used as part of the troves of training data required in the development phase of generative AI models. Web crawling and web scraping techniques may be leveraged to access and source data for AI training.16 | Common Crawl14やLarge-Scale Artificial Intelligence Open Network15のような一般に公開されているデータセットも、生成的AIモデルの開発段階で必要とされる学習データの山の一部としてしばしば使用される。ウェブクローリングやウェブスクレイピングの技術は、AIのトレーニング用データにアクセスし、それをソースとするために活用されることもある16。 |
| The legality of web scraping, and the use of publicly available personal data for training and development of AI models is a question which has not been answered determinatively. Across jurisdictions, in the past few years, consultations and investigations have been initiated to determine whether web scraping would qualify as lawful processing of personal data under the applicable data protection laws and regulations. | ウェブスクレイピングや、一般に公開されている個人データをAIモデルのトレーニングや開発に利用することの合法性については、決定的な答えが得られていない。ここ数年、管轄区域を問わず、適用されるデータ保護法や規制の下でウェブスクレイピングが個人データの合法的な処理として認められるかどうかを判断するための協議や調査が開始されている。 |
| For instance, in the European Union, United Kingdom, and Canada national data protection authorities have initiated investigations and consultations on the privacy implications of generative AI models, specifically on publicly available and consumer-facing LLMs. A brief description and timeline of these regulatory initiatives is given below. | 例えば、欧州連合（EU）、英国、カナダでは、各国のデータ保護当局が、生成的AIモデルのプライバシーへの影響、特に一般に利用可能で消費者向けのLLMに関する調査や協議に着手している。これらの規制当局の取り組みの簡単な説明とスケジュールを以下に示す。 |
| Garante, Italy (March, 2023) | イタリアのGarante（2023年3月） |
| In the absence of detailed information being provided to data subjects about personal data collected from them, and a lack of clarity surrounding the legal basis on which the data was being processed to train algorithms, ChatGPT was stopped from operating in Italy temporarily. | 収集された個人データに関する詳細な情報がデータ主体に提供されておらず、アルゴリズムを学習するためにデータが処理される法的根拠が明確でなかったため、ChatGPTはイタリアでの運営を一時的に停止した。 |
| Upon some measures being undertaken, access to the service was restored for Italian users in April 2023. | いくつかの措置が講じられた後、2023年4月にイタリアのユーザー向けにサービスへのアクセスが回復した。 |
| ‘Artificial Intelligence: stop to ChatGPT’, Garante Per La Protezione Dei Dati Personali, ‘Italy restores ChatGPT after OpenAI responds to regulator’, REUTERS, | 人工知能：ChatGPTの停止」、Garante Per La Protezione Dei Dati Personali、「イタリア、オープンAIが規制当局に対応後、ChatGPTを復旧」、REUTERS、 |
| CNIL, France (April, 2023) | フランスCNIL（2023年4月） |
| Upon receiving over five complaints, the French supervisory authority for data protection, CNIL, opened a formal investigation into ChatGPT. | フランスのデータ保護監督認可機関CNILは、5件以上の苦情を受け、ChatGPTに対する正式な調査を開始した。 |
| The basis of the complaints seemed to range from lack of transparency and fairness in data processing to the inability of the data subjects to exercise their right to access their personal data. | 苦情の根拠は、データ処理における透明性と公平性の欠如から、データ主体が個人データにアクセスする権利を行使できないことにまで及んでいるようだ。 |
| ‘Governments vs. ChatGPT: Investigations around the world’, DIPLO, ‘Artificial Intelligence: The action plan of the CNIL', CNIL. | ガバナンス対ChatGPT：世界中の調査」、DIPLO、「人工知能」： CNILの行動計画」、CNIL。 |
| DPC, Ireland (July, 2023) | アイルランド、DPC（2023年7月） |
| In July 2023, Google’s Bard was made available to users in the EU after initial delay because of the Irish Data Protection Commissioner’s concerns around the lack of transparency and the absence of appropriate data protection impact assessment documentation at the time. | 2023年7月、GoogleのBardは、アイルランドデータ保護委員会が透明性の欠如と適切なデータ保護影響評価文書が存在しないことを懸念したため、当初は遅れていたが、EU内のユーザーが利用できるようになった。 |
| While there is no publicly available information about a formal investigation, the European Data Protection Board’s (EDPB) taskforce will continue to examine the compliance of AI chatbots with data protection regulations. | 正式な調査に関する情報は公表されていないが、欧州データ保護委員会（EDPB）のタスクフォースは、AIチャットボットのデータ保護規制への準拠を引き続き調査する。 |
| ‘Google delays EU launch of its AI chatbot after privacy regulator raises concerns’, TECH CRUNCH, ‘Google’s Bard and other AI chatbots remain under privacy watch in the EU’, TECH CRUNCH | Google delays EU launch of its AI chatbot after privacy regulator raises concerns」（TECH CRUNCH）、「Google's Bard and other AI chatbots remain under privacy watch in the EU」（TECH CRUNCH |
| ICO, U.K. (December, 2023) | 英国ICO（2023年12月） |
| In the U.K., the ICO has initiated a consultation to determine whether there is a lawful basis to use personal data scraped from the web to train generative AI models. | 英国では、ICOが、生成的AIモデルを訓練するためにウェブからかき集めた個人データを使用する合法的根拠があるかどうかを判断するためのコンサルテーションを開始した。 |
| The U.K. ICO has also previously issued a preliminary enforcement notice to a popular social media platform for privacy risks associated with its generative AI-powered chatbot. | また、英国ICOは以前、生成的AIを搭載したチャットボットに関連するプライバシーリスクについて、人気ソーシャルメディア・プラットフォームに予備的強制執行通知を出したことがある。 |
| ‘Generative AI first call for evidence: The lawful basis for web scraping to train generative AI models’, ICO, ‘UK Information Commissioner issues preliminary enforcement notice against Snap’, ICO | 生成的AI最初の証拠募集」： The lawful basis for web scraping to train generative AI models」（ICO）、「UK Information Commissioner issues preliminary enforcement notice against Snap」（ICO）。 |
| OPC, Canada (December, 2023) | カナダOPC（2023年12月） |
| The Office of the Privacy Commissioner in Canada opened an investigation into ChatGPT, jointly with the country’s provincial privacy authorities in May 2023. | カナダのプライバシー・コミッショナー事務局は、2023年5月に同国の州プライバシー当局と共同でChatGPTに関する調査を開始した。 |
| More recently, in December 2023, the Privacy Commissioner published some guiding principles which encourage organizations to exercise caution before scraping publicly accessible personal information. | さらに最近、プライバシー・コミッショナーは2023年12月、一般にアクセス可能な個人情報をスクレイピングする前に、組織に対して注意を促す指針を発表した。 |
| ‘OPC to investigate ChatGPT jointly with provincial privacy authorities’, Office of the Privacy Commissioner of Canada, ‘Principles for responsible, trustworthy and privacy-protective generative AI technologies’, Office of the Privacy Commissioner of Canada | OPCはChatGPTを州のプライバシー当局と共同で調査する」、Office of the Privacy Commissioner of Canada、「責任ある、信頼できる、プライバシー保護的な生成的AI技術のための原則」、Office of the Privacy Commissioner of Canada |
| A timeline and brief description of data protection related regulatory initiatives in the context of generative AI services | 生成的AIサービスの文脈におけるデータ保護関連の規制イニシアチブの年表と簡単な説明 |
| In a joint statement, twelve members of the Global Privacy Assembly’s International Enforcement Cooperation Working Group, also published their opinion on data scraping and its impact on protection of privacy rights of individuals.17 | グローバル・プライバシー協議会の国際執行協力作業部会の12人のメンバーも共同声明で、データ・スクレイピングとその個人のプライバシー権保護への影響に関する意見を発表している17。 |
| The independent investigations undertaken by data protection authorities and regulators from across the globe, and the joint statement mentioned above, indicate that use of personal data in the training of generative AI models, especially where such data is collected through web scraping, can have several consequences for an individual. First, in most jurisdictions publicly available or accessible personal data is still subject to data protection laws and regulations which indicates that developers must have a lawful basis to process this data, create modalities for data subjects to exercise their rights, etc. | 世界中のデータ保護当局や規制当局が独自に行った調査や上記の共同声明は、生成的AIモデルの学習における個人データの使用、特にそのようなデータがウェブスクレイピングによって収集される場合、個人にとっていくつかの結果をもたらす可能性があることを示している。第一に、ほとんどの司法管轄区では、一般に利用可能またはアクセス可能な個人データは、データ保護法や規制の対象となる。 |
| Second, data scraping at scale could by itself constitute or increase the risk of occurrence of a data breach. Finally, the status of investigations into the use of personal data for generative AI training reveals that there is a lack of complete clarity and transparency about how personal data is used in these processes. | 第二に、大規模なデータスクレイピングは、それ自体がデータ侵害の発生リスクを構成または増大させる可能性がある。最後に、生成的AIトレーニングのための個人データの使用に関する調査の状況から、これらのプロセスにおける個人データの使用方法について、完全な明確性と透明性が欠如していることが明らかになった。 |
| There are also some risks which are identifiable for an enterprise user of generative AI model. For an enterprise, fine- tuning these models to a specific use case or for internal enterprise use in a specified industry more data is required, often proprietary in nature. In the case of LLMs, one option available to enterprises is to train and develop their own LLM. However, this is an expensive and time-consuming process and requires access to high-quality datasets and computing power which most businesses simply do not have access18 to. | また、生成的AIモデルのエンタープライズ・ユーザーにとって識別可能なリスクもいくつかある。エンタープライズでは、これらのモデルを特定のユースケースに微調整したり、特定の業界でエンタープライズ内部で使用するために、より多くのデータが必要となり、多くの場合、本質的に専有される。LLMの場合、エンタープライズが利用できる選択肢の1つは、独自のLLMを訓練し開発することである。しかし、これは高価で時間のかかるプロセスであり、高品質のデータセットとコンピューティング・パワーを必要とするが、ほとんどの企業ではアクセスできない18。 |
| However, not a lot of information is available about the details of the data which is used to train the more powerful generative AI models. This poses a privacy risk to individual users, but also a reputational, legal, or financial risk to downstream business or enterprise users, as a lack of transparency or accuracy in the original training data set may lead to harms of bias and discrimination in output, regurgitation of proprietary information, or false results.19 Therefore, it is important to examine these risks in more detail and deliberate on governance strategies for their mitigation. | しかし、より強力な生成的AIモデルの訓練に使用されるデータの詳細については、あまり多くの情報が得られていない。このことは、個人ユーザーに対するプライバシー・リスクだけでなく、下流のビジネスやエンタープライズ・ユーザーに対する評判、法的リスク、あるいは財務的リスクももたらす。元の学習データセットに透明性や正確性が欠けていると、出力にバイアスや識別的な問題が生じたり、専有情報が再利用されたり、誤った結果が出たりする可能性があるからだ19 。 |
| Before delving into organizational privacy risks and mitigation strategies, the next sub-section squarely identifies the potential areas of conflict that exist in the functioning of generative AI models against the requirements of data protection laws and regulations globally. | 組織のプライバシー・リスクと低減戦略を掘り下げる前に、次のサブセクションでは、生成的AIモデルの機能に存在する、世界的なデータ保護法や規制の要件に抵触する可能性のある領域を正々堂々と特定する。 |
| Ensuring Adherence to Data Protection Norms | データ保護規範の遵守の確保 |
| Globally enacted data protection regulations have achieved consensus on some core data protection requirements which are common to all jurisdictions. | 世界的に制定されているデータ保護規制は、すべての管轄区域に共通するいくつかの中核的なデータ保護要件についてコンセンサスを得ている。 |
| The technical, architectural, and functional dimensions of generative AI challenge some of these notions and lead to ambiguities around the applicability of well-established data protection requirements. | 生成的AIの技術的、アーキテクチャ的、機能的側面は、これらの概念のいくつかに挑戦し、確立されたデータ保護要件の適用可能性をめぐる曖昧さにつながる。 |
| For this reason, data protection regulators and supervisory authorities across the world have, over the past few months, actively undertaken investigations and examined the way generative AI offerings may undermine the data protection requirements envisaged specifically under the GDPR.20 | このため、世界中のデータ保護規制当局や監督当局は、ここ数カ月間、生成的AIがGDPRの下で特に想定されているデータ保護要件を損なう可能性があることを積極的に調査・検討してきた20。 |
| The paragraphs below present a high- level overview of three key data protection challenges and ambiguities that can be identified across jurisdictions; first, identifying lawful grounds for processing personal data in the context of generative AI systems, second, adhering to commonly agreed upon data protection principles, and third ̧ responding to data subjects’ rights requests. | 以下の段落では、管轄地域間で確認される3つの主要なデータ保護の課題と曖昧さについて、ハイレベルの概要を示す。第1に、生成的AIシステムの文脈における個人データ処理の合法的根拠の特定、第2に、一般的に合意されたデータ保護原則の遵守、第3に、̧ データ主体の権利要求への対応である。 |
| Identifying Grounds for Processing of Personal Data | 個人データ処理の根拠の識別 |
| Under most data protection laws, including the Digital Personal Data Protection Act (DPDPA) 2023 in India21, there are defined and limited grounds for processing of personal data which may be relied upon by a business. In the EU, article 6 of the GDPR provides for the ‘lawfulness of processing,’ wherein consent, performance of contract, compliance with the law, protection of vital interests of data subjects, public interest, and legitimate interests of the data controller/third parties are the valid basis which can be relied upon by an entity seeking to process personal data.22 | インドのデジタル個人データ保護法（DPDPA）2023を含むほとんどのデータ保護法21では、事業者が依拠できる個人データ処理の根拠が定義され、限定されている。EUではGDPR第6条が「処理の適法性」を規定しており、同意、契約の履行、法の遵守、データ主体の重大な利益の保護、公共の利益、データ管理者／サードパーティーの正当な利益が、個人データ処理を行おうとする事業体が依拠できる有効な根拠となっている22。 |
| However, in the context of development and deployment of generative AI, identifying the grounds of processing personal data may not be a straitjacket formula. Consent may be an appropriate basis to rely on where the developer of a system has a direct relationship with the individuals whose data is sought to be processed.23 However, in the case of generative AI systems where training data sets are developed, for instance, through web scraping, seeking consent is not viable. Under the GDPR, the ‘legitimate interest’ may seem more flexible, however, it is not always appropriate as it requires an entity to undertake a ‘three-part test’ to ensure that no harm is being caused to individuals whose data is being processed.24 | しかし、生成的AIの開発・展開の文脈では、個人データ処理の根拠を特定することは、窮屈な公式にはならないかもしれない。しかし、例えばウェブのスクレイピングによって学習データセットを開発する生成的AIシステムの場合、同意を求めることは実行不可能である。GDPRの下では、「正当な利益」はより柔軟であるように見えるかもしれないが、データ処理される個人に害が及ばないことを確認するための「3つのテスト」を事業体が行う必要があるため、必ずしも適切とは言えない24。 |
| Similarly, relying on contractual obligations may also not be feasible in all circumstances. For instance, in the case of an AI-chatbot, the Italian data protection authority held that performance of contractual obligations cannot be relied upon to process personal data of children, as they lack the legal capacity to enter a binding contract.25 | 同様に、契約上の義務に依存することも、すべての状況において実行可能とは限らない。例えば、AIチャットボットの場合、イタリアのデータ保護当局は、拘束力のある契約を結ぶ法的能力がないため、子供の個人データ処理に契約上の義務の履行を頼ることはできないとした25。 |
| Adhering to Data Protection Principles | データ保護原則の遵守 |
| Principles of collection limitation, data minimization, accuracy, storage or retention limitation, lawfulness and fairness, etc. are recognized in most data protection regulations. However, concerns have been observed about the capability of generative AI models to ensure adherence to these principles. For instance, adherence to the accuracy principle is often challenging. Inaccurate personal data may form part of the original training data set, leading to outputs which do not match factual truths. Additionally, the accuracy principle also requires that these AI models ensure that information is updated, which is again challenging as the training process may sometimes rely on information sourced through data scraping up to a certain point of time.26 Even where the ability to undertake real-time web browsing is feasible, accuracy of outputs remain challenging. The tendency of large language models to sometimes ‘hallucinate’ and generate inaccurate content is well- documented.27 While some research in undertaking specific types of processing indicates that process-level supervision, | 収集の制限、データの最小化、正確性、保存または保持の制限、適法性、公平性などの防御原則は、ほとんどのデータ保護規則で認められている。しかし、生成的AIモデルがこれらの原則の遵守を保証する能力については懸念が観察されている。例えば、正確性の原則の遵守はしばしば困難である。不正確な個人データが元の学習データセットの一部を形成する可能性があり、事実と一致しない出力につながる。さらに、正確性の原則は、これらのAIモデルが情報を更新していることを保証することも要求しているが、これは、学習プロセスが、ある時点までのデータスクレイピングによって得られた情報に依存している場合があるため、やはり困難である26。大規模な言語モデルが時に「幻覚」を見たり、不正確なコンテンツを生成したりする傾向があることは、よく知られている27、 |
| instead of outcome-level supervision, may improve the overall accuracy in the performance of LLMs.28 The underlying issue of accuracy still remains pervasive. | 特定のタイプの処理を行う際のいくつかの研究は、結果レベルの監督ではなくプロセスレベルの監督が、LLMのパフォーマンスにおける全体的な精度を改善する可能性があることを示しているが28。 |
| Another core principle of data protection regulations is the notion of data minimization, which requires data controllers to only collect limited personal data which is necessary and relevant to fulfil stated purposes.29 However, as explained in the preceding section, the development of generative AI models inherently relies on collection and processing of massive datasets, often containing personal data. | データ保護規制のもう一つの基本原則はデータ最小化という概念であり、データ管理者は明示された目的を達成するために必要かつ関連性のある限られた個人データのみを収集することを義務付けられている29。しかし前節で説明したように、生成的AIモデルの開発は本質的に膨大なデータセットの収集と処理に依存しており、多くの場合個人データを含んでいる。 |
| In the case of developers of general- purpose AI systems, not all use-cases can be reasonably foreseen at the instance of development of a model. This may make it difficult to adhere to the purpose limitation principle. For developers of generative AI models, it would therefore be useful to define and identify purposes in a narrow and precise manner, including detailed descriptions of the type of model developed, its technically feasible functionalities and downstream usages, conditions for use of the AI system, etc.30 | 汎用AIシステムの開発者の場合、モデル開発の時点ですべてのユースケースを合理的に予測できるわけではない。そのため、目的限定の原則を守ることが難しくなる可能性がある。したがって、生成的AIモデルの開発者にとっては、開発されたモデルの種類、技術的に実現可能な機能とその下流での使用法、AIシステムの使用条件等の詳細な説明を含む、狭く正確な方法で目的を定義し識別することが有用であろう30。 |
| Responding to Data Subjects’ Rights Requests | データ主体からの権利要求への対応 |
| Data protection regulations globally recognize certain legally enforceable rights of data subjects. Under the GDPR, this refers to the right of access, right to rectification, right to erasure, right to restriction of processing, right to data portability, and right to object in the context of automated decision-making.31 In India, under the DPDPA, the framework of data protection rights varies a bit, with the recognition of right to access and right to rectification along with the right to nominate and grievance redressal.32 | データ保護規制は世界的に、データ主体に法的強制力のある一定の権利を認めている。GDPRでは、アクセス権、修正権、抹消権、処理制限権、データポータビリティ権、自動化された意思決定における異議申し立ての権利がこれにあたる31。 |
| However, unlike the GDPR, the right to object and the right to data portability do not find a mention in the Indian legal framework. Exercise of these rights in the context of generative AI models poses novel challenges. Specifically, the right to correction and erasure is challenging to implement due to the multiple sources of data during the training phase, the lack of attribution for these sources, and the embedded nature of personal data.33 | しかし、GDPRとは異なり、インドの法的枠組みには異議申し立ての権利とデータポータビリティの権利は言及されていない。生成的AIモデルの文脈でこれらの権利を行使することは、新たな課題を提起する。具体的には、学習段階では複数のデータソースが存在し、これらのソースの帰属が不明確で、個人データが埋め込まれているため、訂正権や消去権の行使は困難である33。 |
| Recent research highlights the challenges associated with exercising the right to be forgotten against large language models where proprietary training datasets are not publicly disclosed, as opposed to search engines where data is organized through indexing and can be easily accessed by individuals through querying.34 However, some efforts have been made in this direction by leading generative AI providers to empower individuals to exercise their data protection rights and exercise greater control over the personal data which may be shared in prompts to a model. This includes enabling users to turn off chat history to ensure that user inputs are not used to train the language models and ensuring that data shared by enterprises using the API version of the service users’ data is not used to train models by default.35 | しかし、生成的AIをリードするプロバイダは、個人がデータ保護権を行使し、モデルへのプロンプトで共有される可能性のある個人データをより制御できるようにするために、この方向でいくつかの取り組みを行っている。これには、ユーザーの入力が言語モデルの学習に使用されないように、ユーザーがチャット履歴をオフにできるようにすることや、サービスのAPIバージョンを使用しているエンタープライズが共有するユーザーのデータがデフォルトでモデルの学習に使用されないようにすることなどが含まれる35。 |
| Global Data Protection Regimes and Generative AI Systems | 世界のデータ防御体制と生成的AIシステム |
| Source: https://www.surveyofindia.gov.in/pages/world-map Disclaimer: The World map used here is only for general illustration purpose. | 出典：https://www.surveyofindia.gov.in/pages/world-map 免責事項：ここで使用されている世界地図は一般的な説明のためのものである。 |
| While there are common foundational requirements of data protection regulations across jurisdictions, the proliferating use of generative AI has led to diverse approaches in how each regulator applies their national law in this context. This section aims to provide a jurisdictional analysis of how data protection laws, enforcement decisions, and guidance have been interpreted to adapt to the novel and complex functioning of generative AI. |
データ保護規制の基礎的要件は法域間で共通であるが、生成的AIの利用が拡大するにつれ、各規制当局がこの文脈において自国の国内法をどのように適用するかについて、多様なアプローチが見られるようになっている。本セクションでは、データ保護法、施行決定、ガイダンスが、生成的AIの斬新で複雑な機能に適応するためにどのように解釈されてきたかについて、法域別の分析を行うことを目的とする。 |
| INDIA | インド |
| In India, the DPDPA 2023 has a distinctive framework where certain exemptions may impact processing of personal data for AI training directly. The scope of the Act does not extend to personal data which is publicly available where either the data principal has themselves made the data available or where the data was made publicly available by another person, pursuant to a legal obligation.36 In practice, this provision may be applicable to scenarios where, for example, a social media user shares personal data and makes it publicly available and accessible.37 | インドでは、DPDPA2023が特徴的な枠組みを有しており、特定の適用除外がAI訓練のための個人データ処理に直接影響を与える可能性がある。同法の適用範囲は、データ主体が自らデータを利用可能にした場合、または法的義務に従って他者によってデータが利用可能にされた場合、公に利用可能な個人データには適用されない36。 |
| Further, the Act is also not applicable in its entirety where processing of personal data is necessary for research or statistical purposes.38 This provision may also arguably impact the development and deployment of generative AI systems in India. However, this exception is limited to scenarios where no decision is being made about the data principal and subject to standards that will be prescribed by the Central Government.39 | さらに、個人データの処理が研究または統計目的に必要な場合には、同法は全面的に適用されない38。この規定は、インドにおける生成的AIシステムの開発と展開にも間違いなく影響を与える可能性がある。ただし、この例外は、データ主体に関する意思決定が行われないシナリオに限定され、中央政府によって規定される標準が適用される39。 |
| AUSTRALIA | オーストラリア |
| In Australia, the Australian Privacy Principles (APPs) are the underlying foundation of the Privacy Act, 1988. The thirteen principles prescribe the broad standards and mandates that an organization should adhere to while processing personal information of individuals.40 While the Privacy Act in Australia applies generally to all personal information, the Digital Platform Regulators Forum (DPRF) has expressed some privacy concerns emerging out of the functionalities of LLMs. The DPRF, which also includes the Office of the Australian Information Commissioner (OAIC) as a member, in its working paper on LLMs observed that the design of LLMs makes it difficult to ensure transparency in the handling of personal information.41 Other privacy concerns highlighted include the heightened risk of data breaches, especially in the context of sensitive data, hallucinations in AI-generated output leading to misleading information about individuals, the reduced agency of individuals in scenarios where their personal data is used for training of generative AI models without their consent.42 | オーストラリアでは、オーストラリアプライバシー原則（APPs）が 1988 年プライバシー法の基礎となっている。この13の原則は、組織が個人の個人情報を処理する際に遵守すべき広範な標準と義務について規定している40。オーストラリア情報コミッショナー事務局（OAIC）もメンバーであるDPRFは、LLMに関するワーキング・ペーパーの中で、LLMの設計が個人情報の取り扱いにおける透明性を確保することを困難にしていると指摘している41。プライバシーに関するその他の懸念として、特にセンシティブなデータの文脈におけるデータ・ブリーチのリスクの高まり、個人に関する誤解を招くAI生成出力における幻覚、個人データが同意なしに生成的AIモデルのトレーニングに使用されるシナリオにおける個人の主体性の低下などが強調されている42。 |
| At the intersection of privacy and online safety concerns, the e-Safety Commissioner’s position statement on generative AI highlights that chatbots based on generative AI and other multimodal models may be capable of precise personalization of responses and outputs which may then consequently lead to personalized phishing or defrauding attempts to gain access to systems or personal information.43 Parallelly, the commissioner opines that the potential of generative AI can also be leveraged to improve privacy standards and awareness. For instance, in the context of consent, it may be worth examining use cases of conversational AI being used to ensure nuanced and specific consent from individuals.44 | プライバシーとオンライン安全に関する懸念の交差点で、生成的AIに関するe-Safetyコミッショナーのポジション・ステートメントは、生成的AIや他のマルチモーダルモデルに基づくチャットボットは、応答や出力を正確にパーソナライズすることが可能であり、その結果、システムや個人情報にアクセスするためのパーソナライズされたフィッシングや詐欺の試みにつながる可能性があることを強調している43。例えば、同意の文脈では、個人からのニュアンスに富んだ具体的な同意を確保するために会話型AIが使用されるユースケースを検討する価値があるかもしれない44。 |
| EUROPEAN UNION | 欧州連合 |
| In the European Union, several national data protection authorities have independently initiated investigations into the functioning and impact of generative AI systems, as outlined in the previous section. Poland45, Italy46, Spain47, and France48 commenced independent investigations and examinations to determine the data protection impact of generative AI systems. In France, the CNIL has released its action plan for AI systems focusing its efforts on understanding the impact of AI technologies, including generative AI, on people, facilitating the development of systems which respect personal data, supporting innovation in the AI ecosystem, and developing mechanisms for audit and control.49 | 欧州連合（EU）では、前節で概説したように、いくつかの国のデータ保護当局が生成的AIシステムの機能と影響について独自に調査を開始している。ポーランド45、イタリア46、スペイン47、フランス48は、生成的AIシステムのデータ保護への影響を判断するため、独自の調査と検討を開始した。フランスでは、CNILがAIシステムに関する行動計画を発表し、生成的AIを含むAI技術が人々に与える影響を理解し、個人データを尊重するシステムの開発を促進し、AIエコシステムにおけるイノベーションを支援し、監査と管理のメカニズムを開発することに焦点を当てている49。 |
| Parallelly, there have also been multilateral and collaborative efforts made towards understanding how data protection laws in the EU are applicable to generative AI, and what regulatory adaptations may be required in this context. An initiative of the European Data Protection Supervisor (EDPS), for instance, led to the 45th Global Privacy Assembly adopting a resolution on GenAI systems with global data protection supervisors as signatories.50 The resolution recognizes and acknowledges the potential for data protection risks and harms that may arise out of generative AI systems, including collection of personal data from publicly accessible sources and in the context of automated decision making. The resolution re-emphasizes that current data protection regulations continue to apply. This includes requirements for a lawful basis for processing, purpose and use limitation prohibiting incompatible secondary use of personal data, adhering to principles of data minimization and accuracy, privacy by design and default, transparency and accountability, and finally providing means for data subjects to exercise their rights. | これと並行して、EUのデータ保護法が生成的AIにどのように適用されるのか、また、この文脈においてどのような規制の適応が必要とされるのかを理解するための多国間および協力的な取り組みも行われてきた。例えば、欧州データ保護監督機関（EDPS）のイニシアチブにより、第45回グローバル・プライバシー総会は、世界のデータ保護監督機関を署名者とする生成的AIシステムに関する決議を採択した50。この決議は、一般にアクセス可能なソースからの個人データの収集や自動意思決定の文脈での個人データの収集など、生成的AIシステムから生じる可能性のあるデータ保護リスクや危害の可能性を認識し、認めている。決議は、現行のデータ保護規制が引き続き適用されることを再度強調している。これには、処理の合法的根拠、個人データの互換性のない二次利用の禁止、データの最小化と正確性の原則の遵守、設計とデフォルトによるプライバシー、透明性と説明責任、そして最後にデータ主体が権利を行使するための手段を提供するための要件が含まれる。 |
| To ensure coordination and information exchange amongst national data protection authorities, the European Data Protection Board also launched a dedicated taskforce to examine data protection related concerns arising from the use of ChatGPT.51 | 各国のデータ保護当局間の調整と情報交換を確実にするため、欧州データ保護委員会はChatGPTの使用から生じるデータ保護関連の懸念を調査する専門タスクフォースも立ち上げた51。 |
| SAUDI ARABIA AND DUBAI | サウジアラビアとドバイ |
| Over the last two years, jurisdictions in the Middle East have also shifted their regulatory focus towards addressing the privacy and security risks and opportunities emerging from the use of generative AI. In Saudi Arabi, the Saudi Data and AI Authority (SDAIA) has released a comprehensive guidance on the development and use of generative AI.52 The guidance emphasises on the benefits and opportunities arising from Generative AI in the form of improved efficiencies, informed decision making, increase in quality of public service delivery, etc. The guidance provides insights on privacy considerations for both ‘users’ and ‘developers’ of generative AI systems, while recommending the incorporation of principles of privacy and security by design and undertaking continuous privacy impact and risk assessments.53 | この2年間で、中東の司法当局も、生成的AIの利用から生じるプライバシーとセキュリティのリスクと機会への対応に規制の重点を移してきた。サウジアラビアでは、SDAIA（Saudi Data and AI Authority）が生成的AIの開発と利用に関する包括的なガイダンスを発表した52。ガイダンスは、効率性の改善、情報に基づく意思決定、公共サービス提供の質の向上などの形で生成的AIから生じる利益と機会を強調している。このガイダンスは、生成的AIシステムの「利用者」と「開発者」の双方にプライバシーへの配慮に関する洞察を提供する一方、プライバシーとセキュリティ・バイ・デザインの原則を取り入れ、継続的にプライバシーへの影響とリスクアセスメントを実施することを推奨している53。 |
| In Dubai, the Dubai International Financial Centre (DIFC), has recently amended Regulation 10 of the Data Protection Regulations, by introducing new mandates for processing of personal data by autonomous and semi-autonomous systems, including generative AI systems. The amended regulations impose obligations on ‘deployers’ and ‘operators’ of AI systems, where the deployer may be understood as a person, entity, or organization which is utilizing the output of an AI system or has authority over its functioning. An ‘operator’ may be understood as the provider of an AI system for the benefit of and at the direction of the deployer.54 | ドバイでは、ドバイ国際金融センター（DIFC）が最近、データ保護規則第10条を改正し、生成的AIシステムを含む自律的・半自律的システムによる個人データの処理に新たな義務を導入した。改正された規則は、AIシステムの「配備者」と「運用者」に義務を課すもので、配備者とは、AIシステムの出力を利用する、またはその機能に対する権限を持つ個人、事業体、組織と理解することができる。事業者」とは、AIシステムのプロバイダであり、導入者の利益のために、導入者の指示に従ってAIシステムを提供するものと理解される54。 |
| SINGAPORE | シンガポール |
| In Singapore, the regulatory and governance focus in the context of artificial intelligence is on developing its digital economy by fostering a trusted ecosystem. The country’s efforts in this direction are highlighted by the creation of the ‘AI Verify’ governance and testing framework which relies on eleven ethical principles, including data governance.55 To facilitate innovation while ensuring that generative AI technologies are also safe and secure, the Infocomm Media Development Authority (IMDA) in Singapore has also announced a ‘Generative AI Evaluation Sandbox’ which aims to set out foundational and baseline recommendations for LLMs.56 | シンガポールでは、人工知能に関する規制とガバナンスの焦点は、信頼できるエコシステムを育成することで、デジタル経済を発展させることにある。この方向における同国の取り組みは、データガバナンスを含む11の倫理原則に依拠した「AIベリファイ」ガバナンスとテストのフレームワークの構築によって強調されている55。生成的AI技術の安全性とセキュリティを確保しつつイノベーションを促進するため、シンガポールの情報通信メディア開発庁（IMDA）も、LLMの基礎的かつ基本的な推奨事項を定めることを目的とした「生成的AI評価サンドボックス」を発表している56。 |
| More recently, in its proposed ‘Model AI Governance Framework for Generative AI’, the IMDA and AI Verify Foundation, highlight three focus areas for policymakers when considering the use of data in development of generative AI; ensuring trusted use of personal data, balancing copyright with data accessibility, and facilitating access to quality data.57 On the use of personal data, some high-level suggestions and observations include exploring the use of privacy enhancing technologies to safeguard confidentiality and privacy. | より最近では、IMDAとAIベリファイ財団が提案した「生成的AIのためのモデル・AIガバナンス・フレームワーク」の中で、生成的AIの開発におけるデータ利用を検討する際に政策立案者が重視すべき3つの分野、すなわち、信頼される個人データの利用の確保、著作権とデータ・アクセシビリティのバランス、および質の高いデータへのアクセスの促進を強調している57。 |
| UNITED KINGDOM | 英国 |
| In the United Kingdom, the Information Commissioner (ICO) is actively undertaking a series of consultations on the intersection and applicability of existing data protection regulation on generative AI. The foremost issue undergoing consultation is centred around the lawful basis for scraping data, including personal data, to train generative AI models.58 While outlining the various sources from which data may be obtained in the training and development process (publicly accessible datasets put together by third parties, directly undertaking web- scraping, etc.), the ICO emphasizes that data protection obligations continue to be applicable to developers. | 英国では、情報コミッショナー（ICO）が、生成的AIに関する既存のデータ保護規制の交差点と適用可能性に関する一連の協議を積極的に進めている。現在協議中の最重要課題は、生成的AIモデルを学習させるために個人データを含むデータをスクレイピングすることの合法的根拠を中心に据えている58。ICOは、学習・開発プロセスにおいてデータを取得できる様々なソース（サードパーティがまとめた一般にアクセス可能なデータセット、ウェブスクレイピングを直接行うなど）を概説する一方で、データ保護義務が引き続き開発者に適用されることを強調している。 |
| In the policy position laid out in the consultation, a preliminary analysis indicates that five of the six lawful bases available under the UK GDPR would be inapplicable in the context of usage of web-scraped data for generative AI training, thereby limiting the available lawful basis to ‘legitimate interest.’ The key questions underlying the consultation hinge on determining the nature of safeguards and guardrails that developers of generative AI need to implement in order to satisfy the three-part requirement of a legitimate interest, necessity for processing, and balancing individual rights with interests of the developer. | コンサルテーションで示された政策的立場では、予備的分析によると、英国GDPRの下で利用可能な6つの合法的根拠のうち5つは、生成的AIトレーニングのためのウェブスクレイピングデータの利用という文脈では適用不可能であり、それによって利用可能な合法的根拠は「正当な利益」に限定される。この協議の根底にある重要な問題は、正当な利益、処理の必要性、個人の権利と開発者の利益とのバランスという3つの要件を満たすために、生成的AIの開発者が実施する必要のあるセーフガードとガードレールの性質を決定することにかかっている。 |
| The U.K. Parliament’s report on large language models and generative AI reemphasizes the need for further clarification on how data protection laws apply to complex large language models, specifically with regard to the ability of individuals to exercise their data protection rights where their personal data has been used in the training process.59 | 大規模言語モデルと生成的AIに関する英国議会の報告書は、データ保護法が複雑な大規模言語モデルにどのように適用されるかについて、特に個人データが学習プロセスで使用された場合に個人がデータ保護権を行使する能力に関して、さらなる明確化が必要であることを強調している59。 |
| Data Protection Implications in Enterprise Use of Generative AI | 生成的AIのエンタープライズ利用におけるデータ保護への影響 |
| Enterprise adoption and use of generative AI may create additional risks and challenges in the context of data protection and accountability. Technical, organisational, and enterprise policy-level interventions can help mitigate some of these risks. | エンタープライズにおける生成的AIの導入と利用は、データ保護とアカウンタビリティの観点から、さらなるリスクと課題を生み出す可能性がある。技術的、組織的、エンタープライズ政策レベルの介入は、これらのリスクを軽減するのに役立つ。 |
| Affixing Accountability for Data Protection in the AI Supply Chain | AIサプライチェーンにおけるデータ保護の説明責任 |
| Data protection regulations globally recognize a dichotomous relationship of entities as either data fiduciaries/controllers or as data processors. Some regulations, such as the GDPR, also recognize the relationship of ‘joint data fiduciaries’. However, in the context of development and deployment of generative AI systems, these traditional conceptual notions may be challenged, and the role played by each entity in the supply chain may not be as clearly delineated. | データ保護規制は世界的に、事業体をデータ受託者／管理者またはデータ処理者として二項対立的な関係を認めている。GDPRなど一部の規制では、「共同データ受託者」の関係も認めている。しかし、生成的AIシステムの開発・展開の文脈では、こうした伝統的な概念概念が問題となる可能性があり、サプライチェーンにおいて各事業体が果たす役割は、それほど明確には定義されないかもしれない。 |
| As highlighted in previous sections, most of the data used during the training of generative AI models is obtained through web scraping. Developers of generative AI models may not be accurately classified as data controllers in this context because the personal data used in the original training dataset, its collection and the purposes for which it was collected, and the output were not determined by the developer of the AI model. However, it may also not be feasible to categorize them as data processors. Data processors are understood as entities which process personal data on behalf of the data controller/fiduciary60 , and such processing takes place based on a contractual relationship.61 Both these elements are generally absent in this context, making it difficult to qualify developers as ‘data processors’. | 前のセクションで強調したように、生成的AIモデルの学習中に使用されるデータのほとんどは、ウェブのスクレイピングによって得られる。生成的AIモデルの開発者は、元の学習データセットで使用された個人データ、その収集と収集目的、出力がAIモデルの開発者によって決定されたものではないため、この文脈ではデータ管理者として正確に分類されない可能性がある。しかし、データ処理者に分類することも現実的ではないかもしれない。データ処理者は、データ管理者／受託者60 に代わって個人データを処理する事業体として理解され、そのような処理は契約関係に基づいて行われる61 。 |
| In the context of API use of generative AI models for downstream application by enterprises, such organizations may qualify as data fiduciaries/controllers, as they define the purposes for which personal data is processed. For instance, when using OpenAI services via the OpenAI API platform, an order processing relationship is established between the data controller as the client and OpenAI as the processor. For these purposes, OpenAI provides a Data Processing Agreement.62 However, it is also conceivable that the developer of the language model and the enterprise user be treated as joint controllers. OpenAI, however, still does not provide a template for a contract pursuant to Art. 26 GDPR for establishing a joint controller relationship. | エンタープライズによる生成的AIモデルのAPI利用の文脈では、そのような組織は個人データを処理する目的を定義しているため、データ受託者／管理者に該当する可能性がある。例えば、OpenAIのAPIプラットフォームを通じてOpenAIのサービスを利用する場合、クライアントとしてのデータ管理者と処理者としてのOpenAIの間に注文処理関係が構築される。このような目的のために、OpenAI はデータ処理契約を提供している62 。しかし、言語モデルの開発者とエンタープライズ・ユーザが共同管理者として扱われることも考えられる。しかし、OpenAIは、GDPR第26条に基づく契約のテンプレートを提供していない。26 GDPRに従って共同管理者の関係を確立するための契約書のテンプレートはまだ提供されていない。 |
| Affixing accountability and responsibility for data protection along the AI value chain can be difficult to navigate as the relationships between developers and deployers are complex. For instance, when a large language model is deployed by an enterprise, which then modifies it for its own internal use, it may be difficult to pin down which performance issues are to be attributed to the enterprise (i.e. the deployer) and which are to be attributed to the developer of the language model.63 In the discussions and debates leading up to the formalization of the EU AI Act as well, it was observed that the value chain in the context of artificial intelligence makes it important to also consider what obligations should persist for relevant third-parties as the manner in which a model is deployed or used by a downstream user can impact the functioning of the model and therefore have an impact on outcomes of the model.64 | AIのバリューチェーンに沿ったデータ保護の説明責任と責任の付与は、開発者と導入者の関係が複雑であるため、難しい場合がある。例えば、大規模な言語モデルがエンタープライズによってデプロイされ、そのエンタープライズが内部使用のためにそれを修正する場合、どのパフォーマンス問題がエンタープライズ（すなわちデプロイ者）に帰属し、どれが言語モデルの開発者に帰属するのかを特定するのは難しいかもしれない63。EUのAI法の正式制定に至るまでの議論や討論においても、人工知能の文脈におけるバリューチェーンでは、モデルが下流のユーザーによって展開されたり使用されたりする方法がモデルの機能に影響を与え、したがってモデルの成果に影響を与える可能性があるため、関連するサードパーティに対してどのような義務を存続させるべきかを検討することも重要であることが観察されている64。 |
| From a regulatory standpoint, therefore, it becomes important to understand the roles of different stakeholders at different junctures of the AI technology stack, i.e., the application layer, the model layer, and the infrastructure layer.65 Simultaneously, from an enterprise standpoint, it becomes important to determine each stakeholder’s respective role and legal obligations, on a case-by-case basis, pertaining to data protection corresponding to their role. In the context of AI systems, specifically large language models, where the developer of an AI system is responsible for also creating the training data sets. They may be qualified as a controller/fiduciary, where two or more controllers jointly determine the means and purpose of processing they may qualify as joint controllers, and finally, where an organization develops an AI system on behalf a customer they may qualify as a processor.66 | 同時に、エンタープライズの立場からは、各ステークホルダーのそれぞれの役割と、その役割に対応するデータ保護に関する法的義務をケースバイケースで決定することが重要になる。AIシステム、特に大規模な言語モデルの文脈では、AIシステムの開発者は学習データセットの作成にも責任を負う。また、2つ以上の管理者が共同で処理の手段と目的を決定する場合には、共同管理者として認定される可能性があり、最後に、組織が顧客に代わってAIシステムを開発する場合には、処理者として認定される可能性がある66。 |
| Ensuring Responsible Use of Foundation Models by Enterprises | エンタープライズによるファウンデーションモデルの責任ある利用の確保 |
| In addition to understanding the roles and legal obligations on an enterprise when utilizing generative AI services, it is also important to emphasize on measures for facilitating responsible use of generative AI systems at an organizational level. | 生成的AIサービスを利用する際のエンタープライズの役割と法的義務を理解することに加えて、組織レベルでの生成的AIシステムの責任ある利用を促進するための方策を重視することも重要である。 |
| It is well-documented that large language models may be capable of systemic risks such as discriminatory outputs, misinformation, and dissemination of private, confidential, or sensitive information.67 Privacy related risks may include leaking of personal information which formed a part of the original training data set or may also entail inferences made about an individual which are factually incorrect.68 | 大規模な言語モデルが、差別的な出力、誤情報、個人情報・機密情報・機微情報の流布といったシステム上のリスクを引き起こす可能性があることは、十分に立証されている67 。プライバシーに関連するリスクには、元の学習データセットの一部を形成していた個人情報の流出が含まれる場合もあれば、個人について事実と異なる推論が行われる場合もある68 。 |
| It is, therefore, pertinent that organizations seeking to integrate generative AI into their business processes adopt measures to ensure responsible use of the technology, whether the use-cases are external facing, for example in the case of an AI- enabled customer chatbot, or for internal use, or use of generative AI as a part of decision-making processes. Some of the best practices that may be adopted by enterprises are highlighted below. These suggestions are based on guidance issued and consultations undertaken in Australia69, Canada70 and Germany71, as well as checklists released by think tanks72 and industry stakeholders73 on effective enterprise-level governance of generative AI. | したがって、生成的AIをビジネス・プロセスに統合しようとしている組織は、例えばAIを活用した顧客チャットボットの場合のように、そのユースケースが社外向けであろうと、社内向けであろうと、あるいは意思決定プロセスの一部として生成的AIを使用する場合であろうと、技術の責任ある使用を確保するための対策を採用することが適切である。エンタープライズが採用できるベストプラクティスのいくつかを以下に紹介する。これらの提案は、オーストラリア69、カナダ70、ドイツ71で実施されたガイダンスや協議、シンクタンク72や業界関係者73が発表した生成的AIのエンタープライズレベルの効果的なガバナンスに関するチェックリストに基づいている。 |
| > Informed use of generative AI for defined purposes: Generative AI systems should be adopted by enterprises after a thorough examination of the privacy practices and commitments of the developer of the AI system. Furthermore, to strengthen commitment to the principles of data minimization and purpose limitation under data protection regulations, it is recommended to outline and define the specific purposes for which a generative AI system may be deployed, avoiding prompts and uses which may lead to identification of otherwise de-identified or anonymized data. Purpose or function creep should be avoided by enterprises by limiting the use of the generative AI tools or systems to functions which are justifiable. | ・生成的AIを明確な目的のために使用する: 生成的AIシステムは,プライバシー慣行とAIシステム開発者のコミットメントを十分に検討した上で,エンタープライズによって採用されるべきである。さらに,データ保護規制の下でのデータ最小化と目的制限の原則へのコミットメントを強化するために,生成的AIシステムを展開することができる特定の目的を概説し定義することが推奨され,そうでなければ非識別化または匿名化されたデータの識別につながる可能性のあるプロンプトや使用を避ける。生成的AIツールやシステムの使用を正当化可能な機能に限定することで,エンタープライズが目的や機能のクリープを回避する必要がある。 |
| > Ensure transparency about organizational use of generative AI: Where generative AI systems are external-facing, for example in the case of customer chatbots, clear communication must be made to the relevant third-party about the use of such systems, how their personal data will be used, safeguards deployed by the enterprise, and the risks associated with an individual’s interaction with such systems. In the case of chatbots specifically, providing customers with an option to ‘opt-out’ of their personal data being used for further training of the model would also strengthen individuals’ agency over their personal data. | ・生成的AIの組織的使用に関する透明性の確保：生成的AIシステムが外部に面している場合,例えば顧客チャットボットの場合,そのようなシステムの使用,個人データがどのように使用されるか,エンタープライズによって展開される保護措置,および個人とそのようなシステムとの相互作用に関連するリスクについて,関連するサードパーティに明確なコミュニケーションが行われなければならない。特にチャットボットの場合,モデルのさらなる訓練のために個人データが使用されることを「オプトアウト」するオプションを顧客に提供することも,個人データに対する個人の主体性を強化することになる。 |
| > Establish accountability and explainability: Prior to deploying generative AI tools at scale, privacy or data protection impact assessments could help gauge the impact on data protection compliance obligations, rights of individuals, and other privacy considerations. Both developer and deployer or user of a generative AI system must aim towards making the tool or system explainable by developing capabilities to be able to provide a structured and complete account of how the system works and the rationale behind any specific output produced. | > 説明責任と説明可能性を確立する： 生成的AIツールを大規模に展開する前に、プライバシーまたはデータ保護影響評価を行うことで、データ保護コンプライアンス義務、個人の権利、その他のプライバシーに関する考慮事項への影響を測ることができる。生成的AIシステムの開発者、導入者、利用者の双方が、システムがどのように動作し、特定の出力が生成される根拠について、構造化された完全な説明を提供できる能力を開発することで、ツールやシステムを説明可能にすることを目指さなければならない。 |
| > Create mechanisms for human oversight: Despite the rapid advancement in the capabilities of generative AI tools, there remains scope for generative AI tools and models to ‘hallucinate’ and produce outputs which are not representative of factual reality. Therefore, where these systems are being relied upon for any decision-making in an enterprise or being used otherwise in high-risk scenarios, enterprises must ensure that a human reviewer verifies the output or recommendations generated by the AI system for veracity. | > 人間による監視の仕組みを作る： 生成的AIツールの能力が急速に進歩しているにもかかわらず、生成的AIツールやモデルが「幻覚」を見たり、事実の現実を代表しない出力を生成したりする余地が残っている。したがって、これらのシステムがエンタープライズにおける意思決定のために信頼されている場合、またはリスクの高いシナリオで使用されている場合、企業は、AIシステムによって生成された出力または推奨事項の真実性を人間のレビュアーが検証することを保証しなければならない。 |
| > Implement governance and auditing mechanisms with continuous evaluation: Where feasible, concrete governance and auditing mechanisms should be instituted in enterprises to ensure that records are maintained of any privacy-related breaches or incidents and the same is also reported as feedback to the developers of the system or tool. Additionally, it is also important to evaluate any generative AI system or tool continuously and regularly for vulnerabilities and to identify potential use cases where data protection harm may occur. To this end, red teaming of AI systems, where viable, could be worth undertaking. | > 継続的な評価を伴うガバナンスと監査の仕組みを導入する： 可能であれば、エンタープライズにおいて具体的なガバナンスと監査の仕組みを導入し、プライバシーに関連する違反やインシデントの記録が保持され、同じことがシステムやツールの開発者へのフィードバックとして報告されるようにしなければならない。さらに、生成的AIシステムやツールの脆弱性を継続的かつ定期的に評価し、データ保護に害が及ぶ可能性のある使用事例を特定することも重要である。このため、実行可能な場合には、AIシステムのレッドチーム化を行う価値がある。 |
| > Undertake risk assessment for service providers/developers: Where enterprises leverage pre-existing generative AI services and tools, they should undertake an assessment of the developer or service provider to assure that they will be able to comply with applicable data protection laws, respond to requests for deletion or rectification if required, implement appropriate and adequate technical and organizational measures to safeguard the data, etc. | > サービスプロバイダー／開発者のリスクアセスメントを実施する： エンタープライズが既存の生成的AIサービスやツールを活用する場合、開発者やサービス・プロバイダの評価を実施し、適用されるデータ保護法を遵守できること、必要に応じて削除や修正の要求に対応できること、データを保護するための適切かつ十分な技術的・組織的措置を実施できることなどを保証すべきである。 |
| Implementing Safeguards for Privacy Preservation | プライバシー保護のための保護措置の実施 |
| The previous section highlighted some of the organizational safeguards that can be implemented by an enterprise seeking to integrate existing generative AI systems in their business processes and workflows. However, a comprehensive strategy to mitigate privacy risks emerging from generative AI should also entail examining technical safeguards for privacy preservation, especially at the development stage of these models. | 前節では、既存の生成的AIシステムをビジネスプロセスやワークフローに統合しようとしているエンタープライズが実施可能な組織的セーフガードの一部を紹介した。しかし、生成的AIから生じるプライバシー・リスクを軽減する包括的な戦略には、特にこれらのモデルの開発段階において、プライバシー保護のための技術的なセーフガードの検討も含まれるべきである。 |
| Since the launch of public-facing generative AI services, like chatbots or image- generation tools, there has been a steep rise in the actions of mala fide actors attempting to bypass inbuilt security and safety guardrails of these generative AI systems. One such intervention is popularly known as ‘jailbreaking,’ which in the context of generative AI, refers to deliberately designing prompts in a manner which is intended to override restrictions coded into AI programs to facilitate generation of illegal or harmful content.74 Some research indicates that though popular text-to-text generative AI services may be resilient to direct prompts seeking to leak personal information, the safety features built into these services may not fully be capable of defending against multi-step jailbreaking prompts.75 | チャットボットや画像生成ツールのような一般向けの生成的AIサービスが登場して以来、こうした生成的AIシステムに内蔵されたセキュリティや安全ガードレールを迂回しようとする悪意のある行為者が急増している。このような介入のひとつは、一般に「脱獄」として知られているもので、生成的AIの文脈では、AIプログラムにコード化された制限を無効にして、違法または有害なコンテンツの生成を容易にすることを意図した方法で、プロンプトを意図的に設計することを指す74。一部の調査によると、一般的なテキストからテキストへの生成AIサービスは、個人情報の漏えいを求める直接的なプロンプトにはレジリエンシーがあるかもしれないが、これらのサービスに組み込まれた安全機能は、多段階の脱獄プロンプトに対して完全に防御できない可能性がある75。 |
| Another type of closely related attack is the use of ’prompt injections’ to direct the generative AI model to create harmful or potentially illegal output. This may be done through direct or indirect prompt injections, where the former entails prompts generated by the user of the generative AI system while the latter entails discreet, malicious prompts from a third-party source such as a website or a document being analyzed by the AI system.76 | 密接に関連するもう一つのタイプの攻撃は、「プロンプト・インジェクション」を使用して、生成的AIモデルに有害または潜在的に違法な出力を作成するよう指示することである。これは、直接的プロンプト・インジェクションと間接的プロンプト・インジェクションによって行われることがあり、前者は生成的AIシステムのユーザーによって生成されたプロンプトを含み、後者はウェブサイトやAIシステムによって分析されている文書などのサードパーティ・ソースからの目立たない悪意のあるプロンプトを含む76。 |
| While developers of AI have been actively working fixing vulnerabilities to make generative AI systems more resistant to jailbreaking and prompt injection attacks, there may be a requirement to look beyond traditional red-teaming methods and deploy automated and advanced techniques to mitigate these attacks at scale.77 | AIの開発者たちは、生成的AIシステムを脱獄やプロンプト・インジェクション攻撃に対する耐性を高めるために脆弱性の修正に積極的に取り組んできたが、従来のレッドチーム方式にとどまらず、これらの攻撃を大規模に軽減するための自動化された高度な技術を導入する必要があるかもしれない77。 |
| It is relevant to emphasize here that despite best efforts from developers, it may still be possible to extract personal data and sensitive information from large language models.78 From an enterprise perspective, where open-source models are utilized or generative AI models are used through API-access and fine-tuned for customized use-cases in an enterprise, some fine- tuning interventions can themselves lead to divulging of personal data.79 | ここで強調しておきたいのは、開発者の最善の努力にもかかわらず、大規模な言語モデルから個人データや機密情報を抽出することが可能な場合があるということだ78。エンタープライズの観点からは、オープンソースのモデルが利用されたり、生成的AIモデルがAPIアクセスを通じて利用されたり、エンタープライズでカスタマイズされたユースケース向けに微調整されたりする場合、微調整の介入自体が個人データの漏洩につながる可能性がある79。 |
| Where training of generative AI entails learning patterns and features of personal data, such personal data invariably becomes a part of the AI model and influences its outputs.80 Therefore, it is important that personal data should only be included in training where there is a compelling need for the same in terms of the intended operational objectives of the generative AI system, ideally after undertaking a data protection impact assessment.81 | 生成的AIのトレーニングが個人データのパターンや特徴の学習を伴う場合、そのような個人データは必ずAIモデルの一部となり、その出力に影響を与える80。したがって、個人データをトレーニングに含めるのは、生成的AIシステムの意図された運用目的の観点から、やむを得ない必要性がある場合に限られることが重要であり、理想的にはデータ保護影響評価を実施した後に行われるべきである81。 |
| From the perspective of a downstream enterprise user of a generative AI system, it is also important to carefully consider which categories of personal data is shared with the system. Once personal data has been shared with generative AI models, monitoring its storage and usage across various systems or its retraction may be an arduous task.82 | 生成的AIシステムの下流のエンタープライズ・ユーザーの観点からすると、どのカテゴリの個人データがシステムと共有されるかを慎重に検討することも重要である。いったん個人データが生成的AIモデルと共有されると、様々なシステムにわたるその保存と使用、またはその撤回を監視することは、困難な作業になるかもしれない82。 |
| Some key interventions that can be incorporated by enterprises in their AI governance strategies, to mitigate risks pertaining to unauthorized or unprecedented disclosure of personal data include: | 個人データの未承認または前例のない開示に関連するリスクを軽減するために、エンタープライズがAIガバナンス戦略に組み込むことができる主な介入策には、以下のようなものがある： |
| i Ensuring accuracy of data for verifiable results, | i 検証可能な結果を得るためにデータの正確性を確保する、 |
| ii Undertaking efforts to reduce harmful outputs through bias, explainability, robustness, and security assessments, | ii バイアス、説明可能性、堅牢性、セキュリティ評価を通じて、有害なアウトプットを削減する取り組みを行う、 |
| iii Adhering to honesty and transparency principles by respecting data provenance and using user-consented data where feasible, | iii データの出所を尊重し、実行可能な場合は利用者が同意したデータを使用することで、正直さと透明性の原則を遵守する、 |
| iv Using zero-party or first-party data for training of AI models, and | iv AIモデルのトレーニングにゼロパーティまたはファーストパーティのデータを使用する。 |
| v Designing processes with a human- in-the-loop to review outputs and automated decision-making.83 | v 出力と自動化された意思決定をレビューするために、人間がイン・ザ・ループでプロセスを設計する。 |
| The use of data redaction and the contextually accurate synthetic data in the training process of generative AI models has also been proposed as a solution.84 However, data redaction of unstructured data at scale is difficult at scale, while manually redacting data is slow and expensive, as well as often inaccurate. Further, where synthetic data used for training or fine-tuning is generated by another generative AI model, newer and more complex challenges emerge in terms of poor-quality outputs, what current research terms as ‘Model Autophagy Disorder’.85 | しかし、非構造化データのデータ再編集を大規模に行うことは困難であり、手作業によるデータ再編集は時間とコストがかかるだけでなく、不正確な場合が多い。さらに、トレーニングや微調整に使用される合成データが別の生成的AIモデルによって生成される場合、質の低い出力という点で、より新しく複雑な課題が浮上する。 |
| Privacy related risks may include leaking of personal information which formed a part of the original training data set or may also entail inferences made about an individual which are factually incorrect. | プライバシーに関連するリスクには、元の学習データセットの一部を形成していた個人情報の漏洩や、事実とは異なる個人に関する推論が含まれる場合がある。 |
| CONCLUSION | 結論 |
| As the adoption of LLMs and GenAI continues to surge, it becomes increasingly apparent that these technologies offer immense potential for driving business innovation. However, alongside this promise, lurks the shadow of significant cybersecurity risks if not managed effectively. It is imperative to recognize that security is not an afterthought but rather the cornerstone of responsible AI development. | LLMとGenAIの採用が急増するにつれ、これらの技術がビジネス・イノベーションを促進する計り知れない可能性を秘めていることがますます明らかになっている。しかし、この可能性と同時に、効果的に管理されなければ重大なサイバーセキュリティリスクの影も潜んでいる。セキュリティは後付けではなく、責任あるAI開発の要であることを認識することが不可欠である。 |
| Enterprises must prioritize the implementation of proactive and comprehensive cybersecurity strategies to safeguard their digital assets and uphold stakeholder trust. This entails the establishment of robust governance frameworks, the adoption of zero-trust platforms, the reinforcement of enhanced controls, continual employee training, and strict adherence to regulatory compliance. | エンタープライズは、デジタル資産を守り、ステークホルダーの信頼を維持するために、積極的かつ包括的なサイバーセキュリティ戦略の実施を優先しなければならない。そのためには、強固なガバナンスの確立、ゼロトラストプラットフォームの採用、管理体制の強化、継続的な従業員教育、規制遵守の徹底が必要である。 |
| Collaboration among cybersecurity leaders, technology teams, and risk management experts is paramount for effectively navigating these evolving risks. Developers, too, bear a crucial responsibility in adopting responsible practices throughout the development lifecycle of LLMs, including purposeful design, transparency, and the integration of robust security measures. | サイバーセキュリティ・リーダー、テクノロジー・チーム、リスクマネジメントの専門家の連携は、こうした進化するリスクを効果的に乗り切るために最も重要である。開発者もまた、意図的な設計、透明性、強固なセキュリティ対策の統合など、LLMの開発ライフサイクル全体を通じて責任ある慣行を採用する上で重要な責任を負っている。 |
| At the intersection of data protection and generative AI, there are several regulatory grey areas that will require further research and innovation to resolve the inherent conflict of massive datasets used for training, data protection obligations under regulations, and privacy rights of individuals. | データ保護と生成的AIの交差点には、いくつかの規制上のグレーゾーンがあり、学習に使用される膨大なデータセット、規制上のデータ保護義務、個人のプライバシー権に内在する矛盾を解決するために、さらなる研究と革新が必要となる。 |
| Across jurisdictions, there is largely a consensus that data protection regulations will continue to be applicable to generative AI technology, tools, and systems. However, there is ambiguity surrounding the precise manner in which data protection obligations can be operationalized, for instance, in the context of exercising rights of data subjects/data principals. The technical architecture of generative AI and its training and development process makes it difficult to provide complete assurance about the ability of a developer or user of such tools to exercise complete control over its outcomes, downstream uses, and the inferences drawn by the model upon deployment. | 法域を問わず、データ保護規制は生成的AI技術、ツール、システムに適用され続けるという点でほぼコンセンサスが得られている。しかし、例えばデータ主体／データプリンシパルの権利行使の文脈において、データ保護義務がどのように運用され得るかについては、正確な方法が曖昧である。生成的AIの技術的アーキテクチャーとその訓練・開発プロセスにより、そのようなツールの開発者または利用者が、その結果、下流での使用、および展開時にモデルによって引き出される推論を完全に制御する能力について、完全な保証を提供することは困難である。 |
| Regardless of regulatory ambiguity, it is apparent that while sustained efforts are continuously being directed towards improving the privacy protections of generative AI technologies, there remain gaps in the privacy assurance of these novel and complex tools. At an enterprise level, this translates into a requirement to invest in resources, training and awareness, and implementation of best practices to mitigate any risks arising from the use of generative AI. At the most fundamental level, enterprises should conduct impact assessments to understand privacy risks from the use of any generative AI technology and adhere to the fundamental data protection and ethical principles of accountability, fairness and transparency, explainability, and proportionality. | 規制の曖昧さにかかわらず、生成的AI技術のプライバシー保護の改善に向けて持続的な努力が継続的に行われている一方で、これらの斬新で複雑なツールのプライバシー保証にはギャップが残っていることは明らかである。エンタープライズ・レベルでは、生成的AIの使用から生じるリスクを軽減するために、リソース、意識向上およびトレーニング、ベスト・プラクティスの実施に投資する必要がある。最も基本的なレベルでは、エンタープライズは影響アセスメントを実施して、生成的AI技術の使用によるプライバシー・リスクを理解し、説明責任、公平性と透明性、説明可能性、比例性というデータ保護と倫理の基本原則を遵守すべきである。 |
参考文献...
| References | 参考文献 |
| 1. ‘Definition of Generative AI - Gartner Information Technology Glossary’, Gartner <https://www. gartner.com/en/information-technology/glossary/generative-ai>. | 1. 生成的AIの定義 - ガートナー情報技術用語集」、ガートナー<https://www. gartner.com/en/information-technology/glossary/generative-ai>. |
| 2. ‘The History of Artificial Intelligence - Science in the News’ <https://sitn.hms.harvard.edu/ flash/2017/history-artificial-intelligence/>. | 2. 人工知能の歴史 - ニュースの中の科学」<https://sitn.hms.harvard.edu/ flash/2017/history-artificial-intelligence/>. |
| 3. ‘Learn to Build an AI Strategy for Your Business’, Gartner <https://www.gartner.com/en/ information-technology/topics/ai-strategy-for-business>. | 3. Learn to Build an AI Strategy for Your Business」、ガートナー <https://www.gartner.com/en/ information-technology/topics/ai-strategy-for-business>. |
| 4. Md Al-Amin and others, ‘History of Generative Artificial Intelligence (AI) Chatbots: Past, Present, and Future Development’ (arXiv, 2024) <https://doi.org/10.48550/arXiv.2402.05122>. | 4. Md Al-Amin他、「生成的人工知能（AI）チャットボットの歴史： Past, Present, and Future Development' (arXiv, 2024) <https://doi.org/10.48550/arXiv.2402.05122>. |
| 5. ‘Gartner Says More Than 80% of Enterprises Will Have Used Generative AI APIs or Deployed Generative AI-Enabled Applications by 2026’, Gartner <https://www.gartner.com/en/newsroom/ press-releases/2023-10-11-gartner-says-more-than-80-percent-of-enterprises-will-have-used- generative-ai-apis-or-deployed-generative-ai-enabled-applications-by-2026>. | 5. Gartner Says More Than-80-percent of-enterprises-will-have-used- generative-ai-apis-or-deployed-generative-ai-enabled-applications-by-2026>. 「Gartner Says Than 80% of Enterprises Have Used Generative AI API or Deployed Generative AI-Enabled Applications by 2026」, ガートナー <https://www.gartner.com/en/newsroom/ press-releases/2023-10-11-gartner-says-more-than-80-percent-of-enterprises-will-have-used- generative-ai-apis-or-deployed-generative-ai-enabled-applications-by-2026>. |
| 6. ‘AI Governance Frameworks For Responsible AI | Gartner Peer Community’ <https://www. gartner.com/peer-community/oneminuteinsights/ai-governance-frameworks-responsible-ai- 33q>. | 6. AI Governance Frameworks For Responsible AI | Gartner Peer Community」<https://www. gartner.com/peer-community/oneminuteinsights/ai-governance-frameworks-responsible-ai- 33q>. |
| 7. ‘MITRE | ATLASTM’ <https://atlas.mitre.org/>. | 7. 'mitre | atlastm' <https://atlas.mitre.org/>. |
| 8. Apostol Vassilev, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (Gaithersburg, MD: National Institute of Standards and Technology, 2024), p. NIST AI NIST AI 100-2e2023 <https://doi.org/10.6028/NIST.AI.100-2e2023>. | 8. Apostol Vassilev, Adversarial Machine Learning： A Taxonomy and Terminology of Attacks and Mitigations (Gaithersburg, MD: National Institute of Standards and Technology, 2024), p. NIST AI NIST AI 100-2e2023 <https://doi.org/10.6028/NIST.AI.100-2e2023>. |
| 9. Generative AI and Authenticity | Centre for Trustworthy Technology <https://c4tt.org/wp- content/uploads/2024/01/Generative-AI-and-Authenticity.pdf/>. | 9. 生成的AIと本人認証｜Centre for Trustworthy Technology <https://c4tt.org/wp- content/uploads/2024/01/Generative-AI-and-Authenticity.pdf/>. |
| 10. ‘Generative AI first call for evidence: The lawful basis for web scraping to train generative AI models’, ICO <https://ico.org.uk/about-the-ico/what-we-do/our-work-on-artificial-intelligence/ generative-ai-first-call-for-evidence/>. | 10. 生成的AI最初の証拠募集」： The lawful basis for web scraping to train generative AI models」、ICO <https://ico.org.uk/about-the-ico/what-we-do/our-work-on-artificial-intelligence/ generative-ai-first-call-for-evidence/>. |
| 11. ‘ChatGPT: Everything you need to know about OpenAI's GPT-4 tool’, BBC Science Focus <https://www.sciencefocus.com/future-technology/gpt-3/>. | 11. ChatGPT： OpenAIのGPT-4ツールについて知っておくべきすべて」、BBC Science Focus <https://www.sciencefocus.com/future-technology/gpt-3/>. |
| 12. GPT-4 Technical Report | OpenAI <https://cdn.openai.com/papers/gpt-4.pdf/>. | 12. GPT-4テクニカルレポート｜OpenAI <https://cdn.openai.com/papers/gpt-4.pdf/>. |
| 13. ibid | 13. 同上 |
| 14. Common Crawl <https://commoncrawl.org/>. | 14. Common Crawl <https://commoncrawl.org/>. |
| 15. LAION : Large-scale Artificial Intelligence Open Network <https://laion.ai/>. | 15. LAION : Large-scale Artificial Intelligence Open Network <https://laion.ai/>. |
| 16. ‘Your Personal Information is Probably Being Used to Train Generative AI Models’, SCIAM <https://www.scientificamerican.com/article/your-personal-information-is-probably-being-used- to-train-generative-ai-models/>. | 16. あなたの個人情報はおそらく生成的AIモデルの訓練に使われている」、SCIAM <https://www.scientificamerican.com/article/your-personal-information-is-probably-being-used- to-train-generative-ai-models/>. |
| 17. ‘Joint statement on data scraping and the protection of privacy’, ICO <https://ico.org.uk/media/ about-the-ico/documents/4026232/joint-statement-data-scraping-202308.pdf>. | 17. データ・スクレイピングとプライバシー保護に関する共同声明」、ICO <https://ico.org.uk/media/ about-the-ico/documents/4026232/joint-statement-data-scraping-202308.pdf>. |
| 18. ‘How to Train Generative AI Using Your Company’s Data’, Harvard Business Review <https://hbr. org/2023/07/how-to-train-generative-ai-using-your-companys-data/>. | 18. How to Train Generative AI Using Your Company's Data', Harvard Business Review <https://hbr. org/2023/07/how-to-train-generative-ai-using-your-companys-data/>. |
| 19. ‘What is generative AI?’, IBM <https://research.ibm.com/blog/what-is-generative-AI>. | 19. 生成的AIとは何か」、IBM <https://research.ibm.com/blog/what-is-generative-AI>. |
| 20. ‘HOW DATA PROTECTION AUTHORITIES ARE DE FACTO REGULATING GENERATIVE AI’, FUTURE OF PRIVACY FORUM <https://fpf.org/blog/how-data-protection-authorities-are-de- facto-regulating-generative-ai/>. | 20. How DATA PROTECTION AUTHORITIES ARE DE FACTO REGULATING GENERATIVE AI」、FUTURE OF PRIVACY FORUM <https://fpf.org/blog/how-data-protection-authorities-are-de- facto-regulating-generative-ai/>. |
| 21. Digital Personal Data Protection Act 2023, section 4, <https://www.meity.gov.in/writereaddata/ files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf/>. | 21. Digital Personal Data Protection Act 2023, Section 4, <https://www.meity.gov.in/writereaddata/ files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf/>. |
| 22. REGULATION (EU) 2016/679 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL, Article 6, <https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679/>. | 22. REGULATION (EU) 2016/679 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL, Article 6, <https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679/>. |
| 23. ‘How do we ensure lawfulness in AI?’, ICO <https://ico.org.uk/for-organisations/uk-gdpr- guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we- ensure-lawfulness-in-ai/>. | 23. How do we ensure lawfulness in AI?', ICO <https://ico.org.uk/for-organisations/uk-gdpr- guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we- ensure-lawfulness-in-ai/>. |
| 24. ibid | 24. 同上 |
| 25. ‘Artificial intelligence: italian SA clamps down on ‘Replika’ chatbot’, Garante <https://www. garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/9852506#english>. | 25. 人工知能：イタリアのSAは「Replika」チャットボットを取り締まる」、Garante <https://www. garanteprivacy.it/web/guest/home/docweb//docweb-display/docweb/9852506#english>. |
| 26. Generative AI: The Data Protection Implications | CEDPO <https://cedpo.eu/wp-content/ uploads/generative-ai-the-data-protection-implications-16-10-2023.pdf>. | 26. 生成的AI：データ防御の意味｜CEDPO <https://cedpo.eu/wp-content/ uploads/generative-ai-the-data-protection-implications-16-10-2023.pdf>. |
| 27. ‘What are AI hallucinations?’, IBM <https://www.ibm.com/topics/ai-hallucinations> [accessed 6 March 2024]., ‘Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive’, Stanford HAI <https://hai.stanford.edu/news/hallucinating-law-legal-mistakes-large-language- models-are-pervasive>, ‘Chatbots May “Hallucinate” More Often Than Many Realize’, NYTimes <https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html/>. | 27. AIの幻覚とは何か」、IBM <https://www.ibm.com/topics/ai-hallucinations> [accessed 6 March 2024]., 「法律を幻覚化する： Legal Mistakes with Large Language Models are Pervasive', Stanford HAI <https://hai.stanford.edu/news/hallucinating-law-legal-mistakes-large-language- models-are-pervasive>, 'Chatbots May "Hallucinate" Moreften Than Many Realize', NYTimes <https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html/>. |
| 28. Improving mathematical reasoning with process supervision | OpenAI <https://openai.com/ research/improving-mathematical-reasoning-with-process-supervision>. | 28. プロセス監視による数学的推論の改善｜OpenAI <https://openai.com/ research/improving-mathematical-reasoning-with-process-supervision>. |
| 29. ‘Principle (c): Data Minimisation’, ICO <https://ico.org.uk/for-organisations/guide-to- data-protection/guide-to-the-general-data-protection-regulation-gdpr/principles/data- minimisation/>. | 29. 原則(c)： Data Minimisation」、ICO <https://ico.org.uk/for-organisations/guide-to- data-protection/guide-to-the-general-data-protection-regulation-gdpr/principles/data- minimisation/>. |
| 30. ‘Defining a purpose’, CNIL <https://www.cnil.fr/en/defining-purpose/>. | 30. 目的の定義」、CNIL <https://www.cnil.fr/en/defining-purpose/>. |
| 31. General Data Protection Regulation, 2016, Articles 15 to 21, <https://eur-lex.europa.eu/legal- content/EN/TXT/PDF/?uri=CELEX:02016R0679-20160504>. | 31. General Data Protection Regulation, 2016, Article 15 to 21, <https://eur-lex.europa.eu/legal- content/EN/TXT/PDF/?uri=CELEX:02016R0679-20160504>. |
| 32. Digital Personal Data Protection Act 2023, <https://www.meity.gov.in/writereaddata/files/ Digital%20Personal%20Data%20Protection%20Act%202023.pdf>. | 32. Digital Personal Data Protection Act 2023, <https://www.meity.gov.in/writereaddata/files/ Digital%20Personal%20Data%20Protection%20Act%2023.pdf>. |
| 33. supra 26. | 33. 上記26. |
| 34. Dawen Zhang and others, Right to be Forgotten in the Era of Large Language Models: Implications, Challenges, and Solutions (arXiv, 2023) <https://arxiv.org/pdf/2307.03941.pdf/>. | 34. Dawen Zhang and others, Right to be Forgotten in the Era of Large Language Models： Implications, Challenges, and Solutions (arXiv, 2023) <https://arxiv.org/pdf/2307.03941.pdf/>. |
| 35. ‘New ways to manage your data in ChatGPT’, OpenAI <https://openai.com/blog/new-ways-to- manage-your-data-in-chatgpt>. | 35. ChatGPTでデータを管理する新しい方法」、OpenAI <https://openai.com/blog/new-ways-to- manage-your-data-in-chatgpt>. |
| 36. Digital Personal Data Protection Act 2023, Section 3(c)(ii), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf>. | 36. Digital Personal Data Protection Act 2023, Section 3(c)(ii), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf>. |
| 37. ‘THE DIGITAL PERSONAL DATA PROTECTION ACT OF INDIA, EXPLAINED’, FUTURE OF PRIVACY FORUM <https://fpf.org/blog/the-digital-personal-data-protection-act-of-india- explained/>. | 37. THE DIGITAL PERSONAL DATA PROTECTION ACT OF INDIA, EXPLAINED', FUTURE OF PRIVACY FORUM <https://fpf.org/blog/the-digital-personal-data-protection-act-of-india- explained/>. |
| 38. Digital Personal Data Protection Act 2023, Section 17(2)(b), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf/>. | 38. Digital Personal Data Protection Act 2023, Section 17(2)(b), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf/>. |
| 39. Digital Personal Data Protection Act 2023, Section 40(2)(q), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf/>. | 39. Digital Personal Data Protection Act 2023, Section 40(2)(q), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf/>. |
| 40. Australian Privacy Principles quick reference | Office of the Australian Information Commissioner <https://www.oaic.gov.au/privacy/australian-privacy-principles/australian-privacy-principles- quick-reference>. | 40. オーストラリアプライバシー原則クイックリファレンス｜オーストラリア情報コミッショナー事務局 <https://www.oaic.gov.au/privacy/australian-privacy-principles/australian-privacy-principles- quick-reference>. |
| 41. Working Paper 2: Examination of technology – Large Language Models | Digital Platforms Regulators Forum <https://dp-reg.gov.au/publications/working-paper-2-examination- technology-large-language-models#potential-impacts-in-regulated-areas>. | 41. Working Paper 2: Examination of technology - Large Language Models｜Digital Platforms Regulators Forum <https://dp-reg.gov.au/publications/working-paper-2-examination- technology-large-language-models#potential-impacts-in-regulated-areas>. |
| 42. ibid | 42. 同上 |
| 43. Tech Trends Position Statement Generative AI | eSafety Commissioner <https://www.esafety. gov.au/sites/default/files/2023-08/Generative%20AI%20-%20Position%20Statement%20-%20 August%202023%20.pdf>. | 43. Tech Trends Position Statement Generative AI | eSafety Commissioner <https://www.esafety. gov.au/sites/default/files/2023-08/Generative%20AI%20-%20Position%20Statement%20-%20 August%2023%20.pdf>. |
| 44. ibid | 44. 同上 |
| 45. ‘The technology must be compliant’, UODO <https://uodo.gov.pl/pl/138/2823>. | 45. 技術は準拠しなければならない」、UODO <https://uodo.gov.pl/pl/138/2823>. |
| 46. ‘Artificial intelligence: stop to ChatGPT by the Italian SA’, Garante <https://www.gpdp.it/web/ guest/home/docweb/-/docweb-display/docweb/9870847#english>. | 46. 人工知能：イタリアSAによるChatGPTの停止」、Garante <https://www.gpdp.it/web/ guest/home/docweb/-/docweb-display/docweb/9870847#english>. |
| 47. ‘The AEPD initiates ex officio investigation proceedings against OpenAI, owner of ChatGPT’, AEPD <https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/aepd-inicia-de-oficio- actuaciones-de-investigacion-a-openai>. | 47. The AEPD initiates ex officio investigation proceedings against OpenAI, chatGPTの所有者」、AEPD <https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/aepd-inicia-de-oficio- actuaciones-de-investigacion-a-openai>. |
| 48. ‘French privacy watchdog investigating complaints about ChatGPT’, REUTERS <https:// www.reuters.com/technology/french-privacy-watchdog-investigating-complaints-about- chatgpt-2023-04-11/>. | 48. フランスのプライバシー監視機関がChatGPTに関する苦情を調査」、REUTERS <https:// www.reuters.com/technology/french-privacy-watchdog-investigating-complaints-about- chatgpt-2023-04-11/>。 |
| 49. ‘Artificial Intelligence: the action of the CNIL’, CNIL <https://www.cnil.fr/en/artificial-intelligence- action-plan-cnil/>. | 49. 人工知能：CNILの行動」、CNIL <https://www.cnil.fr/en/artificial-intelligence- action-plan-cnil/>. |
| 50. Resolution on Generative Artificial Intelligence Systems | Global Privacy Assembly <https://www. edps.europa.eu/system/files/2023-10/edps-gpa-resolution-on-generative-ai-systems_en.pdf>. | 50. 生成的人工知能システムに関する決議｜Global Privacy Assembly <https://www. edps.europa.eu/system/files/2023-10/edps-gpa-resolution-on-generative-ai-systems_ja.pdf>. |
| 51. ‘EDPB resolves dispute on transfers by Meta and creates task force on Chat GPT’, EDPB <https:// edpb.europa.eu/news/news/2023/edpb-resolves-dispute-transfers-meta-and-creates-task- force-chat-gpt_en/>. | 51. EDPB resolves dispute on transfers by Meta and creates task force on Chat GPT', EDPB <https:// edpb.europa.eu/news/news/2023/edpb-resolves-dispute-transfers-meta-and-creates-task- force-chat-gpt_ja/>. |
| 52. GENERATIVE ARTIFICIAL INTELLIGENCE GUIDELINES | SDAIA <https://sdaia.gov.sa/en/ SDAIA/about/Files/GenerativeAIPublicEN.pdf/>. | 52. 生成的人工知能ガイドライン｜SDAIA <https://sdaia.gov.sa/en/ SDAIA/about/Files/GenerativeAIPublicEN.pdf/>. |
| 53. ibid | 同上 |
| 54. FAQs: REGULATION 10 ON PERSONAL DATA PROCESSED THROUGH AUTONOMOUS AND SEMI-AUTONOMOUS SYSTEMS | DIFC <https://edge.sitecorecloud.io/dubaiintern0078- difcexperie96c5-production-3253/media/project/difcexperiences/difc/difcwebsite/documents/ data-protection-pages/guidance-and-handbooks/lawful-processing/difc-dp-gl-24-rev-01- regulation-10-faqs.pdf>. | 54. FAQs： REGULATION 10 ON PERSONAL DATA PROCESSED THROUGH AUTONOMOUS AND SEMI-AUTONOMOUS SYSTEMS | DIFC <https://edge.sitecorecloud.io/dubaiintern0078- difcexperie96c5-production-3253/media/project/difcexperiences/difc/difcwebsite/documents/ data-protection-pages/guidance-and-handbooks/lawful-processing/difc-dp-gl-24-rev-01- regulation-10-faqs.pdf>. |
| 55. ‘Singapore’s Approach to AI Governance’, PDPC <https://www.pdpc.gov.sg/help-and- resources/2020/01/model-ai-governance-framework>. | 55. Singapore's Approach to AI Governance', PDPC <https://www.pdpc.gov.sg/help-and- resources/2020/01/model-ai-governance-framework>. |
| 56. ‘First of its kind Generative AI Evaluation Sandbox for Trusted AI by AI Verify Foundation and IMDA’, INFOCOMM MEDIA DEVELOPMENT AUTHORITY <https://www.imda.gov.sg/resources/ press-releases-factsheets-and-speeches/press-releases/2023/generative-ai-evaluation- sandbox/>. | 56. First of its kind for Generative AI Evaluation Sandbox for Trusted AI by AI Verify Foundation and IMDA」, INFOCOMM MEDIA DEVELOPMENT AUTHORITY <https://www.imda.gov.sg/resources/ press-releases-factsheets-and-speeches/press-releases/2023/generative-ai-evaluation- sandbox/>. |
| 57. PROPOSED MODEL AI GOVERNANCE FRAMEWORK FORGENERATIVE AI | AI VERIFY FOUNDATION <https://aiverifyfoundation.sg/downloads/Proposed_MGF_Gen_AI_2024.pdf/>. | 57. 提案されたモデルAIガバナンスフレームワークforenerative ai｜ai verify foundation <https://aiverifyfoundation.sg/downloads/Proposed_MGF_Gen_AI_2024.pdf/>. |
| 58. ‘Generative AI first call for evidence: The lawful basis for web scraping to train generative AI models’, ICO <https://ico.org.uk/about-the-ico/what-we-do/our-work-on-artificial-intelligence/ generative-ai-first-call-for-evidence/>. | 58. 生成的AI最初の証拠募集」： 生成的AIモデルを訓練するためのウェブスクレイピングの合法的根拠」、ICO <https://ico.org.uk/about-the-ico/what-we-do/our-work-on-artificial-intelligence/ generative-ai-first-call-for-evidence/>. |
| 59. ‘Large Language Models and generative AI’, Communications and Digital Committee U.K. Parliament <https://publications.parliament.uk/pa/ld5804/ldselect/ldcomm/54/5402.htm>. | 59. 大規模言語モデルと生成的AI」、コミュニケーション・デジタル委員会英国議会 <https://publications.parliament.uk/pa/ld5804/ldselect/ldcomm/54/5402.htm>. |
| 60. Digital Personal Data Protection Act 2023, section 2(k), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf/>. | 60. Digital Personal Data Protection Act 2023, Section 2(k), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf/>. |
| 61. Digital Personal Data Protection Act 2023, section 8(2), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%202023.pdf/>. | 61. Digital Personal Data Protection Act 2023, Section 8(2), <https://www.meity.gov.in/ writereaddata/files/Digital%20Personal%20Data%20Protection%20Act%2023.pdf/>. |
| 62. Data Processing Addendum | OpenAI <https://openai.com/policies/data-processing-addendum> 63. ‘A Policymaker’s Guide to Foundation Models’, IBM <https://newsroom.ibm.com/Whitepaper-A- Policymakers-Guide-to-Foundation-Models>. | 62. データ処理補遺｜OpenAI <https://openai.com/policies/data-processing-addendum> 63. A Policymaker's Guide to Foundation Models', IBM <https://newsroom.ibm.com/Whitepaper-A- Policymakers-Guide-to-Foundation-Models>. |
| 64. Cornelia Kutterer, ‘Regulating Foundation Models in the AI Act: From “High” to “Systemic” Risk’, <https://ai-regulation.com/wp-content/uploads/2024/01/C-Kutterer-Regulating-Foundation- Models-in-the-AI.pdf>. | 64. Cornelia Kutterer, 'Regulating Foundation Models in the AI Act： From "High" to "Systemic" Risk", <https://ai-regulation.com/wp-content/uploads/2024/01/C-Kutterer-Regulating-Foundation- Models-in-the-AI.pdf>. |
| 65. Governing AI: A Blueprint for the Future | Microsoft <https://query.prod.cms.rt.microsoft.com/ cms/api/am/binary/RW14Gtw>. | 65. Governing AI: A Blueprint for the Future | Microsoft <https://query.prod.cms.rt.microsoft.com/ cms/api/am/binary/RW14Gtw>. |
| 66. ‘Determining the legal qualification of AI system providers’, CNIL <https://www.cnil.fr/en/ determining-legal-qualification-ai-system-providers>. | 66. AIシステムプロバイダの法的資格の決定」、CNIL <https://www.cnil.fr/en/ determining-legal-qualification-ai-system-providers>. |
| 67. Laura Weidinger and others, Taxonomy of Risks posed by Language Models (FAccT, 2022) <https://dl.acm.org/doi/pdf/10.1145/3531146.3533088>. | 67. Laura Weidinger and others, Taxonomy of Risks posed by Language Models (FAccT, 2022) <https://dl.acm.org/doi/pdf/10.1145/3531146.3533088>. |
| 68. ibid | 68. 同上 |
| 69. ‘Interim guidance on government use of public generative AI tools - November 2023’, Australian Government Digital Transformation Agency <https://architecture.digital.gov.au/guidance- generative-ai/>. | 69. 政府による公的生成的AIツールの使用に関する暫定ガイダンス - 2023年11月」、オーストラリア政府デジタル・トランスフォーメーション庁 <https://architecture.digital.gov.au/guidance- generative-ai/>. |
| 70. ‘Principles for responsible, trustworthy and privacy-protective generative AI technologies’, Office of the Privacy Commissioner of Canada <https://www.priv.gc.ca/en/privacy-topics/technology/ artificial-intelligence/gd_principles_ai/>. | 70. 責任ある、信頼できる、プライバシー保護的な生成的AI技術のための防御原則」、カナダプライバシー・コミッショナー事務局 <https://www.priv.gc.ca/en/privacy-topics/technology/ artificial-intelligence/gd_principles_ai/>. |
| 71. ‘Checklist for using LLM-based chatbots’, Datenschutz Hamburg <https://datenschutz-hamburg. de/news/checkliste-zum-einsatz-llm-basierter-chatbots>. | 71. LLMベースのチャットボットを使用するためのチェックリスト」、Datenschutz Hamburg <https://datenschutz-hamburg. de/news/checkliste-zum-einsatz-llm-basierter-chatbots>. |
| 72. ‘FPF releases generative ai internal policy checklist to guide development of policies to promote responsible employee use of generative ai tools’, future of privacy forum <https://fpf.org/ blog/fpf-releases-generative-ai-internal-policy-checklist-to-guide-development-of-policies-to- promote-responsible-employee-use-of-generative-ai-tools/>. | 72. FPF releases generative ai internal policy checklist to guide development of policies to promote employee use of generative ai tools」、Future of privacy forum <https://fpf.org/ blog/fpf-releases-generative-ai-internal-policy-checklist-to-guide-development-of-policies-to- promote-responsible-employee-use-of-generative-ai-tools/>. |
| 73. ‘HowdowebestgovernAI?’,Microsoft<https://blogs.microsoft.com/on-the-issues/2023/05/25/ how-do-we-best-govern-ai/>, ‘The AIdea of India: Generative AI’s potential to accelerate India’s digital transformation’, EY <https://www.ey.com/en_in/ai/generative-ai-india-report>. | 73. HowdowebestgovernAI?',Microsoft<https://blogs.microsoft.com/on-the-issues/2023/05/25/ how-do-we-best-govern-ai/>, 'The AIdea of India： インドのデジタルトランスフォーメーションを加速する生成的AIの可能性」、EY<https://www.ey.com/en_in/ai/generative-ai-india-report>。 |
| 74. supra 26. | 74. 前掲書 26. |
| 75. Haoran Li and others, Multi-step jailbreaking Privacy Attacks on ChatGPT (arXiv, 2023) <https:// arxiv.org/pdf/2304.05197.pdf/>. | 75. Haoran Li and others, Multi-step jailbreaking Privacy Attacks on ChatGPT (arXiv, 2023) <https:// arxiv.org/pdf/2304.05197.pdf/>. |
| 76. ‘Generative AI’s Biggest Security Flaw Is Not Easy to Fix’, WIRED <https://www.wired.co.uk/ article/generative-ai-prompt-injection-hacking>. | 76. 生成的AIの最大のセキュリティ上の欠陥は簡単に修正できない」『WIRED』<https://www.wired.co.uk/ article/generative-ai-prompt-injection-hacking>. |
| 77. Supra 26. | 77. 上巻26。 |
| 78. Milad Nasr and others, Scalable Extraction of Training Data from (Production) Language Models (arXiv, 2023) <https://arxiv.org/abs/2311.17035>. | 78. Milad Nasr and others, Scalable Extraction of Training Data from (Production) Language Models (arXiv, 2023) <https://arxiv.org/abs/2311.17035>. |
| 79. Xiaoyi Chen, The Janus Interface: How Fine-Tuning in Large Language Models Amplifies the Privacy Risks (arXiv, 2023) <https://arxiv.org/pdf/2310.15469.pdf>. | 79. Xiaoyi Chen, The Janus Interface： How Fine-Tuning in Large Language Models Amplifies the Privacy Risks (arXiv, 2023) <https://arxiv.org/pdf/2310.15469.pdf>. |
| 80. supra 26. | 80. 上記26. |
| 81. Resolution on Generative Artificial Intelligence Systems | Global Privacy Assembly <https://www. edps.europa.eu/system/files/2023-10/edps-gpa-resolution-on-generative-ai-systems_en.pdf>. | 81. 生成的人工知能システムに関する決議｜Global Privacy Assembly <https://www. edps.europa.eu/system/files/2023-10/edps-gpa-resolution-on-generative-ai-systems_ja.pdf>. |
| 82. supra 26. | 82. 前掲書26。 |
| 83. ‘Managing the Risks of Generative AI’, Harvard Business Review <https://hbr.org/2023/06/ managing-the-risks-of-generative-ai/>. | 83. 生成的AIのリスクマネジメント」、Harvard Business Review <https://hbr.org/2023/06/ managing-the-risks-of-generative-ai/>. |
| 84. ‘Addressing Privacy and GDPR in ChatGPT and Large Language Models’, PrivateAI <https:// www.private-ai.com/2023/01/18/addressing-privacy-and-the-gdpr-in-chatgpt-and-large- language-models/>. | 84. Addressing Privacy and GDPR in ChatGPT and Large Language Models', PrivateAI <https:// www.private-ai.com/2023/01/18/addressing-privacy-and-the-gdpr-in-chatgpt-and-large- language-models/>. |
| 85. Sina Alemohammad and others, Self consuming Generative Models Go MAD (arXiv, 2023) <https://arxiv.org/pdf/2307.01850.pdf>. | 85. Sina Alemohammad and others, Self consuming Generative Models Go MAD (arXiv, 2023) <https://arxiv.org/pdf/2307.01850.pdf>. |
Comments