欧州 CERT-EU 生成的AIの潜在的な影響とリスク: まるちゃんの情報セキュリティ気まぐれ日記

September 2024
Sun	Mon	Tue	Wed	Thu	Fri	Sat
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

2023.05.15

欧州 CERT-EU 生成的AIの潜在的な影響とリスク

こんにちは、丸山満彦です。

CERT-EUが、生成的AIを利用する際の

・メリットと

・リスク（サイバーセキュリティを含む）

についてポジションペーパーを出していますね。

リスクは、

・自分が使う場合のリスクと

・他人が使う場合のリスク

にわけています。。。

リスクについては、生成系AIに対する攻撃は含んでいません...

よくまとまっているように感じました。。。かつ、わかりやすい...

⚫︎CERT-EU - Blog

・2023.05.11 Decoding the double-edged sword of Generative AI

Decoding the double-edged sword of Generative AI	生成的AIの諸刃の剣を読み解く
Generative Artificial Intelligence (AI) is here and it’s powerful. It’s promising, but also, it’s challenging many things we’ve taken for granted. We are told this revolutionary, yet overhyped technology is going to shape our future.	生成的人工知能（AI）が登場し、その威力を発揮している。期待されているが、同時に、私たちが当たり前だと思っていた多くのことに挑戦している。この革命的な、しかし大げさなテクノロジーが、私たちの未来を形作ると言われている。
So – guess what? We decided to get a closer look from the perspective of cybersecurity, our field of expertise. In a position paper we are publishing today - available as CERT-EU Security Guidance 23-002 - we dived headfirst into the labyrinth of this fascinating and sometimes fearsome frontier.	そこで......どうでしょう？私たちは、私たちの専門分野であるサイバーセキュリティの観点から、より詳しく見てみることにした。本日発表するポジションペーパー（CERT-EU Security Guidance 23-002）では、この魅力的で、時に恐ろしいフロンティアの迷宮に真っ先に飛び込んだ。
What is Generative AI?	生成的AIとは？
Generative AI is a subset of AI that learns from vast datasets to generate synthetic outputs. From creating realistic images to writing coherent text (albeit not always confabulation-free) or even composing symphonies, this technology is advancing at a breakneck speed. However, as the adage goes, ‘With great power comes great responsibility.’	生成的AIとは、膨大なデータセットから学習し、合成出力を生成するAIのサブセットである。リアルな画像の作成から、一貫性のある文章の作成（必ずしも混同しないとは限らないが）、さらには交響曲の作曲まで、この技術は猛烈なスピードで進歩している。しかし、格言にあるように、「大きな力には大きな責任が伴う」のである。
Position paper	ポジションペーパー
CERT-EU’s position paper highlights some of the potentially enormous benefits of Generative AI. Imagine a world where AI composes personalised literature, designs unique clothing, or even develops ground-breaking scientific research. The possibilities seem endless and exciting. But as we stand on the brink of this brave new world, it’s imperative to consider and prepare for the potential pitfalls.	CERT-EUのポジションペーパーは、生成系AIがもたらす潜在的な巨大なメリットのいくつかを強調している。AIが個人向けの文学を作ったり、ユニークな服をデザインしたり、あるいは画期的な科学研究を開発する世界を想像してみよう。その可能性は無限であり、エキサイティングなものに思えます。しかし、この素晴らしい新世界の瀬戸際に立つ私たちは、潜在的な落とし穴を考慮し、準備することが不可欠である。
The paper does not shy away from exposing the dark underbelly of this transformative technology. It brings to light the potential threats associated with the misuse of Generative AI - deepfakes that blur reality, automated phishing attacks, and even the threat of AI-generated propaganda. The implications of these threats are far-reaching, from personal security to international relations, and everything in between.	この論文では、この革新的な技術の暗い裏側を恥ずかしげもなく暴露している。現実を曖昧にするディープフェイク、自動化されたフィッシング攻撃、さらにはAIが生成したプロパガンダの脅威など、生成系AIを悪用した潜在的な脅威を浮き彫りにしている。これらの脅威の影響は、個人のセキュリティから国際関係、そしてその間にあるすべてのものに至るまで、広範囲に及ぶ。
CERT-EU’s position paper not only paints a vivid picture of this reality but also provides a preliminary roadmap, from a cybersecurity standpoint, to navigate the tricky terrain of this powerful technology.	CERT-EUのポジションペーパーは、この現実を鮮明に描き出すだけでなく、サイバーセキュリティの観点から、この強力なテクノロジーの厄介な地形をナビゲートするための事前ロードマップを提供する。
We need your feedback	皆様のご意見をお聞かせください
We are by no means AI specialists. Thus, we might have missed a thing here or there in the paper. Also, given the speed of developments in the field of Generative AI, the paper might be already outdated by the time it falls in your hands. So please send us your constructive feedback to [mail] to help us correct our mistakes and improve the paper for the benefit of all, as we all learn and understand more about large language models, transformers, and what have you.	私たちは決してAIの専門家ではない。そのため、紙面のあちこちに見落としがあるかもしれない。また、生成系AIの分野での開発スピードを考えると、この論文が皆さんの手に渡る頃にはすでに時代遅れになっているかもしれない。そこで、私たちが間違いを正し、大規模言語モデルやトランスフォーマーなどについて学び、理解を深め、すべての人のために論文を改善するために、建設的なフィードバックを [mail] までお送りください。

・[PDF] Potential impact and risks of Generative AI in EUIBAs

　目次...

Potential impact and risks of Generative AI in EUIBAs	EUIBAにおける生成的AIの潜在的な影響とリスク
Contents	目次
1 Introduction	1 はじめに
1.1 Disclaimer	1.1 免責事項
1.2 Contact	1.2 連絡先
1.3 Generative AI	1.3 生成的AI
1.4 How does it work?	1.4 どのように機能するのか？
1.4.1 Text generation models	1.4.1 テキスト生成モデル
1.4.2 Image generation models	1.4.2 画像生成モデル
1.5 Future outlook	1.5 今後の展望
2 Focus area	2 注目分野
3 Benefits	3 メリット
3.1 Benefits of using Generative AI	3.1 生成的AIを利用するメリット
3.1.1 Enhancing learning	3.1.1 学習の強化
3.1.2 Improving detection rules	3.1.2 検出ルールの改善
3.1.3 Supporting analysis	3.1.3 分析をサポートする
3.1.4 Automating threat intelligence	3.1.4 脅威インテリジェンスの自動化
3.1.5 Coding and documentation	3.1.5 コーディングとドキュメンテーション
3.1.6 Content generation	3.1.6 コンテンツの生成
4 Risks	4 リスク
4.1 Risks of using Generative AI	4.1 生成的AI を使用する際のリスク
4.1.1 Disclosure of sensitive data	4.1.1 機密データの開示
4.1.2 Copyright violations	4.1.2 著作権侵害
4.1.3 False or inaccurate information	4.1.3 虚偽または不正確な情報
4.1.4 Hype abuse	4.1.4 誇大広告の濫用
4.1.5 Over-relying on technology	4.1.5 テクノロジーへの過度な依存
4.1.6 LLMs opinions, advice, and moral values	4.1.6 LLMの意見、助言、道徳的価値観
4.2 Risks of others using Generative AI technology	4.2 生成的AI技術を他者が使用する場合のリスク
4.2.1 Privacy issues	4.2.1 プライバシーの問題
4.2.2 More advanced cyberattacks	4.2.2 より高度なサイバー攻撃
4.2.3 Disinformation	4.2.3 偽情報
4.2.4 Censorship and control	4.2.4 検閲と統制
5 Conclusions	5 結論
5.1 Recommendations	5.1 提言
5.1.1 Short-term	5.1.1 短期的
5.1.2 Medium- to long-term	5.1.2 中長期
6 Credits	6 謝辞

2020年の話ですから、生成系AIに特化したものではなく一般的な話ですが...私が白浜のシンポジウムで講演した時の資料も...

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.10.25『スマートサイバー AI活用時代のサイバーリスク管理』第24回サイバー犯罪に関する白浜シンポジウムの発表資料

スマートサイバー　AI活用時代のサイバーリスク管理　丸山満彦氏（PwCコンサルティング合同会社）

機械学習、深層学習をはじめとするいわゆる人工知能技術（AI）の社会での実装が進んできています。サイバーリスクの防御の面でも機械学習、深層学習を活用したサイバー防御製品やサービスが広がってきています。サイバーリスク管理にAIがどのように活用できるのか、人間とのかかわりはどうすべきか、そしてAIを活用したサイバー攻撃、AIに対するサイバー攻撃といったことにも触れていきながら、これからの課題を考えていきたいと思います。

・[PDF] スマートサイバー　AI活用時代のサイバーリスク管理（配布用）

あと、NISTのホワイトペーパについて私のブログも参考まで。。。

・2023.03.11 NIST ホワイトペーパー NIST AI 100-2e2023（ドラフト）敵対的機械学習：攻撃と防御の分類と用語集

今回のポジションペーパーの仮対訳...

↓↓↓↓↓

Potential impact and risks of Generative AI in EUIBAs	EUIBAにおける生成型AIの潜在的な影響とリスク
CERT-EU Team ver. 1.1 May 9, 2023	CERT-EUチーム ver. 1.1 2023年5月9日
TLP:CLEAR \| PUBLIC TLP:CLEAR information may be distributed freely.	TLP:CLEAR｜PUBLIC TLP:CLEARの情報は、自由に配布することができる。
Contents	目次
1 Introduction	1 はじめに
1.1 Disclaimer	1.1 免責事項
1.2 Contact	1.2 連絡先
1.3 Generative AI	1.3 生成型AI
1.4 How does it work?	1.4 どのように機能するのか？
1.4.1 Text generation models	1.4.1 テキスト生成モデル
1.4.2 Image generation models	1.4.2 画像生成モデル
1.5 Future outlook	1.5 今後の展望
2 Focus area	2 注目分野
3 Benefits	3 メリット
3.1 Benefits of using Generative AI	3.1 生成型AIを利用するメリット
3.1.1 Enhancing learning	3.1.1 学習の強化
3.1.2 Improving detection rules	3.1.2 検出ルールの改善
3.1.3 Supporting analysis	3.1.3 分析をサポートする
3.1.4 Automating threat intelligence	3.1.4 脅威インテリジェンスの自動化
3.1.5 Coding and documentation	3.1.5 コーディングとドキュメンテーション
3.1.6 Content generation	3.1.6 コンテンツの生成
4 Risks	4 リスク
4.1 Risks of using Generative AI	4.1 生成型AI を使用する際のリスク
4.1.1 Disclosure of sensitive data	4.1.1 機密データの開示
4.1.2 Copyright violations	4.1.2 著作権侵害
4.1.3 False or inaccurate information	4.1.3 虚偽または不正確な情報
4.1.4 Hype abuse	4.1.4 誇大広告の濫用
4.1.5 Over-relying on technology	4.1.5 テクノロジーへの過度な依存
4.1.6 LLMs opinions, advice, and moral values	4.1.6 LLMの意見、助言、道徳的価値観
4.2 Risks of others using Generative AI technology	4.2 生成型AI技術を他者が使用する場合のリスク
4.2.1 Privacy issues	4.2.1 プライバシーの問題
4.2.2 More advanced cyberattacks	4.2.2 より高度なサイバー攻撃
4.2.3 Disinformation	4.2.3 偽情報
4.2.4 Censorship and control	4.2.4 検閲と統制
5 Conclusions	5 結論
5.1 Recommendations	5.1 提言
5.1.1 Short-term	5.1.1 短期的
5.1.2 Medium- to long-term	5.1.2 中長期
6 Credits	6 謝辞
1 Introduction	1 はじめに
1.1 Disclaimer	1.1 免責事項
Please note that portions of this document have been generated with the assistance of ChatGPT using the GPT-4 model developed by OpenAI. While the content provided by the language model has been significantly edited and corrected, it is one of the aims of this document to demonstrate the possible use of a Generative AI technology.	このドキュメントの一部は、OpenAIが開発したGPT-4モデルを用いて、ChatGPTの協力を得て作成されていることを了承ください。言語モデルが提供するコンテンツは大幅に編集・修正されているが、生成型AI技術の可能性を示すことが本ドキュメントの目的の1つである。
1.2 Contact	1.2 連絡先
If you have suggestions that could help improve this document, please contact us at services@ cert.europa.eu. We always appreciate constructive feedback.	この文書の改善に役立つ提案がある場合は、services@ cert.europa.eu.までご連絡ください。私たちは、常に建設的なフィードバックに感謝している。
1.3 Generative AI	1.3 生成型AI
A Generative AI is a type of artificial intelligence that focuses on creating new content or data, simulating humanlike creativity and adaptability. These AI systems are designed to learn from vast amounts of data and generate outputs based on their training. They can be used in a wide range of applications, from natural language processing to computer vision and beyond. For example, generative AI can be employed to create realistic images, draught humanlike text, compose music, or even design novel chemical compounds. Notable examples include large language model transformers (LLMs) such as OpenAI’s GPT series, Google’s Bard and Meta’s LLaMA, which can generate coherent and contextually relevant text, but also text-to-image generation tools such as DALL-E from OpenAI, or Stable Diffusion form Stability AI.	生成型AI は、新しいコンテンツやデータの作成に焦点を当てた人工知能の一種で、人間のような創造性と適応性をシミュレートする。これらのAIシステムは、膨大な量のデータから学習し、トレーニングに基づいた出力を生成するように設計されている。自然言語処理からコンピュータビジョンまで、幅広い用途で使用することができる。例えば、リアルな画像の作成、人間のような文章の作成、作曲、さらには新しい化学物質の設計などに、生成型AIが採用されることがある。顕著な例としては、OpenAIのGPTシリーズ、GoogleのBard、MetaのLLaMAなどの大規模言語モデル変換器（LLM）があり、首尾一貫した文脈に関連したテキストを生成できるが、OpenAIのDALL-EやStable Diffusion形式のStability AIなどのテキストから画像への生成ツールもある。
Large language model transformers are advanced deep learning models that utilise the so-called self-attention mechanisms and multi-layer architectures to understand and generate humanlike text. They excel at tasks such as language translation, summarisation, and question-answering by analysing vast amounts of data and identifying complex patterns. Transformers’ strengths include their ability to capture contextual information, generate coherent and contextually relevant responses, and adapt to a wide range of tasks. However, they have notable weaknesses, such as being data and computationally intensive, requiring significant resources for training and fine-tuning. Additionally, they may produce plausible-sounding but incorrect or nonsensical answers (hallucinations), and they can be sensitive to the phrasing of input prompts. Lastly, transformers may inadvertently generate biased or harmful content due to biases present in the training data.	大規模言語モデル変換ツールは、いわゆる自己注意メカニズムや多層アーキテクチャを活用して、人間らしいテキストを理解し生成する高度な深層学習モデルである。膨大な量のデータを分析し、複雑なパターンを特定することで、言語翻訳、要約、質問応答などのタスクを得意とする。変換器の強みは、文脈情報を把握する能力、首尾一貫した文脈に即した応答を生成する能力、さまざまなタスクに対応する能力などである。しかし、データ量と計算量が多く、訓練や微調整に多大なリソースを必要とするなどの弱点もある。さらに、もっともらしく聞こえるが不正確な答えや無意味な答え（幻覚）を出すことがあり、入力プロンプトの言い回しに敏感であることもある。最後に、変換器は、学習データに存在する偏りによって、不注意に偏った内容や有害な内容を生成することがある。
In turn, text-to-image generation models employ deep learning techniques to create visually coherent images based on textual input. The strengths of these models include their ability to generate diverse and creative images, as well as aiding in data augmentation and visual storytelling. However, weaknesses include their dependence on large, well-annotated datasets for training, high computational requirements, and the possibility of generating unrealistic or low-quality images. Furthermore, they may struggle to accurately capture complex and abstract concepts described in the textual input, and – similar to transformers – may inadvertently propagate biases present in the training data.	一方、テキスト画像生成モデルは、深層学習技術を採用して、テキスト入力に基づいて視覚的に首尾一貫した画像を生成する。このモデルの長所は、多様で創造的な画像を生成できること、データ補強やビジュアルストーリーテリングに役立つことである。しかし、弱点として、学習用の大規模な注釈付きデータセットへの依存、高い計算量、非現実的または低品質の画像を生成する可能性がある。さらに、テキスト入力に記述された複雑で抽象的な概念を正確に捉えることに苦労する可能性があり、変換器と同様に、トレーニングデータに存在するバイアスを不注意で伝播してしまう可能性もある。
1.4 How does it work?	1.4 どのように機能するのか？
Generative AI is not magic, but rather a testament to recent breakthroughs in the field of neural networks and deep learning. The substantial progress made in recent years is primarily attributed to the exponential growth of computational power and the availability of massive datasets for training.	生成型AIは魔法ではなく、ニューラルネットワークと深層学習の分野における近年のブレークスルーを証明するものである。近年の大幅な進歩は、主に計算能力の指数関数的な向上と、訓練用の膨大なデータセットが利用できるようになったことに起因している。
1.4.1 Text generation models	1.4.1 テキスト生成モデル
LLMs, at their core, consist of neural networks with millions or billions of parameters (i.e., model size) that are trained on vast amounts of text data. The parameters describe a number of interconnections between nodes of the neural networks. Before these models can be used, they need to be trained. During the training process, they are presented with huge amounts of data (i.e. training sets) that allow them to learn patterns, relationships, and structures within the language by adjusting their parameters to minimise prediction errors. They are typically trained using a method called unsupervised learning, which allows them to predict the next word or token in a sequence, given the previous context.	LLMは、その中核は、膨大な量のテキストデータで訓練された、数百万から数十億のパラメータ（すなわち、モデルサイズ）を持つニューラルネットワークで構成されている。パラメータは、ニューラルネットワークのノード間の相互接続を多数記述する。これらのモデルを使用する前に、トレーニングする必要がある。学習プロセスでは、膨大な量のデータ（学習セット）が提示され、予測エラーを最小化するようにパラメータを調整することで、言語内のパターン、関係、構造を学習することができる。通常、教師なし学習と呼ばれる方法で学習され、前の文脈から次の単語やトークンを予測することができる。
Inference is the process of using a trained language model to generate predictions or complete tasks based on new input data. During this stage, the model leverages its internal knowledge of language patterns and relationships, acquired during training, to produce relevant and coherent output. Inference involves a series of calculations to assign probabilities to potential next words or tokens, ultimately selecting the one with the highest probability. This process is then repeated to generate subsequent words, resulting in a coherent and contextually appropriate response.	推論とは、学習した言語モデルを使用して、新しい入力データに基づいて予測を生成したり、タスクを完了したりするプロセスである。この段階では、学習中に得た言語パターンや関係性に関する内部知識を活用して、適切で一貫性のある出力を生成することができる。推論では、次に来る可能性のある単語やトークンに確率を割り当てる一連の計算を行い、最終的に最も確率が高いものを選択する。このプロセスを繰り返して次の単語を生成することで、首尾一貫した文脈に適した応答が得られる。
1.4.2 Image generation models	1.4.2 画像生成モデル
Generative AI text-to-image models are designed to create visual representations of textual descriptions. These models consist of neural networks, specifically built upon architectures like Generative Adversarial Networks (GANs) or Variational Autoencoders (VAEs). Usually, these models consist of two interconnected networks – a generator that synthesises images, and a discriminator that evaluates the quality and relevance of generated images to the input text. To train such models, large datasets containing paired text and image samples are used. The training process involves teaching the model to understand the relationships between textual descriptions and their corresponding visual representations by minimising the discrepancies between generated images and the actual images associated with the input text. Again, as in case of LLMs, the parameters of the neural network are adjusted during training to minimise prediction errors.	生成型AIのテキストから画像へのモデルは、テキスト記述の視覚的表現を作成するために設計されている。これらのモデルは、特に生成型 Adversarial Networks（GAN）やVariational Autoencoders（VAE）のようなアーキテクチャで構築されたニューラルネットワークで構成されている。通常、これらのモデルは、画像を合成する生成器と、生成された画像の品質と入力テキストとの関連性を評価する識別器の2つの相互接続されたネットワークで構成されている。このようなモデルの学習には、テキストと画像のペアサンプルを含む大規模なデータセットが使用される。学習プロセスでは、生成された画像と入力テキストに関連する実際の画像との間の不一致を最小化することによって、テキスト記述とそれに対応する視覚的表現との間の関係を理解するようにモデルを教育する。LLMの場合と同様に、ニューラルネットワークのパラメータは、予測誤差を最小化するためにトレーニング中に調整される。
During inference, when a text description is provided to the trained model, it generates a visual representation that best matches the input. The model uses its understanding of the relationships between text and images, acquired during training, to generate plausible and relevant visual content. Inference typically involves sampling from the model’s latent space, which is a compressed representation of the complex relationships between text and images. The model then maps this latent space back to the image space, producing a coherent and contextually appropriate visual output.	推論では、学習済みのモデルにテキストが提供されると、その入力に最も適した視覚表現が生成される。モデルは、学習中に得たテキストと画像の関係性を理解し、もっともらしく、関連性の高いビジュアルコンテンツを生成する。推論には通常、モデルの潜在的空間からのサンプリングが必要であり、これはテキストと画像の複雑な関係を圧縮して表現したものである。そして、モデルはこの潜在空間を画像空間にマッピングし、首尾一貫した、文脈に適した視覚的出力を生成する。
1.5 Future outlook	1.5 今後の展望
In recent months, there has been a substantial leap forward in the development of Generative AI technology. Further rapid advancements are expected as researchers continue to push the boundaries of AI capabilities, explore new techniques such as unsupervised and self-supervised learning, and tap into the potential of quantum computing. These future improvements could lead to more sophisticated language models, enhanced creativity and problem-solving skills, and the ability to generate highly realistic images, audio, video, and even virtual environments.	ここ数カ月で、生成型AI技術の開発は大きく前進した。研究者がAI能力の限界に挑戦し続け、教師なし学習や自己教師学習などの新しい技術を探求し、量子コンピューティングの可能性を利用することで、さらなる急速な進歩が期待されている。このような将来の改善により、より洗練された言語モデル、創造性や問題解決能力の強化、非常にリアルな画像、音声、映像、さらには仮想環境の生成能力などが実現されるかもしれない。
At CERT-EU, we assess that the development of Generative AI technology will continue, and as such, it is crucial to embrace this transformative innovation. It presents numerous opportunities, such as enhancing creative processes, personalising user experiences, and automating mundane tasks, thereby increasing efficiency. However, it also comes with risks, including the potential for AI-generated misinformation, information leakage, and ethical concerns surrounding AIgenerated content.	CERT-EUでは、生成型AI技術の開発は今後も続くと評価しており、そのため、この変革的なイノベーションを受け入れることが極めて重要であるとしている。創造的なプロセスを強化し、ユーザ体験をパーソナライズし、ありふれたタスクを自動化して効率を高めるなど、多くの機会をもたらする。しかし、AIが生成する誤報や情報漏洩の可能性、AIが生成するコンテンツをめぐる倫理的懸念など、リスクも伴っている。
2 Focus area	2 注目分野
As the potential impact of Generative AIs on society as a whole seems quite transformative and is a huge topic in itself, the scope of this document has been intentionally limited to those areas most relevant to European institutions, bodies, and agencies (EUIBAs). Specifically, this means focusing on the potential impact and valuable insights into the benefits and risks along with some practical recommendations. In addition, due to the volatility of the domain, the information provided here is valid as of the first half of 2023, as further possible advances in the field may require significant changes to be introduced in the future.	生成型AIが社会全体に与える潜在的な影響は非常に大きく、それ自体が大きなテーマであるため、本書の範囲は意図的に欧州の機関、団体、機関（EUIBAs）に最も関連する領域に限定している。具体的には、潜在的な影響に焦点を当て、利点とリスクに関する貴重な洞察と、いくつかの実践的な提言を示すことを意味する。また、この分野は変動が激しいため、今後さらに起こりうる進歩により、大幅な変更の導入が必要となる可能性があるため、ここで提供する情報は2023年前半の時点で有効なものとなっている。
Since the core role of CERT-EU is focused on cybersecurity, the cybersecurity-related aspects of Generative AIs is in the centre of our attention, as they have the potential to significantly transform both the defensive and the offensive parts of our field.	CERT-EU の中核的な役割はサイバーセキュリティであるため、生成型AI のサイバーセキュリティに関連する側面は、私たちの分野の守りと攻めの両方を大きく変える可能性があるため、私たちの関心の中心となっている。
On the defensive side, Generative AIs can be utilised to generate realistic attack scenarios for training purposes, enabling security teams to better prepare for and respond to potential threats. Other ideas include the creation of more robust and adaptive honeypots, which can confuse and slow down attackers, or even facilitate the identification and tracking of malicious actors. LLMs have also been shown to be quite efficient in identifying correlations and patterns, as well as various analyses of data that can significantly help analysts in their job.	防御面では、生成型AIを活用してトレーニング用のリアルな攻撃シナリオを生成し、セキュリティチームが潜在的な脅威に対してより良い準備と対応をすることができる。また、より堅牢で適応性の高いハニーポットを作成することで、攻撃者を混乱させ速度を低下させたり、悪意のある行為者の特定と追跡を容易にしたりすることもできる。また、LLMは相関関係やパターンを特定するのに非常に効率的であることが示されており、アナリストの仕事に大きく役立つデータのさまざまな分析も可能である。
On the offensive side, Generative AIs can be employed to generate sophisticated social engineering attacks, such as highly personalised phishing emails that are more likely to deceive targets. Furthermore, this kind of AIs can assist in automating the discovery and exploitation of vulnerabilities in target systems, streamlining the process and potentially uncovering previously unknown attack vectors. Additionally, LLMs have also shown to be capable of creating code that can be used for malicious purposes.	攻撃面では、生成型AIは、高度にパーソナライズされたフィッシングメールなど、ターゲットを欺く可能性の高い高度なソーシャルエンジニアリング攻撃を生成するために採用されることがある。さらに、この種のAIは、標的システムの脆弱性の発見と悪用を自動化し、プロセスを合理化することで、これまで知られていなかった攻撃ベクトルを発見する可能性がある。さらに、LLMは、悪意のある目的に使用できるコードを作成する能力もあることが示されている。
With all the potential benefits of this new technology, Generative AI also raises several concerns. Among others, they are related to data protection and copyright issues. Since these AI models can generate realistic and creative content by analysing vast amounts of data, there is a risk that they may inadvertently expose sensitive or private information, violating individuals’ right to privacy.	この新しい技術の潜在的な利点がある一方で、生成型AIにはいくつかの懸念もある。中でも、データ保護や著作権に関する問題である。これらのAIモデルは膨大な量のデータを分析することでリアルでクリエイティブなコンテンツを生成することができるため、不注意で機密情報や個人情報を公開してしまい、個人のプライバシー権を侵害する危険性がある。
Additionally, Generative AI’s ability to produce content resembling human-generated works challenges traditional copyright frameworks. The line between originality and infringement can become blurred, making it difficult to determine the rightful owner of intellectual property. There have been already several lawsuits filled to clarify these matters.	さらに、生成型AIが人間が生成した作品に似たコンテンツを生成する能力は、従来の著作権の枠組みに挑戦するものである。独創性と侵害の境界線が曖昧になり、知的財産の正当な所有者を決定することが困難になる可能性がある。このような問題を明確にするために、すでにいくつかの訴訟が起こされている。
Last, but not least, there is the matter of how Generative AIs are deployed and used. The model dominating the market today is one where a ‘free’ service is offered as a closed-source black box. ChatGPT, Microsoft New Bing, DALL-E, Midjourney, and Google’s Bard all fit in this category. Their terms-of-use often make it clear that the input data provided as well as the output may be further used for training and fine-tuning of the models. As such, users of these services should operate under the assumption that all data provided as part of a prompt will become public knowledge.	最後に、生成型AIがどのように展開され、使用されるかという問題がある。今日、市場を支配しているモデルは、「無料」のサービスがクローズドソースのブラックボックスとして提供されるものである。ChatGPT、Microsoft New Bing、DALL-E、Midjourney、そしてGoogleのBardはすべてこのカテゴリーに属する。これらのサービスの利用規約には、提供された入力データと出力が、モデルの訓練と微調整のためにさらに使用される可能性があることが明記されていることが多い。そのため、これらのサービスの利用者は、プロンプトの一部として提供されたすべてのデータが公開されることを前提に行動する必要がある。
On the other hand, there are a number of open source models available that can be deployed and run locally – either in a cloud environment or on-premise. LLaMA, Alpaca, BLOOM, Dolly, and GPT-2 all fit in this category. As these systems can be self-hosted, the data inside them or provided to them can be contained by applying general security provisions to the hosted environment.	一方、クラウド環境またはオンプレミスでローカルに展開・実行できるオープンソースモデルも数多く存在する。LLaMA、Alpaca、BLOOM、Dolly、GPT-2はすべてこのカテゴリーに含まれる。これらのシステムはセルフホスティングが可能であるため、ホスト環境に一般的なセキュリティ規定を適用することで、システム内のデータまたはシステムへ提供されるデータを抑制することが可能である。
3 Benefits	3 メリット
3.1 Benefits of using Generative AI	3.1 生成型AIを利用するメリット
Generative AI can be a tool to enhance the efficiency and effectiveness of organisations. By automating repetitive tasks, these systems can potentially reduce human error, save time, and allow staff to focus on more complex, value-added activities. Furthermore, the technology’s capacity to produce natural language text can aid in the creation of clear, concise, and coherent communication materials, as well as improve analysis and correlation of information.	生成型AIは、組織の効率性と有効性を高めるためのツールとなり得る。反復作業を自動化することで、これらのシステムはヒューマンエラーを減らし、時間を節約し、スタッフがより複雑で付加価値の高い活動に集中できるようになる可能性がある。さらに、自然言語テキストを生成する技術により、明確で簡潔、かつ一貫性のあるコミュニケーション資料の作成を支援し、情報の分析と相関性を向上させることができる。
Considering the specific focus of this document – i.e. impact of Generative AI technology on cybersecurity and EUIBAs in particular – several use cases can be identified where potential benefits stand to be gained.	本書の焦点である、生成型AI技術がサイバーセキュリティとEUIBAsに与える影響に鑑みると、潜在的な利益を得ることができるいくつかの使用事例を特定することができる。
3.1.1 Enhancing learning	3.1.1 学習の強化
The sophisticated natural language processing abilities of LLM transformers can help in training and bridging the knowledge gap faced by junior cybersecurity staff. By providing contextualised explanations of complex cybersecurity concepts and detailed analysis of examples, LLMs facilitate a more rapid learning process, enabling junior team members to understand and respond to threats more effectively. Moreover, the AI models can offer real-time guidance, ensuring that less experienced staff can contribute to the team’s efforts in a meaningful way.	LLM 変換器の洗練された自然言語処理能力は、若手のサイバーセキュリティスタッフが直面する知識のギャップを埋め、トレーニングに役立てることができる。LLMは、複雑なサイバーセキュリティの概念について文脈に沿った説明や事例の詳細な分析を行うことで、より迅速な学習プロセスを促進し、若手チームメンバーが脅威をより効果的に理解し対応できるようにする。さらに、AI モデルがリアルタイムでガイダンスを提供することで、経験の浅いスタッフがチームの取り組みに有意義な形で貢献できるようになる。
3.1.2 Improving detection rules	3.1.2 検出ルールの改善
AI systems can potentially assist in fine-tuning existing detection algorithms and creating new rules based on the latest threat intelligence. By incorporating the insights gleaned from such analysis, cybersecurity teams can improve their detection capabilities, leading to a more robust defence against cyberattacks.	AIシステムは、既存の検知アルゴリズムの微調整や、最新の脅威情報に基づく新しいルールの作成を支援できる可能性がある。このような分析から得られた洞察を取り入れることで、サイバーセキュリティチームは検出能力を向上させ、サイバー攻撃に対するより強固な防御につなげることができる。
Another crucial aspect of a cybersecurity analyst’s job is log analysis. LLMs can be used to sift through massive amounts of log data to identify potential anomalies, outliers, or correlations that might indicate a security breach. By automating the log analysis process, LLMs reduce the time and effort required to perform this task, allowing analysts to focus on more pressing issues instead of trying to spot a needle in a haystack. Furthermore, LLMs can help identify correlations between seemingly unrelated events, giving analysts a holistic view of the security landscape and enabling them to respond more effectively to potential threats.	サイバーセキュリティ・アナリストの仕事のもう一つの重要な側面は、ログ分析である。LLMは、膨大な量のログデータを選別し、セキュリティ侵害を示す可能性のある異常値、異常値、相関関係を特定するために使用することができる。LLMはログ解析プロセスを自動化することで、この作業に必要な時間と労力を削減し、アナリストは干し草の山から針を見つけようとするのではなく、より緊急の問題に集中することができる。さらに、LLMは一見無関係に見える事象間の相関関係を特定するのに役立ち、アナリストにセキュリティ環境の全体像を示し、潜在的な脅威に対してより効果的に対応できるようにする。
There is a hope that AI systems can aid in enhancing detection rules by analysing massive datasets – such as logs – and identifying patterns that might be missed by human analysts. However, for this particular task, the number of false positives has to be accounted for. Even, if the False Positive (FP) rate is a mere 0.1%, then this still results in a large number of FPs over multiple hundreds of millions of log lines.	AIシステムは、ログなどの膨大なデータセットを分析し、人間のアナリストが見逃してしまうようなパターンを特定することで、検知ルールの強化を支援することが期待されている。しかし、この特定のタスクでは、偽陽性の数を考慮する必要がある。仮に誤検出（FP）が0.1％だとしても、数億行のログから大量のFPを検出することになる。
According to Microsoft, which has recently released Security Copilot, AI technology should in the future tip the scales in favour of the defenders[1]. Other similar initiatives will undoubtedly follow.	最近Security Copilotをリリースしたマイクロソフトによると、AI技術は将来的に防御側に有利になるはずである[1]。他の同様の取り組みが続くことは間違いない。
3.1.3 Supporting analysis	3.1.3 分析の支援
LLMs have also enabled analysts to work more efficiently and accurately in various aspects of their jobs. One key area where they have demonstrated their potential is in the deobfuscation of malicious code. Attackers often obfuscate their code to evade detection, but LLMs can assist analysts in identifying patterns and decoding hidden algorithms, providing valuable insights into the attacker’s intent and revealing the true nature of the threat, thereby significantly speeding up the investigation.	LLMは、アナリストが仕事のさまざまな局面で、より効率的かつ正確に作業できるようにすることも可能にした。LLMがその可能性を発揮した重要な分野の1つが、悪意のあるコードの難読化である。攻撃者は検出を逃れるためにコードを難読化することがよくあるが、LLMはアナリストがパターンを特定し、隠れたアルゴリズムを解読するのを支援し、攻撃者の意図に関する貴重な洞察を提供し、脅威の本質を明らかにして、調査を大幅にスピードアップさせることができるのである。
Additionally, LLMs transformers show a remarkable ability to correlate data from various sources and fields as they have been trained on diverse datasets. This vast training corpus enables the AI model to extract and synthesise information from various seemingly unrelated sources. By leveraging its deep learning capabilities, LLMs can then identify connections, patterns, and insights across these different sources. As a result, the AI model has proven to be a valuable tool in solving problems, providing novel insights, and identifying correlations that would otherwise be easy to miss.	さらに、LLMs変換器は、多様なデータセットでトレーニングされているため、様々なソースや分野のデータを相関させる顕著な能力を発揮する。この膨大な学習コーパスにより、AIモデルは一見無関係に見える様々なソースから情報を抽出し、合成することができる。LLMは、深層学習の機能を活用することで、これらの異なるソース間のつながり、パターン、洞察を特定することができる。その結果、AIモデルは、問題解決、斬新な洞察、見逃しがちな相関関係の特定に役立つツールであることが証明されている。
Code analysis and reverse engineering are also areas where LLMs can provide substantial assistance. With their extensive knowledge base, LLMs can evaluate software code and explain its operation. In the case of reverse engineering, LLMs can help dissect complex obfuscated code and provide insights into its functionality and purpose. By understanding how a piece of malware or exploit operates, analysts can develop effective countermeasures to protect their systems and networks, while also saving time during the investigation.	コード解析やリバースエンジニアリングも、LLMが大きな支援を提供できる分野である。LLMは、その豊富な知識ベースにより、ソフトウェアのコードを評価し、その動作を説明することができる。リバースエンジニアリングの場合、LLMは複雑な難読化されたコードを分解し、その機能性と目的についての洞察を提供することができる。マルウェアやエクスプロイトの動作を理解することで、アナリストはシステムやネットワークを保護するための効果的な対策を立てることができ、また調査中の時間を短縮することもできる。
VirusTotal recently announced integration of a new feature based on Sec-PaLM model to produce natural language summaries of code snippets[2]. Similar such features are likely to be integrated into many reverse engineering, sandboxes, and analysis tools in the future.	VirusTotalは最近、コードスニペットの自然言語要約を作成するSec-PaLMモデルに基づく新機能の統合を発表した[2]。このような同様の機能は、今後多くのリバースエンジニアリング、サンドボックス、および解析ツールに統合される可能性がある。
3.1.4 Automating threat intelligence	3.1.4 脅威インテリジェンスの自動化
LLM transformers can greatly enhance the process of generating threat intelligence reports by automating the collection, analysis, and summarisation of relevant data. This not only saves time and effort, but it also ensures that the information presented to cybersecurity teams is accurate, up-to-date, and easily digestible. Armed with this intelligence, defenders can make more informed decisions and take proactive measures to protect their systems.	LLM変換器は、関連データの収集、分析、および要約を自動化することで、脅威インテリジェンスレポートの生成プロセスを大幅に強化することができる。これにより、時間と労力を節約できるだけでなく、サイバーセキュリティチームに提示される情報が正確で、最新のものであり、容易に消化できるものであることを保証することができる。このようなインテリジェンスで武装した防御者は、より多くの情報に基づいた意思決定を行い、システムを保護するための積極的な対策を講じることができる。
3.1.5 Coding and documentation	3.1.5 コーディングと文書化
LLM transformers have already shown their impact on the field of software development. These AI models can assist developers in various ways, including code completion, bug detection, and automatic documentation generation. By accurately predicting and suggesting relevant code snippets, LLM transformers expedite the coding process, reduce human error, and improve overall code quality. Additionally, these models can potentially analyse complex codebases, identifying vulnerabilities or inefficiencies that may otherwise go unnoticed.	LLM変換器は、すでにソフトウェア開発の分野でその影響力を示している。これらのAIモデルは、コード補完、バグ検出、ドキュメントの自動生成など、さまざまな方法で開発者を支援することができる。LLM変換器は、関連するコードスニペットを正確に予測・提案することで、コーディングプロセスを迅速化し、ヒューマンエラーを減らし、コード全体の品質を向上させます。さらに、これらのモデルは、複雑なコードベースを分析し、他の方法では気づかれないかもしれない脆弱性や非効率性を特定できる可能性がある。
Several offerings have sprung up that specifically aim at supporting developers in their tasks. Examples include Github Copilot X^[3], Amazon CodeWhisperer^[4], Google Bard^[5]or Tabnine^[6]. Initial feedback from most developers indicates that while these tools are not yet completely replacing the human developers, they clearly provide a significant boost to the developers’ productivity.	開発者の作業を支援することを目的とした製品もいくつか登場している。例えば、Github Copilot X[3]、Amazon CodeWhisperer[4]、Google Bard[5]、Tabnine[6]などである。多くの開発者からの初期のフィードバックによると、これらのツールはまだ完全に人間の開発者に取って代わるものではないが、明らかに開発者の生産性を大きく向上させるものであることが示されている。
In addition to actual code generation, Generative AI appears to be particularly well suited to help in several mundane tasks that are sometimes shunned by developers, such as writing documentation or unit tests. As LLMs can accomplish a large part of such tasks autonomously, they can provide a significant productivity boost.	実際のコード生成に加えて、生成型AIは、ドキュメントやユニットテストの作成など、開発者が敬遠しがちないくつかのありふれた作業を支援するのに特に適しているようである。LLMは、そのような作業の大部分を自律的に行うことができるため、生産性を大幅に向上させることができる。
At the same time, it is worth remembering that the generated code is based on large training datasets of public code discussion forums such as Stackoverflow[7] or other uncurated sources. This means that there is a possibility that both trivial and non-trivial bugs present in the code in the sources will also be represented in the LLM-generated code.	同時に、生成されるコードは、Stackoverflow[7]などの公開コード討論フォーラムや、その他の未修正ソースの大規模な学習データセットに基づいていることを忘れてはならない。つまり、ソースのコードに存在する些細なバグと非些細なバグの両方が、LLMで生成されたコードにも表現される可能性がある。
3.1.6 Content generation	3.1.6 コンテンツの生成
Finally, one of the most obvious ways that Generative AI can be used is in creating high-quality content across various domains, including marketing materials, corporate communications, and presentations. The ability of AI-driven content generation platforms to understand context and produce humanlike text can enhance organisations’ approach to content creation. The expected widespread adoption of generative AI can be attributed to its impressive capacity to save time, reduce costs, and increase overall efficiency in producing diverse forms of content.	最後に、生成型AIの最も明白な活用方法の1つは、マーケティング資料、企業広報、プレゼンテーションなど、さまざまな領域にわたる高品質のコンテンツの作成である。AI主導のコンテンツ生成プラットフォームが文脈を理解し、人間のようなテキストを作成する能力は、コンテンツ作成に対する組織のアプローチを強化することができる。生成型AIの普及が期待されるのは、多様な形態のコンテンツ制作において、時間の節約、コストの削減、全体的な効率化を実現する素晴らしい能力があるからである。
In the realm of marketing, generative AI enables the creation of targeted and persuasive texts, advertisements, and social media content tailored to specific audiences. This allows marketeers to better engage with their target demographic, leading to improved conversion rates and ROI. Additionally, generative AI could be a powerful tool in corporate communication, as it helps to develop clear, concise, and accurate messaging, while maintaining brand consistency and a professional tone. This is leading to a significant reduction in the need for manual editing and proofreading, thereby increasing productivity.	マーケティングの分野では、生成型AIを活用することで、特定のオーディエンスに的を絞った説得力のある文章、広告、ソーシャルメディアコンテンツを作成することができる。これにより、マーケティング担当者はターゲット層とのエンゲージメントを高め、コンバージョン率やROIの向上につなげることができる。さらに、生成型AIは、ブランドの一貫性とプロフェッショナルなトーンを維持しながら、明確で簡潔かつ正確なメッセージングを開発するのに役立つため、企業コミュニケーションにおける強力なツールになり得ます。これは、手作業による編集や校正の必要性を大幅に減らし、生産性を高めることにつながっている。
Similarly, AI-driven content generation can be used to improve presentations. By leveraging data, generative AI can dynamically construct visuals, generate relevant talking points, and even suggest persuasive storytelling techniques to captivate audiences. This can not only streamline the process of creating presentations but also enhance their overall impact and effectiveness.	同様に、AIを活用したコンテンツ生成は、プレゼンテーションの改善にも活用できる。データを活用することで、生成型AIは動的にビジュアルを構築し、関連する論点を生成し、さらには聴衆を魅了する説得力のあるストーリーテリングのテクニックを提案することができる。これにより、プレゼンテーションの作成プロセスを効率化できるだけでなく、その全体的なインパクトと効果を高めることができる。
Similarly to code generation examples, there are already several products either available or being rolled out that propose such AI-based enhancements and solutions. These include for instance Microsoft 365 Copilot^[8]and Google AI-powered Workspace Features^[9].	コード生成の例と同様に、このようなAIベースの強化やソリューションを提案する製品が、すでにいくつか提供されているか、展開されている。例えば、Microsoft 365 Copilot[8]やGoogle AI-powered Workspace Features[9]などである。
4 Risks	4 リスク
Risks associated with the use of Generative AI can be subdivided into two categories:	生成型AIの使用に関連するリスクは、2つのカテゴリーに細分化されることができる：
• the risks of using it, and	・使用する際のリスクと
• the risks of it being used by others.	・他者が使用する場合のリスクである。
4.1 Risks of using Generative AI	4.1 生成型AI を使用する際のリスク
Specific risks can be identified that stem from the possible use of Generative AI technology by the staff of EUIBAs. As in case of the benefits of this technology, the focus is squarely on the cybersecurity aspects and EUIBAs in particular.	EUIBAsのスタッフが生成型AI技術を使用する可能性に起因する特定のリスクを特定することができる。この技術の利点の場合と同様に、サイバーセキュリティの側面とEUIBAsに特に焦点が当てられている。
4.1.1 Disclosure of sensitive data	4.1.1 機密データの開示
The use of freely available, closed-source AI language models, such as ChatGPT, poses potential risks to sensitive data provided in user prompts. As users interact with the model, they might inadvertently input confidential or personally identifiable information (PII) while seeking assistance or answers. Since this information is usually stored for the model to process and generate responses, there is a chance that this sensitive information could be exposed, either through data breaches or during the training of future iterations of the AI. Subsequently, without proper data anonymisation and privacy measures in place, such information could be misused by unauthorised parties, leading to identity theft, financial fraud, or reputational damage for both individuals and organisations involved.	ChatGPTのような自由に利用できるクローズドソースのAI言語モデルの使用は、ユーザのプロンプトに提供される機密データに対する潜在的なリスクをもたらす。ユーザがモデルと対話する際、支援や回答を求める際に、機密情報や個人を特定できる情報（PII）を不用意に入力する可能性がある。この情報は通常、モデルが処理して回答を生成するために保存されるため、データ漏洩や将来のAIの反復訓練中に、この機密情報が漏洩する可能性がある。その後、適切なデータの匿名化やプライバシー対策が施されていない場合、そのような情報は権限のない者によって悪用され、個人情報の盗難、金銭詐欺、または関係する個人と組織の両方に対する風評被害につながる恐れがある。
For instance, current OpenAI terms-of-use^[10]specify in particular that while OpenAI does not use the API Content for improving their services, it may use the Non-API-Content (i.e. prompts and output of ChatGPT, for instance) to do so. Hence, if confidential or sensitive data is entered as part of a ChatGPT prompt, it may eventually be leaked into the public domain. OpenAI claims – as of the time of this writing – that the requests submitted to their API will be stored for 30 days^[11]and not be used for training. But we have no proof of compliance nor any insight regarding the future plans of OpenAI.	例えば、現在のOpenAIの利用規約[10]には、OpenAIはAPIコンテンツをサービス向上のために使用しないが、非APIコンテンツ（例えばChatGPTのプロンプトや出力）はそのために使用してもよいと特に明記されている。したがって、ChatGPTのプロンプトの一部として機密データや機密データが入力された場合、最終的にパブリックドメインに流出する可能性がある。OpenAIは、彼らのAPIに提出されたリクエストは30日間保存され[11]、トレーニングには使用されないと主張している（この記事の執筆時点では、このように主張している）。しかし、私たちは遵守の証拠も、OpenAIの将来の計画に関する洞察も持っていない。
In the event of a cyberattack on the infrastructure of an AI language model, there is a significant risk associated with the potential leakage of data. Such a breach could expose sensitive and private user information, including personal details, confidential conversations, and intellectual property. The fallout from this exposure could have wide-ranging consequences, including compromised privacy, loss of user trust, and potential legal ramifications.	AI言語モデルのインフラにサイバー攻撃が行われた場合、データの漏洩の可能性に伴う大きなリスクがある。このような侵害は、個人情報、秘密の会話、知的財産を含む、敏感でプライベートなユーザ情報を暴露する可能性がある。このような情報漏えいは、プライバシーの侵害、ユーザの信頼の喪失、法的措置の可能性など、広範な影響を及ぼす可能性がある。
The risk of sensitive data disclosure while using large language models (LLMs) can be significantly mitigated by employing a local, open-source model, hosted on-premise and under the direct control of the organisation utilising it. Unlike large models provided online by commercial companies, a local model allows for enhanced data security, as information is processed and stored within the organisation’s own infrastructure. While it requires proper investment and specific skills, this approach reduces the possibility of unauthorised access or data breaches, as the organisation can implement strict security protocols and closely monitor the model’s usage. Furthermore, with a local model, the organisation can ensure compliance with relevant data protection regulations and adapt the model to suit its specific requirements, ultimately fostering trust and confidence in the system’s ability to handle sensitive information securely.	大規模言語モデル（LLM）の使用中に機密データが漏洩するリスクは、ローカルのオープンソースモデルを採用し、オンプレミスでホストされ、それを利用する組織の直接管理下に置くことで大幅に軽減することができる。営利企業がオンラインで提供する大規模なモデルとは異なり、ローカルモデルでは、情報が組織独自の基盤内で処理・保存されるため、データの安全性を高めることができる。適切な投資と特定のスキルが必要であるが、このアプローチでは、組織が厳格なセキュリティプロトコルを導入し、モデルの使用状況を厳密に監視できるため、不正アクセスやデータ漏洩の可能性を減らすことができる。さらに、ローカルモデルであれば、関連するデータ保護規制への準拠を保証し、その組織固有の要件にモデルを適合させることができるため、最終的には、機密情報を安全に取り扱うシステムの能力に対する信頼と信用を育むことができる。
Some EUIBAs have already started practical experimentation with running local AI models.	一部のEUIBAは、すでにローカルAIモデルの運用に関する実用的な実験を開始している。
4.1.2 Copyright violations	4.1.2 著作権侵害
Generative AI technologies, such as text and image generation models, have raised concerns about potential copyright violations as they become increasingly adept at creating content that closely resembles human-authored works. In the realm of text generation, AI-powered tools can produce articles, stories, or even poetry, often blurring the lines between human creativity and synthetic, machine-generated output. This raises questions about the originality of the content, and whether or not the AI system has unintentionally reproduced or closely mimicked copyrighted materials.	テキストや画像生成モデルなどの生成型AI技術は、人間が作成した作品に酷似したコンテンツを作成することに長けているため、著作権侵害の可能性について懸念されている。テキスト生成の領域では、AIを搭載したツールは、記事、物語、あるいは詩を生成することができ、しばしば人間の創造性と機械が生成した合成的な出力との間の境界線を曖昧にすることがある。そのため、コンテンツのオリジナリティや、AIシステムが意図せず著作物を複製したり、忠実に模倣していないかどうかが問題となる。
For instance, if a text-generation AI model creates a story that closely resembles a popular novel, the copyright holder of the original novel may claim infringement, as the AI-generated work could be perceived as a derivative of their copyrighted material.	例えば、テキスト生成型AIモデルが人気小説に酷似したストーリーを作成した場合、AIが生成した作品は著作物の二次創作とみなされる可能性があるため、元の小説の著作権者が侵害を主張する可能性がある。
Similarly, image-generation models have the ability to create visually attractive artwork, designs, and even photorealistic images. These AI-generated images could infringe upon copyrighted visual content if they closely resemble existing works, such as paintings, photographs, or graphic designs.	同様に、画像生成モデルは、視覚的に魅力的なアートワーク、デザイン、さらには写実的な画像を作成する能力を備えている。これらのAI生成画像は、絵画、写真、グラフィックデザインなどの既存の作品に酷似している場合、著作権のあるビジュアルコンテンツを侵害する可能性がある。
For example, if an image-generation AI model were to create an artwork strikingly similar to a famous painting, it could lead to copyright disputes between the original artist and the creator of the AI-generated piece. Moreover, these concerns extend to the potential appropriation of elements from multiple copyrighted works to create a new image, which could lead to multiple copyright violation claims.	例えば、画像生成型AIモデルが有名な絵画に酷似した作品を作成した場合、原画家とAI生成作品の作成者の間で著作権紛争が発生する可能性がある。さらに、このような懸念は、複数の著作物の要素を流用して新しい画像を作成する可能性にも及び、複数の著作権侵害の申し立てにつながる可能性がある。
In both cases, the increasing sophistication of generative AI technologies complicates the legal landscape surrounding copyright protection, as it becomes more challenging to determine the true authorship and originality of content.	いずれの場合も、生成型AI技術の高度化により、コンテンツの真の作者やオリジナリティを判断することが難しくなり、著作権保護をめぐる法的状況が複雑になっている。
Additionally, in some cases, the models powering generative AI technologies are known to be trained on copyrighted content without the explicit approval of the authors. This raises additional concerns, as the organisations behind these models could be held liable for potential copyright infringement. By using copyrighted material to train their AI systems, organisations may inadvertently propagate the unauthorised reproduction or adaptation of protected works, opening themselves up to potential litigation. As a result, there is a growing need for more robust and transparent content acquisition policies, ensuring that the data used to train AI models is either appropriately licensed or falls under the scope of fair use.	さらに、生成型AI技術を支えるモデルが、著作者の明確な承認なしに著作権のあるコンテンツで学習されていることが知られているケースもある。このようなモデルの背後にある組織は、潜在的な著作権侵害の責任を問われる可能性があるため、さらなる懸念が生じます。著作権で保護された素材を使用してAIシステムを学習させることで、保護された作品の無許可の複製や翻案を不注意で広めてしまい、訴訟を起こされる可能性がある。その結果、より強固で透明性の高いコンテンツ取得ポリシーの必要性が高まり、AIモデルの学習に使用するデータが適切にライセンスされているか、フェアユースの範囲内にあることを確認する必要がある。
4.1.3 False or inaccurate information	4.1.3 虚偽または不正確な情報
AI language models have become increasingly adept at generating high quality text. However, these models have flaws, and the dangers of providing false or inaccurate information remains quite significant[12].	AI言語モデルは、高品質のテキストを生成することにますます習熟してきた。しかし、これらのモデルには欠陥があり、虚偽または不正確な情報を提供する危険性は依然として非常に大きい[12]。
As AI language models are trained on vast amounts of data from the Internet, they are susceptible to absorbing and perpetuating the biases, misconceptions, and inaccuracies that may be present in that data. We should also not confuse Natural Language Processing (NLP), which these models excel at, with Natural Language Understanding (NLU), a significant challenge of AI research. A system trained only on form has a priori no way to learn meaning[13]. Consequently, users of these models must be aware of the potential pitfalls and exercise critical thinking when interpreting generated text.	AI言語モデルはインターネット上の膨大な量のデータで学習されるため、そのデータに存在する可能性のあるバイアス、誤解、不正確な情報を吸収し、永続化する可能性がある。また、これらのモデルが得意とする自然言語処理（NLP）と、AI研究の重要な課題である自然言語理解（NLU）を混同しないようにしなければなりません。形だけを学習したシステムでは、意味を学習する方法が先験的にない[13]。したがって、これらのモデルのユーザは、生成されたテキストを解釈する際に、潜在的な落とし穴を認識し、批判的思考を働かせる必要がある。
One of the primary concerns with AI language models is the possibility of bias. As these models learn from the data they are trained on, any biases present in the training data will likely be absorbed and perpetuated by the model. This could manifest in the form of gender, racial, or political biases, among others, and can lead to the generation of text that is offensive or perpetuates harmful stereotypes. In some cases, these biases may even cause the AI to provide misleading or outright false information, leading users astray and potentially reinforcing preexisting biases.	AI言語モデルの主な懸念事項の1つは、バイアスの可能性である。言語モデルは学習データから学習するため、学習データに存在する偏りは、モデルに吸収され、永続化される可能性が高い。これは、特にジェンダー、人種、政治的な偏見という形で現れる可能性があり、不快なテキストや有害なステレオタイプを永続させるテキストを生成することにつながる可能性がある。場合によっては、こうしたバイアスは、AIが誤解を招くような、あるいは全く誤った情報を提供し、ユーザを迷わせ、既存のバイアスを強化する可能性さえある。
Similarly, when generating computer code in various programming languages, LLMs often provide code that contains errors or is insecure. This is primarily due to the training data that these models are exposed to, which may include a diverse array of programming languages, styles, and quality levels. As a result, LLM-generated code may not always adhere to best practices or conform to the latest security standards. Additionally, these models lack the ability to inherently understand the context or the specific requirements of a given task, which may lead to the production of code that is unsuitable, flawed, or even dangerous. Therefore, it is crucial for developers to carefully review and validate any code generated by LLMs before incorporating it into their projects in order to mitigate potential risks and ensure the safety and integrity of their software applications.	同様に、様々なプログラミング言語でコンピュータコードを生成する際、LLMはしばしばエラーを含むコードや安全でないコードを提供する。これは主に、LLMの学習データが、多様なプログラミング言語、スタイル、品質レベルを含んでいることに起因している。その結果、LLMが生成するコードは、必ずしもベストプラクティスを遵守しているとは限らず、最新のセキュリティ標準に準拠しているとは限らない。さらに、これらのモデルには、与えられたタスクのコンテキストや特定の要件を本質的に理解する能力がないため、不適切で欠陥のある、あるいは危険なコードを生成してしまう可能性がある。したがって、潜在的なリスクを軽減し、ソフトウェアアプリケーションの安全性と完全性を確保するために、開発者はプロジェクトに組み込む前に、LLMによって生成されたコードを慎重にレビューし、検証することが極めて重要である。
Another concern is the phenomenon of hallucinations, where AI language models generate text that appears plausible but is entirely fabricated or lacks a factual basis. These hallucinations can occur for various reasons, such as the model trying to fill in gaps in its knowledge or attempting to provide a coherent response to an ambiguous or unfamiliar prompt. While these hallucinations can sometimes be relatively harmless, in other instances, they can lead to the dissemination of false information or contribute to the spread of misinformation.	もう一つの懸念は、AI言語モデルが、一見もっともらしく見えるが、まったくの捏造や事実無根のテキストを生成する「幻覚」現象である。このような幻覚は、モデルが知識の隙間を埋めようとしたり、曖昧で見慣れないプロンプトに対して首尾一貫した応答をしようとしたりするなど、さまざまな理由で発生する可能性がある。このような幻覚は、比較的無害な場合もあるが、誤った情報の流布につながったり、誤った情報の拡散に貢献したりする場合もある。
4.1.4 Hype abuse	4.1.4 誇大広告の濫用
The rapid advancements in Generative AI technology and the surrounding hype have led to a surge in public interest and adoption. While these innovations undoubtedly offer numerous benefits and transformative potential, this excitement can also lead to possible pitfalls. With increased hype, bad actors may exploit the situation by creating fake applications or investment schemes, capitalising on the popularity of recognisable AI brand names to deceive users and fulfil malicious objectives.	生成型AI技術の急速な進歩とその周辺の誇大広告は、一般の人々の関心と採用の急増につながった。これらのイノベーションは間違いなく多くの利点と変革の可能性を提供するが、この興奮は落とし穴になる可能性もある。誇大広告の増加により、悪質な業者は偽のアプリケーションや投資スキームを作成し、認知度の高いAIブランド名の人気に乗じてユーザを欺き、悪意のある目的を達成するためにこの状況を悪用する可能性がある。
One such pitfall is the emergence of fake ChatGPT apps on Android and iOS platforms. These counterfeit apps, disguised as popular AI language models, may carry out invasive data harvesting activities. Unsuspecting users who download and interact with these malicious apps may inadvertently expose their personal information, including messages, contacts, and browsing history. The harvested data can then be used for a wide range of nefarious purposes, such as identity theft, targeted advertising, or even extortion. This highlights the importance of exercising caution when downloading mobile applications and ensuring they originate from trusted sources and developers.	そのような落とし穴の1つが、AndroidやiOSプラットフォームにおけるChatGPTの偽アプリの出現である。これらの偽アプリは、人気のあるAI言語モデルを装っており、侵襲的なデータ収集活動を行う可能性がある。これらの悪意のあるアプリをダウンロードして対話する無防備なユーザは、メッセージ、連絡先、閲覧履歴などの個人情報を不注意で公開してしまう可能性がある。このような悪意のあるアプリをダウンロードしたユーザは、メッセージや連絡先、閲覧履歴などの個人情報を不用意に公開してしまう可能性があり、個人情報の盗難やターゲット広告、さらには恐喝など、さまざまな悪意のある目的に使用される可能性がある。このことから、モバイルアプリケーションをダウンロードする際には、信頼できるソースや開発者から提供されたものであることを確認し、注意を払うことが重要である。
Another potential pitfall linked to the hype around Generative AI is the creation of fictitious cryptocurrency tokens using recognisable AI brand names. Bad actors may design and market these tokens to lure in unsuspecting investors, who may believe they are investing in a promising AI venture. Once the scammers accumulate a substantial amount of funds, they may disappear, leaving the investors with worthless tokens and significant financial losses. This highlights the need for investors to conduct thorough research and due diligence before committing to any investment, particularly in emerging technologies like AI and cryptocurrencies.	生成型AIの宣伝に関連するもう一つの潜在的な落とし穴は、認知度の高いAIブランド名を使った架空の暗号通貨トークンの作成である。悪質な業者は、このようなトークンを設計・販売し、疑うことを知らない投資家を誘い、有望なAIベンチャーに投資していると思わせるかもしれない。詐欺師は多額の資金を集めると姿を消し、投資家には価値のないトークンと多額の金銭的損失が残される可能性がある。このことから、投資家は、特にAIや暗号通貨のような新興技術への投資を行う前に、徹底した調査とデューデリジェンスを行う必要があることがわかる。
4.1.5 Over-relying on technology	4.1.5 テクノロジーへの過度な依存
Over-relying on Generative AI technology presents several potential dangers that could have a profound impact. One significant concern is the possible loss of competence among staff. As AI systems become more adept at handling tasks traditionally performed by humans, employees may become increasingly dependent on these technologies. This reliance could lead to a decline in critical thinking and problem-solving skills, making staff less versatile and adaptive in the face of novel challenges. Moreover, as AI takes over routine tasks, workers may lose the ability to perform them manually, resulting in a loss of valuable expertise.	生成型AI技術に過度に依存することは、重大な影響を及ぼす可能性のあるいくつかの潜在的な危険性を示している。重大な懸念事項の1つは、スタッフの能力が失われる可能性があることである。AIシステムが、従来は人間が行っていた作業をより巧みに処理するようになると、従業員はますますこれらの技術に依存するようになるかもしれない。このような依存は、批判的思考や問題解決能力の低下を招き、新しい課題に直面したときの汎用性や適応力を低下させる可能性がある。また、AIが定型業務を代行するようになると、手作業で行う能力が失われ、貴重な専門知識が失われる可能性がある。
Another danger lies in the overconfidence in the quality of output provided by Generative AI. Due to the inherent limitations in AI models, such as the token limit that restricts the amount of information a language model can remember, the generated content might not be as accurate, comprehensive, or contextually appropriate as users expect. This could lead to situations where AI-generated content is taken at face value, potentially leading to misinformation or poorly informed decisions.	もう一つの危険は、生成型AIが提供するアウトプットの品質に対する過信にある。言語モデルが記憶できる情報量を制限するトークン制限など、AIモデルには固有の限界があるため、生成されたコンテンツは、ユーザが期待するほど正確、包括的、文脈的に適切でない場合がある。そのため、AIが生成したコンテンツが額面通りに受け取られ、誤った情報や不十分な情報による意思決定につながる可能性がある。
The over-reliance on AI technologies may also present itself in the form of a failure to account for policy or political decisions that limit their use. Governments and regulatory bodies are increasingly scrutinising the implications of AI on privacy, security, and social equality. As a result, they may implement policies or regulations that impose restrictions on the development, deployment, or use of AI technologies. Organisations that would become heavily reliant on AI systems might find themselves unprepared to adapt to such changes, leading to operational disruptions.	また、AI技術への過度の依存は、その利用を制限する政策や政治的な決定に対する説明不足という形で現れることもある。政府や規制機関は、プライバシー、セキュリティ、社会的平等に対するAIの影響をますます精査している。その結果、AI技術の開発、展開、または使用に制限を課す政策や規制を実施する可能性がある。AIシステムに大きく依存するようになる組織は、そのような変化に適応する準備ができていないことに気づき、業務の混乱につながるかもしれない。
Finally, as mentioned in the benefits chapter, especially when using LLM tools for programming, it is paramount to remember that the generated code may contain bugs or be otherwise insecure or unsuitable. Hence, extra care must be taken when allowing staff and contractors to use LLMs for developing applications. The focus of attention should shift to ensuring proper validation and testing of the supplied code.	最後に、利点の章で述べたように、特にプログラミングにLLMツールを使用する場合、生成されたコードにバグが含まれていたり、安全でなかったり、不適切であったりする可能性があることを忘れてはならない。したがって、スタッフや契約社員がアプリケーションを開発するためにLLMを使用する際には、細心の注意を払わなければなりません。提供されたコードの適切な検証とテストを確実に行うことに、注意の焦点を移すべきである。
4.1.6 LLMs opinions, advice, and moral values	4.1.6 LLMの意見、助言、道徳的価値観
Large Language Models (LLMs) such as ChatGPT should not be consulted for opinions, advice, or moral values due to the inherent limitations of their design and the nature of their training data. LLMs are powerful AI tools, but they are not human beings with emotions, life experiences, or ethical systems. Instead, they are complex algorithms designed to generate humanlike text based on patterns and associations found in vast amounts of data.	ChatGPTのような大規模言語モデル（LLM）は、その設計の本質的な限界と学習データの性質上、意見、助言、道徳的価値について相談されるべきではないだろう。LLMは強力なAIツールであるが、感情や人生経験、倫理観のある人間ではありません。その代わり、膨大なデータから発見されたパターンや関連性に基づいて、人間らしい文章を生成するように設計された複雑なアルゴリズムである。
One of the primary reasons that LLMs are not suitable for providing opinions, advice, or moral guidance is that their responses are formulated based on the datasets used in their training. These datasets consist of vast amounts of text from a diverse array of sources, which may contain conflicting opinions, values, and perspectives. When an LLM encounters such conflicts in its training data, it may struggle to generate a coherent and consistent response. The output of the LLM can be quite random, as it attempts to find a balance between opposing viewpoints or may simply reproduce popular opinions without understanding the underlying reasons or nuances.	LLMが意見、助言、道徳的指導に適さない主な理由の一つは、LLMの応答が訓練に使用したデータセットに基づいて策定されることである。データセットは、多様なソースからの膨大な量のテキストで構成されており、その中には相反する意見、価値観、視点が含まれている可能性がある。LLMは、学習データでこのような矛盾に遭遇すると、首尾一貫した一貫性のある応答を生成するのに苦労することがある。LLMの出力は、対立する視点の間のバランスを取ろうとするため、非常にランダムであったり、根本的な理由やニュアンスを理解せずに一般的な意見を再現してしまったりすることがある。
Moreover, LLMs are not capable of forming independent opinions or moral judgements. They do not possess the ability to critically analyse complex issues or empathise with human emotions, which are essential components of providing sound advice or ethical guidance. Relying on an LLM for such matters could lead to misguided or superficial conclusions that fail to account for the unique complexities of a given situation.	さらに、LLMは、独立した意見や道徳的な判断を下すことができません。また、適切な助言や倫理的指導を行うために不可欠な、複雑な問題を批判的に分析したり、人の感情に共感したりする能力も持ち合わせていない。このような問題でLLMに頼ると、与えられた状況特有の複雑さを考慮しない、誤った、あるいは表面的な結論に至る可能性がある。
It is hence not surprising that for example China is setting guard rails on what values LLMs must follow (in this case the ones by the Chinese Communist Party)[14]. After all, an LLM will always reflect the moral values that were given by its training data and by the human feedback (Reinforcement Learning with Human Feedback - RLHF). Hence, for any generated text that is intended to be used in a political context, it might also make sense to check if it aligns with the EUIBA’s general vision, policy, and strategy.	したがって、例えば中国が、LLMが従うべき価値観（この場合は中国共産党によるもの）についてガードレールを設けていることは驚くべきことではない[14]。結局のところ、LLMは、学習データと人間のフィードバック（Reinforcement Learning with Human Feedback ・RLHF）によって与えられた道徳的価値観を常に反映することになる。したがって、政治的な文脈で使用されることを意図して生成されたテキストについては、それがEUIBAの一般的なビジョン、ポリシー、および戦略と一致しているかどうかをチェックすることも意味があるかもしれない。
4.2 Risks of others using Generative AI technology	4.2 生成型AI技術を他者が使用する場合のリスク
Specific risks stem from the use of Generative AI technology by malicious actors. As before, the focus is on cybersecurity and EUIBAs in particular.	特定のリスクは、悪意のある行為者による生成型AI技術の使用に起因する。前回同様、特にサイバーセキュリティとEUIBAに焦点が当てられている。
4.2.1 Privacy issues	4.2.1 プライバシーの問題
Personal Identifiable Information (PII) can inadvertently become part of the training datasets of Generative AI models when data is collected from a wide range of sources, such as websites, forums, social media, and other digital platforms. This data may not be adequately anonymised or sanitised before being fed into the AI model. As a result, PII may be embedded within the model’s training data, which could include names, addresses, phone numbers, email addresses, or other sensitive information that can be linked back to specific individuals.	ウェブサイト、フォーラム、ソーシャルメディア、その他のデジタルプラットフォームなど、幅広いソースからデータを収集する場合、個人を特定できる情報（PII）が生成型AIモデルの学習データセットの一部として不注意に含まれる可能性がある。このデータは、AIモデルに投入される前に、適切に匿名化またはサニタイズされていない可能性がある。その結果、モデルの学習データには、氏名、住所、電話番号、電子メールアドレス、または特定の個人を特定できるその他の機密情報が含まれる可能性がある。
When these Generative AI models are used, this PII may be unintentionally disclosed or made public, which poses serious privacy concerns. Furthermore, the information generated by the AI might be incomplete or inaccurate, which could lead to misinformation or misidentification of individuals. This creates a dual problem: on one hand, the disclosure of sensitive information can have severe consequences for affected individuals, while, on the other hand, the generated data may be unreliable, potentially causing harm to both the individuals and entities relying on it.	このような生成型AIモデルを使用する場合、このPIIが意図せず開示または公開される可能性があり、プライバシーに関する重大な懸念が生じます。さらに、AIが生成した情報は不完全または不正確である可能性があり、誤報や個人の誤認識につながる可能性がある。一方では、機密情報の開示が影響を受ける個人に深刻な結果をもたらす可能性があり、他方では、生成されたデータが信頼性に欠け、それに依存する個人と団体の両方に損害を与える可能性があるという、二重の問題が発生する。
4.2.2 More advanced cyberattacks	4.2.2 より高度なサイバー攻撃
Generative AI technologies could also enable new methods for conducting cyberattacks. As AIs become more sophisticated, they can increasingly be utilised by malicious actors to facilitate their attacks and exploit vulnerabilities in various ways.	生成 AI 技術は、サイバー攻撃を行うための新たな手法を可能にする可能性もある。AIがより高度になるにつれて、悪意のある行為者が攻撃を容易にし、様々な方法で脆弱性を悪用するために利用することができるようになる。
One such method involves using AI to generate phishing content. By leveraging natural language processing and generation capabilities, cybercriminals can create highly convincing emails, text messages, and social media posts that appear to come from legitimate sources. These AI-generated messages can be tailored to target specific individuals, making them more likely to fall for the scam. Additionally, the AI can be used to automate the process of sending phishing messages, enabling attackers to target a broader range of potential victims.	そのような方法の1つに、AIを使用してフィッシングコンテンツを生成することがある。自然言語処理と生成機能を活用することで、サイバー犯罪者は、正規のソースから来たように見える、非常に説得力のあるメール、テキストメッセージ、ソーシャルメディアの投稿を作成できる。これらのAIが生成したメッセージは、特定の個人をターゲットとして調整することができ、詐欺に引っかかる可能性を高めることができる。さらに、AIを利用してフィッシングメッセージの送信プロセスを自動化することで、攻撃者はより幅広い潜在的被害者をターゲットにすることができる。
Social engineering attacks can also be enhanced by using AI-generated voice and video deep fakes. These realistic forgeries can be used to impersonate executives, celebrities, or other influential individuals to manipulate victims into providing sensitive information or performing actions that benefit the attacker. Deep-fake technology can also be employed in creating more believable phone scams or video calls, increasing the likelihood of a successful attack.	また、AIが生成した音声や映像のディープフェイクを使用することで、ソーシャルエンジニアリング攻撃を強化することができる。これらのリアルな偽物は、経営者や著名人など影響力のある人物になりすまし、被害者を操作して機密情報の提供や攻撃者の利益になる行動を取らせるために使用することができる。また、ディープフェイク技術は、より信憑性の高い電話詐欺やビデオ通話を作成し、攻撃を成功させる可能性を高めるために使用することができる。
Moreover, AI technologies can be used to improve malware by making it more difficult to detect and more effective in its operations. For instance, AI algorithms can be employed to analyse existing malware and identify patterns that are likely to be flagged by antivirus software. Based on this analysis, AI can then generate new, stealthier malware variants that can evade detection and better exploit system vulnerabilities.	さらに、AI技術は、マルウェアの検出をより困難にし、より効果的な運用を可能にすることで、マルウェアの改良に利用することができる。例えば、既存のマルウェアを分析し、アンチウイルスソフトウェアがフラグを立てる可能性の高いパターンを特定するために、AIアルゴリズムを採用することができる。この分析に基づいて、AIは、検出を回避し、システムの脆弱性をうまく利用できる、よりステルス性の高い新しいマルウェアの亜種を生成することができる。
Another way AI can facilitate cyberattacks is through more efficient vulnerability detection and fuzzing. By using AI-powered tools, attackers could automatically discover security weaknesses in software or network infrastructure at a much faster rate than traditional methods. This would allow them to identify and exploit vulnerabilities before they are patched, increasing the likelihood of a successful attack.	AIがサイバー攻撃を容易にするもう一つの方法は、より効率的な脆弱性の検出とファジングである。AIを搭載したツールを使用することで、攻撃者は従来の方法よりもはるかに速い速度で、ソフトウェアやネットワークインフラのセキュリティ上の弱点を自動的に発見することができる。これにより、パッチが適用される前に脆弱性を特定して悪用することができ、攻撃が成功する可能性が高まります。
As yet another example, AI can be used to automate and optimise the process of password cracking. By using machine learning algorithms, attackers can identify patterns in password creation and generate more effective password dictionaries to speed up the cracking process. This can significantly reduce the time it takes to gain unauthorised access to accounts, making it more difficult for security professionals to respond to attacks.	さらに別の例として、AIはパスワード解読のプロセスを自動化・最適化するために利用することができる。機械学習アルゴリズムを使用することで、攻撃者はパスワードの作成パターンを特定し、より効果的なパスワード辞書を生成してクラッキングプロセスを高速化することができる。これにより、アカウントへの不正アクセスにかかる時間を大幅に短縮し、セキュリティ専門家が攻撃に対応することをより困難にすることができる。
Finally, the development of freely available Generative AI tools has inadvertently lowered the barrier for entry for new malicious actors in the cybercrime ecosystem. With minimal technical expertise, these individuals can exploit the capabilities of advanced AI models to conduct a variety of nefarious activities, such as generating phishing emails, crafting realistic deep-fake content, or creating fake news. This democratisation of access to powerful AI-driven tools amplifies the potential reach and impact of cybercrime, cyberespionage, and other forms of malicious activities as it allows a broader range of actors to participate in these activities, posing significant challenges for cybersecurity professionals, law enforcement, and policymakers.	最後に、自由に利用できる生成型AIツールの開発により、サイバー犯罪のエコシステムにおける新たな悪意ある行為者の参入障壁が不注意にも低くなっている。これらの人々は、最小限の技術的専門知識で、高度なAIモデルの機能を利用し、フィッシングメールの生成、リアルなディープフェイクコンテンツの作成、フェイクニュースの作成など、さまざまな悪意のある行為を行うことができる。強力なAI駆動ツールへのアクセスが民主化されることで、サイバー犯罪、サイバースパイ活動、その他の形態の悪意ある活動の潜在的な範囲と影響が拡大し、より幅広いアクターがこれらの活動に参加できるようになり、サイバーセキュリティ専門家、法執行機関、政策立案者に重大な課題を突きつけている。
4.2.3 Disinformation	4.2.3 偽情報
Generative AI models’ powerful capabilities come with significant dangers when they are used maliciously for disinformation campaigns. These models are capable of impersonating public figures and crafting highly convincing narratives, making them potent tools for spreading false and misleading information. For instance, deep-fake technology has allowed bad actors to create fake videos and audio clips of politicians and celebrities, manipulating their words and actions in order to deceive the public and create confusion.	生成型AIモデルの強力な能力は、偽情報キャンペーンに悪意を持って使用された場合に大きな危険性を伴いる。これらのモデルは、公人になりすまし、非常に説得力のあるシナリオを作成することができるため、虚偽の情報や誤解を招く情報を広めるための強力なツールとなる。例えば、ディープフェイク技術により、政治家や著名人の偽のビデオやオーディオクリップを作成し、彼らの言動を操作することで、大衆を欺き、混乱を引き起こすことができるようになった。
Generative AI models can be employed to design believable disinformation campaigns, which have the potential to undermine trust in institutions, destabilise social cohesion, and disrupt democratic processes. For example, during election periods, a sophisticated AI-generated disinformation campaign could manipulate the public discourse by disseminating false news stories, conspiracy theories, and divisive content. This can have far-reaching consequences as it sways public opinion based on falsehoods, ultimately leading to an erosion of trust in the democratic process.	このような偽情報キャンペーンは、制度への信頼を損ない、社会的結束を不安定にし、民主的プロセスを混乱させる可能性がある。例えば、選挙期間中、高度なAIが生成した偽情報キャンペーンは、偽のニュース記事、陰謀論、分裂的なコンテンツを広めることで、公共の言論を操作することができる。これは、虚偽の情報に基づいて世論を揺さぶり、最終的に民主的プロセスに対する信頼を損なうという、広範囲に及ぶ結果をもたらす可能性がある。
The fact that these disinformation campaigns can be planned ahead and automated significantly exacerbates the problem, as it enables bad actors to generate and disseminate false information at an overwhelming scale. It could be extremely challenging for fact-checkers, journalists, and social media platforms to identify and counteract the spread of disinformation in a timely manner. Additionally, the speed and efficiency of AI-generated content can make it difficult for users to discern between legitimate and fake news, further facilitating the spread of disinformation.	こうした偽情報キャンペーンが事前に計画され、自動化できるという事実は、悪質な行為者が圧倒的な規模で偽情報を生成し広めることを可能にし、問題を大きく悪化させる。ファクトチェッカー、ジャーナリスト、ソーシャルメディアプラットフォームが、偽情報の拡散をタイムリーに特定し、打ち消すことは極めて困難となる可能性がある。さらに、AIが生成するコンテンツのスピードと効率性によって、ユーザが正当なニュースとフェイクニュースを見分けることが難しくなり、偽情報の拡散がさらに促進される可能性がある。
4.2.4 Censorship and control	4.2.4 検閲と統制
Large AI models can also be employed by authoritarian governments to manipulate public opinion and suppress democratic processes. By using these sophisticated technologies to generate fake news, propaganda, and deep-fake content, such regimes can create an illusion of reality that suits their interests. This disinformation can sow confusion and mistrust among the public, undermining the credibility of democratic institutions and opposition leaders.	大規模なAIモデルは、権威主義的な政府が世論を操作し、民主的なプロセスを抑圧するために採用することもできる。これらの高度な技術を使用してフェイクニュース、プロパガンダ、ディープフェイクコンテンツを生成することで、こうした政権は自分たちの利益に合った現実の幻想を作り出すことができる。こうした偽情報は、国民の間に混乱と不信をもたらし、民主的な制度や野党指導者の信頼性を損なうことになる。
Additionally, authoritarian governments can use AI-powered surveillance systems to identify and monitor the activities of opposition members and dissidents. By analysing vast amounts of data from social media, communications, and location tracking, these models can create detailed profiles of individuals deemed a threat to the regime. The regime can then use this information to suppress opposition voices through harassment, arrests, and other forms of repression.	さらに、権威主義的な政府は、AIを搭載した監視システムを使って、野党議員や反体制派の活動を特定・監視することができる。ソーシャルメディア、通信、位置情報などの膨大なデータを分析することで、政権にとって脅威とみなされる個人の詳細なプロファイルを作成することができる。そして、政権はこの情報を使って、嫌がらせや逮捕などの弾圧を通じて反対派の声を抑圧することができる。
5 Conclusions	5 結論
Generative AI technology has emerged as an important innovation with potential to disrupt various industries and aspects of society. It is a tool capable of creating high-quality content, designs, and simulations by learning patterns from vast amounts of data. This technology has far-reaching applications across diverse fields.	生成型AI技術は、様々な産業や社会を破壊する可能性を秘めた重要なイノベーションとして登場した。膨大なデータからパターンを学習し、高品質のコンテンツ、デザイン、シミュレーションを作成することができるツールである。この技術は、様々な分野で広く応用されている。
However, the immense potential of generative AI technology is not without its inherent dangers. The capability of generating realistic content raises ethical concerns, as it can be exploited to produce fake news, deep fakes, and misinformation, potentially disrupting societies and undermining trust in institutions. Additionally, the technology’s rapid progress may result in unprecedented job displacement, as AI-generated content and automation replace human labour in various sectors. Furthermore, biases present in training data may lead to unintended consequences, perpetuating discrimination and inequality.	しかし、生成型AI技術の計り知れない可能性には、固有の危険性がないわけではありません。フェイクニュースやディープフェイク、誤報の生成に利用され、社会を混乱させ、制度に対する信頼を損なう可能性があるからである。また、AIが生成するコンテンツや自動化によって、さまざまな分野で人間の労働力が代替されるため、技術の急速な進歩は、これまでにない雇用の喪失をもたらすかもしれない。さらに、学習データに存在するバイアスは、意図しない結果を招き、差別や不平等を永続させるかもしれない。
Generative AI is not a product of magic; rather, it is built on solid technical foundations derived from years of research and advancements in machine learning, neural networks, and computational power. This technology utilises sophisticated algorithms and models to process, analyse, and learn from vast amounts of data, enabling the creation of intricate and nuanced outputs. The current state of the art in generative AI, impressive as it is, represents only a stepping stone towards even more efficient and capable tools in the future. As the understanding of artificial intelligence deepens, and as computational capabilities continue to grow, it can be expected that further breakthroughs will push the limits of what generative AI can achieve, unlocking new possibilities and applications across various domains.	生成型AIは魔法の産物ではなく、機械学習、ニューラルネットワーク、計算能力の長年の研究と進歩から生まれた確かな技術的基盤の上に構築されている。この技術は、膨大な量のデータを処理、分析、学習するために高度なアルゴリズムとモデルを利用し、複雑でニュアンスのあるアウトプットを生み出すことを可能にする。現在の生成型AIの技術は、将来的にさらに効率的で高性能なツールになるための足がかりにすぎません。人工知能の理解が深まり、計算能力が向上するにつれて、さらなるブレークスルーが生成型AIの限界を超え、さまざまな領域で新しい可能性とアプリケーションを生み出すことが期待される。
The inevitability of progress has always been a driving force in human history, pushing the boundaries of what is possible and transforming the way humans live and work. Generative AI, as a part of this relentless march of innovation, is most likely here to stay. Its potential to reshape industries and create new opportunities is immense, making it a technology that organisations will have to embrace and harness in order to remain competitive and relevant. Ignoring or resisting this technological revolution is not a viable option, as others will inevitably capitalise on its benefits, including those with malicious intent. It is therefore imperative for organisations to proactively integrate generative AI into their strategies, while simultaneously working towards establishing ethical guidelines, security measures, and risk mitigation strategies to ensure the responsible and secure utilisation of this new technology.	進歩の必然性は、人類の歴史において常に原動力であり、可能性の限界を押し広げ、人間の生活や仕事のあり方を変えてきた。生成型AIは、この絶え間ない革新の歩みの一部として、おそらく今後も存在し続けるだろう。産業を再構築し、新たな機会を生み出すその可能性は計り知れず、組織が競争力と関連性を維持するためには、この技術を受け入れ、活用することが必要となってくる。この技術革命を無視したり、抵抗したりすることは、悪意のある人を含め、その利点を利用する人が必ず現れるため、実行可能な選択肢とは言えない。したがって、組織は積極的に生成型AIを戦略に組み込むと同時に、この新技術を責任を持って安全に活用するための倫理的ガイドライン、セキュリティ対策、リスク軽減戦略の確立に取り組むことが不可欠である。
5.1 Recommendations	5.1 提言
We provide below recommendations that can help EUIBAs in directing and coordinating their efforts with regards to Generative AI. Given the volatile nature of the field of Generative AI, they can be divided in short, medium, and long-term recommendations.	EUIBAが生成型AIに関する取り組みを方向づけ、調整する際に役立つ勧告を以下に示す。生成型AIという分野の不安定な性質を考慮し、短期、中期、長期の提言に分けることができる。
5.1.1 Short-term	5.1.1 短期的
• Follow attentively the developments in the field of Generative AI, as it will most likely have significant impacts on several aspects of your operation.	・生成型AIの分野の発展が、貴社の業務のいくつかの側面に大きな影響を与える可能性が高いため、注意深くフォローすること。
• Invest in user awareness to ensure that this technology is used in a safe and responsible way. Make sure the staff correctly understands the benefits and risks.	・この技術が安全で責任ある方法で使用されることを保証するために、ユーザ意識に投資する。スタッフがメリットとリスクを正しく理解していることを確認する。
• Until local models are available, have a clear policy to only use TLP:CLEAR (public) data in any prompt submitted to large models provided online by commercial companies.	・ローカルモデルが利用できるようになるまでは、営利企業がオンラインで提供する大型モデルに提出するプロンプトには、TLP:CLEAR（公開）データのみを使用するという明確なポリシーを持つことである。
• Local, open-source models are making rapid progress. It is worth monitoring these developments, as they possibly offer additional fine-tuning (training) possibilities on local (also sensitive) data.	・ローカルでオープンソースのモデルは急速に進歩している。ローカルな（機密性の高い）データを使った微調整（トレーニング）の可能性が増えるかもしれないので、こうした動きを監視することは価値がある。
• If possible, and for the specific case of ChatGPT, provide users with a monitored, tightly controlled interface (i.e. a web application), which would use the API to access the OpenAI service. This should limit the exposure of the data provided in the prompts.	・可能であれば、ChatGPTの場合は、OpenAIのサービスにアクセスするためのAPIを使用する、監視され、厳しく制御されたインターフェース（つまり、ウェブアプリケーション）をユーザに提供する。これにより、プロンプトで提供されるデータの露出を制限することができるはずである。
5.1.2 Medium- to long-term	5.1.2 中長期
• Plan a strategy to deploy local, open-source Generative AI technology models on-premise or in private Cloud, which would allow for a much better control over the data.	・ローカルでオープンソースの生成型AI技術モデルをオンプレミスまたはプライベートクラウドに展開する戦略を計画することで、データに対するより良い制御を可能にする。
• Create policies ensuring responsible use of Generative AI technology – including the definition of acceptable use cases and proper validation of the output.	・許容されるユースケースの定義やアウトプットの適切な検証など、生成型AIテクノロジーの責任ある使用を保証するポリシーを作成する。
6 Credits	6 謝辞
We would like to warmly thank our colleagues from European Commission for the useful input, feedback and suggestions they have provided to improve this guidance.	このガイダンスを改善するために有益な情報、フィードバック、提案を提供してくれた欧州委員会の同僚に心から感謝したい。