| INTRODUCTION |
序文 |
| The release and widespread use of ChatGPT – a large language model (LLM) developed by OpenAI – has created significant public attention, chiefly due to its ability to quickly provide ready-to-use answers that can be applied to a vast amount of different contexts. |
OpenAIが開発した大規模言語モデル（LLM）であるChatGPTの公開と普及は、膨大な数の異なる文脈に適用可能な、すぐに使える回答を素早く提供する能力によって、大きな社会的関心を呼んでいる。 |
| These models hold masses of potential. Machine learning, once expected to handle only mundane tasks, has proven itself capable of complex creative work. LLMs are being refined and new versions rolled out regularly, with technological improvements coming thick and fast. While this offers great opportunities to legitimate businesses and members of the public it also can be a risk for them and for the respect of fundamental rights, as criminals and bad actors may wish to exploit LLMs for their own nefarious purposes. |
このようなモデルには、大きな可能性が秘められている。機械学習は、かつてはありふれた作業しかできないと思われていたが、複雑な創造的作業にも対応できることが証明された。LLMは、定期的に改良され、新しいバージョンが展開され、技術的な改善がどんどん進んでいる。このことは、合法的な企業や一般市民にとって大きなチャンスである一方、犯罪者や悪質な行為者がLLMを悪用しようとする可能性があり、彼らや基本的権利の尊重にとってリスクとなる可能性がある。 |
| In response to the growing public attention given to ChatGPT, the Europol Innovation Lab organised a number of workshops with subject matter experts from across the organisation to explore how criminals can abuse LLMs such as ChatGPT, as well as how it may assist investigators in their daily work. The experts who participated in the workshops represented the full spectrum of Europol’s expertise, including operational analysis, serious and organised crime, cybercrime, counterterrorism, as well as information technology. |
ChatGPTに対する社会的関心の高まりを受け、ユーロポール・イノベーション・ラボは、犯罪者がChatGPTのようなLLMをどのように悪用するか、また、捜査官の日常業務にどのように役立つかを探るため、組織内の専門家による多数のワークショップを開催した。ワークショップに参加した専門家は、オペレーション分析、重大組織犯罪、サイバー犯罪、テロ対策、情報技術など、欧州警察機構（Europol）の全専門分野を網羅している。 |
| Thanks to the wealth of expertise and specialisations represented in the workshops, these hands-on sessions stimulated discussions on the positive and negative potential of ChatGPT, and collected a wide range of practical use cases. While these use cases do not reflect an exhaustive overview of all potential applications, they provide a glimpse of what is possible. |
ワークショップに参加した専門家の豊富な専門知識により、これらの実践的なセッションは、ChatGPTのプラスとマイナスの可能性についての議論を刺激し、幅広い実用的なユースケースを収集した。これらのユースケースは、すべての潜在的なアプリケーションを網羅するものではないが、何が可能かを垣間見ることができるものである。 |
| The objective of this report is to examine the outcomes of the dedicated expert workshops and to raise awareness of the impact LLMs can have on the work of the law enforcement community. As this type of technology is undergoing rapid progress, this document further provides a brief outlook of what may still be to come, and highlights a number of recommendations on what can be done now to better prepare for it. |
本報告書の目的は、専用の専門家ワークショップの成果を検証し、LLMが法執行機関の業務に与える影響について認識を高めることにある。この種の技術は急速に進歩しているため、本書ではさらに、今後何が起こるかを簡単に展望し、それに備えるために今何ができるかについて、多くの推奨事項を強調している。 |
| Important notice: The LLM selected to be examined in the workshops was ChatGPT. ChatGPT was chosen because it is the highest-profile and most commonly used LLM currently available to the public. The purpose of the exercise was to observe the behaviour of an LLM when confronted with criminal and law enforcement use cases. This will help law enforcement understand what challenges derivative and generative AI models could pose. |
重要なお知らせである： 今回のワークショップで検討されたLLMはChatGPTである。ChatGPTが選ばれた理由は、現在公開されているLLMの中で最も知名度が高く、最も一般的に使用されているからである。この演習の目的は、犯罪や法執行機関のユースケースに直面したときのLLMの挙動を観察することでした。これにより、法執行機関は、派生的・生成的なAIモデルがどのような課題をもたらすかを理解することができる。 |
| A longer and more in-depth version of this report was produced for law enforcement consumption only. |
本レポートは、法執行機関向けに、より長く、より深いバージョンで作成されている。 |
| BACKGROUND: LARGE LANGUAGE MODELS AND CHATGPT |
背景：大規模言語モデルとChatGPT |
| Artificial Intelligence |
人工知能 |
| Artificial Intelligence (AI) is a broad field of computer science that involves creating intelligent machines that can perform tasks that typically require human-level intelligence, such as understanding natural language, recognizing images, and making decisions. Al encompasses various subfields, including machine learning, natural language processing, computer vision, robotics, and expert systems. |
人工知能（AI）は、コンピュータサイエンスの広い分野で、自然言語の理解、画像の認識、意思決定など、通常人間レベルの知能を必要とするタスクを実行できる知的マシンを作ることを目的としている。機械学習、自然言語処理、コンピュータビジョン、ロボット工学、エキスパートシステムなど、さまざまな分野がある。 |
| Neural Networks |
ニューラルネット |
| Neural Networks, also known as Artificial Neural Networks (ANN), are computing systems inspired by the structure and function of the human brain. They consist of interconnected nodes or neurons that are designed to recognize patterns and make decisions based on input data. |
ニューラルネットワークは、人工ニューラルネットワーク（ANN）とも呼ばれ、人間の脳の構造と機能にヒントを得たコンピューティングシステムである。ニューラルネットワークは、相互に接続されたノードまたはニューロンで構成され、入力データに基づいてパターンを認識し、意思決定を行うよう設計されている。 |
| Deep learning |
深層学習 |
| Deep Learning is a subfield of machine learning that involves training artificial neural networks, which are computing systems inspired by the structure and function of the human brain, to recognize patterns and make decisions based on large amounts of data. Deep Learning has been particularly successful in fields such as image recognition, natural language processing, and speech recognition. |
深層学習は、機械学習の一分野であり、人間の脳の構造と機能にヒントを得たコンピューティングシステムである人工ニューラルネットワークを訓練し、大量のデータに基づいてパターンを認識し意思決定を行うものである。ディープラーニングは、画像認識、自然言語処理、音声認識などの分野で特に成功を収めている。 |
| Supervised/unsupervised learning |
教師あり／教師なし学習 |
| Supervised Learning is a type of machine learning that involves training a model using labeled data, where the desired output is already known. The model learns to make predictions or decisions by finding patterns in the data and mapping input variables to output variables. |
教師あり学習は、機械学習の一種で、目的の出力がすでに分かっているラベル付きデータを使ってモデルを学習させるものである。モデルは、データのパターンを見つけ、入力変数を出力変数に対応付けることによって、予測や決定を行うことを学習する。 |
| Unsupervised Learning is a type of machine learning that involves training a model using unlabeled data, where the desired output is unknown. The model learns to identify patterns and relationships in the data without being given specific instructions, and is often used for tasks such as clustering, anomaly detection, and dimensionality reduction. |
教師なし学習は、機械学習の一種で、ラベルのないデータを使ってモデルを学習するものである。このモデルは、特定の指示を受けることなく、データのパターンと関係を識別することを学習し、クラスタリング、異常検出、次元削減などのタスクによく使用される。 |
| Definitions provided by ChatGPT. |
ChatGPTが提供する定義 |
| ChatGPT is a large language model (LLM) that was developed by OpenAI and released to the wider public as part of a research preview in November 2022. Natural language processing and LLMs are subfields of artificial intelligence (AI) systems that are built on deep learning techniques and the training of neural networks on significant amounts of data. This allows LLMs to understand and generate natural language text. |
ChatGPTは、OpenAIが開発し、2022年11月にリサーチプレビューの一環として広く一般に公開された大規模言語モデル（LLM）である。自然言語処理とLLMは、人工知能（AI）システムのサブフィールドであり、深層学習技術や、大量のデータに対するニューラルネットワークのトレーニングに基づいて構築されている。これにより、LLMは自然言語のテキストを理解し生成することができる。 |
| Over recent years, the field has seen significant breakthroughs due in part to the rapid progress made in the development of supercomputers and deep learning algorithms. At the same time, an unprecedented amount of available data has allowed researchers to train their models on the vast input of information needed. |
近年、スーパーコンピューターや深層学習アルゴリズムの開発が急速に進んだこともあり、この分野は大きなブレークスルーを見せている。同時に、かつてないほど大量の利用可能なデータにより、研究者は必要とされる膨大な情報の入力に対してモデルを訓練することができるようになった。 |
| The LLM ChatGPT is based on the Generative Pre-trained Transformer (GPT) architecture. It was trained using a neural network designed for natural language processing on a dataset of over 45 terabytes of text from the internet (books, articles, websites, other text-based content), which in total included billions of words of text. |
LLM ChatGPTは、Generative Pre-trained Transformer（GPT）アーキテクチャをベースにしている。インターネット上のテキスト（書籍、記事、ウェブサイト、その他のテキストベースのコンテンツ）から45テラバイトを超えるデータセットを対象に、自然言語処理用に設計されたニューラルネットワークを用いて訓練され、合計で数十億語のテキストを含んでいる。 |
| The training of ChatGPT was carried out in two phases: the first involved unsupervised training, which included training ChatGPT to predict missing words in a given text to learn the structure and patterns of human language. Once pre-trained, the second phase saw ChatGPT fine-tuned through Reinforcement Learning from Human Feedback (RLHF), a supervised learning approach during which human input helped the model learn to adjust its parameters in order to better perform its tasks. |
ChatGPTのトレーニングは2つのフェーズで行われた。1つ目は教師なしトレーニングで、与えられたテキストに欠けている単語を予測し、人間の言語の構造とパターンを学ぶためにChatGPTをトレーニングすることを含んでいる。第2段階では、人間のフィードバックによる強化学習（RLHF）により、ChatGPTの微調整を行いた。これは教師あり学習で、人間の入力により、モデルがより良いタスクを実行するためにパラメータを調整することを学習する。 |
| The current publicly accessible model underlying ChatGPT, GPT-3.5, is capable of processing and generating human-like text in response to user prompts. Specifically, the model can answer questions on a variety of topics, translate text, engage in conversational exchanges (‘chatting’), and summarise text to provide key points. It is further capable of performing sentiment analysis, generating text based on a given prompt (i.e. writing a story or poem), as well as explaining, producing, and improving code in some of the most common programming languages (Python, Java, C++, JavaScript, PHP, Ruby, HTML, CSS, SQL). In its essence, then, ChatGPT is very good at understanding human input, taking into account its context, and producing answers that are highly usable. |
現在公開されているChatGPTの基盤モデルであるGPT-3.5は、ユーザーのプロンプトに応答して人間のようなテキストを処理・生成することが可能である。具体的には、様々なトピックに関する質問への回答、テキストの翻訳、会話のやり取り（チャット）、重要なポイントを示すテキストの要約などを行うことができる。さらに、感情分析、プロンプトに基づくテキスト生成（物語や詩の作成）、一般的なプログラミング言語（Python、Java、C++、JavaScript、PHP、Ruby、HTML、CSS、SQL）によるコードの説明、作成、改良が可能である。つまり、ChatGPTは、人間の入力を理解し、その文脈を考慮した上で、ユーザビリティの高い答えを出すことに長けているのである。 |
| In March 2023, OpenAI released for subscribers of ChatGPT Plus its latest model, GPT4. According to OpenAI, GPT-4 is capable of solving more advanced problems more accurately[1] . In addition, GPT-4 offers advanced API integration and can process, classify, and analyse images as input. Moreover, GPT-4 is claimed to be less likely to respond to requests for ‘disallowed content’ and more likely to produce factual responses than GPT-3.5 . Newer versions with greater functionalities and capabilities are expected to be released as the development and improvement of LLMs continues. |
2023年3月、OpenAIはChatGPT Plusの加入者向けに、その最新モデルであるGPT4をリリースした。OpenAIによると、GPT-4は、より高度な問題をより正確に解くことができる[1]ようになったとのことである。また、GPT-4は高度なAPI連携を実現し、入力された画像を処理、分類、分析することができる。さらに、GPT-4はGPT-3.5と比較して、「許可されないコンテンツ」のリクエストに反応する可能性が低く、事実に基づいたレスポンスを生成する可能性が高いとされている。今後もLLMの開発・改良が進み、より高機能・高性能な新バージョンのリリースが期待される。 |
| Limitations |
制限事項 |
| Still, the model has a number of important limitations that need to be kept in mind. The most obvious one relates to the data on which it has been trained: while updates are made on a constant basis, the vast majority of ChatGPT’s training data dates back to September 2021. The answers generated on the basis of this data do not include references to understand where certain information was taken from, and may be biased. Additionally, ChatGPT excels at providing answers that sound very plausible, but that are often inaccurate or wrong[3][ 4]. This is because ChatGPT does not fundamentally understand the meaning behind human language, but rather its patterns and structure on the basis of the vast amount of text with which it has been trained. This means answers are often basic, as the model struggles with producing advanced analysis of a given input[5] . Another key issue relates to the input itself, as often, the precise phrasing of the prompt is very important in getting the right answer out of ChatGPT. Small tweaks can quickly reveal different answers, or lead the model into believing it does not know the answer at all. This is also the case with ambiguous prompts, whereby ChatGPT typically assumes to understand what the user wants to know, instead of asking for further clarifications. |
しかし、このモデルには、留意すべき重要な限界がいくつかある。最も明白なのは、学習させたデータに関するものである。更新は恒常的に行われているが、ChatGPTの学習データの大部分は2021年9月に遡ります。このデータに基づいて生成された回答は、特定の情報がどこから取得されたかを理解するための参照を含んでおらず、バイアスがかかっている可能性がある。さらに、ChatGPTは、非常にもっともらしく聞こえるが、不正確または間違っていることが多い回答を提供することを得意としている[3 ][4]。これは、ChatGPTが人間の言葉の意味を根本的に理解しているわけではなく、訓練された膨大な量のテキストに基づいて、そのパターンや構造を理解しているためである。つまり、与えられた入力に対して高度な分析を行うことに苦労しているため、回答は基本的なものになることが多いのである[5]。ChatGPTから正しい答えを引き出すには、プロンプトの正確な言い回しが非常に重要である。ちょっとした工夫で、すぐに違う答えを導き出したり、答えがわからないと思わせてしまったりすることがある。これは曖昧なプロンプトの場合も同様で、ChatGPTは通常、さらなる説明を求める代わりに、ユーザーが知りたいことを理解していると仮定する。 |
| Finally, the biggest limitation of ChatGPT is self-imposed. As part of the model’s content moderation policy, ChatGPT does not answer questions that have been classified as harmful or biased. These safety mechanisms are constantly updated, but can still be circumvented in some cases with the correct prompt engineering. The following chapters describe in more detail how this is possible and what implications arise as a result. |
最後に、ChatGPTの最大の限界は、自ら招いたものである。このモデルのコンテンツモデレーションポリシーの一環として、ChatGPTは有害またはバイアスと分類された質問には答えない。これらの安全機構は常に更新されているが、それでも正しいプロンプトエンジニアリングで回避できる場合もある。次の章では、どのようにしてこれが可能なのか、またその結果どのような影響が生じるのかについて、より詳細に説明する。 |
| SAFEGUARDS, PROMPT ENGINEERING, JAILBREAKS |
セーフガード、プロンプトエンジニアリング、ジェイルブレイク |
| Given the significant wealth of information to which ChatGPT has access, and the relative ease with which it can produce a wide variety of answers in response to a user prompt, OpenAI has included a number of safety features with a view to preventing malicious use of the model by its users. The Moderation endpoint assesses a given text input on the potential of its content being sexual, hateful, violent, or promoting selfharm, and restricts ChatGPT’s capability to respond to these types of prompts[6][7]. |
ChatGPTがアクセスできる情報は非常に豊富であり、ユーザーのプロンプトに対して様々な回答を比較的容易に生成できることから、OpenAIはユーザーによる悪意のある利用を防止するために、多くの安全機能を搭載している。モデレーションエンドポイントは、入力されたテキストが性的、憎悪的、暴力的、または自傷行為を助長する内容である可能性を評価し、ChatGPTがこれらのタイプのプロンプトに応答する機能を制限する[6][7]。 |
 |
| Many of these safeguards, however, can be circumvented fairly easily through prompt engineering. Prompt engineering is a relatively new concept in the field of natural language processing; it is the practice of users refining the precise way a question is asked in order to influence the output that is generated by an AI system. While prompt engineering is a useful and necessary component of maximising the use of AI tools, it can be abused in order to bypass content moderation limitations to produce potentially harmful content. While the capacity for prompt engineering creates versatility and added value for the quality of an LLM, this needs to be balanced with ethical and legal obligations to prevent their use for harm. |
しかし、これらのセーフガードの多くは、プロンプトエンジニアリングによってかなり簡単に回避することができる。プロンプトエンジニアリングは、自然言語処理の分野では比較的新しい概念で、AIシステムが生成する出力に影響を与えるために、ユーザーが質問の正確な方法を改良することを指する。プロンプトエンジニアリングは、AIツールを最大限に活用するために有用かつ必要な要素であるが、コンテンツモデレーションの制限を回避するために悪用され、潜在的に有害なコンテンツが生成される可能性がある。プロンプト・エンジニアリングの能力は、LLMの品質に汎用性と付加価値をもたらするが、有害な用途での使用を防ぐための倫理的・法的義務とのバランスを取る必要がある。 |
| LLMs are still at a relatively early stage of development, and as improvements are made, some of these loopholes are closed[8] . Given the complexity of these models, however, there is no shortage of new workarounds being discovered by researchers and threat actors. In the case of ChatGPT, some of the most common workarounds include the following: |
LLMはまだ比較的初期の開発段階であり、改良が進めば、こうした抜け穴のいくつかが塞がれる[8]。しかし、これらのモデルの複雑さを考えると、研究者や脅威行為者によって発見される新しい回避策に事欠きません。ChatGPTの場合、最も一般的な回避策には以下のようなものがある： |
| ► Prompt creation (providing an answer and asking ChatGPT to provide the corresponding prompt); |
►プロンプトの作成（答えを提供し、対応するプロンプトを提供するようChatGPTに依頼する）； |
| ► Asking ChatGPT to give the answer as a piece of code or pretending to be a fictional character talking about the subject; |
►ChatGPTにコードの一部として答えを与えるよう依頼したり、架空のキャラクターがそのテーマについて話しているふりをする； |
| ► Replacing trigger words and changing the context later; |
►トリガーワードを置き換えて、後で文脈を変更する； |
| ► Style/opinion transfers (prompting an objective response and subsequently changing the style/perspective it was written in); |
►スタイル/オピニオントランスファー（客観的な回答を促し、その後に書かれたスタイル/パースペクティブを変更すること）； |
| ► Creating fictitious examples that are easily transferrable to real events (i.e. by avoiding names, nationalities, etc.). |
►現実の出来事に容易に移行できるような架空の例を作る（名前や国籍などを避けるなど）。 |
| Some of the most advanced and powerful workarounds are sets of specific instructions aimed at jailbreaking the model. One of these is the so-called ‘DAN’ (‘Do Anything Now’) jailbreak, which is a prompt specifically designed to bypass OpenAI’s safeguards and lead ChatGPT to respond to any input, regardless of its potentially harmful nature. While OpenAI quickly closed this particular loophole, new and ever more complex versions of DAN have emerged subsequently, all designed to provide jailbreak prompts that can navigate through the safety mechanisms built into the model[9] . As of the time of writing of this report, no functional DAN was available. |
最も高度で強力な回避策は、モデルを脱獄させることを目的とした特定の命令セットである。これは、OpenAIのセーフガードを回避するために特別に設計されたプロンプトで、ChatGPTは、潜在的に有害な性質に関係なく、あらゆる入力に反応するようになる。OpenAIはこの特別な抜け穴をすぐに閉鎖したが、その後、DANの新しい、より複雑なバージョンが出現し、すべてモデルに組み込まれた安全機構を通過できる脱獄プロンプトを提供するように設計されている[9]。本レポートの執筆時点では、機能的なDANは存在しない。 |
| CRIMINAL USE CASES |
犯罪の使用例 |
| The release of GPT-4 was meant not only to improve the functionality of ChatGPT, but also to make the model less likely to produce potentially harmful output. Europol workshops involving subject matter experts from across Europol’s array of expertise identified a diverse range of criminal use cases in GPT-3.5. A subsequent check of GPT4, however, showed that all of them still worked. In some cases, the potentially harmful responses from GPT-4 were even more advanced. |
GPT-4のリリースは、ChatGPTの機能を向上させるだけでなく、潜在的に有害な出力を生成する可能性を低くすることを意図している。ユーロポールの専門家が参加するワークショップでは、GPT-3.5で多様な犯罪ユースケースが確認された。しかし、その後GPT4で確認したところ、すべてのケースで動作することがわかりました。場合によっては、GPT-4の有害な可能性のある対応がさらに進んでいることもあった。 |
| ChatGPT excels at providing the user with ready-to-use information in response to a wide range of prompts. If a potential criminal knows nothing about a particular crime area, ChatGPT can speed up the research process significantly by offering key information that can then be further explored in subsequent steps. As such, ChatGPT can be used to learn about a vast number of potential crime areas with no prior knowledge, ranging from how to break into a home, to terrorism, cybercrime and child sexual abuse. The identified use cases that emerged from the workshops Europol carried out with its experts are by no means exhaustive. Rather, the aim is to give an idea of just how diverse and potentially dangerous LLMs such as ChatGPT can be in the hands of malicious actors. |
ChatGPTは、様々なプロンプトに対して、すぐに使える情報をユーザーに提供することに長けている。犯罪に巻き込まれる可能性のある人が、ある犯罪地域について何も知らない場合、ChatGPTは重要な情報を提供し、その後のステップでさらに調べることができるため、調査プロセスを大幅にスピードアップすることができる。このように、ChatGPTは、家庭への侵入方法からテロ、サイバー犯罪、児童性的虐待に至るまで、膨大な数の潜在的犯罪領域について、予備知識なしで学ぶために使用することができる。ユーロポールが専門家と行ったワークショップから生まれたユースケースは、決して網羅的なものではない。むしろ、ChatGPTのようなLLMが悪意ある行為者の手にかかると、どれほど多様で潜在的に危険なものになり得るかを示すことが目的である。 |
| While all of the information ChatGPT provides is freely available on the internet, the possibility to use the model to provide specific steps by asking contextual questions means it is significantly easier for malicious actors to better understand and subsequently carry out various types of crime. |
ChatGPTが提供する情報はすべてインターネット上で自由に入手できるが、文脈に沿った質問をすることで具体的な手順を示すことができるため、悪意のある行為者が様々な犯罪をより理解し、実行することが非常に容易になっている。 |
| Fraud, impersonation, and social engineering |
詐欺、なりすまし、ソーシャルエンジニアリング |
| ChatGPT’s ability to draft highly authentic texts on the basis of a user prompt makes it an extremely useful tool for phishing purposes. Where many basic phishing scams were previously more easily detectable due to obvious grammatical and spelling mistakes, it is now possible to impersonate an organisation or individual in a highly realistic manner even with only a basic grasp of the English language. |
ChatGPTは、ユーザーからのプロンプトをもとに本人認証の高い文章を作成することができるため、フィッシング詐欺に非常に有効なツールとなっている。以前は、文法やスペルミスが目立つため、基本的なフィッシング詐欺の多くは簡単に見破ることができましたが、今では英語の基本的な知識しかなくても、非常にリアルな方法で組織や個人になりすますことが可能である。 |
| Critically, the context of the phishing email can be adapted easily depending on the needs of the threat actor, ranging from fraudulent investment opportunities to business e-mail compromise and CEO fraud[10] . ChatGPT may therefore offer criminals new opportunities, especially for crimes involving social engineering, given its abilities to respond to messages in context and adopt a specific writing style. Additionally, various types of online fraud can be given added legitimacy by using ChatGPT to generate fake social media engagement, for instance to promote a fraudulent investment offer. |
また、フィッシングメールの文脈は、詐欺的な投資機会からビジネスメールの漏洩やCEO詐欺まで、脅威者のニーズに応じて容易に変更することができる[10]。そのため、ChatGPTは、文脈に応じたメッセージへの対応や特定の文体を採用する能力を備えており、特にソーシャルエンジニアリングを伴う犯罪において、犯罪者に新たな機会を提供する可能性がある。また、ChatGPTを利用して偽のソーシャルメディアエンゲージメントを生成することで、さまざまなタイプのオンライン詐欺に正当性を持たせることができる（例えば、詐欺的な投資案件を宣伝するためなど）。 |
| To date, these types of deceptive communications have been something criminals would have to produce on their own. In the case of mass-produced campaigns, targets of these types of crime would often be able to identify the inauthentic nature of a message due to obvious spelling or grammar mistakes or its vague or inaccurate content. With the help of LLMs, these types of phishing and online fraud can be created faster, much more authentically, and at significantly increased scale. |
これまで、このような欺瞞的なコミュニケーションは、犯罪者が自ら作り出す必要があった。大量生産されたキャンペーンの場合、スペルミスや文法ミス、曖昧で不正確な内容から、この種の犯罪のターゲットがメッセージの真偽を見極めることができることが多い。LLMを使えば、このようなフィッシングやオンライン詐欺を、より早く、より本物に近い形で、しかも大幅に規模を拡大して作成することができる。 |
| The ability of LLMs to detect and re-produce language patterns does not only facilitate phishing and online fraud, but can also generally be used to impersonate the style of speech of specific individuals or groups. This capability can be abused at scale to mislead potential victims into placing their trust in the hands of criminal actors. |
LLMの言語パターンの検出と再作成能力は、フィッシングやオンライン詐欺を容易にするだけでなく、一般的に特定の個人やグループのスピーチスタイルを模倣するために使用することができる。この機能は、潜在的な被害者を欺き、犯罪者の手に信頼を委ねるために、大規模に悪用される可能性がある。 |
| In addition to the criminal activities outlined above, the capabilities of ChatGPT lend themselves to a number of potential abuse cases in the area of terrorism, propaganda, and disinformation. As such, the model can be used to generally gather more information that may facilitate terrorist activities, such as for instance, terrorism financing or anonymous file sharing. |
上記の犯罪行為に加え、ChatGPTの機能は、テロリズム、プロパガンダ、偽情報の分野でも多くの潜在的な悪用ケースに適している。例えば、テロ資金調達や匿名のファイル共有など、テロ活動を促進する可能性のある情報をより多く収集するために使用することが可能である。 |
| ChatGPT excels at producing authentic sounding text at speed and scale. This makes the model ideal for propaganda and disinformation purposes, as it allows users to generate and spread messages reflecting a specific narrative with relatively little effort. For instance, ChatGPT can be used to generate online propaganda on behalf of other actors to promote or defend certain views that have been debunked as disinformation or fake news[11] . |
ChatGPTは、スピードとスケールで本人認証のあるテキストを作成することに優れている。そのため、特定のシナリオを反映したメッセージを比較的少ない労力で生成・拡散することができ、プロパガンダや偽情報の作成に最適なモデルである。例えば、ChatGPTは、偽情報やフェイクニュースとして否定された特定の見解を促進または擁護するために、他のアクターに代わってオンラインプロパガンダを生成するために使用することができる[11]。 |
| These examples provide merely a glimpse of what is possible. While ChatGPT refuses to provide answers to prompts it considers obviously malicious, it is possible – similar to the other use cases detailed in this report – to circumvent these restrictions. Not only would this type of application facilitate the perpetration of disinformation, hate speech and terrorist content online - it would also allow users to give it misplaced credibility, having been generated by a machine and, thus, possibly appearing more objective to some than if it was produced by a human[12] . |
これらの例は、何が可能かを垣間見ることができるに過ぎません。ChatGPTは、明らかに悪意があると思われるプロンプトへの回答を拒否しているが、本レポートで詳述した他のユースケースと同様に、これらの制限を回避することは可能である。このようなアプリケーションは、偽情報、ヘイトスピーチ、テロリストのコンテンツをネット上で拡散させるだけでなく、機械によって生成されたため、人間が生成した場合よりも客観的に見える可能性があるとして、ユーザーに誤った信頼性を与えることも可能になる[12]。 |
| Cybercrime |
サイバー犯罪 |
| In addition to generating human-like language, ChatGPT is capable of producing code in a number of different programming languages. As with the other use cases, it is possible to generate a range of practical outputs in a matter of minutes by entering the right prompts. One of the crime areas for which this could have a significant impact is cybercrime. With the current version of ChatGPT it is already possible to create basic tools for a variety of malicious purposes. Despite the tools being only basic (i.e. to produce phishing pages or malicious VBA scripts), this provides a start for cybercrime as it enables someone without technical knowledge to exploit an attack vector on a victim’s system. |
ChatGPTは、人間のような言語を生成するだけでなく、多くの異なるプログラミング言語のコードを生成することが可能である。他の使用例と同様に、適切なプロンプトを入力することで、数分のうちにさまざまな実用的なアウトプットを生成することが可能である。これが大きな影響を与える可能性のある犯罪分野のひとつに、サイバー犯罪がある。ChatGPTの現バージョンでは、さまざまな悪意のある目的のための基本的なツールを作成することがすでに可能である。このツールは基本的なもの（フィッシングページや悪意のあるVBAスクリプトの作成など）であるにもかかわらず、専門知識を持たない人が被害者のシステム上で攻撃ベクトルを悪用できるため、サイバー犯罪のきっかけになる。 |
| This type of automated code generation is particularly useful for those criminal actors with little to no knowledge of coding and development. Critically, the safeguards preventing ChatGPT from providing potentially malicious code only work if the model understands what it is doing. If prompts are broken down into individual steps, it is trivial to bypass these safety measures. |
このような自動コード生成は、コーディングや開発に関する知識がほとんどない犯罪者にとっては特に有効である。重要なことは、ChatGPTが悪意のあるコードを提供することを防ぐセーフガードは、モデルが何をしているかを理解している場合にのみ機能するということである。プロンプトが個々のステップに分割されている場合、これらの安全対策をバイパスすることは些細なことである。 |
| While the tools produced by ChatGPT are still quite simple, the active exploitation of it by threat actors provides a grim outlook in view of inevitable improvements of such tools in the coming years. In fact, ChatGPT’s ability to transform natural language prompts into working code was quickly exploited by malicious actors to create malware. Shortly after the public release of ChatGPT, a Check Point Research blog post of December 2022 demonstrated how ChatGPT can be used to create a full infection flow, from spear-phishing to running a reverse shell that accepts commands in English[13] . |
ChatGPTが作成したツールはまだ非常にシンプルであるが、脅威行為者によって積極的に利用されていることから、今後数年間でこのようなツールの改善が避けられないことを考えると、厳しい見通しを立てることができる。実際、ChatGPTの自然言語プロンプトを動作するコードに変換する機能は、悪意のあるアクターによってマルウェアを作成するためにすぐに悪用された。ChatGPTの一般公開後まもなく、2022年12月のCheck Point Researchのブログ記事で、スピアフィッシングから英語でのコマンドを受け付けるリバースシェルの実行まで、ChatGPTを使用して完全な感染フローを作成できることが示された[13]。 |
| The capabilities of generative models such as ChatGPT to assist with the development of code is expected to further improve over time. GPT-4, the latest release, has already made improvements over its previous versions and can, as a result, provide even more effective assistance for cybercriminal purposes. The newer model is better at understanding the context of the code, as well as at correcting error messages and fixing programming mistakes. For a potential criminal with little technical knowledge, this is an invaluable resource. At the same time, a more advanced user can exploit these improved capabilities to further refine or even automate sophisticated cybercriminal modi operandi. |
ChatGPTのような生成モデルがコードの開発を支援する機能は、時間の経過とともにさらに向上することが予想される。最新版のGPT-4は、すでに以前のバージョンよりも改良されており、その結果、サイバー犯罪の目的に対してより効果的な支援を提供することができるようになった。新型は、コードの文脈を理解し、エラーメッセージを修正し、プログラミングミスを修正することに優れている。技術的な知識の乏しい潜在的な犯罪者にとって、これは貴重なリソースとなる。同時に、より高度なユーザーは、これらの向上した機能を利用して、高度なサイバー犯罪の手口をさらに洗練させたり、自動化したりすることも可能である。 |
| IMPACT AND OUTLOOK |
影響と展望 |
| The use cases outlined in this report provide merely a glimpse of what LLMs such as ChatGPT are capable of today, and hint at what may still be to come in the near future. While some of these examples are basic, they provide starting points that, with the underlying technology expected to improve, can become much more advanced and as a result dangerous. Other use cases, such as the production of phishing emails, humanlike communication and disinformation, are already worryingly sophisticated. These, too, are expected to become even more authentic, complex, and difficult to discern from human-produced output. Efforts aimed at detecting text generated by AI-models are ongoing and may be of significant use in this area in the future. At the time of writing of this report, however, the accuracy of known detection tools was still very low[14] . |
本レポートで紹介した使用例は、ChatGPTのようなLLMが今日できることのほんの一端に過ぎず、近い将来に何が起こるかを示唆するものである。これらの事例のいくつかは基本的なものであるが、基礎技術の向上により、より高度で危険なものになる可能性のある出発点を示している。フィッシングメールの作成、人間そっくりのコミュニケーション、偽情報など、他の使用例はすでに心配になるくらい洗練されている。これらもまた、より本物らしく、より複雑で、人間が作成したものと見分けがつきにくいものになると予想される。AIモデルによって生成されたテキストを検出することを目的とした取り組みが進行中であり、将来的にこの分野で重要な役割を果たすかもしれない。しかし、この報告書の執筆時点では、既知の検出ツールの精度はまだ非常に低い[14]。 |
| One of the greatest impacts of this type of technology revolves around the concept of ‘explorative communication’, that is to say the possibility to quickly gather key information on an almost limitless array of subjects by asking simple questions. Being able to dive deeper into topics without having to manually search and summarise the vast amount of information found on classical search engines can speed up the learning process significantly, enabling a much quicker gateway into a new field than was the case previously. |
この種の技術がもたらす最も大きな影響のひとつは、「探索的コミュニケーション」、つまり、簡単な質問をすることによって、ほとんど無限のテーマについて重要な情報を素早く収集することができる、という概念にある。従来の検索エンジンから得られる膨大な情報を手作業で検索し、要約することなく、トピックを深く掘り下げることができれば、学習プロセスを大幅にスピードアップし、新しい分野への入門を従来よりもはるかに早めることができる。 |
| The impact these types of models might have on the work of law enforcement can already be anticipated. Criminals are typically quick to exploit new technologies and were fast seen coming up with concrete criminal exploitations, providing first practical examples mere weeks after the public release of ChatGPT. |
このようなモデルが法執行機関の業務に与える影響は、すでに予想されている。犯罪者は通常、新しい技術を利用するのが早く、ChatGPTの一般公開からわずか数週間で最初の実用例を提供し、具体的な犯罪利用を思いつくのが早く見られました。 |
| As the workshops demonstrated, safeguards put in place to prevent the malicious use of ChatGPT can easily be circumvented through prompt engineering. As the limiting rules put in place by creators of these types of models are put in place by humans, they require input from subject matter experts to ensure that they are effective. Organisations tasked with preventing and combatting crimes such as those that may result from the abuse of LLMs should be able to help improve these safeguards. This includes not only law enforcement, but also NGOs working in areas such as protecting the safety of children online. |
ワークショップで示されたように、ChatGPTの悪意ある利用を防ぐために設けられたセーフガードは、迅速なエンジニアリングによって容易に回避される可能性がある。この種のモデルの作成者が設定した制限ルールは、人間が設定したものであるため、その効果を保証するためには、専門家の意見が必要である。LLMの悪用に起因するような犯罪の予防と対策に取り組む組織は、こうした保護措置の改善に貢献することができるはずである。これには、法執行機関だけでなく、オンライン上の子どもの安全保護などの分野で活動するNGOも含まれる。 |
| In response to some of the public pressure to ensure that generative AI models are safe, Partnership on AI (PAI), a research non-profit organisation, established a set of guidelines on how to produce and share AI-generated content responsibly[15] . These guidelines were signed up to by a group of ten companies, including OpenAI, pledging to adhere to a number of best practices. These include informing users that they are interacting with AI-generated content (i.e. through watermarks, disclaimers, or traceable elements). To what extent this will prevent practical abuse such as outlined in this report is unclear. In addition, questions remain as to how the accuracy of content produced by generative AI models can effectively be ensured, and how users can understand where information comes from in order to verify it. |
AI生成モデルの安全性を確保しようという世論の圧力に応え、研究非営利団体であるPartnership on AI（PAI）は、AI生成コンテンツを責任を持って制作・共有する方法に関する一連のガイドラインを制定した[15]。このガイドラインは、OpenAIを含む10社のグループによって署名され、多くのベストプラクティスを遵守することを誓約している。その中には、AIが生成したコンテンツに触れていることをユーザーに知らせる（透かし、免責事項、追跡可能な要素など）ことも含まれている。これによって、本レポートで説明したような現実的な悪用がどの程度防げるかは不明である。また、AIが生成するコンテンツの正確性をどのように担保するのか、ユーザーが情報の出所を理解し、検証することができるのか、疑問が残ります。 |
| At the same time, the European Union is finalising legislative efforts aimed at regulating AI systems under the upcoming AI Act. While there have been some suggestions that general purpose AI systems such as ChatGPT should be included as high risk systems, and as a result meet higher regulatory requirements, uncertainty remains as to how this could practically be implemented. |
一方、欧州連合（EU）では、AIシステムの規制を目的とした「AI法」の制定に向けた法整備が進められている。ChatGPTのような汎用AIシステムもハイリスクシステムに含まれ、その結果、より高い規制要件を満たすべきだという意見もあるが、これが実際にどのように実施されるかは不透明なままである。 |
| The already-seen impact for law enforcement, and the inevitability that the technology will improve, raises the questions of what the future looks like for LLMs. Relatively soon after ChatGPT grew into an internet sensation, Microsoft announced an investment of USD 10 billion into ChatGPT in January 2023. Very quickly after, the company presented first efforts at integrating LLM services into the company’s various applications, notably as a new version of the search engine Bing[16] . At the same time, other competitors such as Google have announced the release of their own conversational AI[17] , called BARD, with others likely to follow. This raises the questions of how much more powerful these types of models may become with the backing of major tech companies, as well as how the private sector aims to address the abuse scenarios outlined in this report. |
法執行機関への影響はすでに確認されており、技術の向上は避けられないことから、LLMの将来はどうなるのかという疑問が投げかけられている。ChatGPTがインターネット上で話題になった比較的すぐ後、マイクロソフトは2023年1月にChatGPTに100億米ドルを投資することを発表した。その後すぐに、同社はLLMサービスを同社の様々なアプリケーションに統合する最初の取り組みを発表し、特に検索エンジンのBingの新バージョンとして発表した[16]。同時に、Googleなどの競合他社は、BARDと呼ばれる独自の会話型AIのリリースを発表しており[17]、他の競合他社も追随する可能性がある。このことは、大手ハイテク企業の支援によって、この種のモデルがどれほど強力になるのか、また、民間企業が本レポートで説明した悪用シナリオにどのように対処することを目指しているのかという疑問を提起している。 |
| Going forward, the universal availability of large language models may pose other challenges as well: the integration of other AI services (such as for the generation of synthetic media) could open up an entirely new dimension of potential applications. One of these include multimodal AI systems, which combine conversational chat bots with systems that can produce synthetic media, such as highly convincing deepfakes, or include sensory abilities, such as seeing and hearing[18] . Other potential issues include the emergence of ‘dark LLMs’, which may be hosted on the dark web to provide a chat bot without any safeguards, as well as LLMs that are trained on particular – perhaps particularly harmful – data. Finally, there are uncertainties regarding how LLM services may process user data in the future – will conversations be stored and potentially expose sensitive personal information to unauthorised third parties? And if users are generating harmful content, should this be reported to law enforcement authorities? |
今後、大規模な言語モデルの普遍的な利用が可能になると、他の課題も発生する可能性がある。他のAIサービス（合成メディアの生成など）との統合により、まったく新しい次元の潜在的なアプリケーションを開拓することができる。例えば、会話型のチャットボットと、説得力のあるディープフェイクなどの合成メディアを生成するシステムや、視覚や聴覚などの感覚的な能力を持つシステムを組み合わせたマルチモーダルAIシステムなどがその一つである[18]。その他の潜在的な問題としては、ダークウェブ上でホストされ、安全対策なしにチャットボットを提供する「ダークLLM」の出現や、特定の（おそらく特に有害な）データに基づいて訓練されたLLMがある。最後に、LLMサービスが将来的にどのようにユーザーデータを処理するかについては、不確実性がある - 会話が保存され、権限のない第三者に機密性の高い個人情報を公開する可能性があるのか？また、ユーザーが有害なコンテンツを生成している場合、これを法執行機関に報告する必要があるのだろうか。 |
| RECOMMENDATIONS |
提言 |
| As the impact of LLMs such as ChatGPT is expected to grow in the near future, it is crucial that the law enforcement community prepares for how its positive and negative applications may affect their daily business. While the workshops with Europol’s diverse set of experts focused on identifying potentially malicious use cases of ChatGPT that are already possible today, the purpose was also to extract some of these key findings and identify a number of recommendations on how law enforcement can ensure better preparedness for what may still be to come. |
ChatGPTのようなLLMの影響は近い将来大きくなると予想されるため、法執行機関は、その正負の適用が日常業務にどのような影響を与えるかについて準備することが極めて重要である。ユーロポールの多様な専門家とのワークショップでは、現在すでに可能なChatGPTの悪意のある使用例を特定することに焦点を当てましたが、その目的は、これらの重要な発見をいくつか抽出し、法執行機関がまだ来るかもしれないものに対してより良い準備を確保する方法に関するいくつかの推奨事項を特定することでもあった。 |
| ► Given the potential harm that can result from malicious use of LLMs, it is of utmost importance that awareness is raised on this matter, to ensure that any potential loopholes are discovered and closed as quickly as possible. |
►LLMの悪意ある使用から生じる潜在的な被害を考えると、この問題に対する認識を高め、潜在的な抜け穴を発見し、できるだけ早く閉鎖することが最も重要である。 |
| ► LLMs have a real impact that can be seen already. Law enforcement agencies need to understand this impact on all potentially affected crime areas to be better able to predict, prevent, and investigate different types of criminal abuse. |
►LLMは、すでに目に見える形で実際の影響を及ぼしている。法執行機関は、潜在的に影響を受けるすべての犯罪領域におけるこの影響を理解し、さまざまなタイプの犯罪的虐待を予測、防止、調査する能力を高める必要がある。 |
| ► Law enforcement officers need to start developing the skills necessary to make the most of models such as ChatGPT. This means understanding how these types of systems can be leveraged to build up knowledge, expand existing expertise and understand how to extract the required results. This will imply that officers need to be able to assess the content produced by generative AI models in terms of accuracy and potential biases. |
►法執行機関は、ChatGPTのようなモデルを最大限に活用するために必要なスキルの開発に着手する必要がある。これは、この種のシステムをどのように活用して知識を蓄積し、既存の専門知識を拡張し、必要な結果を引き出す方法を理解することを意味する。つまり、役員は、生成AIモデルによって生成されたコンテンツを、正確さと潜在的なバイアスの観点から評価できるようになる必要があるということである。 |
| ► As the technology sector makes significant investments into this area, it is critical to engage with relevant stakeholders to ensure that relevant safety mechanisms remain a key consideration that are constantly being improved. |
►テクノロジー部門がこの分野に多大な投資を行う中、関連する安全機構が常に改善される重要な検討事項であり続けることを保証するために、関連する利害関係者と関わることが重要である。 |
| ► Law enforcement agencies may want to explore possibilities of customised LLMs trained on their own, specialised data, to leverage this type of technology for more tailored and specific use, provided Fundamental Rights are taken into consideration. This type of usage will require the appropriate processes and safeguards to ensure that sensitive information remains confidential, as well as that any potential biases are thoroughly investigated and addressed prior to being put into use. |
►法執行機関は、基本的人権を考慮した上で、この種の技術をよりカスタマイズされた特定の用途に活用するために、独自の特殊なデータに基づいて訓練されたカスタマイズLLMの可能性を模索することを望むかもしれない。このような利用には、機密情報の機密性を確保し、潜在的なバイアスを徹底的に調査して対処するための適切なプロセスと保護措置が必要である。 |
| CONCLUSION |
結論 |
| This report aims to provide an overview of the key results from a series of expert workshops on potential misuse of ChatGPT held with subject matter experts at Europol. The use cases detailed provide a first idea of the vast potential LLMs already have, and give a glimpse of what may still be to come in the future. ChatGPT is already able to facilitate a significant number of criminal activities, ranging from helping criminals to stay anonymous to specific crimes including terrorism and child sexual exploitation. |
本報告書は、欧州警察機構（Europol）の専門家によるChatGPTの悪用可能性に関する一連のワークショップで得られた主要な結果の概要を提供することを目的としている。ユースケースは、LLMが持つ膨大な可能性を示すとともに、将来的に何が起こりうるかを垣間見ることができるものである。ChatGPTはすでに、犯罪者の匿名性の確保から、テロや児童の性的搾取を含む特定の犯罪に至るまで、相当数の犯罪行為を促進することができる。 |
| While some of the output is still quite basic, upcoming iterations of this and other models are only going to improve on what is already possible. The next iterations of LLMs will have access to more data, be able to understand and solve more sophisticated problems, and potentially integrate with a vast range of other applications. At the same time, it will be crucial to monitor potential other branches of this development, as dark LLMs trained to facilitate harmful output may become a key criminal business model of the future. This poses a new challenge for law enforcement, whereby it will become easier than ever for malicious actors to perpetrate criminal activities with no necessary prior knowledge. |
一部の出力はまだ非常に基本的なものであるが、このモデルや他のモデルの今後の反復は、すでに可能なことをさらに改善することになるだろう。LLMの次の世代は、より多くのデータにアクセスし、より高度な問題を理解し解決できるようになり、他の膨大なアプリケーションと統合できる可能性がある。同時に、有害な出力を促進するように訓練された闇のLLMが、将来の重要な犯罪ビジネスモデルになる可能性があるため、この開発の別の可能性を監視することが極めて重要になる。このことは法執行機関にとって新たな課題であり、悪意のある行為者が必要な予備知識を持たずに犯罪行為を行うことがこれまで以上に容易になることを意味する。 |
| As technology progresses, and new models become available, it will become increasingly important for law enforcement to stay at the forefront of these developments to anticipate and prevent abuse, as well as to ensure potential benefits can be taken advantage of. This report is a first exploration of this emerging field. Given the rapid pace of this technology, it remains critical that subject matter experts take this research further and dive deeper if they are to grasp its full potential. |
技術が進歩し、新しいモデルが利用可能になるにつれ、法執行機関は、悪用を予測・防止し、潜在的な利益を確実に利用できるよう、こうした開発の最前線に立ち続けることがますます重要になるだろう。本報告書は、この新しい分野を初めて調査したものである。この技術が急速に発展していく中で、その可能性を最大限に引き出すためには、専門家がこの研究をさらに進め、深く掘り下げていくことが重要である。 |
Recent Comments