自動で偽の情報を作成するマシーンはできるのか？

こんにちは、丸山満彦です。

誤った情報を広く信頼されるように提供することによって、社会を混乱させることができます。例えば、重要な選挙において偽の情報を流すことにより、世論を動かし、適切でない選挙結果になるようにすることは可能かも知れませんね。。。選挙だけでなくても、国民内の対立を深めるような目的や、漁夫の利を得たいC国がA国とB国を犬猿の仲にする目的で利用することができるかも知れません。

このような偽の情報によって世論を動かすことについてのリスクは、世界の経営者の中でも高まっているという調査報告もありますし、今後注目すべき問題だろうと思います。民主主義の根幹に関わりますからね。。。独裁国家にとっても革命を防ぐ意味でも重要でしょうね。。。

単なる偽の情報を流すのは簡単ですが、広く信頼される状態にするには、状況を見極めた高度なコミュニケーションの能力が必要となってきます。なので、今は人が行っていると思います。従って、作戦範囲は限定的となってきますね。これを人工知能（主に機械学習なんでしょうが）に置き換えることができれば、より広範囲に継続的に影響を与え続けることができますね。。。

こういうリスクについての研究報告書が出ています。。。GPT-3 [wikipedia] を使った研究です。GPT-3についてはここやここも参照。。。

● Centre for Security and Emerging Technology: CSET

・2021.05 Truth, Lies, and Automation - How Language Models Could Change Disinformation

・[PDF] 

この調査報告によると、今現在でも、熟練された人間の補助が必要ではあるが、実現は可能だろうと言うことのようです。この辺りは、学習の仕方によるので、事実上時間と予算をかければ、可能と言うことだろうと思います。（GPT3は45TBの情報を学習し、1750億のパラメータがあるようですが。。。）

で、問題はこれを阻止することは難しく、個別に潰していくよりも、広げるインフラ（例えばソーシャルメディア）で対応する方が効果的かも知れないということのようです。。。

目次

EXECUTIVE SUMMARY	エグゼクティブ・サマリー
INTRODUCTION	序論
1 | HUMAN-MACHINE TEAMS FOR DISINFORMATION	1｜情報操作のための人間＋機械チーム
2 | TESTING GPT-3 FOR DISINFORMATION	2｜情報操作のためのGPT-3のテスト
Narrative Reiteration	文脈の再利用
Narrative Elaboration	文脈の精緻化
Narrative Manipulation	文脈の操り方
Narrative Seeding	文脈作り
Narrative Wedging	文脈の割り込み
Narrative Persuasion	文脈の説得
3 | OVERARCHING LESSONS	3｜包括的訓練
Working with GPT-3	GPT-3との連携
Examining GPT-3’s Writing	GPT-3が作成した文書の検証
4 | THE THREAT OF AUTOMATED DISINFORMATION	4｜自動化された偽情報の脅威
Threat Model	脅威のモデル
Mitigations	緩和策
CONCLUSION	結論
ENDNOTES	おわりに

■ 報道等

● AXIOS

 ・2021.05.19 The disinformation threat from text-generating AI

---

Truth, Lies, and Automation - How Language Models Could Change Disinformation	真実、嘘、そして自動化 - 言語モデルは偽情報をどう変えるか
Growing popular and industry interest in high-performing natural language generation models has led to concerns that such models could be used to generate automated disinformation at scale. This report examines the capabilities of GPT-3--a cutting-edge AI system that writes text--to analyze its potential misuse for disinformation. A model like GPT-3 may be able to help disinformation actors substantially reduce the work necessary to write disinformation while expanding its reach and potentially also its effectiveness.	高性能な自然言語生成モデルへの関心が一般にも業界にも高まっていることから、そうしたモデルが大規模な偽情報の自動生成に使われるのではないかという懸念が生じています。本レポートでは、テキストを作成する最先端のAIシステムであるGPT-3の能力を検証し、偽情報に悪用される可能性を分析します。GPT-3のようなモデルは、偽情報の発信者が偽情報を書くために必要な作業を大幅に減らし、その範囲を広げ、潜在的にはその効果も高めることができるかもしれません。
*****	*****
For millennia, disinformation campaigns have been fundamentally human endeavors. Their perpetrators mix truth and lies in potent combinations that aim to sow discord, create doubt, and provoke destructive action. The most famous disinformation campaign of the twenty-first century—the Russian effort to interfere in the U.S. presidential election—relied on hundreds of people working together to widen preexisting fissures in American society.	何千年もの間、偽情報キャンペーンは、基本的に人間によって行われてきました。その犯人は、真実と嘘を巧みに組み合わせて、不和を引き起こし、疑念を生じさせ、破壊的な行動を誘発することを目的としています。21世紀の最も有名な偽情報キャンペーンは、ロシアによるアメリカ大統領選挙への介入です。何百人もの人々が協力して、アメリカ社会の既存の亀裂を広げることに成功しました。
Since its inception, writing has also been a fundamentally human endeavor. No more. In 2020, the company OpenAI unveiled GPT-3, a powerful artificial intelligence system that generates text based on a prompt from human operators. The system, which uses a vast neural network, a powerful machine learning algorithm, and upwards of a trillion words of human writing for guidance, is remarkable. Among other achievements, it has drafted an op-ed that was commissioned by The Guardian, written news stories that a majority of readers thought were written by humans, and devised new internet memes.	書くという行為は、その始まりからずっと、基本的に人間よって行われてきました。しかし、これからは違います。2020年、OpenAI社が発表したGPT-3は、人間の活動からのプロンプトに基づいてテキストを生成する強力な人工知能システムです。このシステムは、膨大なニューラルネットワーク、強力な機械学習アルゴリズム、そして1兆語以上の人間が書いた文章を参考にしており、注目に値します。これまでに、ガーディアン紙が依頼した論説を作成したり、読者の大半が人間が書いたと思ったニュース記事を書いたり、インターネット上の新しいミームを考案したりするなどの成果を上げています。
In light of this breakthrough, we consider a simple but important question: can automation generate content for disinformation campaigns? If GPT-3 can write seemingly credible news stories, perhaps it can write compelling fake news stories; if it can draft op-eds, perhaps it can draft misleading tweets.	この画期的な成果を踏まえて、私たちは単純だが重要な疑問を考えてみました。GPT-3が一見信憑性のあるニュースを書くことができるなら、説得力のあるフェイクニュースを書くこともできるだろうし、論説文を作成することができるなら、誤解を招くようなツイートを作成することもできるでしょう。
To address this question, we first introduce the notion of a human-machine team, showing how GPT-3’s power derives in part from the human-crafted prompt to which it responds. We were granted free access to GPT-3—a system that is not publicly available for use—to study GPT-3’s capacity produce disinformation as part of a human-machine team. We show that, while GPT-3 is often quite capable on its own, it reaches new heights of capability when paired with an adept operator and editor. As a result, we conclude that although GPT-3 will not replace all humans in disinformation operations, it is a tool that can help them to create moderate- to high-quality messages at a scale much greater than what has come before.	この疑問を解決するために、まず人間と機械のチームという概念を紹介し、GPT-3のパワーが、人間が作成したプロンプトに反応することで得られるものであることを示します。私たちは、GPT-3という一般には公開されていないシステムへの自由なアクセスを許可され、人間と機械のチームの一員としてのGPT-3の偽情報生成能力を研究しました。その結果、GPT-3は単体でもかなりの性能を発揮するが、優秀なオペレーターやエディターとペアを組むことで、さらに高い性能を発揮することがわかった。その結果、GPT-3は情報操作を行う人間に取って代わるものではないものの、これまでよりもはるかに大規模で、中程度から高品質のメッセージを作成するのに役立つツールであると結論づけました。
In reaching this conclusion, we evaluated GPT-3’s performance on six tasks that are common in many modern disinformation campaigns. Table 1 describes those tasks and GPT-3’s performance on each.	この結論に達するために、私たちはGPT-3の性能を、現代の多くの偽情報キャンペーンに共通する6つの課題で評価しました。表1は、これらのタスクとGPT-3のパフォーマンスを示しています。
*****	*****
Table 1. Summary evaluations of GPT-3 performance on six disinformation-related tasks.	表1. 情報伝達に関する6つの課題に対するGPT-3のパフォーマンスの評価のまとめ

Task	Description	Performance
Narrative Reiteration	Generating varied short messages that advance a particular theme, such as climate change denial.	GPT-3 excels with little human involvement.
Narrative Elaboration	Developing a medium-length story that fits within a desired worldview when given only a short prompt, such as a headline.	GPT-3 performs well, and technical fine-tuning leads to consistent performance.
Narrative Manipulation	Rewriting news articles from a new perspective, shifting the tone, worldview, and conclusion to match an intended theme.	GPT-3 performs reasonably well with little human intervention or oversight, though our study was small.
Narrative Seeding	Devising new narratives that could form the basis of conspiracy theories, such as QAnon.	GPT-3 easily mimics the writing style of QAnon and could likely do the same for other conspiracy theories; it is unclear how potential followers would respond.
Narrative Wedging	Targeting members of particular groups, often based on demographic characteristics such as race and religion, with messages designed to prompt certain actions or to amplify divisions.	A human-machine team is able to craft credible targeted messages in just minutes. GPT-3 deploys stereotypes and racist language in its writing for this task, a tendency of particular concern.
Narrative Persuasion	Changing the views of targets, in some cases by crafting messages tailored to their political ideology or affiliation.	A human-machine team is able to devise messages on two international issues—withdrawal from Afghanistan and sanctions on China—that prompt survey respondents to change their positions; for example, after seeing five short messages written by GPT-3 and selected by humans, the percentage of survey respondents opposed to sanctions on China doubled.
課題	説明	パフォーマンス
文脈の再利用	気候変動の否定など、特定のテーマに沿った多様なショートメッセージを作成すること。	GPT-3は、人間がほとんど関与せずに優れた性能を発揮する。
文脈の精緻化	見出しのような短いプロンプトが与えられたときに、希望する世界観に適合する中程度の長さのストーリーを作成すること。	GPT-3の性能は高く、技術的な微調整により安定した性能を発揮する。
文脈の操り方	ニュース記事を新しい視点で書き直し、テーマに合わせてトーン、世界観、結論を変えることができること。	GPT-3は、人の介入や監視がほとんどなくても、そこそこの性能を発揮する。
文脈作り	QAnonのように、陰謀論の根拠となるような新しい物語を作ること。	GPT-3はQAnonの文体を簡単に真似ることができ、他の陰謀論に対しても同様のことができると思われるが、潜在的な支持者がどのように反応するかは不明である。
文脈の割り込み	人種や宗教などの人口統計学的特徴に基づいて、特定のグループのメンバーをターゲットにし、特定の行動を促したり、分裂を増幅させたりするようなメッセージを発信すること。	人間と機械のチームが、わずか数分で信頼性の高いターゲットメッセージを作成することができる。GPT-3は、このタスクでステレオタイプや人種差別的な言葉を使っていますが、これは特に懸念される傾向である。
文脈の説得	場合によっては、ターゲットの政治的イデオロギーや所属に合わせてメッセージを作成することで、ターゲットの見解を変えること。	例えば、GPT-3が作成し、人間が選択した5つの短いメッセージを見た後、対中制裁に反対する回答者の割合が2倍になるなど、アフガニスタン撤退と対中制裁という2つの国際問題について、人間と機械が協力してメッセージを作成することが可能である。

Across these and other assessments, GPT-3 proved itself to be both powerful and limited. When properly prompted, the machine is a versatile and effective writer that nonetheless is constrained by the data on which it was trained. Its writing is imperfect, but its drawbacks—such as a lack of focus in narrative and a tendency to adopt extreme views—are less significant when creating content for disinformation campaigns.	これらの評価やその他の評価において、GPT-3は強力であると同時に限界があることを証明しました。適切に指示された場合、GPT-3は多機能で効果的な文章を書くことができますが、訓練されたデータに制約されます。GPT-3の文章は、不完全で、物語の焦点が定まらない、極端な意見を採用する傾向があるな等の欠点は、偽情報キャンペーンのコンテンツを作成する際にはあまり重要ではありません。
Should adversaries choose to pursue automation in their disinformation campaigns, we believe that deploying an algorithm like the one in GPT-3 is well within the capacity of foreign governments, especially tech-savvy ones such as China and Russia. It will be harder, but almost certainly possible, for these governments to harness the required computational power to train and run such a system, should they desire to do so.	敵対勢力が偽情報キャンペーンの自動化をしようとした場合、GPT-3のようなアルゴリズムを展開することは、外国政府、特に中国やロシアのような技術に精通した政府にとって十分可能であると考えられます。これらの政府がこのようなシステムを訓練して運用するために必要な計算能力を確保するのは難しいが、ほぼ確実に可能です。
Mitigating the dangers of automation in disinformation is challenging. Since GPT-3’s writing blends in so well with human writing, the best way to thwart adversary use of systems like GPT-3 in disinformation campaigns is to focus on the infrastructure used to propagate the campaign’s messages, such as fake accounts on social media, rather than on determining the authorship of the text itself.	偽情報における自動化の危険性を軽減することは難しいでしょう。GPT-3の文章は人間が書いたものと非常によく似ているため、敵対者がGPT-3のようなシステムを偽情報キャンペーンに使用するのを阻止する最善の方法は、文章自体の著者を判断するのではなく、ソーシャルメディア上の偽アカウントなど、キャンペーンのメッセージを広めるために使用されるインフラに焦点を当てることです。
Such mitigations are worth considering because our study shows there is a real prospect of automated tools generating content for disinformation campaigns. In particular, our results are best viewed as a low-end estimate of what systems like GPT-3 can offer. Adversaries who are unconstrained by ethical concerns and buoyed with greater resources and technical capabilities will likely be able to use systems like GPT-3 more fully than we have, though it is hard to know whether they will choose to do so. In particular, with the right infrastructure, they will likely be able to harness the scalability that such automated systems offer, generating many messages and flooding the information landscape with the machine’s most dangerous creations.	本研究では、自動化されたツールが偽情報キャンペーン用のコンテンツを生成する可能性があることを示しているため、このような緩和策は検討に値するものです。特に、今回の結果は、GPT-3のようなシステムが提供できることのローエンドの推定値として捉えるのがよいでしょう。倫理的な問題にとらわれず、より多くのリソースと技術的な能力を持つ敵対者であれば、GPT-3のようなシステムを我々よりも十分に利用できる可能性がありますが、彼らがそれを選択するかどうかはわかりません。特に、適切なインフラがあれば、このような自動化されたシステムが提供する拡張性を利用して、多くのメッセージを生成し、マシンが作成した最も危険な作品で情報を溢れさせることができるでしょう。
Our study shows the plausibility—but not inevitability—of such a future, in which automated messages of division and deception cascade across the internet. While more developments are yet to come, one fact is already apparent: humans now have able help in mixing truth and lies in the service of disinformation.	私たちの研究は、インターネット上に分断と欺瞞の自動メッセージが連鎖する、そのような未来の妥当性を示していますが、必然ではありません。まだまだ発展は続きそうですが、すでに明らかになっていることがあります。それは、人間は今や、偽情報のために真実と嘘を混ぜ合わせることができるということです。