米国 FTCのブログチャットボット、ディープフェイク、ボイスクローン：AIによるインチキを売り物にする: まるちゃんの情報セキュリティ気まぐれ日記

December 2023
Sun	Mon	Tue	Wed	Thu	Fri	Sat
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30
31

2023.03.21

米国 FTCのブログチャットボット、ディープフェイク、ボイスクローン：AIによるインチキを売り物にする

こんにちは、丸山満彦です。

「Winny」という映画が公開され、話題になっていますね。。。本物の金子さんや檀先生とはお会いしたことはありますが、映画については私はまだ見ていません。私の知人の何人かはすでに観ていて、「作りも丁寧でよい評価の映画だ」という評価もしているので、私も時間があれば、是非観たいなぁと思っています。が、NetflixかAmazonでみることになるかもしれません。。。

渦中の時は、金子氏の逮捕は流石に行き過ぎだろうと思いつつも、社会に出す前に予見できるなら、あるいは社会に出してみたら社会的な負のインパクトがあるのであれば、何か対策をしなければだめでしょう。。。という気持ちもあって、もやもやとしていました。。。

明確な線引きはできないにしても、何かを作る側が国民や消費者を保護するためにすべきことは何か、、、どの程度すべきか、、、と悩むことはこれからも多いかもしれませんね。。。

生成AIをテーマにしたこの米国連邦取引委員会 (FTC) のブログは参考になるかもしれませんね。。。

● Federal Trade Commission - Business Blog

・2023.03.20 Chatbots, deepfakes, and voice clones: AI deception for sale

Chatbots, deepfakes, and voice clones: AI deception for sale	チャットボット、ディープフェイク、ボイスクローン：AIによるインチキを売り物にする
Michael Atleson, Attorney, FTC Division of Advertising Practices	マイケル・アトレソン（FTC広報部門）
You may have heard of simulation theory, the notion that nothing is real and we’re all part of a giant computer program. Let’s assume at least for the length of this blog post that this notion is untrue. Nonetheless, we may be heading for a future in which a substantial portion of what we see, hear, and read is a computer-generated simulation. We always keep it real here at the FTC, but what happens when none of us can tell real from fake?	シミュレーション理論とは、「現実には何もなく、私たちはすべて巨大なコンピュータプログラムの一部である」という考え方です。このブログでは、少なくともこの考え方が真実でないと仮定しています。しかし、私たちが見たり、聞いたり、読んだりするもののかなりの部分が、コンピューターによって生成されたシミュレーションであるという未来に向かっているのかもしれません。FTCでは常にリアルを心がけていますが、私たちの誰もが本物と偽物を見分けられなくなったらどうなるのでしょうか。
In a recent blog post, we discussed how the term “AI” can be used as a deceptive selling point for new products and services. Let’s call that the fake AI problem. Today’s topic is the use of AI behind the screen to create or spread deception. Let’s call this the AI fake problem. The latter is a deeper, emerging threat that companies across the digital ecosystem need to address. Now.	最近のブログ記事で、「AI」という用語が、新製品やサービスのセールスポイントとして騙して使用されることがあることを説明しました。これを「フェイクAI問題」と呼ぶことにしましょう。今日のテーマは、画面の向こうのAIを使って、インチキを作り出したり、広めたりすることです。これを「AIフェイク問題」と呼ぶことにしよう。後者は、デジタルエコシステム全体の企業が取り組むべき、より深い、新たな脅威です。今すぐにです。
Most of us spend lots of time looking at things on a device. Thanks to AI tools that create “synthetic media” or otherwise generate content, a growing percentage of what we’re looking at is not authentic, and it’s getting more difficult to tell the difference. And just as these AI tools are becoming more advanced, they’re also becoming easier to access and use. Some of these tools may have beneficial uses, but scammers can also use them to cause widespread harm.	私たちの多くは、多くの時間をデバイスで物事を見ることに費やしています。「合成メディア」を作成したり、その他の方法でコンテンツを生成するAIツールのおかげで、私たちが見ているもののうち本物ではないものの割合が増え、その違いを見分けるのが難しくなってきています。そして、これらのAIツールは、より高度になると同時に、より簡単にアクセスし、使用できるようになってきています。これらのツールの中には有益な使い方ができるものもありますが、詐欺師がそれを使って広く害を及ぼすこともあり得ます。
Generative AI and synthetic media are colloquial terms used to refer to chatbots developed from large language models and to technology that simulates human activity, such as software that creates deepfake videos and voice clones. Evidence already exists that fraudsters can use these tools to generate realistic but fake content quickly and cheaply, disseminating it to large groups or targeting certain communities or specific individuals. They can use chatbots to generate spear-phishing emails, fake websites, fake posts, fake profiles, and fake consumer reviews, or to help create malware, ransomware, and prompt injection attacks. They can use deepfakes and voice clones to facilitate imposter scams, extortion, and financial fraud. And that’s very much a non-exhaustive list.	生成AIと合成メディアは、大規模な言語モデルから開発されたチャットボットや、ディープフェイクビデオやボイスクローンを作成するソフトウェアなど、人間の活動をシミュレートする技術を指す口語的な言葉として使われています。詐欺師がこれらのツールを使って、リアルだが偽のコンテンツを迅速かつ安価に生成し、それを大規模なグループに拡散したり、特定のコミュニティや特定の個人をターゲットにしたりできることは、すでに証明されています。チャットボットを使って、スピアフィッシングメール、偽ウェブサイト、偽投稿、偽プロフィール、偽消費者レビューを生成したり、マルウェア、ランサムウェア、プロンプトインジェクション攻撃の作成を支援することができます。また、ディープフェイクやボイスクローンを使って、偽者詐欺、恐喝、金融詐欺を助長することも可能です。そして、これはまさに非網羅的なリストなのです。
The FTC Act’s prohibition on deceptive or unfair conduct can apply if you make, sell, or use a tool that is effectively designed to deceive – even if that’s not its intended or sole purpose. So consider:	FTC法の欺瞞的または不公正な行為の禁止は、欺くことを効果的に設計したツールを製造、販売、または使用する場合に適用されます（たとえそれが意図的または唯一の目的でなかったとしてもです）。そこで、考えてみてください。
Should you even be making or selling it? If you develop or offer a synthetic media or generative AI product, consider at the design stage and thereafter the reasonably foreseeable – and often obvious – ways it could be misused for fraud or cause other harm. Then ask yourself whether such risks are high enough that you shouldn’t offer the product at all. It’s become a meme, but here we’ll paraphrase Dr. Ian Malcolm, the Jeff Goldblum character in “Jurassic Park,” who admonished executives for being so preoccupied with whether they could build something that they didn’t stop to think if they should.	それを作ったり売ったりする必要があるのでしょうか？合成メディアや生成AI製品を開発または提供する場合、設計段階とそれ以降で、詐欺に悪用されたり、その他の被害をもたらす可能性のある合理的に予見可能な（そしてしばしば明白な）方法について検討します。そして、そのようなリスクが、その製品を全く提供すべきでないほど高いかどうかを自問してください。「ジュラシック・パーク」のジェフ・ゴールドブラムが演じたイアン・マルコム博士が、「何かを作れるかどうかに気を取られ、作るべきかどうかを考えることを止めない経営者たち」と喝破していたことを、ここで言い換えましょう。
Are you effectively mitigating the risks? If you decide to make or offer a product like that, take all reasonable precautions before it hits the market. The FTC has sued businesses that disseminated potentially harmful technologies without taking reasonable measures to prevent consumer injury. Merely warning your customers about misuse or telling them to make disclosures is hardly sufficient to deter bad actors. Your deterrence measures should be durable, built-in features and not bug corrections or optional features that third parties can undermine via modification or removal. If your tool is intended to help people, also ask yourself whether it really needs to emulate humans or can be just as effective looking, talking, speaking, or acting like a bot.	リスクを効果的に軽減していますか？そのような製品を作ったり提供したりすることを決めたら、市場に出る前にあらゆる合理的な予防策を講じてください。FTCは、消費者の被害を防ぐための合理的な対策を講じることなく、潜在的に有害な技術を普及させた企業を提訴しています。誤用について顧客に警告したり、情報開示を行うよう指示したりするだけでは、悪意ある行為者を抑止するのに十分とは言えません。抑止策は、耐久性のある組み込み機能であるべきで、第三者が修正や削除によって弱体化させることができるバグ修正やオプション機能ではないはずです。もしあなたのツールが人助けを目的としているのであれば、本当に人間を模倣する必要があるのか、それともボットのように見えたり、話したり、話したり、行動したりすることで同じように効果を発揮できるのか、自問してみてください。
Are you over-relying on post-release detection? Researchers continue to improve on detection methods for AI-generated videos, images, and audio. Recognizing AI-generated text is more difficult. But these researchers are in an arms race with companies developing the generative AI tools, and the fraudsters using these tools will often have moved on by the time someone detects their fake content. The burden shouldn’t be on consumers, anyway, to figure out if a generative AI tool is being used to scam them.	リリース後の検知に頼りすぎていませんか？研究者は、AIが生成した動画、画像、音声の検出方法の改良を続けています。AIが生成したテキストを認識するのはより困難です。しかし、これらの研究者は、生成AIツールを開発する企業と軍拡競争をしており、これらのツールを使用する詐欺師は、誰かが偽のコンテンツを検出するまでに移動していることが多いのです。生成AIツールが詐欺に使われているかどうかを見極めるのは、消費者に負担をかけるべきことではありません。
Are you misleading people about what they’re seeing, hearing, or reading? If you’re an advertiser, you might be tempted to employ some of these tools to sell, well, just about anything. Celebrity deepfakes are already common, for example, and have been popping up in ads. We’ve previously warned companies that misleading consumers via doppelgängers, such as fake dating profiles, phony followers, deepfakes, or chatbots, could result – and in fact have resulted – in FTC enforcement actions.	見ているもの、聞いているもの、読んでいるものについて、人々を誤解させてはいませんか？もしあなたが広告主であれば、このようなツールを使って、まあ、何でもいいから売り込みたいと思うかもしれません。例えば、有名人のディープフェイクはすでに一般的になっており、広告に登場することもあります。私たちは以前、偽の出会い系プロフィール、偽のフォロワー、ディープフェイク、チャットボットなどのドッペルゲンガーによって消費者に誤解を与えることは、FTCの強制措置につながる可能性があると企業に警告し、実際にその結果も出ています。
While the focus of this post is on fraud and deception, these new AI tools carry with them a host of other serious concerns, such as potential harms to children, teens, and other populations at risk when interacting with or subject to these tools. Commission staff is tracking those concerns closely as companies continue to rush these products to market and as human-computer interactions keep taking new and possibly dangerous turns.	この投稿の焦点は詐欺とインチキですが、これらの新しいAIツールには、これらのツールとの対話またはその対象となる子供、十代の若者、およびその他の集団に対する潜在的な害など、他の多くの重大な懸念があります。委員会スタッフは、企業がこれらの製品の市場投入を急ぎ、人間とコンピュータの相互作用が新たな危険な展開を見せ続ける中、これらの懸念を注意深く追跡しています。