米国 連邦取引委員会 AIと消費者の信頼の工学 (It’s cool to use the computer. Don’t let the computer use you. by Prince in 1999)

こんにちは、丸山満彦です。

米国の連邦取引委員会のブログのMichael Atleson氏の記事が興味深いですね。。。

Princeが1999年に発言した、"It’s cool to use the computer. Don’t let the computer use you."で締め括られています。。。これが言いたかったのかもです(^^)

でも、私もPrinceは好き（アルバムは全て持っていた...）なので、OKです。ということで、1999を聴きながらこの記事も書いています。。。

⚫︎ U.S. Federal Trade Commission - Business Blog

・2023.05.04 The Luring Test: AI and the engineering of consumer trust

The Luring Test: AI and the engineering of consumer trust	引き寄せテスト： AIと消費者の信頼の工学
In the 2014 movie Ex Machina, a robot manipulates someone into freeing it from its confines, resulting in the person being confined instead. The robot was designed to manipulate that person’s emotions, and, oops, that’s what it did. While the scenario is pure speculative fiction, companies are always looking for new ways – such as the use of generative AI tools – to better persuade people and change their behavior. When that conduct is commercial in nature, we’re in FTC territory, a canny valley where businesses should know to avoid practices that harm consumers.	2014年の映画『エクス・マキナ』では、ロボットが誰かを操って監禁状態から解放させ、結果的にその人が代わりに監禁される。そのロボットは、その人の感情を操作するように設計されており、おっと、その通りになってしまった。このシナリオは純粋なフィクションであるが、企業は常に、生成的AIツールの使用など、人々をより良く説得し、彼らの行動を変えるための新しい方法を探している。その行為が本質的に商業的なものである場合、私たちはFTCの領域に入り、企業が消費者に害を与える行為を避けるために知っておくべきカナリの谷間となる。
In previous blog posts, we’ve focused on AI-related deception, both in terms of exaggerated and unsubstantiated claims for AI products and the use of generative AI for fraud. Design or use of a product can also violate the FTC Act if it is unfair – something that we’ve shown in several cases and discussed in terms of AI tools with biased or discriminatory results. Under the FTC Act, a practice is unfair if it causes more harm than good. To be more specific, it’s unfair if it causes or is likely to cause substantial injury to consumers that is not reasonably avoidable by consumers and not outweighed by countervailing benefits to consumers or to competition.	これまでのブログでは、AI製品の誇張された根拠のないクレームや、生成的AIの詐欺への利用など、AIに関連する欺瞞に焦点をあててきた。製品の設計や使用が不公正である場合も、FTC法に違反する可能性がある。この点については、いくつかの事例で示し、バイアスや差別的な結果をもたらすAIツールという観点から考察してきた。FTC法では、ある行為が善よりも害をもたらす場合、不公正であるとされている。より具体的には、消費者が合理的に回避できず、消費者や競争に対抗する利益によって相殺されない実質的な損害を消費者に与えるか、与える可能性がある場合、不公正であるとされている。
As for the new wave of generative AI tools, firms are starting to use them in ways that can influence people’s beliefs, emotions, and behavior. Such uses are expanding rapidly and include chatbots designed to provide information, advice, support, and companionship. Many of these chatbots are effectively built to persuade and are designed to answer queries in confident language even when those answers are fictional. A tendency to trust the output of these tools also comes in part from “automation bias,” whereby people may be unduly trusting of answers from machines which may seem neutral or impartial. It also comes from the effect of anthropomorphism, which may lead people to trust chatbots more when designed, say, to use personal pronouns and emojis. People could easily be led to think that they’re conversing with something that understands them and is on their side.	生成的AIツールの新しい波として、企業は人々の信念、感情、行動に影響を与えることができる方法でそれらを使用し始めている。このような用途は急速に拡大しており、情報、アドバイス、サポート、コンパニオンを提供するように設計されたチャットボットが含まれている。これらのチャットボットの多くは、効果的に説得するように作られており、たとえ架空の答えであっても、自信に満ちた言葉でクエリーに答えるように設計されている。このようなツールの出力を信頼する傾向は、「自動化バイアス」にも起因しており、人は中立的または公平に見える機械からの回答を過度に信頼することがある。また、擬人化の影響もあり、例えば、人称代名詞や絵文字を使うようにデザインされたチャットボットをより信頼するようになる可能性がある。人々は、自分を理解し、自分の味方になってくれるものと会話しているのだと、簡単に思い込んでしまうのである。
Many commercial actors are interested in these generative AI tools and their built-in advantage of tapping into unearned human trust. Concern about their malicious use goes well beyond FTC jurisdiction. But a key FTC concern is firms using them in ways that, deliberately or not, steer people unfairly or deceptively into harmful decisions in areas such as finances, health, education, housing, and employment. Companies thinking about novel uses of generative AI, such as customizing ads to specific people or groups, should know that design elements that trick people into making harmful choices are a common element in FTC cases, such as recent actions relating to financial offers, in-game purchases, and attempts to cancel services. Manipulation can be a deceptive or unfair practice when it causes people to take actions contrary to their intended goals. Under the FTC Act, practices can be unlawful even if not all customers are harmed and even if those harmed don’t comprise a class of people protected by anti-discrimination laws.	多くの商業関係者が、こうした生成的AIツールに関心を寄せており、人間の未獲得の信頼を利用するという利点が組み込まれている。その悪意ある使用に関する懸念は、FTCの管轄をはるかに超えている。しかし、FTCが懸念するのは、意図的かどうかにかかわらず、金銭、健康、教育、住宅、雇用などの分野で、人々を不当に、あるいは欺瞞的に有害な決断に導くような方法で、企業がこれらを使用することである。 特定の人やグループに対して広告をカスタマイズするなど、ジェネレーティブAIの新しい使い方を考えている企業は、人を騙して有害な選択をさせるデザイン要素が、金融オファー、ゲーム内購入、サービス解約の試みに関する最近の措置など、FTCの事例でよく見られる要素であることを知っておく必要がある。 操作によって人々が意図した目標に反する行動を取るようになる場合、欺瞞的または不公正な慣行となり得る。FTC法の下では、すべての顧客に被害が及ばない場合でも、また被害を受けた人々が差別禁止法で保護される集団でない場合でも、慣行は違法となり得る。
Another way that marketers could take advantage of these new tools and their manipulative abilities is to place ads within a generative AI feature, just as they can place ads in search results. The FTC has repeatedly studied and provided guidance on presenting online ads, both in search results and elsewhere, to avoid deception or unfairness. This includes recent work relating to dark patterns and native advertising. Among other things, it should always be clear that an ad is an ad, and search results or any generative AI output should distinguish clearly between what is organic and what is paid. People should know if an AI product’s response is steering them to a particular website, service provider, or product because of a commercial relationship. And, certainly, people should know if they’re communicating with a real person or a machine.	マーケターがこれらの新しいツールとその操作能力を利用するもう一つの方法は、検索結果に広告を掲載できるのと同様に、生成的AI機能内に広告を掲載することである。FTCは、検索結果やその他の場所でのオンライン広告の提示について、欺瞞や不公正を避けるために繰り返し研究し、指針を示してきた。これには、ダークパターンやネイティブ広告に関連する最近の作業も含まれる。 とりわけ、広告が広告であることは常に明確であるべきであり、検索結果や生成的AI出力は、オーガニックなものと有料なものを明確に区別する必要がある。AI製品の反応が、商業的な関係から特定のウェブサイト、サービスプロバイダー、製品に誘導しているのかどうか、人々は知るべきである。そしてもちろん、人々は、自分が本物の人間とコミュニケーションしているのか、それとも機械とコミュニケーションしているのかを知るべきである。
Given these many concerns about the use of new AI tools, it’s perhaps not the best time for firms building or deploying them to remove or fire personnel devoted to ethics and responsibility for AI and engineering. If the FTC comes calling and you want to convince us that you adequately assessed risks and mitigated harms, these reductions might not be a good look. What would look better? We’ve provided guidance in our earlier blog posts and elsewhere. Among other things, your risk assessment and mitigations should factor in foreseeable downstream uses and the need to train staff and contractors, as well as monitoring and addressing the actual use and impact of any tools eventually deployed.	新しいAIツールの使用に関するこのような多くの懸念を考えると、AIツールを構築または導入する企業が、AIやエンジニアリングに関する倫理や責任に専念する人材を排除したり解雇したりするのは、おそらく最良のタイミングではないだろう。FTCの呼び出しがあり、リスクを適切に評価し害を軽減したことを納得させたいのであれば、こうした人員削減は良い印象を与えないかもしれない。どうすればよいのだろうか？私たちは、以前のブログ記事などでガイダンスを提供してきた。 特に、リスク評価と軽減は、予見可能な下流での使用、スタッフや請負業者の訓練の必要性を考慮すべきであり、最終的に導入されるツールの実際の使用と影響を監視し対処する必要がある。
If we haven’t made it obvious yet, FTC staff is focusing intensely on how companies may choose to use AI technology, including new generative AI tools, in ways that can have actual and substantial impact on consumers. And for people interacting with a chatbot or other AI-generated content, mind Prince’s warning from 1999: “It’s cool to use the computer. Don’t let the computer use you.”	まだ明らかにされていないかもしれないが、FTCのスタッフは、新しい生成的AIツールを含むAI技術を、消費者に実際に大きな影響を与える可能性のある方法で、企業がどのように使用することを選択するかについて、非常に注目している。チャットボットやその他の生成的AIのコンテンツに接する人は、1999年にプリンスが発した警告を思い出してほしい。「コンピュータを使うのはクールだ。コンピュータを使うのはクールだが、コンピュータに使われるな。」

ちなみに、"It’s cool to use the computer. Don’t let the computer use you."　についてはYouTubeでみられますね。。。

・[YouTube] "DON'T LET THE COMPUTER USE YOU" (PRINCE)