米国 IT産業協議会 (ITI) AI生成コンテンツの真正性確認

こんにちは、丸山満彦です。

Information Technology Industry Council (ITI) [wikipedia]、日本語で言えば、IT産業協議会ですかね、、、が、AI生成コンテンツの真正性確認 (authentication) についての政策提言を公表していますが、興味深いです。

中国ではAIが生成したものについてはAIのアルゴリズムの登録制をした上で、AIが生成したコンテンツはAIが生成したとわかるようにすることが法制化されているようですが、欧米、日本等はどうしますかね。。。

この報告書でもいっていますが、100％解決する方法はない。。。なので、社会的コストをどこまでかけないといけないのか？ということだと思うのですが、AI生成コンテンツがふえていくと社会的な負の影響も大きくなってきて、それなりの規制が必要となってくるような気もします。

そうすると、最終的には中国の方式になっていくような気もしたりしますね。。。AI生成コンテンツが民主主義の根幹にかかわりえるということが課題なのだろうと思います。。。

日本の産業界もこういうのをもっと出せばよいのにね。。。日本だとJEITAですかね。。。

● Information Technology Industry Council (ITI) 

・2023.01.04 ITI’s New Guide Outlines AI Content Authentication Tools and Policy Approaches

ITI’s New Guide Outlines AI Content Authentication Tools and Policy Approaches	ITI、AIコンテンツの真正性確認ツールと政策アプローチをまとめた新ガイドを発表
WASHINGTON – As part of its AI Futures Initiative, global tech trade association ITI unveiled a new guide for global policymakers aiming to address the pressing need to authenticate AI-generated content, including chatbots, image, and audio generators. ITI’s analysis explores different kinds of authentication techniques – such as watermarking, provenance, metadata auditing, and human authentication   and emphasizes that a combination of methods will be the most effective way to validate and authenticate AI-generated content. ITI also highlights the important role that consensus standards will play in advancing AI authentication.	ワシントン - 世界的なハイテク業界団体であるITIは、AI Futures Initiativeの一環として、チャットボット、画像、音声などのAI生成コンテンツを真正性確認する差し迫った必要性に対処することを目的とした、世界の政策立案者向けの新しいガイドを発表した。ITIの分析では、電子透かし、実証、メタデータ監査、真正性確認など、さまざまな種類の真正性確認技術を調査し、AI生成コンテンツを検証・真正性確認には、複数の方法を組み合わせることが最も効果的であると強調している。また、ITI は、AI 真正性確認の推進において、コンセンサス標準が果たす重要な役割にも注目している。
AI authentication techniques aim to increase transparency, minimize risks, and boost trust in generative AI broadly and across the AI value chain, and help increase trust in the information used by businesses, media, and consumers.	AI真正性確認技術は、透明性を高め、リスクを最小化し、生成的AIを広く、AIのバリューチェーン全体で信頼し、企業、メディア、消費者が使用する情報の信頼性を高めることを目的としている。
“AI continues to dominate policy conversations around the world. As AI-generated content grows in its sophistication and adoption, there is a sense of urgency to leverage the transformative technology for social benefit and to minimize the harms that could come from its use, including the spread of mis- and dis-information,” said ITI Senior Vice President of Policy and General Counsel John Miller. “ITI’s new policy guide outlines the risks associated with AI-generated content, the authentication techniques and tools available to help address them, and considerations relevant for policy development. We look forward to continued collaboration with global governments as they develop their AI policies and seek to increase their understanding of the ever-evolving AI landscape.”	「AIは、世界中で政策的な話題の中心を占め続けている。AIが生成するコンテンツが洗練され、その普及が進むにつれて、この変革的技術を社会的利益のために活用し、誤った情報や偽情報の拡散など、その使用から生じる可能性のある危害を最小限に抑えることへの危機感が高まっている」と、ITIの政策担当上級副社長兼法律顧問のジョン・ミラーは述べた。「ITIの新しいポリシーガイドは、AI生成的コンテンツに関連するリスク、それに対処するために利用可能な真正性確認技術やツール、ポリシー策定に関連する考慮事項について概説している。世界の政府がAI政策を策定し、進化し続けるAIの状況について理解を深めようとしている中、引き続き協力していきたい。」
In its guide, ITI encourages policymakers to:	ITIはこのガイドの中で、政策立案者に以下のことを奨励している：
・Avoid overly prescriptive approaches that mandate one technique over another as such approaches risk over indexing on one tool and missing the benefits another might provide;	・このようなアプローチは、1つのツールに過度に依存し、他のツールが提供する可能性のあるメリットを見逃してしまうリスクがあるため、1つの技術を他の技術よりも強制するような過度に規定的なアプローチは避けること；
・Invest more robustly in AI authentication technique research and development;	・AI 真正性確認技術の研究開発により積極的に投資する；
・Promote consumer transparency and awareness around AI-generated content, with a particular emphasis on education;	・特に教育に重点を置き、AI生成コンテンツに関する消費者の透明性と認識を促進する；
・Leverage public-private partnerships to understand the limitations and benefits of various authentication techniques;	・官民パートナーシップを活用し、様々な真正性確認技術の限界と利点を理解する；
・Ensure AI itself plays a role in detecting AI-generated content; and	・AI自身がAI生成コンテンツの検知に役割を果たすようにする。
・Invest in the development of clear standards for AI authentication to promote consistency and collaboration across techniques.	・AI真正性確認のための明確な標準の開発に投資し、技術間の一貫性と連携を促進する。

・[PDF] Authenticating AI-Generated Content - Exploring Risks, Techniques & Policy Recommendations

Authenticating AI-Generated Content	AI生成コンテンツの真正性確認
Exploring Risks, Techniques & Policy Recommendations	リスク、テクニック、政策提言を探る
Jan-2024	2024年1月
Background	背景
Since the rapid popularization of artificial intelligence (AI) chatbots like ChatGPT and image generators like Stable Diffusion, generative AI* has become a global phenomenon. ChatGPT itself, created by OpenAI, became the fastest-growing consumer application in history after reaching over 100 million monthly active users in just two months.1 While chatbots have captured much of the public attention focused on generative AI, there are many forms2 of AI-generated content.	ChatGPTのような人工知能（AI）チャットボットやStable Diffusionのような画像生成ツールが急速に普及して以来、生成的AI*は世界的な現象となっている。OpenAIによって作成されたChatGPT自体は、わずか2ヶ月で月間アクティブユーザー数が1億人を超え、史上最も急成長したコンシューマー向けアプリケーションとなった1。チャットボットが生成的AIに注目する世間の注目を集めた一方で、AI生成コンテンツには多くの形態2がある。
Many of these AI applications offer new advantages, particularly for accessibility and to augment human creativity.3 While AI-generated content is not new, its growing sophistication and adoption — and the response from the general public, industry, and governments — has cultivated a sense of urgency to leverage the technology for social benefit and to minimize the harms that could come from its use.	これらのAIアプリケーションの多くは、特にアクセシビリティや人間の創造性を補強するという新たな利点を提供している3。AI生成コンテンツは新しいものではないが、その高度化と採用の拡大、そして一般市民、産業界、政府からの反応によって、この技術を社会的利益のために活用し、その使用から生じる可能性のある弊害を最小限に抑えることへの危機感が培われている。
This paper examines some of these benefits and risks, offers potential solutions for authenticating AI-generated content, and provides policy recommendations for advancing best practice.	本稿では、これらのメリットとリスクを検証し、AI生成コンテンツの真正性確認のための潜在的解決策を提示し、ベストプラクティスを推進するための政策提言を行う。
What is AI-Generated Content?	AI生成コンテンツとは何か？
Broadly, AI-generated content can refer to any kind of content or media (text, images, video, audio,  sometimes multimodal , or a combination of mediums) that has been wholly or partially created with  use of generative AI/ML techniques, like natural language processing (NLP) and/or computer vision . Examples of  generative AI systems and  AI-generated content include:	大まかに言えば、AI生成コンテンツとは、自然言語処理（NLP）やコンピュータビジョンのような生成的AI/ML技術を用いて全体的または部分的に作成されたあらゆる種類のコンテンツやメディア（テキスト、画像、動画、音声、場合によってはマルチモーダル、またはそれらの組み合わせ）を指す。生成的AIシステムやAI生成コンテンツの例としては、以下のようなものがある：
1. Image generators which leverage text to image generation: DALL-E (OpenAI), Midjourney, Stable Diffusion (StabilityAI)	1. テキストから画像を生成する画像ジェネレーター： DALL-E（OpenAI）、Midjourney、Stable Diffusion（StabilityAI）。
2. Chatbots that generate conversational text: ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google)	2. 会話文を生成するチャットボット： ChatGPT（OpenAI）、Claude（Anthropic）、Gemini（Google）
3. AI-generated audio and voice recordings, like musical samples, voice imitation technology, and audio tags to describe content for people with visual impairments	3. AI生成音声・音声記録：音楽サンプル、音声模倣技術、視覚障害者のためのコンテンツ説明用音声タグなど。
4. AI-generated video and video recordings, like video samples of lip-sync with audio dub overs, video re-ordering, video imitation, deep fake videos	4. AI生成ビデオ・ビデオ録画：例えば、リップシンクのビデオサンプルと音声のダブり、ビデオの並べ替え、ビデオの模倣、ディープフェイクビデオなど。
5. Multimodal generation – combination of image, audio, video generated completed by AI (e.g., Noonoouri)	5. マルチモーダル生成：AIによって完成された画像、音声、映像の組み合わせ（例：Noonoouri）。
What is AI Authentication?	AI真正性確認とは何か？
Authentication is a well-known practice in computing and cybersecurity, which involves “verifying the iden- tity of a user, process, or device”4 — and in this case — data, models, and outputs. AI authentication refers to determining when content is AI-generated, or otherwise verifying the validity or provenance of layers of the AI value chain,5 leveraging authentication mechanisms like cryptographic methods and human verification.	真正性確認は、コンピューティングやサイバーセキュリティではよく知られた慣行であり、「ユーザー、プロセス、デバイスの同一性を検証する」4、この場合はデータ、モデル、出力を含む。AI真正性確認とは、コンテンツがAI生成であることを判断すること、またはAIバリューチェーンのレイヤーの妥当性や出所を検証することを指す5。
AI authentication is a new and emerging field. While there are a variety of techniques that can be used to authenticate AI, this guide explores the most robust techniques currently in development, including watermarking, provenance tracking, metadata auditing, and human authentication. Some of these techniques overlap along the AI value chain or leverage similar processes. One instance of this is labeling, a process used in a variety of techniques like watermarking, provenance and metadata auditing but each with different methods — resulting in distinct forms of labeling solutions across distinct AI authentication techniques. This dynamic and other techniques will be explored later in the report.	AI 真正性確認は、新しく出現した分野である。AI を真正性確認するために使用できる様々な技法があるが、本ガイドでは、電子透かし、出所追跡、メタデータ監査、真正性確認など、現在開発中の最も堅牢な技法について検討する。これらの技術の中には、AIのバリューチェーンに沿って重複するものや、類似のプロセスを活用するものもある。その一例がラベリングであり、電子透かし、出所追跡、メタデータ監査といった様々な技術で使用されるプロセスであるが、それぞれ手法が異なるため、異なるAI真正性確認技術間で異なる形式のラベリングソリューションが生じる。このダイナミックな手法やその他の手法については、本報告書の後半で検討する。
Importantly, a combination of these methods will be the most effective way to validate and authenticate AI-generated content. However, because of the emerging nature of these techniques, as well as the dynamic nature of AI- generated content, it is unlikely that one solution alone — technical or manual, involving human intervention — will fully address the risks posed by AI-generated content.	重要なことは、これらの手法を組み合わせることが、AI生成コンテンツを検証・真正性確認する最も効果的な方法であるということである。しかし、これらの技法は新たな性質を持っており、またAI生成コンテンツの動的な性質もあるため、技術的なものであれ、人間の介入を伴う手動的なものであれ、1つの解決策だけでAI生成コンテンツがもたらすリスクに完全に対処できる可能性は低い。
Risks from AI-Generated Content & Value Proposition of AI Authentication Techniques	AI生成コンテンツによるリスクとAI真正性確認技術の価値提案
As is the case with most AI capabilities, generative AI and AI-generated content can create distinct benefits and risks. Many of the risks associated with AI-generated content — like mis- and disinformation6 — are not new and have been observed and well-documented as problems with human-generated content on social and traditional media.7	ほとんどのAI機能がそうであるように、生成的AIとAI生成コンテンツは、明確なメリットとリスクを生み出す可能性がある。AI生成コンテンツに関連するリスク（誤報や偽情報など6）の多くは目新しいものではなく、ソーシャル・メディアや従来のメディアにおける人間が生成したコンテンツの問題として観察され、十分に文書化されている7。
Risks from AI-Generated Content	AI生成コンテンツのリスク
While misinformation and disinformation are often used interchangeably, they are not the same thing. It is important to distinguish between the two so that implications regarding intent or accountability are clear.	誤情報と偽情報はしばしば同じ意味で使われるが、同じものではない。意図や説明責任に関する意味を明確にするために、両者を区別することが重要である。
Misinformation	誤情報
Misinformation refers to false, misleading, inaccurate or out of context information shared without an intent to deceive. Examples include:	誤情報とは、欺く意図なしに共有された、虚偽、誤解を招く、不正確、または文脈を逸脱した情報を指す。例えば、以下のようなものがある：
• Rumors	・うわさ
• Satire and parody (where the reader may not understand the joke or underlying message)	・風刺やパロディ(読者が冗談や根本的なメッセージを理解できない場合)
• Misleading information such as comments or opinions presented as facts	・事実として提示されたコメントや意見など誤解を招く情報
• False connections or information with false content, like factually accurate content shared in an irrelevant setting (i.e. when headlines, visuals or captions do not support the content)	・虚偽のつながり、または虚偽の内容を含む情報：例えば、事実上正確な内容が無関係な設定で共有されている場合（見出し、ビジュアル、キャプションが内容を裏付けていない場合など）。
• Sponsored content, when the reader or consumer is not able to distinguish factual or substantive content from an advertisement	・スポンサード・コンテンツ：読者や消費者が事実や実質的なコンテンツと広告を区別できない場合。
• Errors in reporting or sharing of content8	・コンテンツの報告や共有における誤り8
Disinformation	偽情報
Disinformation is false information that is shared with the intent to deliberately mislead, deceive, or cause harm. Examples include:	偽情報とは、故意に誤解させたり、欺いたり、危害を与えたりする意図で共有される虚偽の情報のことである。例えば、以下のようなものがある：
• Propoganda	・プロパガンダ
• Hoaxes	・デマ
• Fabricated or completely false content	・捏造または完全に虚偽の内容
• Manipulated content, which has been purposefully distorted or changed from its initial form	・意図的にゆがめられたり、最初の形から変更されたりした、操作されたコンテンツ
• Imposter content: the impersonation of real or credible sources	・偽者コンテンツ：本物や信頼できる情報源になりすますこと
Generative AI’s capability to produce content at scale introduces new concerns for the spread of mis- and disinformation, which can contaminate or harm the integrity of the AI value chain, creating issues for consumers, and undermining trust in the technology ecosystem. Understanding the way in which generative AI presents risks related to mis- and disinformation requires a nuanced analysis, as generative AI can create or perpetuate mis-and disinformation in several ways through both the inputs and outputs of generative AI systems:	生成的AIが大規模にコンテンツを生成する能力は、偽情報や偽情報の拡散という新たな懸念をもたらし、AIのバリューチェーンの整合性を汚染したり傷つけたりする可能性がある。生成的AIは、生成的AIシステムのインプットとアウトプットの両方を通じて、いくつかの方法で誤報や偽情報を生み出したり、永続させたりする可能性があるため、生成的AIが誤報や偽情報に関連するリスクをもたらす方法を理解するには、ニュアンスに富んだ分析が必要である：
Inputs (i.e., data, datasets, underlying models, or model weights):	入力（すなわち、データ、データセット、基礎となるモデル、またはモデルの重み）：
• Inappropriate or under/over representative data: Data unintentionally trained on misinformation can create wrong or inaccurate responses. Data trained on disinformation can create intentionally false outputs or encourage a model to come up with more extreme false embellishments.	・不適切または過少／過大な代表データ： 誤情報に基づいて意図せず訓練されたデータは、間違った、あるいは不正確な回答を生み出す可能性がある。偽情報に基づいて訓練されたデータは、意図的に誤った出力を作成したり、モデルがより極端な偽の装飾を思いつくよう促したりする可能性がある。
• Data poisoning: Whereby humans inject false or wrong data to skew a model in a way that affects the accuracy and legitimacy of its output, sometimes as a means to promote various mis- and disinformation campaigns. Data poisoning can be done with both training data and on inferencing data. Poisoning can also occur by manipulating the order in which training data is presented.	・データ・ポイズニング：偽情報や偽情報キャンペーンを促進するために人間が偽データや間違ったデータを注入し、モデルの出力の正確性や正当性に影響を与えるような歪みを与える。データ・ポイズニングは学習データと推論データの両方で行われる可能性がある。データ・ポイズニングは訓練データの提示順序を操作することによっても起こりうる。
• Data evasion: Whereby a model is fed an adversarial example — a carefully manipulated input that looks and feels exactly the same as its untampered copy — to cause the model to misclassify the data or intentionally fail during inference.	・データ回避： モデルに敵対的なサンプル（改ざんされていないコピーとまったく同じように見え、同じように感じられるように注意深く操作された入力）を与えることで、モデルのデータ分類を誤らせたり、推論中に意図的に失敗させたりする。
Outputs (i.e., a photo, video, sound bite):	出力（写真、ビデオ、音声など）：
• Hallucination: Sometimes dubbed “hallucinations,” AI systems can produce outputs or responses based on misinformation.9 These hallucinations can range from models trying to fill in gaps of knowledge they do not have with false or irrelevant context, to leveraging information that is erroneous.	・幻覚: 「幻覚」と呼ばれることもあるが、AIシステムは誤情報に基づいて出力や応答を生成する可能性がある9。こうした幻覚はモデルが持っていない知識のギャップを誤った文脈や無関係な文脈で埋めようとするものから、誤った情報を活用するものまで様々である。
• Deepfakes: Mis- and disinformation can also be spread through the human creation of deepfakes or other purposefully manipulated or altered content. Deepfakes are especially concerning as a tool to spread election disinformation and have already been used to manipulate footage or commentary of candidates.10	・ディープフェイク：誤情報や偽情報は、ディープフェイクやその他の意図的に操作または変更されたコンテンツを人間が作成することによっても広まる可能性がある。ディープフェイクは選挙の偽情報を広めるツールとして特に問題であり、候補者の映像やコメントを操作するためにすでに使用されている10。
• False or human-generated content that is spread or adapted by AI: Just as AI can create false or misleading content, so can malicious human actors. If not properly labeled or moderated in a way machines can understand, AI can spread fake content generated by humans.	・AIによって拡散または脚色された偽の、または人間が生成的なコンテンツ： AIが虚偽または誤解を招くコンテンツを作成できるのと同様に、悪意のある人間の行為者も作成できる。機械が理解できるような適切なラベル付けやモデレートが行われなければ、AIは人間が生成した偽のコンテンツを拡散する可能性がある。
Malicious generative AI tools can be used by bad actors to generate content intended to manipulate individuals in consumer scams. For example, generative AI has been used to place scam calls affecting parents and the elderly. AI scam calls provoking elder fraud cases have risen with the increase of voice alteration techniques used to mimic the voices of trusted loved ones in an attempt to get a ransom or personal and/or banking information.11 These new and sophisticated threats created by malicious actors negatively impact consumer protection by expanding the threat landscape. This can lead to an overall decrease in trust in the technology value chain.	悪意のある生成的AIツールは、消費者詐欺で個人を操作することを意図したコンテンツを生成するために、悪意のある行為者によって使用される可能性がある。例えば、生成的AIは、親や高齢者に影響を与える詐欺電話をかけるために使われてきた。高齢者詐欺を誘発するAI詐欺電話は、身代金や個人情報および／または銀行情報を得ようとして、信頼できる大切な人の声を模倣するために使用される音声改変技術の増加とともに増加している11。悪意のある行為者が作り出すこのような新しく洗練された脅威は、脅威の状況を拡大することで消費者保護に悪影響を及ぼす。これは、テクノロジー・バリュー・チェーンに対する全体的な信頼の低下につながりかねない。
AI-generated content, like traditional AI applications, can also perpetuate bias and discriminatory misrepresentations. Traditional AI applications in some contexts preserve or exacerbate societal bias in much the same way as AI-generated content can reproduce or create themes or mischaracterizations of underrepresented or marginalized groups.12 AI algorithms are only as good as the information that is available to train them, and sometimes may be trained on content which is satirical or used to promote hateful stereotypes of individuals from historically marginalized groups in a way that AI models do not understand. This can result in AI-generated content that is inaccurate or includes unfair representations of marginalized people or cultures. Issues of bias and discrimination often arise from the training data or how the model was reinforced to understand data inputs.	AI生成コンテンツは、従来のAIアプリケーションと同様に、バイアスや差別的な虚偽表示を永続させる可能性もある。ある文脈における従来のAIアプリケーションは、AIが生成するコンテンツが十分に代表されていない、あるいは社会から疎外されているグループのテーマや誤った特徴を再現したり、作り出したりするのと同じように、社会的バイアスを維持したり、悪化させたりする12。AIのアルゴリズムは、それを訓練するために利用可能な情報と同程度にしか優れておらず、時には風刺的であったり、歴史的に疎外されてきたグループの個人に対する憎悪的なステレオタイプを促進するために使用されたりするコンテンツを、AIモデルが理解できない方法で訓練することがある。その結果、AI生成のコンテンツを不正確なものにしたり、社会から疎外された人々や文化を不当に表現したりする可能性がある。バイアスや識別的な問題は、多くの場合、学習データや、データ入力を理解するためにモデルがどのように強化されたかに起因する。
Harm Reduction Through AI Authentication	AI真正性確認による被害削減
To promote transparency and awareness, of AI-generated content, AI authentication techniques aim to minimize these risks and their impacts. AI authentication techniques can apply to different parts of the AI value chain, from data inputs to the model, to the application, and even to the output itself. Authentication techniques boost trust in the AI value chain, including between businesses, among consumers, and across the information ecosystem — among journalists, traditional media, and other information access points. Content verification can improve trust in generative AI and allow for healthier engagement and digital experiences online. Importantly, the earlier in the AI development lifecycle authentication happens, the more helpful it is to a broader range of stakeholders. This is particularly true in instances with direct consumer or societal harm, such as fraud and election-related misinformation.	AI生成コンテンツの透明性と認知を促進するために、AI真正性確認技術はこれらのリスクとその影響を最小化することを目的としている。AI真正性確認技術は、データ入力からモデル、アプリケーション、さらには出力そのものに至るまで、AIバリューチェーンのさまざまな部分に適用することができる。真正性確認技術は、企業間、消費者間、情報エコシステム全体（ジャーナリスト、伝統的メディア、その他の情報アクセスポイント間）を含め、AIバリューチェーンにおける信頼を高める。コンテンツの検証は、生成的AIに対する信頼を向上させ、より健全なエンゲージメントとオンラインでのデジタル体験を可能にする。重要なことは、AI開発ライフサイクルの早い段階で真正性確認が行われれば行われるほど、より幅広いステークホルダーにとって有益になるということだ。これは、詐欺や選挙関連の誤情報など、消費者や社会に直接的な害を及ぼす事例において特に当てはまる。
Below is a graphic that illustrates different components of the AI value chain, including areas where authentication techniques may be able to be incorporated.	以下は、AIのバリュー・チェーンのさまざまな構成要素を示す図であり、真正性確認技術を組み込むことが可能な分野も含まれている。
While AI authentication can help build trust in AI-generated content and the technology ecosystem, AI authentication is still a very new field, requiring investment and implementation from government and industry. Additionally, it will require input from and engagement with consumers to promote education and awareness regarding risks and the consumer-facing authentication techniques discussed in this paper, such as visible watermarking (discussed further below). Similar approaches to boosting awareness have become common practice in cybersecurity, where techniques like two factor authentication and/or HTTPS browsing are now better understood by consumers as security best practices.	AI真正性確認は、AI生成コンテンツとテクノロジー・エコシステムに対する信頼構築に役立つが、AI真正性確認はまだ非常に新しい分野であり、政府と産業界による投資と実装が必要である。さらに、リスクや、可視電子透かし（後述）など本稿で取り上げた消費者向けの真正性確認技法に関する教育や認識を促進するために、消費者からの意見や消費者との関わりも必要となる。二要素真正性確認や HTTPS ブラウジングのような技法は、セキュリティのベストプラクティスとして消費者に理解されている。
Survey of AI Authentication Techniques	AI真正性確認技術の調査
AI authentication techniques vary in utility and ease of implementation across the AI value chain, depending on the application and use context. Below we highlight four techniques that have made headway in research and use, detailing an overview of each technique, key uses and best practices, limitations, and applicable tradeoffs.	AI真正性確認技法は、アプリケーションや使用状況に応じて、AIのバリュー・チェーン全体にわたって、その有用性や実装の容易さが異なる。以下では、研究と使用において前進した 4 つの技法に焦点を当て、各技法の概要、主な使用方法とベスト・プラクティス、限界、適用可能なトレードオフについて詳述する。
Provenance Generation and Tracking	出所 (provenance) の生成と追跡
Provenance, or provenance tracking, is a common technique for AI authentication that allows for the tracing of the history and quality of a dataset. Digital content provenance in particular references the verifiable chronology of the origin and history of that content, such as an image, video, audio recording, or electronic document.13 Generally, provenance includes the origins of a dataset, any changes that have been made to alter that dataset, and other relevant details needed to ensure the integrity of the dataset and data within it. Provenance can be accomplished in a variety of ways, including embedding a signature on the metadata of the dataset which is being used to train an AI model. Each level of the data set can have a signature or content credential to ensure that the data the product used has not been tampered with. This helps to demonstrate that the training data is not compromised before it is fed into larger models, and to validate whether content has been created by an AI model trained on such data. For AI-generated content, provenance can refer to signals embedded in the dataset used to create the content as well as content provenance: the content’s source and history, and modifications to the content subsequent to its creation.	出所、または出所の追跡は、データセットの履歴と品質を追跡することを可能にするAI真正性確認のための一般的な手法である。一般的に、出所には、データセットの起源、データセットを変更するために行われた変更、データセットとその中 のデータの完全性を保証するために必要なその他の関連する詳細が含まれる。出所は、AIモデルの学習に使用されるデータセットのメタデータに署名を埋め込むなど、様々な方法で達成することができる。データセットの各レベルは、使用されたデータが改ざんされていないことを保証するために、署名またはコンテンツ真正性確認を持つことができる。これは、トレーニングデータがより大きなモデルに投入される前に改ざんされていないことを証明し、そのようなデータでトレーニングされたAIモデルによってコンテンツが作成されたかどうかを検証するのに役立つ。AI生成コンテンツでは、コンテンツの出所や履歴、作成後のコンテンツの変更など、コンテンツの出所だけでなく、コンテンツ作成に使用されたデータセットに埋め込まれたシグナルを指すこともある。
Like watermarking, content provenance has been a primary focus of leading industry groups focused on authentication of AI generated, synthetic, or manipulated images. In 2007, the Joint Photographic Experts Group (JPEG),  a joint committee formed by international standardization organizations ISO/IEC JTC 1/SC 29 and ITU-T Study Group 16, published the international standard “Secure JPEG 2000,” which provides a syntax for security services such as source authentication and integrity verification to be applied to JPEG 2000 coded image data.14 In 2020, JPEG began an exploration on “Fake Media” that resulted in a call for proposals for a standard that can facilitate the secure and reliable annotation of media asset creation and modifications, and intends to address use cases that are in good faith as well as those with malicious intent.15 JPEG received six different proposals from the Coalition for Content Provenance & Authenticity (C2PA), Huawei, Sony, Vrije Universiteit Brussel/imec, UPC, and Newcastle University, the majority of which are expressly based on provenance information, and JPEG continues to work on developing a new standard to combine the best elements of each proposal.16	電子透かしと同様に、コンテンツの出所は、AIが生成した、合成した、または操作した画像の真正性確認に焦点を当てた主要な業界団体の主要な焦点となっている。2007年、国際標準化団体ISO/IEC JTC 1/SC 29とITU-T Study Group 16の合同委員会であるJPEG（Joint Photographic Experts Group）は、JPEG 2000符号化画像データに適用されるソース認証や完全性検証などのセキュリティ・サービスのシンタックスを提供する国際標準「Secure JPEG 2000」を発表した14。2020年、JPEGは「フェイクメディア」に関する調査を開始し、その結果、メディアアセットの作成と変更に関する安全で信頼性の高い注釈を容易にすることができる標準の提案募集を行い、悪意のあるものだけでなく善意のユースケースにも対応することを意図した15。JPEGは、Coalition for Content Provenance & Authenticity（C2PA）、Huawei、ソニー、Vrije Universiteit Brussel/imec、UPC、およびニューカッスル大学から6つの異なる提案を受け取ったが、その大半は出所情報に明示的に基づくものであり、JPEGは各提案の最良の要素を組み合わせた新規格の開発に引き続き取り組んでいる16。
Likewise, C2PA, which includes corporations of all sizes, leading journalism entities, not-for-profits, and academics, was formed in 2021 to address concerns related to misleading information and to develop technical standards for content provenance, called Content Credentials.17 The C2PA’s voluntary, open standard, or specification, works with visual, video and audio content by binding provenance information to a piece of media at its point of creation or when it is altered and attaches to the content with Content Credentials, which is a combination of secure metadata and watermarking.18	同様に、あらゆる規模の企業、主要なジャーナリズム事業体、非営利団体、および学者が参加する C2PA は、誤解を招く情報に関連する懸念に対処し、コンテンツ認証17 と呼ばれるコンテンツの出所に関する技術標準を策定するために、2021 年に設立された。C2PA の自主的でオープンな標準（仕様）は、映像、動画、音声コンテンツに対応し、メディアの作成時点または変更時点で出所情報をコンテンツにバインドし、安全なメタデータと電子透かしを 組み合わせたコンテンツ認証をコンテンツに添付する18 。
At the point of media creation, the accompanying metadata or provenance information about the origins, creator, and other relevant information is attached through Content Credentials and affirmed by the media publisher or creator with a digital signature. The provenance information, signature, and media are then bound together and cryptographically sealed into a tamper-proof “manifest” that is tied to the piece of content forever. Each time the media is edited, a new, resealed manifest is created and resealed, which then accompanies the newly created media, preserving its history. These steps are visualized in the graphics below.19	メディアが作成される時点で、付随するメタデータまたは出所、作成者、その他の関連情報に関する出所情報は、コンテンツ認証によって添付され、メディアの発行者または作成者によって電子署名で確認される。その後、出所情報、署名、メディアは結合され、暗号化されて改ざん防止された「マニフェスト」に封印され、コンテンツの一部と永遠に結び付けられる。メディアが編集されるたびに、新しい再封印されたマニフェストが作成され、新たに作成されたメディアに付随して再封印され、その履歴が保存される。これらの手順は、以下の図に示されている19。
As discussed in more depth later in this paper, attaching provenance to the metadata of digital content allows anyone engaging with that piece of content to understand how, when, and by whom that digital content was altered. This focus on transparency helps to foster confidence for any person, business, or government agency engaging with a piece of digital content thereby helping to engender trust in the entire content value chain, particularly AI-generated content, and allowing for consideration of the authenticity of any piece of digital content. Examples of deployment of the C2PA Content Credential technology at scale include Leica Cameras with digital photos, inclusion in various Microsoft products, such as the Bing search engine, and Adobe Firefly, Photoshop, Lightroom, and Stock.	本稿で後述するように、デジタル・コンテンツのメタデータに出所を示すことで、そのコンテンツに関わる誰もが、そのデジタル・コンテンツがいつ、誰によって、どのように改変されたかを理解できるようになる。このように透明性を重視することで、デジタルコンテンツに関わるすべての人、企業、政府機関の信頼を醸成し、コンテンツバリューチェーン全体、特にAI生成コンテンツに対する信頼を醸成し、あらゆるデジタルコンテンツの真正性確認の検討を可能にする。C2PAコンテンツ認証技術の大規模展開の例としては、デジタル写真のライカカメラ、Bing検索エンジンなどのマイクロソフト製品、Adobe Firefly、Photoshop、Lightroom、Stockなどがある。
As mentioned above, the C2PA also introduced Content Credential iconography with a unique symbol to promote tagging and transparency around AI-generated content. The icon, a small “CR”, which stands for Content Credentials, will be included with the metadata of any content to clarify who owns and created the data, including regarding the AI tool used to make it. This recognizable icon or symbol will be useful to developers but also to general consumers, who will be able to hover over the recognizable mark embedded in the image to glean information about its source.20	前述の通り、C2PAはまた、AI生成コンテンツのタグ付けと透明性を促進するため、ユニークなシンボルによるコンテンツ認証のアイコンを導入した。このアイコンは、コンテンツ認証を意味する小さな "CR "で、コンテンツのメタデータに含まれ、データの所有者や作成者（作成に使用されたAIツールを含む）を明確にする。この認識可能なアイコンやシンボルは、開発者だけでなく、一般消費者にとっても有用で、画像に埋め込まれた認識可能なマークにカーソルを合わせると、その出典に関する情報を得ることができるようになる20。
Key Uses and Best Practices	主な用途とベストプラクティス
1. [Content]provenance should happen at multiple levels of the AI value chain — at the data level, in the metadata and dataset itself, as well as on the model output.	1. [コンテンツ] の出所は、データ・レベル、メタデータやデータセット自体、モデル出力など、AIのバリュー・チェーンの複数のレベルで行われるべきである。
2. The amount of detail that is provided as part of the provenance information should be tied to the use case. While including more detail can provide more visibility into the provenance of the content, in some use cases such information can create significant privacy concerns and may conflict with data minimization efforts. Provenance information in general should never include personal data or data that could be used to identify a person when combined with other data sets (for example location or time data) without the express affirmative consent of the user, and should be limited to the minimum amount of data required for the specific attestation and use case. If provenance information is visible on the output or content itself, closely tailoring the provenance information to the use case could also reduce the information that must be displayed and make it easier for a broader audience to understand the history of the content.	2. 出所情報の一部として提供される詳細の量は、ユースケースと関連付けられるべきである。より詳細な情報を提供することで、 コンテンツの出所をより明確にすることができるが、ユースケースによっては、そのような情報は重大なプライバシー上の懸念を引き起こし、データ・ミニマム化の取り組みと相反す る可能性がある。一般に、出所情報は、ユーザーの明示的な同意なしに、個人データまたは他のデータセット（例えば、位置情報や時刻情報）と組み合わせたときに個人を特定できるようなデータを含んではならず、特定の証明およびユースケースに必要な最小限のデータ量に制限されるべきである。証明情報が出力やコンテンツ自体に表示される場合、証明情報をユースケースに密接に合わせ ることで、表示しなければならない情報を減らし、より多くの利用者がコンテンツの履歴を理解しやすくすることもできる。
3. Collaborative approaches to content provenance can help to ensure that the industry is developing best practices together to promote interoperability and that they are unified in their approach.	3. コンテンツ出所に対する共同アプローチは、相互運用性を促進するために業界が共にベスト・プラクティスを開発し、そのアプローチを統一することに役立つ。
Limitations and Trade-offs	限界とトレードオフ
• Insufficient to mitigate all harms. Though provenance can be used to authenticate that a dataset was not tampered with and/or whether it has been used to train an AI model generating con- tent, neither provenance nor watermarking will help reduce bias in the model or dataset inputs if in fact the model or data inputs are biased or are not representative. Analysis of the data itself to ensure its integrity should be incorporated to mitigate this trade-off. While provenance tracking can also help to establish information about the origin and history of a piece of content, it cannot independently prove that the content is truthful.	・すべての弊害を軽減するには不十分である。データセットが改ざんされていないこと、および/または生成的AIモデルのトレーニングに使用されていることを認証するために、証明書を使用することはできるが、モデルやデータセットの入力にバイアスがかかっていたり、代表者がいなかったりする場合、証明書も電子透かしも、モデルやデータセットの入力のバイアスを軽減する役には立たない。このトレードオフを軽減するために、データの完全性を保証するためのデータ自体の分析を取り入れるべきである。出所追跡は、コンテンツの出所と履歴に関する情報を確立するのにも役立つが、コンテンツが真実であることを独立に証明することはできない。
• Effective only if the vast majority of a content category has provenance data. In order to be effective at detecting synthetic content, a consumer must be able to assume that either (i) every generative AI model attaches provenance data to synthetic content, such that any content without “synthetic” provenance data can be presumed to be authentic, or (ii) every image or document capture device attaches provenance data to authentic content, such that any content without “authentic” provenance data can be presumed to be synthetic. This is only possible in an eco- system with an extremely high adoption rate.	・コンテンツカテゴリの大半が出所データを持つ場合にのみ有効である。合成コンテンツの検知に効果的であるためには、消費者は、(i)すべての生成的AIモデルが合成コンテンツに出所データを添付し、「合成」出所データのないコンテンツは真正性確認されたものであると推定できる、または、(ii)すべての画像や文書のキャプチャデバイスが真正コンテンツに出所データを添付し、「真正」出所データのないコンテンツは合成されたものであると推定できる、と仮定できなければならない。これは、導入率が極めて高いエコシステムにおいてのみ可能である。
• Multiple potential points of failure. A single weak link in the provenance chain could allow a malicious actor to alter data or insert changes without detection or insert fake attestations to sow doubt in the content. The more widespread the adoption must be, the greater the risk there is that a weak link is created.	・複数の潜在的な障害点。出所の連鎖における脆弱なリンクが一つでもあれば、悪意のある行為者が検知されずにデータを改ざんしたり、変更を加えたり、偽の証明を挿入してコンテンツに疑念を抱かせることができる。普及が進めば進むほど、弱いリンクが作られるリスクは高まる。
• Software vs hardware implementations. Content provenance standards that rely or allow for soft- ware-only attestors at some (or all) points in the provenance chain are vulnerable to manipulation by privileged processes/actors that could allow malicious actors to manipulate these attestors into signing false attestations. Hardware based attestation may be significantly more resistant to such attacks.	・ソフトウェアとハードウェアの実装。証明の連鎖の一部（またはすべて）の時点でソフトウエアのみの証明者に依存する、またはそれを許容するコンテンツ証明標準は、悪意のある行為者がこれらの証明者を操作して偽の証明に署名させる可能性のある特権プロセス／行為者による操作に対して脆弱性がある。ハードウェアベースの証明は、このような攻撃に対する耐性が大幅に向上する可能性がある。
Watermarking	電子透かし
Watermarking is a technique that involves embedding a signal in a piece of text or an image with information. It can be visually apparent, such as an overlay showing information about its source or creator, or to identify whether it was AI-generated. Conventional examples of watermarking include a stamp on text output (i.e. a “DRAFT” or “Not for Release” stamp on a Word Document or an embargoed press release), or photo (for example, Getty images21).	電子透かしは、テキストや画像に情報を埋め込む技術である。これは、ソースや作成者に関する情報を示すオーバーレイのように視覚的に明らかにすることもできるし、AI生成的かどうかを識別することもできる。電子透かしの従来の例としては、テキスト出力にスタンプを押したり（Word文書や非公開のプレスリリースに「ドラフト」や「Not for Release」のスタンプを押すなど）、写真にスタンプを押したり（Getty images21など）する。
Alternatively, a watermark can be invisible or im- perceptible. Invisible or imperceptible watermarks are a small amount of data embedded in the pixels of an image. Sometimes watermarking is also used to describe metadata, which is information in a special segment of a file that is part of an image but not embedded in its pixels. This data can be bound to the pixels via cryptographic hash, and digitally signed to provide assurance that no manipulation has occurred after creation or signed modification.	あるいは、電子透かしは不可視または知覚できないものとすることもできる。電子透かしは、画像のピクセルに埋め込まれた少量のデータである。電子透かしはまた、メタデータを説明するために使われることもある。メタデータとは、画像の一部ではあるがピクセルには埋め込まれていない、ファイルの特別なセグメントにある情報のことである。このデータは、暗号ハッシュによってピクセルにバインドされ、デジタル署名されることで、作成後または署名された変更後に操作が行われていないことを保証することができる。
Watermarking is unique among techniques in the sense that depending on the underlying tool used, it can create a level of transparency for a broad range of users allowing consumers and end users (in addition to developers) to know that a piece of content (image or text) was generated using AI. Some emerging examples of watermark- ing AI-generated content are described below.	電子透かしは、使用される基礎的なツールによって、（開発者だけでなく）消費者やエンドユーザーが、コンテンツ（画像やテキスト）の一部がAIを使用して生成されたことを知ることができるように、幅広いユーザーに対して透明性のレベルを作成できるという意味で、技術の中でもユニークなものである。AIで生成されたコンテンツに電子透かしを施す新たな例を以下にいくつか紹介する。
Watermarking AI-generated content is a ripe field of research in the AI community and among large tech companies seeking to provide consumers and governments with information flagging AI-generated content. Watermarking is perhaps the most dis- cussed approach and viewed as an evolving industry best practice. A number of coalitions involving the tech industry, in collaboration with partners from media and journalism, have formed to examine watermarking and other authentication techniques. For example, the Partnership on AI’s synthetic media framework is a collaboration between 50 different companies working together to responsibly develop, create, and share AI-generated content.22 Leading AI labs in the Frontier Model Forum will likely also share best practices and techniques for watermarking.23	AI生成コンテンツに電子透かしを入れることは、AIコミュニティや、消費者や政府にAI生成コンテンツであることを示す情報を提供しようとする大手ハイテク企業の間で、研究が熟している分野である。電子透かしは、おそらく最も議論されているアプローチであり、進化する業界のベストプラクティスと見なされている。電子透かしやその他の認証技術を検討するために、メディアやジャーナリズムのパートナーとの協力のもと、テック業界を含む多くの連合が結成されている。例えば、Partnership on AIの合成メディアフレームワークは、AI生成コンテンツを責任を持って開発、作成、共有するために50の異なる企業が協力している22。
Individual organizations are likewise experimenting with AI watermarking techniques. SynthID, a solution developed by Google Deepmind and Google Cloud, labels metadata of AI-generated content created with Google’s developer platform, Vertex.24 OpenAI’s ChatGPT is considering the use of watermarks in the text that it generates.25 Meta is exploring Stable Signature, which is a method for watermarking images created with open source AI.26	個々の組織も同様に、AIの電子透かし技術を試している。Google DeepmindとGoogle Cloudが開発したソリューションSynthIDは、Googleの開発者向けプラットフォームVertexで作成されたAI生成的コンテンツのメタデータにラベルを付ける24。OpenAIのChatGPTは、生成的なテキストに電子透かしを使用することを検討している25。Metaは、オープンソースAIで作成された画像に電子透かしを入れる手法であるStable Signatureを模索している26。
Key Uses and Best Practices	主な用途とベストプラクティス
1. Steganography is a technique which hides a watermark or content information file inside a primary media file. One of the more common types of steganography involve embedding this hidden or secret information in the Least Significant Bit of a media file,  which is done by slightly modifying or adding additional information to bytes (or bits on those bytes) of data within pixels in a media file.27	1. 電子迷彩は、電子透かしやコンテンツ情報ファイルを主要メディアファイル内に隠す技法である。電子迷彩の一般的なタイプの1つは、メディアファイルの最下位ビットにこの隠された、または秘密の情報を埋め込むことを含み、これはメディアファイルのピクセル内のデータのバイト（またはそれらのバイト上のビット）にわずかに変更または追加情報を追加することによって行われる27。
This ensures that the watermark and relevant verification information is not visible to the eye to maintain the usability of the image and/or text itself. Steganography is often conflated with cryptography. While the techniques are similar, cryptography involves changing or scrambling information into ciphertext, which can only be unscrambled with a decryption key. Steganography involves hiding or concealing information in a way that is not readily apparent, without needing to decrypt it. Since steganography requires careful application involving specificity at the bit, byte, pixel and file level, this approach requires robust industry collaboration to be successful.	これにより、電子透かしと関連する検証情報が目に見えないようにし、画像やテキスト自体の使いやすさを維持する。電子迷彩はしばしば暗号と混同される。技術は似ているが、暗号は情報を暗号文に変えるかスクランブルすることであり、そのスクランブルは復号キーがないと解けない。電子迷彩ーは、情報を解読する必要なく、容易にわからない方法で隠したり隠したりする。電子迷彩は、ビット、バイト、ピクセル、ファイルレベルでの特異性を含む慎重な適用を必要とするため、このアプローチを成功させるには、強固な業界協力が必要である。
2. Invisible forensic watermarking can be used on video and image content by creating and encoding a unique mark into a video file that acts as a unique identifier of the recipient or consumer of the content. Should a piece of video content be AI-generated, the mark in the video file would allow owners of the content to track its spread. Like with steganography, invisible forensic watermarking promotes content use as the marked content is accompanied with verification. This is a very popular tool used in the entertainment industry for tracking copyrighted productions and videos and to prevent unauthorized pirating or distribution.28	2. 目に見えないフォレンジック電子透かしは、コンテンツの取得者や消費者の一意的な識別子として機能する一意的なマークを動画ファイルに作成・符号化することで、動画や画像コンテンツに使用することができる。ビデオコンテンツの一部がAI生成的である場合、ビデオファイル内のマークは、コンテンツの所有者がその拡散を追跡することを可能にする。電子迷彩と同様、目に見えないフォレンジック電子透かしは、マークされたコンテンツが検証を伴うため、コンテンツの利用を促進する。これは、著作権で保護された作品やビデオを追跡し、無許可の海賊版や配布を防ぐために、エンターテインメント業界で非常によく使われているツールである28。
3. Dataset watermarking can be used to track and verify input and training data that	3. データセットの電子透かしは、モデル開発に使用される入力データや学習データの追跡と検証に使用できる。
will be used for model development by tracing the dataset back to its original owner or creator. Watermarks are typically embedded into a subset of a dataset during a model training process, and distributed to ensure they remain even when filter- ing or reorganizing the data (and so that they can’t be easily removed). Watermarks in datasets help organizations track dataset ownership and prove- nance and can be used for ML model verification.29	データセットの電子透かしは、モデル開発に使用される入力データや学習データを追跡・検証するために使用することができる。電子透かしは通常、モデルの学習過程でデータセットのサブセットに埋め込まれ、データのフィルタリングや再編成の際にも確実に残るように（そして簡単に削除できないように）配布される。データセットに電子透かしを入れることで、組織はデータセットの所有権と証明力を追跡することができ、MLモデルの検証に利用することができる29。
4. Model watermarking can be used to track and verify ownership of an AI model or otherwise track its usage by embedding information within the model parameters or structure of the model itself. This technique primarily addresses concerns related to unauthorized use, distribution, or modification of a model.30	4. モデルの電子透かしは、AIモデルの所有権を追跡・検証したり、モデル自体のパラメータや構造内に情報を埋め込むことで、その使用状況を追跡したりするために使用することができる。この技術は主に、モデルの不正使用、配布、改変に関する懸念に対処するものである30。
5. Differential watermarking combines various watermarking techniques by targeting them at different elements (data, metadata, content) of either inputs or outputs and ensuring each has a unique signal. A benefit of using differential watermarking is that it allows	5. 差分電子透かしは、入力または出力の異なる要素（データ、メタデータ、コンテン ツ）を対象とし、それぞれが固有の信号を持つようにすることで、様々な電子透かし技 術を組み合わせたものである。電子透かしを使用する利点は、以下のことが可能になることである。
AI systems to cite the sources of factual text more accurately through the watermark itself, as it facilitates the direct sourcing of content. This is achieved by embedding the watermarks in the output and in the metadata as well.31	AIシステムは、電子透かし自体を通じて、事実のテキストの出典をより正確に引用することができる。これは、出力とメタデータにも電子透かしを埋め込むことで実現される31。
Limitations and Trade-offs	限界とトレードオフ
• Watermarks can validate elements of the AI value chain to the extent that humans know that they are real. Watermarks can be placed on AI-generated content and data, but do not prevent the spread of false information if the AI-generated content is in fact fake or if it relies on bad data (but is watermarked nonetheless).	・電子透かしは、AIバリューチェーンの要素が本物であることを人間が認識できる範囲で検証することができる。電子透かしはAI生成コンテンツやデータに入れることができるが、AI生成コンテンツが実際には偽物であったり、（電子透かしが入っているにもかかわらず）悪質なデータに依存している場合には、偽情報の拡散を防ぐことはできない。
• Visible watermarks on image content can be easily cropped out or removed with AI- enabled watermark removers, diminishing the value of a perceptible watermark. Additional- ly, watermarks can be “mimicked” on images, leading to the spread of false information that may lead others to think it is legitimate.	・画像コンテンツ上の目に見える電子透かしは、AIを利用した電子透かし除去機能によって簡単に切り取られたり除去されたりするため、知覚可能な電子透かしの価値は低下する。さらに、電子透かしは画像上で「模倣」される可能性があり、他の人に正規のものだと思わせる偽情報の拡散につながる。
• Invisible watermarks on images are easier to remove than invisible watermarks on other types of content. For images, the invisible watermark is usually embedded into pixel bytes and bits of the image, so if the format of the file changes or is altered through a screen- shot or other image format conversion, the invisible watermark is no longer effective.32	・画像上の不可視電子透かしは、他のタイプのコンテンツ上の不可視電子透かしよりも除去が容易である。画像の場合、電子透かしは通常、画像のピクセルバイトやビットに埋め込まれているため、ファイルのフォーマットが変更されたり、スクリーンショットやその他の画像フォーマットの変換によって変更されたりすると、電子透かしは効力を失う32。
• Invisible or embedded watermarks created through labeling or adding additional information to a piece of content’s metadata can create noise, generally unnecessary information in a dataset which neces- sitates greater amounts of storage space. This can sometimes make it harder to download and access certain types of content, particularly with low- latency bandwidth or a system that does not have strong working memory or abundant storage.33	・コンテンツのメタデータにラベリングや追加情報を追加することによって作成された不可視の電子透かしや埋め込まれた電子透かしは、データセットにノイズ、一般的には不必要な情報を生じさせる可能性がある。このため、特に低遅延の帯域幅や、強力なワーキングメモリや豊富なストレージを持たないシステムでは、ある種のコンテンツのダウンロードやアクセスが困難になることがある33。
• Visible watermarks on fluid content like video are much harder to remove. However, this type of watermark can be distracting and make content consumption less appealing as it is visible to consumers of the content. Required watermarks can also distract from the primary content, particularly in advertising and marketing purposes where, for example, a business wants to generate an image or icon of a product to share in a campaign.	・ビデオのような流動的なコンテンツに施された目に見える電子透かしは、除去するのがより困難である。しかし、この種の電子透かしは、コンテンツの消費者に見えるため、気が散り、コンテンツの消費を魅力的でなくする可能性がある。また、電子透かしが必要な場合、特に広告やマーケティング目的では、例えば企業がキャンペーンで共有する製品の画像やアイコンを生成したい場合、主要なコンテンツから注意をそらす可能性がある。
Figure 1: AI Authentication Along the AI Value Chain	図1：AIバリューチェーンに沿った真正性確認
Human Authentication	人間による真正性確認
Sometimes referred to in AI discussions as “human in the loop,” human authentication requires human involvement to verify whether content has been AI-generated at or across certain points of the AI value chain. A straightforward example is requiring human validation of content that has been flagged as potentially AI-generated. Human authentication can be used in a broad range of contexts, to validate model inputs (datasets or metadata) or outputs (content).	AIの議論では「Human in the Loop」と呼ばれることもある真正性確認は、AIバリューチェーンの特定のポイントにおいて、あるいはポイント全体にわたって、コンテンツがAI生成的かどうかを検証するために人間の関与を必要とする。わかりやすい例としては、AI生成の可能性があるとしてフラグが立てられたコンテンツについて、人間による検証を要求することである。真正性確認は、モデルの入力（データセットまたはメタデータ）または出力（コンテンツ）を検証するために、幅広いコンテキストで使用することができる。
Human authentication is useful and already part of the AI value chain: generally, cleaning and labeling datasets or inserting credentials into metadata is a highly manual process requiring human oversight. While automation in the context of data mapping and governance is becoming more robust, labeling datasets, assessing outputs, validating models, and performing reinforcement learning with human feedback (RLHF) are all still very manual processes requiring human skill and involvement. Human intervention, including the involvement of diverse human perspectives in AI development generally, is a widely accepted mechanism to prevent issues like bias and real-world harm – and to improve product accessibility and use.	人間による真正性確認は有用であり、すでにAIのバリューチェーンの一部となっている。一般的に、データセットのクリーニングやラベル付け、あるいはメタデータへの認証情報の挿入は、人間の監視を必要とする高度に手作業的なプロセスである。データマッピングとガバナンスの文脈における自動化はより強固になりつつあるが、データセットのラベリング、アウトプットの評価、モデルの検証、人間のフィードバックを伴う強化学習（RLHF）の実行はすべて、依然として人間のスキルと関与を必要とする非常に手作業的なプロセスである。AI開発における多様な人間の視点を含む人間の介入は、バイアスや実世界での危害などの問題を防止し、製品のアクセシビリティと利用を改善するために、広く受け入れられているメカニズムである。
Key Uses and Best Practices	主な用途とベストプラクティス
1. Involves diverse groups of people in the authentication process. A variety of people from a range of backgrounds and subject matter areas will improve the quality of human authentication processes. Some people will spot things others will not.	1. 真正性確認プロセスに多様なグループを関与させる。さまざまな経歴や専門分野の多様な人々が参加することで、真正性確認プロセスの品質が 向上する。ある人は、他の人が気づかないことを発見する。
2. “Selective intervention,”bywhichhuman authentication is used only in essential parts of the AI authentication process, to ensure that human intervention is targeted and focused so as to maximize human resources.	2. 「選択的介入」（Selective intervention）とは、AI真正性確認プロセスの重要な部分のみに真正性確認を使用することで、人的資源を最大限に活用できるよう、人的介入に的を絞り、集中させることである。
Limitations and Trade-offs	限界とトレードオフ
• Human authentication and review is an inherently manual process. Human intervention may slow or delay authentication of AI-generated content. Despite this dynamic, human intervention is generally regarded as one of the most effective ways to minimize the unintended risks related to AI.	・真正性確認と審査は、本質的に手動プロセスである。人間の介入は、AI生成コンテンツの認証を遅らせたり、遅延させたりする可能性がある。このダイナミックさにもかかわらず、人間の介入は一般に、AI に関連する予期せぬリスクを最小化する最も効果的な方法の 1 つと見なされている。
• Human authentication may not be reliable in instances where AI is purposely leveraged to deceive humans.	・人間を欺くために AI が意図的に活用された場合、真正性確認は信頼できないかもしれない。
• Humans possess inherent and implicit bias which will impact any kind of human-involved process. Human intervention will not fix the presence of inherent or implicit biases and will certainly not be consistent across an organization.	・人間には固有の暗黙のバイアスがあり、それが人間が関与するあらゆる種類のプロセスに影響を与える。人間が介入しても、固有のバイアスや暗黙のバイアスの存在を修正することはできないし、組織全体で一貫性が保たれるわけでもない。
Other Techniques of Note	その他の注目すべき技術
Many techniques are emerging to authenticate AI-generated content, but not all have reached a level of robustness or attention comparable to the techniques discussed above. The techniques below have been proposed to help authenticate AI-generated content, but further research and interrogation is needed to determine their effectiveness.	AI生成コンテンツを認証するための技術は数多く登場しているが、そのすべてが上述の技 術に匹敵する堅牢性や注目度に達しているわけではない。以下に挙げる技法は、AI生成コンテンツの認証に役立つものとして提案されているが、その有効性を判断するためには、さらなる研究と検証が必要である。
1. Distributed Ledger Tech/Blockchain Technology: Provides tamper-resistant data storage and verification, making it difficult to alter data once it’s recorded on the blockchain. As this technique leverages blockchain technology, it requires individuals to fully comprehend it and have access to the technology, making it a less effective tool. In addition to this barrier to entry, the same sort of metadata tracking can be done via technological mediums that don’t require blockchain. Lastly, this technique also does not protect against bias in the data, and due to the anonymous nature of blockchain technology, the identity of who alters the ledger could be difficult to track.34	1. 分散型台帳技術／ブロックチェーン技術： 耐改ざん性のあるデータ保存と検証をプロバイダが提供し、一度ブロックチェーンに記録されたデータを改ざんすることを困難にする。この技術はブロックチェーン技術を活用するため、個人がその技術を十分に理解し、アクセスする必要があり、効果的なツールとは言い難い。この参入障壁に加え、同じようなメタデータの追跡は、ブロックチェーンを必要としない技術媒体でも可能だ。最後に、この技術もデータのバイアスを防ぐことはできず、ブロックチェーン技術の匿名性により、台帳を改ざんした人物の身元を追跡することは難しい可能性がある34。
2. Statistical detection: A method of identifying statistical anomalies in the distribution of pixels, speech frequencies, etc. that correlate to artificially generated content. Statistical detection is difficult to implement because it requires a baseline of “normal” frequencies which is arbitrary in nature. Statistical detection carries a higher rate of false negatives (of AI-generated content), making it less ideal as a method of use for authentication purposes.35	2. 統計検知： 人為的に生成されたコンテンツに関連する、ピクセルや音声の周波数などの分布における統計的な異常を特定する方法。統計的検知は、本来恣意的である「正常な」周波数の基準値を必要とするため、実装が困難である。統計的検知は、（AI生成コンテンツの）偽陰性の割合が高く、認証目的での使用方法としては理想的ではない。
3. Behavioral analysis: A technique that looks for natural patterns of imperfection, rhythm, cadence, or other typical behaviors in language or image generation to differentiate human output from AI output. Though it is similar to human authentication and can certainly be used as a type of human authentication, it is narrower in scope. Automating a behavioral analysis process would require enough — i.e., massive volumes — of training data for an AI tool to decide if the image or language content was artificially created. The technology has not yet matured enough to make these determinations independently.	3. 行動分析： 行動分析：言語や画像の生成において、不完全さ、リズム、拍子、その他の典型的な行動の自然なパターンを探し、人間の出力とAIの出力を区別する手法。真正性確認に似ており、一種の人間認証として利用できることは確かだが、その範囲は狭い。行動分析プロセスを自動化するには、AIツールが画像や言語コンテンツが人為的に作成されたものかどうかを判断するのに十分な、つまり膨大な量の学習データが必要になる。このような判断を独自に行えるほど、技術はまだ成熟していない。
4. Turing testing: A method to challenge AI-generated content or verification agents with CAPTCHA-style tests or open-ended questions a human would easily answer but an AI may struggle to solve. Turing testing is said to be a thing of the past be- cause many AI algorithms can be trained to pass these confined or narrow tests.36	4. チューリングテスト： AI生成コンテンツや検証エージェントに、CAPTCHA形式のテストや、人間なら簡単に答えられるがAIには難しいオープンエンドの質問を課す方法。チューリング・テストは過去のものになったと言われているが、その理由は、多くのAIアルゴリズムが、こうした限定されたテストや狭いテストに合格するように訓練できるからである36。
5. Leveraging AI to detect AI-generated content: At the same time that generative AI can contribute to misinformation, AI can also help to com- bat misinformation. Indeed, AI tools can help to assess the trustworthiness of digital con- tent. Companies are in the process of building software and programs that analyze things like form and content.37 However, more research and development is needed to hone these tools and improve their accuracy in detecting deepfake and other AI-generated images.	5. AIを活用したAI生成コンテンツ検知： 生成的AIが誤情報を助長する可能性があると同時に、AIは誤情報の防止にも役立つ。実際、AIツールはデジタル・コンテンツの信頼性を評価するのに役立つ。しかし、こうしたツールに磨きをかけ、ディープフェイクやその他のAIが生成した画像を検知する精度を改善するには、さらなる研究開発が必要である。
Policy / Best Practice Recommendations	政策／ベストプラクティスの提言
Authenticating AI content is a newly emerging field — ripe for innovation and the development and adoption of best practices. In line with our 2021 Global AI Policy Recommendations38 and Policy Guide for Understanding Foundation Models & the AI Value Chain published earlier this year,39 ITI recommends that as governments consider AI regulation, they first scope and understand specific harms, keeping the impact on innovation top of mind. As policymakers contemplate the development of regulation and guidelines regarding AI-generated content and authentication, we offer the following considerations:	AI生成コンテンツの真正性確認は、イノベーションとベスト・プラクティスの開発・採用の機が 熟した新興分野である。ITIは、政府がAI規制を検討する際には、イノベーションへの影響を念頭に置きながら、まず具体的な危害の範囲を特定し理解することを推奨する。政策立案者がAI生成コンテンツや真正性確認に関する規制やガイドラインの策定を検討するにあたり、以下の点を考慮することを提案する：
1. Enable and allow innovation in AI authentication to grow and thrive.	1. AI真正性確認のイノベーションを可能にし、成長させる。
Policymakers should be careful not to be overly prescriptive in establishing regulation in this area because state-of-the-art technology for verification and authentication of AI content is still being developed and studied, and some authentication systems are only beginning to be deployed at scale. While AI authentication techniques offer promising solutions to verify and assure content, more research and investment are needed in this area before a definitive recommendation can be made as to the type of authentication that should take place. It may be the case that multiple types of authentication are appropriate for a given output. For example, the C2PA Coalition supports both watermarking and content credentials to include content provenance to engender public trust in digital content in the age of ubiquitous AI. Any approach to oversight or control in this domain has the potential to become quickly outdated, especially as authentication techniques will continue to evolve alongside the technology itself.	政策立案者は、AIコンテンツの検証・認証のための最先端技術はまだ開発・研究中であり、認証システムの中には大規模な展開が始まったばかりのものもあるため、この分野の規制を確立する際に過度に杓子定規にならないよう注意すべきである。AI 認証技術は、コンテンツを検証し保証するための有望な解決策を提供するものではあるが、 どのような認証が行われるべきかについて明確な勧告を行う前に、この分野でのさらなる 研究と投資が必要である。ある出力には、複数の種類の認証が適切である場合もある。たとえば、C2PA 連合は、ユビキタス AI 時代にデジタル・コンテンツに対する社会的信用を高めるために、電子透かしと、コン テンツの出所を含むコンテンツ認証の両方を支持している。この領域における監督や管理に対するいかなるアプローチも、特に認証技 術が技術そのものとともに進化し続けるため、すぐに時代遅れになる可能性がある。
2. Promote consumer transparency and awareness around AI-generated content.	2. AI生成コンテンツに関する消費者の透明性と認識を促進する。
While industry is in the process of developing solutions for AI authentication, no one technical fix will be a silver bullet. Consistent with our AI Transparency Policy Principles,40 we believe that consumers should understand when a piece of content is AI-generated, and also be familiar with the tools provided to them to do so. More broadly, users should be informed of the capabilities of the AI system, including what it can and cannot do. Governments should likewise support guidance and programs to consumers to spread consumer literacy and boost the public’s ability to determine when content is AI-generated.	産業界はAI真正性確認のソリューションを開発中であるが、どの技術的解決策も特効薬にはならない。我々の「AI透明性政策原則」40 に沿って、消費者はコンテンツがAI生成的であることを理解すべきであり、そのために提供されるツールについても熟知すべきであると考える。より広く言えば、ユーザーはAIシステムに何ができて何ができないかを含め、AIシステムの能力について知らされているべきである。政府は同様に、消費者リテラシーを普及させ、コンテンツがAIによって生成されたものであるかどうかを判断する能力を高めるために、消費者に対するガイダンスやプログラムを支援すべきである。
3. Leverage public-private partnerships to understand both the opportunities and limitations of various authentication techniques.	3. 官民パートナーシップを活用して、さまざまな真正性確認技術の機会と限界の両方を理解する。
Public-private partnership and collaboration remains important to ensure that policymakers better understand the state-of-play of AI authentication tooling. Demonstrating the progress and limitations of various authentication methods will help inform policymakers as they consider relevant policy tools and interventions in this area, and boost trust in and collaboration among the public and private sectors.	政策立案者が AI 真正性確認ツールの現状をよりよく理解できるようにするためには、官民パートナ ーシップと協力が引き続き重要である。さまざまな真正性確認手法の進展と限界を示すことは、政策立案者がこの分野に関連する政策ツールや介入策を検討する際の情報提供に役立ち、官民の信頼と協力を高める。
4. Recognize that AI authentication is a shared responsibility.	4. AI 真正性確認は共有責任であることを認識する。
Collaboration across industry and with other stakeholders like government bodies and academic researchers will be key to success in this area. Government-backed studies and stakeholder engagement via multistakeholder processes or working groups in collaboration with affected communities and the technical ecosystem is a helpful approach to advancing these techniques.	この分野での成功の鍵は、産業界全体、および政府団体や学術研究者など他のステークホル ダーとのガバナンスにある。政府が支援する研究や、影響を受けるコミュニティや技術エコシステムと連携したマルチス テークホルダープロセスやワーキンググループを通じた利害関係者の参画は、これらの技 術の進歩に役立つアプローチである。
5. Foster interoperability and collaboration across AI authentication techniques.	5. AI真正性確認技術の相互運用性と連携を促進する。
One technique alone will not be enough to ensure that a piece of content has or has not been created by AI. Policymakers should ensure any regulatory approach takes into account the variety of techniques needed for effective content authentication. Similar to the zero-trust model in cybersecurity, there should be a mixed-method approach to AI authentication utilizing the techniques discussed above.	あるコンテンツがAIによって作成されたものであるか否かを確認するには、1つの技法だけでは不十分である。政策立案者は、効果的な真正性確認に必要な多様な技術を考慮した規制アプローチを確保すべきである。サイバーセキュリティにおけるゼロ・トラスト・モデルと同様に、AI真正性確認には、上述した技法を活用した混合手法のアプローチが必要である。
6. Incent and augment humans in the loop.	6. 人間をループに組み込み、増強する。
Human authentication is essential to minimizing the potential negative impacts of AI tools and content, particularly when it comes to unintended risks. Policy and research should explore how human authentica- tion can be augmented at the data, model, and output levels as described (including with the help of AI).	真正性確認は、特に意図しないリスクに関して、AIツールやコンテンツの潜在的な悪影響を最小限に抑えるために不可欠である。政策と研究は、（AIの助けを借りることも含め）データ、モデル、出力の各レベルで、人間の真正性確認をどのように強化できるかを探るべきである。
7. Invest in the development of clear, voluntary industry consensus standards for AI Authentication.	7. AI 真正性確認に関する明確な自主的業界コンセンサス標準の策定に投資する。
While industry is working on the development of standards and regimes to watermark and apply provenance to and authenticate AI content, involvement from voluntary technical standards organizations, like the International Standards Organization (ISO) and experts from bodies like NIST to help develop and test best practices will help promote consistency, interoperability, and collaboration across techniques.	産業界は、AI コンテンツに電子透かしを施し、実証を適用し、真正性確認を行うための標準や体制の開発に取り組んでいるが、国際標準化機構（ISO）のような自主的な技術標準化団体や、NIST のような団体の専門家が関与し、ベストプラクティスの開発とテストを支援することは、技術間の一貫性、相互運用性、協力の促進に役立つ。
Glossary	用語解説
Authentication: “An act, process, or method of showing something to be real, true, or genuine”41 and in the case of AI, data, models, and outputs, the act of verifying or confirming the authenticity of content generated by AI models.	真正性確認： 「AI、データ、モデル、アウトプットの場合、AIモデルによって生成されたコンテンツの真正性を検証または確認する行為。
Computer Vision: A field of computer science that enables computers to identify and understand various objects and features in images and videos.	コンピュータ・ビジョン： コンピュータ・サイエンスの一分野で、コンピュータが画像や映像の様々な対象や特徴を識別・理解することを可能にする。
Content File: A digital file or set of files accompanying a piece of content or media which includes the content itself, metadata, and any other relevant content.	コンテンツ・ファイル（Content File）：コンテンツやメディアに付随するデジタル・ファイルまたはファイル・セットで、コンテンツ自体、メタデータ、その他の関連コンテンツを含む。
Content Provenance: The chronology of ownership, custody, or location of a piece of content.	コンテンツ出所（Content Provenance）：コンテンツの証明： コンテンツの所有者、保管者、所在地の年表。
Data Poisoning: Method used to manipulate or distort datasets and AI models by inserting corrupted information or data into the model training process. If performed maliciously, objectives of data poisoning are primarily to trick models to bias their outputs.	データ・ポイズニング（Data Poisoning）：データへの毒物混入： モデルの学習プロセスに破損した情報やデータを挿入することで、データセットやAIモデルを操作したり歪めたりするために使用される手法。悪意を持って行われる場合、データ・ポイズニングの目的は主にモデルを騙してその出力にバイアスをかけることである。
Deepfakes: The result of distorting or manipulating AI models or data to generate convincing image, audio, or video content that appears real but is in fact misrepresentative or false.	ディープフェイク： AIモデルやデータを歪めたり操作したりすることで、一見本物のように見えるが、実際には虚偽である説得力のある画像、音声、動画コンテンツを生成すること。
Disinformation: False information that is spread with the intent to mislead individuals into believing it is true.	偽情報： 個人を真実だと誤解させる目的で流される偽情報。
Generative AI: A type of artificial intelligence that can create or produce different types of content, including text, imagery, audio, and synthetic data based on patterns and predictions in the data.	生成的AI：データのパターンや予測に基づいて、テキスト、画像、音声、合成データなど、さまざまなタイプのコンテンツを作成または生成できる人工知能の一種。
Hallucination: When an AI model generates false or misleading information but presents it as if it were a fact and/or truthful.	幻覚： AIモデルが虚偽または誤解を招くような情報を生成するにもかかわらず、あたかもそれが事実であり真実であるかのように提示すること。
Hash or Hash Value: A numeric or alphanumeric value or sequence of a fixed length that uniquely identifies data.	ハッシュまたはハッシュ値： データを一意に識別するための固定長の数値または英数字の値またはシーケンス。
Human-in-the-loop: The dynamic that describes the utilization or involvement of humans at any stage of the AI development or authentication process.	ヒューマン・イン・ザ・ループ（Human-in-the-loop）： AIの開発または真正性確認プロセスのどの段階においても、人間が利用または関与することを表す動的なもの。
Labeling: A process used across a number of AI authentication techniques which involves sharing relevant context along with a piece of content or information, often in the form of a sticker, explanation, or tag embedded alongside the content.	ラベリング： 多くのAI真正性確認技術で使用されるプロセスで、コンテンツや情報の一部と関連するコンテキストを共有することを含み、多くの場合、ステッカー、説明、タグの形でコンテンツと一緒に埋め込まれる。
Large Language Model (LLM): LLMs are a type of foundation model that can generate text after being trained on massive amounts of unlabeled, textual data.	大規模言語モデル（LLM）： LLMは基礎モデルの一種であり、ラベル付けされていない大量のテキストデータに対して学習させた後、テキストを生成することができる。
Misinformation: False information that is spread without the intent to mislead individuals into believing it is true.	誤情報： 個人を真実だと誤解させる意図なしに流布される誤った情報。
Multimodal content: Content that uses different mediums, i.e., a combination of text, audio, and video.	マルチモーダルコンテンツ： テキスト、音声、動画の組み合わせなど、異なる媒体を使用するコンテンツ。
Natural Language Processing: An interdisciplinary subfield of artificial intelligence and linguistics that provides computers the ability to comprehend text and speech.	自然言語処理： 人工知能と言語学の学際的なサブフィールドで、テキストや音声を理解する能力をコンピュータに提供する。
Noise: Unnecessary, excessive, or meaningless information in a piece of data or dataset, which necessitates greater amounts of storage and parsing, sometimes convoluting a dataset.	雑音： データやデータセットに含まれる不要な情報、過剰な情報、無意味な情報のことで、より大量の保存や解析が必要となり、時にはデータセットを複雑にしてしまう。
Reinforcement Learning with Human Feedback (RLHF): Process in machine learning training that involves “rewarding” a model when it performs well or as desired to optimize the model. RLHF can be highly contextual depending on the organization and model.	人間のフィードバックによる強化学習（RLHF）： 機械学習の学習プロセスで、モデルがうまく機能したとき、またはモデルを最適化するために必要な「報酬」を与えることを含む。RLHFは、組織やモデルによって、非常に文脈的である。
Parameter: A variable in an AI model, the impact of which can be adjusted during training to influence how new input data is transformed or analyzed into output.	パラメータ： AIモデルの変数で、新しい入力データがどのように変換され、どのように分析されて出力されるかに影響を与えるため、トレーニング中にその影響を調整することができる。
Provenance: The chronology of ownership, changes / manipulation, and location of an object or thing.	出所： ある物や事物の所有権、変更・操作、所在の年表。
Sidecar File: Files that accompany a content or source file which store metadata that is not supported by the format of a content or source file.	サイドカーファイル（Sidecar File）：コンテンツファイルやソースファイルに付随するファイルで、コンテンツファイルやソースファイルのフォーマットではサポートされていないメタデータを格納する。
Watermark: A technique used to embed or attach a signal or information in a piece of content to identify its validity or source.	電子透かし： コンテンツの有効性や出典を識別するために、コンテンツに信号や情報を埋め込んだり添付したりする技術。

リファレンス先の内容も大変参考になるので...

References 

1 Smith,J.(2023,February1). ChatGPT sets record as fastest-growing user base: Analyst note. Reuters. https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/

2 NVIDIA.(n.d.).Generative AI. NVIDIA. Retrieved 13 December 2023, from https://www.nvidia.com/en-us/glossary/data-science/generative-ai/

3 For example, AI-generated content can be used to create alternative text (alttext) to label any non-text content. See: https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/use-case-alt-text

4 National Institute of Standards and Technology. (n.d.). Authentication. NIST Computer Security Resource Center. Retrieved 13 December 2023, from https://csrc.nist.gov/glossary/term/authentication

5 See page5 of our report on Understanding Foundation Models & The AI Value Chain: https://www.itic.org/documents/artificial-intelligence/ITI_AIPolicyPrinciples_080323.pdf

6 Mis-anddis-information is referred to as false information that could be consequential or inconsequential.

7 Misinformation Integrity Institute Report. The New York Times. (2022, October 13) https://www.nytimes.com/2022/10/13/technology/misinformation-integrity-institute-report.html

8 UNHCR Fact Sheet on types of misinformation and disinformation: https://www.unhcr.org/innovation/wp-content/uploads/2022/02/Factsheet-4.pdf

9 Techopedia.(n.d.).AI Hallucination.Techopedia. Retrieved 30 November 2023, from https://www.techopedia.com/definition/ ai-hallucination#:~:text=An%20AI%20hallucination%20is%20where,outputs%20from%20large%20language%20models

10 Swenson, Ali. (2023, August). FEC Warns of Potential for AI-Generated 'Deepfakes' in Election 2024. AP News. https://apnews.com/article/fec- artificial-intelligence-deepfakes-election-2024-95399e640bd1e41182f6c631717cc826

11 National Institutes of Health (NIH). (2023, December). Beware of Virtual Kidnapping Ransom Scam. Retrieved from https://ors.od.nih.gov/News/ Pages/Beware-of-Virtual-Kidnapping-Ransom-Scam.aspx; Dudha, A. (2023, June 18). Scammers can easily use voice-cloning AI to con family members: expert. CBC News. Retrieved from https://www.cbc.ca/news/canada/saskatoon/fraudsters-likely-using-ai-to-scam-seniors-1.6879807

12 Qadri, R., Shelby, R., Bennett, C. L., & Denton, E. (2023, June 12). AI's regimes of representation: A community-centered study of text-to- image models in South Asia. Proceedings of the ACM Conference on Human Factors in Computing Systems, 1–16. [https://dl.acm.org/doi/abs/10.1145/3593013.3594016].

13 See S. 2559 - Deepfake Task Force Act, definition of digital content provenance.

14 International Organization for Standardization. (n.d.). Artificial Intelligence: AI/TS 37382 – Requirements for trustworthy AI. ISO. https://www.iso.org/standard/37382.html

15 Joint Photographic Experts Group (JPEG). (n.d.). JPEG Fake Media. Retrieved from https://jpeg.org/jpegfakemedia/

16 Joint Photographic Experts Group (JPEG). (2022, December 11). JPEG initiates specification on fake media based on responses to its call for proposals. Retrieved from https://jpeg.org/items/20221211_press.html

17 Joint Development Foundation. (n.d.). Coalition for Content Provenance and Authenticity. Retrieved from https://c2pa.org/.

18 Ibid.

19 See C2PA technical specification here: https://c2pa.org/specifications/specifications/1.0/specs/C2PA_Specification.html.

20 Joint Development Foundation, Coalition for Content Provenance and Authenticity (C2PA). (n.d.). Introducing Official Content Credentials Icon. Retrieved from https://c2pa.org/post/contentcredentials/.

21 Getty Images. (2023, December 12). Getty Images launches innovative new watermark to combat image misuse. PR Newswire. https://www.prnewswire.com/news-releases/getty-images-launches-innovative-new-watermark-153637795.html.

22 See the Partnership on AI’s Synthetic Media Framework here: https://syntheticmedia.partnershiponai.org/

23 See more information about the Frontier Model Forum here: https://frontiermodelforum.org/

24 Google DeepMind. (2023, August 29). Identifying AI-generated images with SynthID. Retrieved from https://deepmind.google/discover/blog/identifying-ai-generated-images-with-synthid/.

25The New York Times. (2023, February 17). Can AI tell if text is real or fake? The race is on. Retrieved from https://www.nytimes.com/interactive/2023/02/17/business/ai-text-detection.html.

26 Meta AI. (2023, October 26). Stable Signature: A new method for watermarking images created by open source generative AI. Retrieved from https://ai.meta.com/blog/stable-signature-watermarking-generative-ai/.

27  V. Verma, Poonam and R. Chawla, "An enhanced Least Significant Bit steganography method using midpoint circle approach," 2014 International Conference on Communication and Signal Processing, Melmaruvathur, India, 2014, pp. 105-108, doi: 10.1109/ICCSP.2014.6949808.

28  Moxion. (n.d.). Forensic Watermarking. Retrieved from https://help.moxion.io/article/121-forensic-watermarking#:~:text=Forensic%20 watermarking%20is%20a%20security,the%20specific%20user%20viewing%20it: https://help.moxion.io/article/121-forensic-watermarking#:~:text=Forensic%20watermarking%20is%20a%20security,the%20specific%20user%20viewing%20it.

29  Wang, K., Liu, Y., & Zhang, X. (2022, February 16). On the effectiveness of dataset watermarking in adversarial settings. arXiv preprint arXiv:2202.12506.

30  Boenisch, F. (2021). A Systematic Review on Model Watermarking for Neural Networks. Frontiers in Big Data, 4:729663. https://doi.org/10.3389/fdata.2021.729663

31  Wiggers, K. (10 December 2022). OpenAI’s attempts to watermark AI text hit limits. TechCrunch. Retrieved from: https://techcrunch.com/2022/12/10/openais-attempts-to-watermark-ai-text-hit-limits/

32  Emmons, L. (20 December 2021). Invisible Watermarks: Are They Worth It? LightRocket. Retrieved from: https://www.lightrocket.com/blog/invisible-watermarks-are-they-worth-it

33  Nanjundan, P., & George, J. P. (2022). Text Watermark Analysis – Concept, Technique, and Applications. In J. Sen & J. Mayer (Eds.), Information Security and Privacy in the Digital World - Some Selected Topics. IntechOpen. DOI: 10.5772/intechopen.106914

34  Finance Strategists. (7 September 2023). Blockchain and AI. Finance Strategists. Retrieved from: https://www.financestrategists.com/wealth-management/blockchain/blockchain-and-ai/; also see Futureworks.news. (n.d.). Blockchain-Based Digital Identity: Benefits, Risks, and Implementation Challenges. Retrieved from https://future.works/blockchain-based-digital-identity-benefits-risks-and-implementation-challenges

35  PromptEngineering. (n.d.). The Truth About AI Detectors: More Harm Than Good? PromptEngineering. https://promptengineering.org/the-truth-about-ai-detectors-more-harm-than-good/

36  Beiever, C. (25 July 2023). ChatGPT broke the Turing test — the race is on for new ways to assess AI. Nature. Retrieved from: https://www.nature.com/articles/d41586-023-02361-7

37  European Commission. (2021 July 7). Can artificial intelligence help end fake news? Research and Innovation. Retrieved from https://ec.europa.eu/research-and-innovation/en/horizon-magazine/can-artificial-intelligence-help-end-fake-news

38  Information Technology Industry Council. (2021 March). ITI’s Global AI Policy Recommendations. Retrieved from: https://www.itic.org/documents/artificial-intelligence/ITI_GlobalAIPrinciples_032321_v3.pdf

39  Information Technology Industry Council. (2023 August). Understanding Foundation Models & the AI Value Chain: ITI’s Comprehensive Policy Guide. Retrieved from: https://www.itic.org/documents/artificial-intelligence/ITI_AIPolicyPrinciples_080323.pdf

40  Information Technology Industry Council. (2022 September). ITI Policy Principles for Enabling Transparency of AI Systems. Retrieved from: https:// www.itic.org/documents/artificial-intelligence/ITIsPolicyPrinciplesforEnablingTransparencyofAISystems2022.pdf

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2023.12.23 総務省 経済産業省 AI事業者ガイドライン案

・2023.12.22 自由民主党 AI の安全性確保と活用促進に関する緊急提言 (2023.12.14)

・2023.12.21 経済産業省 AI事業者ガイドライン検討会

・2022.01.29 経済産業省 AI原則実践のためのガバナンス・ガイドライン ver. 1.1

・2021.07.11 経済産業省 意見募集 AI原則実践のためのガバナンス・ガイドライン Ver1.0