AI/Deep Learning

2023.09.24

OECD 生成的人工知能のための初期政策検討

こんにちは、丸山満彦です。

OECDが、生成的人工知能のための政策検討についての報告書を公表していますね。。。

AIを擬人的にあつかうのであれば、法人のように管理者を決めて最終的に人に責任が及ぶようにすれば、管理は簡単になるようになるかもですね。。。

個人的に気になるのは、生成的AIによる偽情報による社会混乱でしょうね。。。偽情報による社会混乱は、「情報の生成」+「情報の拡散」、ということだろうと思いますが、「情報の拡散」はSNSで容易に可能となっているので、「情報の生成」が問題が、生成的AIで容易にできるようになると、社会問題となる可能性はありますね。

AIで生成したものにマークをつけるという方法もありますが、悪意のある人に対しの効果は低いかもですね。。。

 

OECD

・2023.09.18 Initial policy considerations for generative artificial Intelligence

・[PDF]

20230924-104747

 

Initial policy considerations for generative artificial Intelligence 生成的人工知能のための初期政策検討
Generative artificial intelligence (AI) creates new content in response to prompts, offering transformative potential across multiple sectors such as education, entertainment, healthcare and scientific research. However, these technologies also pose critical societal and policy challenges that policy makers must confront: potential shifts in labour markets, copyright uncertainties, and risk associated with the perpetuation of societal biases and the potential for misuse in the creation of disinformation and manipulated content. Consequences could extend to the spreading of mis- and disinformation, perpetuation of discrimination, distortion of public discourse and markets, and the incitement of violence. Governments recognise the transformative impact of generative AI and are actively working to address these challenges. This paper aims to inform these policy considerations and support decision makers in addressing them.  生成的人工知能(AI)は、プロンプトに応答して新しいコンテンツを作成し、教育、エンターテインメント、ヘルスケア、科学研究など、さまざまな分野に変革の可能性を提供する。労働市場における潜在的なシフト、著作権の不確実性、社会的偏見の永続化に伴うリスク、偽情報や操作されたコンテンツの作成における悪用の可能性などである。その結果、誤った情報や偽情報の流布、差別の永続化、言論や市場の歪曲、暴力の扇動にまで及ぶ可能性がある。各国政府は、生成的AIの変革的影響を認識し、これらの課題に積極的に取り組んでいる。本稿は、このような政策的考察に情報を提供し、意思決定者がこれらの課題に取り組むことを支援することを目的としている。 

 

目次...

Foreword 序文
Executive summary 要旨
1 Introduction to generative AI 1 生成的AI入門
Generative AI is centre stage in public, academic and political discourse 生成的AIが公的、学術的、政治的言説の中心に
2 Select policy issues raised by generative AI 2 生成的AIが提起する政策課題を選ぶ
Generative AI is being adopted rapidly in key industry sectors 主要産業分野で急速に導入が進む生成的AI
Generative AI considerably amplifies mis- and disinformation’s scale and scope 生成的AIが誤情報・偽情報の規模と範囲を大幅に増幅させる
Bias and discrimination 偏見と差別
Intellectual Property Rights (IPR) issues, including copyright 著作権を含む知的財産権(IPR)問題
Generative AI could impact labour markets on a different scale and scope 生成的AIは労働市場に異なる規模と範囲で影響を与える可能性がある
3 Potential futures for generative AI 3 生成的AIの未来の可能性
Development trajectories of large-language and image-generating models 大規模言語モデルと画像生成モデルの発展軌跡
Generative AI markets are projected to continue growing rapidly in key areas 生成的AI市場は主要分野で急成長を続けると予測される
Potential future concerns and risks 将来起こりうる懸念とリスク
Risk mitigation measures リスク軽減策
4 Conclusion 4 まとめ
References 参考文献
Notes 備考

 

エグゼクティブサマリー...

Executive summary  要旨 
Generative AI systems create novel content and can bring value as autonomous agents  生成的AIシステムは斬新なコンテンツを創造し、自律的なエージェントとして価値をもたらすことができる。 
Generative artificial intelligence (AI) systems create new content—including text, image, audio, and video—based on their training data and in response to prompts. The recent growth and media coverage of generative AI systems, notably in the areas of text and image generation, has spotlighted AI’s capabilities, leading to significant public, academic, and political discussion.  生成的人工知能(AI)システムは、学習データに基づいて、またプロンプトに応答して、テキスト、画像、音声、動画を含む新しいコンテンツを作成する。最近、特にテキストや画像の生成の分野で、生成的AIシステムが成長し、メディアで取り上げられるようになったことで、AIの能力が注目され、社会、学術、政治的に重要な議論につながっている。 
In addition to generating synthetic content, generative AI systems are increasingly used as autonomous agents with new functionality enabling them to operate on real-time information and assist users in new ways, such as by making bookings autonomously. Investment banks, consulting firms, and researchers project that generative AI will create significant economic value, with some estimating as much as USD 4.4 trillion per year.  合成コンテンツの生成に加え、生成的AIシステムは、リアルタイムの情報に基づいて動作し、自律的に予約を行うなど、新たな方法でユーザーを支援することを可能にする新機能を備えた自律エージェントとして、ますます利用されるようになっている。投資銀行、コンサルティング会社、研究者は、生成的AIが大きな経済価値を生み出すと予測しており、年間4兆4,000億米ドルに達するとの試算もある。 
Generative AI could revolutionise industries and society but carries major risks   生成的AIは産業と社会に革命をもたらす可能性があるが、大きなリスクを伴う  
Generative AI is already used to create individualised content at scale, automate tasks, and improve productivity. Generative AI is yielding benefits in key sectors such as software development, creative industries and arts (e.g., artistic expression through music or image generation), education (e.g., personalised exam preparation), healthcare (e.g., information on tailored preventative care), and internet search.    生成的AIはすでに、個別にカスタマイズされたコンテンツを大規模に作成し、タスクを自動化し、生産性を向上させるために利用されている。生成的AIは、ソフトウェア開発、クリエイティブ産業や芸術(例:音楽や画像生成による芸術表現)、教育(例:パーソナライズされた試験対策)、ヘルスケア(例:オーダーメイドの予防医療に関する情報)、インターネット検索などの主要分野で利益をもたらしている。   
However, alongside the benefits, there are significant policy implications and risks to consider, including in the areas of mis- and disinformation, bias, intellectual property rights, and labour markets.   しかし、誤情報や偽情報、偏見、知的財産権、労働市場などの分野では、メリットとともに、考慮すべき重大な政策的意味合いとリスクがある。  
Major mis- and disinformation risks from synthetic content call for novel policy solutions   合成コンテンツによる重大な誤情報・偽情報リスクは、斬新な政策的解決策を求める  
Humans are less and less capable of differentiating AI from human-generated content, amplifying risks of mis- and disinformation. This can cause material harm at individual and societal levels, particularly on science-related issues, such as vaccine effectiveness and climate change, and in polarised political contexts. Mitigation measures include increasing model size, developing models that provide evidence and reference source material, watermarking, “red-teaming,” whereby teams adopt an attacker mindset to probe the model for flaws and vulnerabilities, and developing AI systems that help detect synthetic content. However, these measures have limitations and are widely expected to be insufficient, calling for innovative approaches that can address the scale of the issue.  人間は、AIと人間が生成したコンテンツを区別する能力がますます低下しており、誤情報や偽情報のリスクを増幅させている。これは、特にワクチンの有効性や気候変動といった科学に関連する問題や、極論化した政治的文脈において、個人や社会レベルで重大な損害を引き起こす可能性がある。緩和策としては、モデルのサイズを大きくすること、証拠や参照元となる資料を提供するモデルを開発すること、電子透かしを入れること、チームが攻撃者の考え方を採用してモデルに欠陥や脆弱性がないか探る「レッド・チーミング」、合成コンテンツの検出を支援するAIシステムを開発することなどが挙げられる。しかし、これらの対策には限界があり、不十分であることが広く予想されるため、問題の規模に対応できる革新的なアプローチが求められている。 
Generative AI, like other types of AI, can echo and perpetuate biases contained in training data   生成的AIは、他のタイプのAIと同様に、学習データに含まれるバイアスを反響させ、永続させる可能性がある。  
Generative AI can echo, automate, and perpetuate social prejudices, stereotypes and discrimination by replicating biases contained in training data. This can exacerbate the marginalisation or exclusion of specific groups. Mitigation approaches include enhanced inclusivity in and curation of training data, explainability research, auditing, model fine-tuning through human feedback, and “red teaming”.  生成的AIは、学習データに含まれる偏見を複製することで、社会的偏見、ステレオタイプ、差別を反響させ、自動化し、永続させる可能性がある。これは、特定のグループの疎外や排除を悪化させる可能性がある。緩和策としては、学習データの包括性の強化やキュレーション、説明可能性調査、監査、人間からのフィードバックによるモデルの微調整、「レッド・チーミング」などがある。 
Legal systems are grappling with generative AI’s implications for intellectual property rights  法制度は生成的AIが知的財産権に与える影響に取り組んでいる 
In particular, generative AI models are trained on massive amounts of data that includes copyrighted data, mostly without the authorisation of rights-owners. Another ongoing debate is whether artificially generated outputs can themselves be copyrighted or patented and if so, to whom.   特に、AI生成モデルは、著作権で保護されたデータを含む膨大な量のデータで学習されるが、そのほとんどは権利所有者の許可を得ていない。また、人工的に生成された出力自体が著作権や特許を取得できるかどうか、できるとすれば誰に対してか、といった議論も続いている。  
Progress in generative AI may increase job task exposure in high-skilled occupations   生成的AIの進歩により、高技能職種の職務への曝露が増加する可能性  
Generative AI’s availability to the public has heightened focus on its potential impact on labour markets. Measures of language model performance on standardised tests, such as the bar exam for qualifying attorneys in the United States, surprised many with its strong results relative to human test-takers, suggesting possible increased job task exposure in high-skilled occupations, though lower-skilled occupations have for now been the most exposed to automation. The OECD Employment Outlook notes that AI can benefit jobs by creating demand for new tasks and complementary skills, resulting in new jobs for which human labour has a comparative advantage. Recent research shows that generative AI can improve the performance of less skilled workers.  生成的AIが一般に利用可能になったことで、労働市場への潜在的な影響に注目が集まっている。米国の弁護士資格のための司法試験のような標準化されたテストにおける言語モデルのパフォーマンスの測定は、人間の受験者に比べて強い結果で多くの人を驚かせ、高技能職業における仕事タスクの露出が増加する可能性を示唆している。OECDの雇用見通しでは、AIは新たなタスクと補完的スキルに対する需要を創出することで雇用に利益をもたらし、その結果、人間の労働力が比較優位を持つ新たな仕事を生み出すことができると指摘している。最近の研究によれば、生成的AIは熟練度の低い労働者のパフォーマンスを向上させることができる。 
Security, surveillance, over-reliance, academic dishonesty and concentration are also risks  セキュリティー、監視、過度の信頼、不正行為、集中力もリスクとなる 
In addition to present-day considerations of generative AI, a longer-term view helps envision the technology’s future trajectories. Generative AI and the synthetic content it produces with varying quality and accuracy can exacerbate challenges. This content proliferates in digital spaces where it is used to train generative AI models, resulting in and a vicious negative cycle in the quality of online information. It also raises concerns about automated and personalised cyber-attacks, surveillance and censorship, overreliance on generative systems despite their flaws, academic dishonesty, and concentrations of power and resources.   生成的AIの現在の考察に加え、より長期的な視点は、この技術の将来の軌跡を描くのに役立つ。生成的AIと、それが生成するさまざまな品質と精度の合成コンテンツは、課題を悪化させる可能性がある。このようなコンテンツは、生成的AIモデルの学習に使用されるデジタル空間で拡散し、結果としてオンライン情報の質に悪循環をもたらす。また、自動化されパーソナライズされたサイバー攻撃、監視と検閲、欠陥があるにもかかわらず生成システムに過度に依存すること、学術的不正、権力と資源の集中といった懸念も生じている。  
Agency, power-seeking, non-aligned sub-goals and other potential emergent behaviours require attention  主体性、権力追求、非同一的なサブゴール、その他の潜在的な出現行動には注意が必要である。 
Over the longer term, emergent behaviours, of which the existence is debated in the AI community, suggest additional risks. These behaviours include increased agency, power-seeking, and developing unknown sub-goals determined by machines to achieve core objectives programmed by a human but that might not be aligned with human values and intent. Some deem that if these risks are not addressed, they could lead to systemic harms and the collective disempowerment of humans.   長期的に見れば、AIコミュニティでその存在が議論されている創発的行動は、さらなるリスクを示唆している。これらの行動には、主体性の増大、権力追求、人間の価値観や意図とは一致しないかもしれないが、人間によってプログラムされた中核的な目標を達成するために機械が決定する未知の副目標の開発などが含まれる。これらのリスクに対処しなければ、体系的な損害や人間の集団的な権限剥奪につながりかねないという意見もある。  
The growing impact and capability of generative AI systems has led to reflection and debates among researchers and members of the OECD.AI Expert Group on AI Futures about whether these types of models could eventually lead to artificial general intelligence (AGI), the stage at which autonomous machines could have human-level capabilities in a wide variety of use cases. Due to its potential broad societal impacts, AGI’s potential benefits and risks deserve attention, as do the potentially imminent impacts of narrow generative AI systems that may be just as significant as AGI.   生成的AIシステムの影響力と能力の高まりは、研究者やOECDのAI専門家グループのメンバーの間で、この種のモデルが最終的に人工的な一般知能(AGI)につながるかどうか、つまり自律的な機械が様々なユースケースにおいて人間レベルの能力を持つ段階に至るかどうかについての考察や議論を引き起こしている。AGIは幅広い社会的影響をもたらす可能性があるため、AGIの潜在的な利益とリスクは注目に値する。また、AGIと同様に重要な意味を持つ可能性のある、狭い範囲の生成的AIシステムの差し迫った影響も注目に値する。  
The longer-term benefits and risks of generative AI could demand solutions on a larger, more systemic scale than the risk mitigation approaches already underway. These measures and others are the topic of ongoing OECD work, including work of the OECD.AI Expert Group on AI Futures.  生成的AIの長期的なメリットとリスクは、すでに進行中のリスク軽減アプローチよりも大規模で体系的な規模の解決策を要求する可能性がある。これらの対策やその他の対策は、AI未来に関するOECD.AI専門家グループの作業を含む、現在進行中のOECD作業のテーマである。 

 

 

| | Comments (0)

2023.09.20

米国 GAO 人工知能の活用と急成長がその可能性と危険性を浮き彫りにする

こんにちは、丸山満彦です。

米国GAOが「人工知能の活用と急成長はその可能性と危険性を浮き彫りにする」という、ブログの記事を上げていましたね。。。

 

U.S. GAOWatchBlog 

・2023.09.06 Artificial Intelligence’s Use and Rapid Growth Highlight Its Possibilities and Perils

 

Artificial Intelligence’s Use and Rapid Growth Highlight Its Possibilities and Perils 人工知能の活用と急成長がその可能性と危険性を浮き彫りにする
The rise of artificial intelligence has created growing excitement and much debate about its potential to revolutionize entire industries. At its best, AI could improve medical diagnosis, identify potential national security threats more quickly, and solve crimes. But there are also significant concerns—in areas including education, intellectual property, and privacy. 人工知能の台頭は、産業全体に革命をもたらす可能性について、大きな興奮と多くの議論を巻き起こしている。AIは最高の状態で、医療診断を改善し、潜在的な国家安全保障上の脅威をより迅速に特定し、犯罪を解決する可能性がある。しかし、教育、知的財産、プライバシーなどの分野では大きな懸念もある。
Today’s WatchBlog post looks at our recent work on how Generative AI systems (for example, ChatGPT and Bard) and other forms of AI have the potential to provide new capabilities, but require responsible oversight. 本日のWatchBlogでは、生成的AIシステム(例えば、ChatGPTやBard)や他の形態のAIが、どのように新しい能力を提供する可能性があるかについての我々の最近の研究を紹介する。
1_20230920131901
The promise and perils of current AI use 現在のAI利用がもたらす期待と危険
Our recent work has looked at three major areas of AI advancement. 我々の最近の研究では、AIの進歩の3つの主要分野を見てきた。
Generative AI systems can create text (apps like ChatGPT and Bard, for example), images, audio, video, and other content when prompted by a user. These growing capabilities could be used in a variety of fields such as education, government, law, and entertainment. As of early 2023, some emerging generative AI systems had reached more than 100 million users. Advanced chatbots, virtual assistants, and language translation tools are examples of generative AI systems in widespread use. As news headlines indicate, this technology continues to gain global attention for its benefits. But there are concerns too, such as how it could be used to replicate work from authors and artists, generate code for more effective cyberattacks, and even help produce new chemical warfare compounds, among other things. Our recent Spotlight on Generative AI takes a deeper look at how this technology works. 生成的AIシステムは、テキスト(例えばChatGPTやBardのようなアプリ)、画像、音声、動画、その他のコンテンツを、ユーザーに促されるままに作成することができる。こうした能力の向上は、教育、政府、法律、エンターテインメントなど、さまざまな分野で活用される可能性がある。2023年初頭の時点で、いくつかの新興の生成的AIシステムの利用者は1億人を超えている。高度なチャットボット、バーチャルアシスタント、言語翻訳ツールは、広く使われている生成的AIシステムの一例である。ニュースの見出しが示すように、この技術はその利点から世界的に注目を集め続けている。しかし、作家やアーティストの作品を複製したり、より効果的なサイバー攻撃のコードを生成したり、新たな化学兵器化合物の生産に役立てたりするために使用される可能性があるなど、懸念もある。我々の最近のスポットライト「生成的AI」では、この技術がどのように機能するかについて詳しく見ている。
Machine learning is a second application of AI growing in use. This technology is being used in fields that require advanced imagery analysis, from medical diagnostics to military intelligence. In a report last year, we looked at how machine learning was used to assist the medical diagnostic process. It can be used to identify hidden or complex patterns in data, detect diseases earlier and improve treatments. We found that benefits include more consistent analysis of medical data, and increased access to care, particularly for underserved populations.  However, our work looked at limitations and bias in data used to develop AI tools that can reduce their safety and effectiveness and contribute to inequalities for certain patient populations. 機械学習はAIの第二の応用として利用が拡大している。この技術は、医療診断から軍事情報まで、高度な画像分析を必要とする分野で利用されている。昨年のレポートでは、医療診断プロセスを支援するために機械学習がどのように使用されているかを調べた。機械学習は、データの隠れたパターンや複雑なパターンを特定し、病気の早期発見や治療法の改善に利用できる。我々は、医療データの分析がより一貫性を持ち、特に十分なサービスを受けていない人々のケアへのアクセスが増加するなどの利点があることを発見した。 しかし、我々の研究は、AIツールの安全性と有効性を低下させ、特定の患者集団の不平等を助長する可能性のある、AIツールの開発に使用されるデータの限界とバイアスについて調べた。
Facial recognition is another type of AI technology that has shown both promises and perils in its use. Law enforcement—federal, as well as state and local—have used facial recognition technology to support criminal investigations and video surveillance. It is also used at ports of entry to match travelers to their passports. While this technology can be used to identify potential criminals more quickly, or those who may not have been identified without it, our work has also found some concerns with its use. Despite improvements, inaccuracies and bias in some facial recognition systems could result in more frequent misidentification for certain demographics. There are also concerns about whether the technology violates individuals’ personal privacy. 顔認識もまた、AI技術の一種であり、その利用には期待と危険の両面がある。連邦、州、地方の法執行機関は、犯罪捜査やビデオ監視を支援するために顔認識技術を使用してきた。また、入国港で旅行者とパスポートを照合するためにも使われている。この技術は、潜在的な犯罪者や、この技術がなければ識別できなかったかもしれない人物を、より迅速に識別するために使用されることがあるが、我々の調査では、この技術の使用にはいくつかの懸念もあることがわかった。改善されたとはいえ、一部の顔認識システムには不正確さやバイアスがあり、その結果、特定の層で誤認が頻発する可能性がある。また、この技術が個人のプライバシーを侵害するのではないかという懸念もある。
1_20230920152001
Ensuring accountability and mitigating the risks of AI use 説明責任の確保とAI利用のリスク低減
As AI use continues its rapid expansion, how can we mitigate the risks and ensure these systems are working appropriately for all? AIの利用が急速に拡大する中、どのようにリスクを軽減し、これらのシステムがすべての人に適切に機能するようにすればよいのだろうか。
Appropriate oversight will be critical to ensuring AI technologies remain effective, and keep our data safeguarded. We developed an AI Accountability Framework to help Congress address the complexities, risks, and societal consequences of emerging AI technologies. Our framework lays out key practices to help ensure accountability and responsible AI use by federal agencies and other entities involved in the design, development, deployment, and continuous monitoring of AI systems. It is built around four principles—governance, data, performance, and monitoring—which provide structures and processes to manage, operate, and oversee the implementation of AI systems. AI技術が効果的であり続け、我々のデータが保護され続けるためには、適切な監視が不可欠である。我々は、議会が新たなAI技術の複雑性、リスク、社会的影響に対処するのを支援するため、AI説明責任フレームワークを開発した。我々のフレームワークは、AIシステムの設計、開発、配備、継続的モニタリングに関わる連邦政府機関やその他の事業体による説明責任と責任あるAI利用を確保するための主要な実践方法を示している。ガバナンス、データ、パフォーマンス、モニタリングという4つの原則を中心に構築されており、AIシステムの導入を管理、運用、監督するための仕組みとプロセスを提供する。
AI technologies have enormous potential for good, but much of their power comes from their ability to outperform human abilities and comprehension. From commercial products to strategic competition among world powers, AI is poised to have a dramatic influence on both daily life and global events. This makes accountability critical to its application, and the framework can be employed to ensure that humans run the system—not the other way around. AIテクノロジーは善のために莫大な可能性を秘めているが、そのパワーの多くは、人間の能力や理解力を凌駕する能力に由来する。商業製品から世界大国間の戦略的競争まで、AIは日常生活と世界的出来事の両方に劇的な影響を及ぼす態勢を整えている。そのため、AIの応用にはアカウンタビリティが不可欠であり、このフレームワークは、人間がシステムを動かすのではなく、その逆を確実にするために採用することができる。

 

 

 


 

 

 まるちゃんの情報セキュリティ気まぐれ日記

・2023.06.15 米国 GAO 科学技術スポットライト:生成的AI

・2022.04.30 米国 GAO ブログ 人工知能は国家安全保障をどう変えるか (2022.04.19)

・2022.07.10 米国 GAO 顔認識技術:連邦政府機関の利用と関連するプライバシー保護 (2022.06.29)

・2021.07.23 U.S. GAO 人工知能のための新しい枠組み at 2021.06.30

・2020.12.02 U.S. GAO 医療における人工知能:患者ケアを強化する技術の利点と課題

 

 

| | Comments (0)

ENISA 2030の脅威の展望 (2023.09.13)

こんにちは、丸山満彦です。

ENISAが、2030のサイバー脅威を展望する報告書の要約書を公表していますね。。。2023.03.29に公表された報告書の要約ですね。。。

 

⚫︎ ENISA

・2023.09.13 Foresight 2030 Threats

・[PDF]

20230920-41501

 

EXECUTIVE DIRECTOR FOREWORD エグゼクティブ・ディレクター まえがき
The cybersecurity threat landscape is a complex ecosystem of threats, threats actors and attack techniques that are also subject to the influence of world events such as pandemics and geopolitics. The best knowledge, and tools we have at hand today to reduce the impact of cyber threats might not fit tomorrow’s threat landscape. サイバーセキュリティの脅威の状況は、脅威、脅威行為者、攻撃手法の複雑なエコシステムであり、パンデミックや地政学などの世界的な出来事の影響も受ける。サイバー脅威の影響を軽減するために今日我々が手にしている最善の知識やツールは、明日の脅威の状況に適合しないかもしれない。
Can we foresee the full extent of the potential use or abuse of our current technological developments? 私たちは、現在の技術開発の潜在的な利用や悪用の全容を予見することができるのだろうか?
Even if we still cannot predict the future, we have the duty to anticipate emerging trends and patterns.  たとえ未来を予測できないとしても、私たちには新たなトレンドやパターンを予測する義務がある。
In 2021, ENISA developed a cybersecurity foresight methodological framework grounded in foresight research and future studies.  The framework was first used in 2022 to devise future scenarios and identify threats and challenges likely to emerge by 2030. This methodology was produced in cooperation with the wider cybersecurity community. 2021年、ENISAは先見研究と未来研究に基づくサイバーセキュリティの先見性の方法論的枠組みを開発した。 このフレームワークは2022年に初めて使用され、将来のシナリオを考案し、2030年までに出現しそうな脅威と課題を特定した。この方法論は、より広範なサイバーセキュリティ・コミュニティと協力して作成された。
This booklet summarises upcoming challenges and provides for an assessment of the risks. We are now ready to design the cyber secure future ahead of us.  この小冊子は、今後の課題を要約し、リスクのアセスメントを提供するものである。我々は今、サイバーセキュアな未来を設計する準備が整った。
Juhan Lepassaar Executive Director ユーハン・レパサール エグゼクティブ・ディレクター
Reference to the report page:   報告書のページを参照する:  
[web] [web]
1. SUPPLY CHAIN COMPROMISE OF SOFTWARE DEPENDENCIES 1. ソフトウェア依存のサプライチェーン侵害
WHAT IF… もしも...
State-sponsored actors insert a backdoor in a well-known and popular open-source library on online code repository. They use this to infiltrate information from most major European corporations and use the information to blackmail leaders, espionage, or otherwise initiate disruptions across the EU. 国家に支援されたアクターが、オンラインコードリポジトリ上の有名で人気のあるオープンソースライブラリにバックドアを挿入する。彼らはこれを利用して、欧州のほとんどの大企業の情報に侵入し、その情報を使ってリーダーを脅迫したり、スパイ活動を行ったり、あるいはEU全域に混乱を引き起こす。
More integrated components and services from third party suppliers and partners could lead to novel and unforeseen vulnerabilities with compromises on the supplier and customer side. サードパーティーのサプライヤーやパートナーから提供されるコンポーネントやサービスがさらに統合されれば、サプライヤー側と顧客側で危殆化し、斬新で予期せぬ脆弱性につながる可能性がある。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored groups, criminal organisations 国家支援グループ、犯罪組織
POTENTIAL METHODS  潜在的手法 
Sabotage, theft, network reconnaissance, malicious code, abuse of information leakage 妨害工作、窃盗、ネットワーク偵察、悪質コード、情報漏洩の悪用
POTENTIAL IMPACTS  潜在的影響 
Disruption, malfunction, data loss, data leakage 混乱、故障、データ損失、データ漏洩
2. ADVANCED DISINFORMATION CAMPAIGNS  2. 高度な偽情報キャンペーン 
WHAT IF… もし...
A state-sponsored actor may impersonate a political rival by using deepfakes and spoofing the candidate’s digital identity, significantly impacting election results. 国家に支援されたアクターが、ディープフェイクを使用し、候補者のデジタル・アイデンティティを詐称することで、政敵になりすまし、選挙結果に大きな影響を与える可能性がある。
Deepfake attacks can manipulate communities for (geo) political reasons and for monetary gain. ディープフェイク攻撃は、(地理的)政治的理由や金銭的利益のためにコミュニティを操作することができる。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored groups, criminal organisations, hackitvists 国家支援グループ、犯罪組織、ハクティビスト
POTENTIAL METHODS  潜在的手法 
Fraud, unauthorised access, session hijacking, identity theft, abuse of personal data 詐欺、不正アクセス、セッションハイジャック、なりすまし、個人データの悪用
POTENTIAL IMPACTS  潜在的影響 
Distrust, disinformation, financial damage, foreign information manipulation and interference (FIMI) 不信、偽情報、金銭的被害、外国による情報操作・妨害(FIMI)
3. RISE OF DIGITAL SURVEILLANCE AUTHORITARIANISM / LOSS OF PRIVACY 3. デジタル監視の権威主義の台頭/プライバシーの喪失
WHAT IF… もし...
An authoritarian regime uses their power to retrieve databases of information about individuals who have visited their country, participated in anti-government protests, put them on a watch list, from both public and private entities. They track all those who and subsequently are able to manipulate those individuals’ access to national services like voting, visits to their healthcare providers, or access to other online services.  権威主義政権が権力を行使して、自国を訪問した個人、反政府デモに参加した個人、監視リストに登録された個人に関する情報を、公的・私的事業体の両方からデータベース化する。そして、投票、医療プロバイダへの訪問、その他のオンラインサービスへのアクセスといった国家サービスへのアクセスを操作することができる。
Facial recognition, digital surveillance on internet platforms or digital identities data stores may become a target for criminal groups. 顔認識、インターネット・プラットフォーム上のデジタル監視、デジタル・アイデンティティ・データ・ストアは、犯罪集団の標的になる可能性がある。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored groups, criminal organisations 国家支援グループ、犯罪組織
POTENTIAL METHODS  潜在的手法 
Man in the middle, malicious software, use of rogue certificates, abuse of personal data 中間者、悪意のあるソフトウェア、不正な証明書の使用、個人データの悪用
POTENTIAL IMPACTS  潜在的影響 
Privacy breaches, human rights abuses プライバシー侵害、人権侵害
4. HUMAN ERROR AND EXPLOITED LEGACY SYSTEMS WITHIN CYBER PHYSICAL ECOSYSTEMS  4. サイバーフィジカル・エコシステム内のヒューマンエラーと悪用されたレガシーシステム 
WHAT IF… もしも...
Manuals for all legacy OT equipment are available online and studied primarily by state-sponsored groups. Once a vulnerability is found, they target user devices or other IoT products used at the plant. Cyber criminals begin a new form of ransomware in which they bring down important infrastructure and demand payment, given that the operator likely lacks the resources to solve the issue themselves. すべてのレガシーOT機器のマニュアルがオンラインで入手可能で、主に国家支援グループによって研究されている。脆弱性が発見されると、工場で使用されているユーザー機器や他のIoT製品を標的にする。サイバー犯罪者は、重要なインフラをダウンさせ、オペレータが自分で問題を解決するリソースがない可能性が高いことを理由に、支払いを要求する新しい形のランサムウェアを始める。
The fast adoption of IoT, the need to retrofit legacy systems and the ongoing skill shortage could lead to a lack of knowledge, training and understanding of the cyberphysical ecosystem, which can lead to security issues. IoTの急速な普及、レガシーシステムの改修の必要性、継続的なスキル不足は、サイバーフィジカルエコシステムに関する知識、トレーニング、理解の不足につながり、セキュリティ問題に発展する可能性がある。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored groups, cyber criminals, hacktivists 国家支援グループ、サイバー犯罪者、ハクティビスト
POTENTIAL METHODS  潜在的手法 
Tampering, failure of communication links, denial of service, malicious activity, manipulation of information, targeted attacks, brute force, unauthorised physical access 改ざん、通信回線の障害、サービス拒否、悪意ある活動、情報操作、標的型攻撃、総当たり攻撃、無許可の物理的アクセス
POTENTIAL IMPACTS  潜在的影響 
Malfunction, failures and outages, physical damage 誤動作、故障、停止、物理的損害
5. TARGETED ATTACKS (E.G. RANSOMWARE) ENHANCED BY SMART DEVICE DATA 5. スマートデバイスのデータによって強化される標的型攻撃(ランサムウェアなど)
WHAT IF… もしも...
Cybercriminals may use the increased amount of available data from smart devices and analyse it with AI to create behavioral models of their victims for spear phishing campaigns or stalking. サイバー犯罪者は、スマートデバイスから得られる利用可能なデータ量の増加を利用し、それをAIで分析して被害者の行動モデルを作成し、スピアフィッシングキャンペーンやストーキングを行う可能性がある。
Through data obtained from internet-connected smart devices, attackers can access information for tailored and more sophisticated attacks. インターネットに接続されたスマートデバイスから得られるデータを通じて、攻撃者は、カスタマイズされたより高度な攻撃のための情報にアクセスすることができる。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
Cybercrime actors, hackers-for-hire サイバー犯罪関係者、雇われハッカー
POTENTIAL METHODS  潜在的手法 
Denial of service, interception of information, social engineering, unauthorised activities, data breach サービス拒否、情報傍受、ソーシャル・エンジニアリング、不正行為、データ侵害
POTENTIAL IMPACTS  潜在的影響 
Financial damage, privacy breaches 金銭的被害、プライバシー侵害
6. LACK OF ANALYSIS AND CONTROL OF SPACEBASED INFRASTRUCTURE AND OBJECTS 6. 宇宙を拠点とするインフラや物体の分析と制御の欠如
WHAT IF… もし...
State-sponsored attackers access space infrastructure, build up presence to execute attacks. Their aim may be to create infrastructure their capabilities and knowledge of the technology, and secure their malfunctions as a statecraft tool to sabotage other governments or commercial space operations and systems during geopolitical conflicts. 国家に支援された攻撃者が宇宙インフラにアクセスし、攻撃を実行するためのプレゼンスを構築する。彼らの狙いは、地政学的な対立の中で、他国政府や民間企業の宇宙事業やシステムを妨害するための国家工作ツールとして、その能力や技術に関する知識をインフラに蓄積し、その機能不全を確保することかもしれない。
Due to the intersections between private and public infrastructure in space, the security of these new infrastructures and technologies need to be investigated as a lack of understanding, analysis and control of space-based infrastructure can make it vulnerable to attacks and outages. 宇宙における私的インフラと公的インフラが交錯しているため、宇宙ベースのインフラに対する理解、分析、管理の欠如が攻撃や機能停止に対する脆弱性を生む可能性があるため、これらの新しいインフラや技術の安全性を調査する必要がある。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored actors, cybercrime actors, hackers-for-hire 国家に支援されたアクター、サイバー犯罪アクター、雇われハッカー
POTENTIAL METHODS  潜在的手法 
Unauthorised use of IPR protected resources, targeted attacks, fraud, sabotage, information leakage, session hijacking, malicious software 知的財産権で保護されたリソースの不正使用、標的型攻撃、詐欺、妨害行為、情報漏洩、セッションハイジャック、悪意のあるソフトウェア
POTENTIAL IMPACTS  潜在的影響 
Damage, outages, malfunctions 損害、停止、不具合
7. RISE OF ADVANCED HYBRID THREATS 7. 高度なハイブリッド型脅威の台頭
WHAT IF… もし...
Hackers are hired by a corporation to investigate the new technology being developed by a competitor. In their quest, they are able to retrieve metadata, view code, and set up a machine learning algorithm that continuously collects changes to the code and then continuously accesses user account to prevent monitoring systems from recognising that the attacker is in the network. In parallel they obfuscate the activity by spreading fake news about insider trading and industrial espionage from a third competitor by dropping fake evidence of physical intrusion. ハッカーが企業に雇われ、競合他社が開発中の新技術を調査する。その調査において、彼らはメタデータを取得し、コードを閲覧し、コードへの変更を継続的に収集する機械学習アルゴリズムをセットアップすることができ、監視システムが攻撃者がネットワーク内にいることを認識できないように、ユーザーアカウントに継続的にアクセスする。並行して、物理的な侵入の偽の証拠を投下することで、インサイダー取引や第三の競争相手からの産業スパイに関する偽ニュースを拡散し、活動を難読化する。
Physical or offline attacks are evolving and becoming often combined with cyberattacks due to the increase of smart devices, cloud usage, online identities and social platforms. 物理的またはオフラインの攻撃は進化しており、スマートデバイス、クラウド利用、オンラインID、ソーシャルプラットフォームの増加により、サイバー攻撃と組み合わされることが多くなっている。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored actors, hackers-for-hire, cyber criminals 国家に支援された行為者、雇われハッカー、サイバー犯罪者
POTENTIAL METHODS  潜在的手法 
Unauthorised access, social engineering, abuse of personal data, remote command execution, malicious activity 不正アクセス、ソーシャルエンジニアリング、個人データの悪用、リモートコマンド実行、悪意のある活動
POTENTIAL IMPACTS  潜在的影響 
Privacy breaches, outages, failures/malfunctions プライバシー侵害、機能停止、故障/誤動作
8. SKILL SHORTAGES 8. スキル不足
WHAT IF… もし...
The skill shortage leads to an increase of online job advertisements that tell attackers the technologies that each organisation is using and the approximate number of empty positions. A state-sponsored actor may use this to their advantage as a part of a larger campaign to tamper with critical infrastructure in another country. スキル不足により、攻撃者に各組織が使用している技術や、おおよその空席数を伝えるオンライン求人広告が増加する。国家の支援を受けた攻撃者が、他国の重要インフラを改ざんする大規模なキャンペーンの一環として、これを利用する可能性がある。
Lack of capacities and competencies could see cybercriminal groups target organisations with the largest skills gap and the least maturity. 能力やコンピテンシーが不足しているため、サイバー犯罪グループは、スキルのギャップが最も大きく、成熟度が最も低い組織を標的にする可能性がある。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
Cybercrime actors, hackers-for-hire, state-sponsored actors サイバー犯罪行為者、雇われハッカー、国家に支援された行為者
POTENTIAL METHODS  潜在的手法 
Spear phishing attacks, social engineering スピアフィッシング攻撃、ソーシャルエンジニアリング
POTENTIAL IMPACTS  潜在的影響 
Financial damage, outages 金銭的被害、障害
9. CROSS-BORDER ICT SERVICE PROVIDERS AS A SINGLE POINT OF FAILURE  9. 単一障害点としての国境を越えたICTサービスプロバイダ 
WHAT IF… もし...
A state-sponsored actor aims to temporarily cripple a region during an active conflict by installing malware that disrupts all critical functions of the ICT provider. Without operational cities, roadways, and communication channels, the region is essentially crippled without the ability for civilians to go about their daily lives and the responsible parties limited in their ability to maintain defense monitoring systems and to collaborate to develop response options and methods for bringing the necessary systems back online.   国家に支援された行為者が、ICTプロバイダのすべての重要な機能を停止させるマルウェアをインストールすることで、活発な紛争中に一時的に地域を機能不全に陥れることを狙う。運用可能な都市、道路、コミュニケーション・チャネルがなければ、その地域は実質的に機能不全に陥り、市民は日常生活を送ることができなくなる。また、責任者は防衛監視システムを維持し、必要なシステムをオンラインに戻すための対応オプションや方法を共同で開発する能力が制限される。 
ICT sector connecting critical services such as transport, electric grids and industry that provide services across borders are likely be to targeted by techniques such as backdoors, physical manipulation, and denials of service and weaponised during a future potential conflict. 輸送、電力網、国境を越えてサービスを提供する産業など、重要なサービスをつなぐICTセクターは、バックドア、物理的操作、サービス拒否などの技術によって標的にされ、将来の潜在的紛争時に武器化される可能性が高い。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored actors, hackers-for-hire 国家に支援されたアクター、雇われハッカー
POTENTIAL METHODS  潜在的手法 
Fraud, theft, corruption, terrorist attack, network traffic manipulation, manipulation of hardware or software, abuse of authorisations 詐欺、窃盗、汚職、テロ攻撃、ネットワークトラフィックの操作、ハードウェアやソフトウェアの操作、権限の乱用
POTENTIAL IMPACTS  潜在的影響 
Outages, damage/loss, unavailable critical infrastructure 障害、損害/損失、重要インフラの利用不能
10. ARTIFICIAL INTELLIGENCE ABUSE 10. AIの悪用
WHAT IF… もし...
A state-sponsored actor wants to sow discord in a population before an election and manipulates the learning data of a law enforcement algorithm to target specific populations, causing widespread protests political opponents themselves by using an AI analysis of the individuals’ and violence. They are also able to deduct information about the whereabouts, health history, and voting history – the correlation of such personal data will likely only be feasible with the use of AI tools. 国家に支援された行為者が、選挙前に住民に不和の種をまきたいと考え、法執行アルゴリズムの学習データを操作して特定の集団を標的にし、個人のAI分析を利用して政治的反対者自身に広範な抗議を引き起こし、暴力を振るう。彼らはまた、居場所、健康履歴、投票履歴に関する情報を差し引くことができる。このような個人データの相関関係は、おそらくAIツールの使用でしか実現できないだろう。
Manipulation of AI algorithms and training data can be used to enhance nefarious activities such as the creation of disinformation and fake content, bias exploitation, collecting biometrics and other sensitive data, military robots and data poisoning. AIアルゴリズムや訓練データの操作は、偽情報や偽コンテンツの作成、バイアスの搾取、生体データやその他の機密データの収集、軍事ロボットやデータポイズニングといった悪質な活動を強化するために利用できる。
POTENTIAL THREAT ACTORS  潜在的脅威行為者 
State-sponsored actors, cyber criminals, hackers-for-hire 国家に支援された行為者、サイバー犯罪者、雇われハッカー
POTENTIAL METHODS  潜在的手法 
Spoofing, denial of service, malicious code, unauthorised access, targeted attacks, misuse of information, man in the middle attack なりすまし、サービス妨害、悪質コード、不正アクセス、標的型攻撃、情報の悪用、中間者攻撃
POTENTIAL IMPACTS  潜在的影響 
Biased decision-making, privacy violations, foreign information manipulation and interference (FIMI) 偏った意思決定、プライバシー侵害、外国人による情報操作と干渉(FIMI)
2030 TOP THREATS CONTINUED 2030年トップレベルの脅威 続き
11. INCREASED DIGITAL CURRENCY-ENABLED CYBERCRIME 11. デジタル通貨を利用したサイバー犯罪の増加
By 2030, digital currency-enabled cybercrime will increase rapidly. Cryptocurrencies, and the broad market adoption of them, already have enabled organised crime to expand their reach. Because digital currencies will be very commonly used as an investment asset and means of payment in European markets, organised crime may be able to expand their targets. This means that cybercrime groups offering professional services (cyber-attacks) will be better funded because of an increase in the efficiency and effectiveness of their efforts.   2030年までに、デジタル通貨を利用したサイバー犯罪が急増する。暗号通貨とその広範な市場導入は、すでに組織犯罪の勢力拡大を可能にしている。デジタル通貨は欧州市場で投資資産や決済手段としてごく一般的に使用されるようになるため、組織犯罪はターゲットを拡大できる可能性がある。つまり、専門的なサービス(サイバー攻撃)を提供するサイバー犯罪グループは、その努力の効率と効果が高まるため、より良い資金を得ることができるようになる。 
12. EXPLOITATION OF E-HEALTH (AND GENETIC) DATA 12. eヘルス(および遺伝子)データの悪用
The amount of genetic and health data increases tremendously by 2030 and is in the hands of many stakeholders in the public and private sectors. Vulnerabilities in e-health devices and databases containing very sensitive and/or genetic information may be exploited or used by criminals to target individuals or by governments to control populations, e.g., using diseases and genetic diversity as a reason for discriminating against individuals. Genetic data may further be abused to aid law enforcement activities like predictive policing or to support a more regimented social credit system.   遺伝子データや健康データは2030年までに途方もなく増加し、官民の多くの利害関係者の手に渡る。非常にセンシティブかつ/または遺伝的な情報を含むe-ヘルス機器やデータベースの脆弱性が悪用されたり、犯罪者が個人を標的にしたり、政府が個人を差別する理由として病気や遺伝的多様性を利用するなど、集団をコントロールするために利用されたりする可能性がある。遺伝子データはさらに、予測的取り締まりのような法執行活動を支援するためや、より統制された社会的信用システムを支援するために悪用されるかもしれない。 
13. TAMPERING WITH DEEPFAKE VERIFICATION SOFTWARE SUPPLY CHAIN 13. ディープフェイク検証ソフトウェアのサプライチェーンの改ざん
By 2030, deepfake technology will be widely used. It may be used as a form of harassment, evidence tampering, and provoking social unrest. Although there will likely be a rapid influx of verification software that analyses videos and voice to verify the identity of individuals , the urgent market demand leads to programmers cutting corners. This software will be highly targeted by anyone wishing to use deepfakes for illegal or unethical purposes. 2030年までに、ディープフェイク技術は広く使われるようになるだろう。嫌がらせ、証拠改ざん、社会不安の誘発といった形で利用されるかもしれない。動画や音声を分析し、個人の身元を確認する検証ソフトウェアが急速に普及するだろうが、市場の需要が急増しているため、プログラマーは手抜きをするようになる。このソフトウェアは、違法または非倫理的な目的のためにディープフェイクを利用しようとする人々から強く狙われることになるだろう。
14. ATTACKS USING QUANTUM COMPUTING 14. 量子コンピューティングを利用した攻撃
In 2030 quantum computing resources will be made more widely available, allowing threat actors to use quantum computing to attack existing deployments of public key cryptography. Likewise, there is a risk that threat actors collect sensitive encrypted data now, aiming to decrypt it once quantum computing is accessible. This is especially relevant for current digital IDs that use asymmetric cryptography to authenticate. 2030年には量子コンピューティング資源がより広く利用できるようになり、脅威行為者が量子コンピューティングを利用して既存の公開鍵暗号を攻撃できるようになる。同様に、脅威行為者が暗号化された機密データを収集し、量子コンピューティングが利用可能になった時点で復号化を狙うリスクもある。これは特に、本人認証に非対称暗号を使用している現在のデジタルIDに関連している。
15. EXPLOITATION OF UNPATCHED AND OUT-OFDATE SYSTEMS WITHIN THE OVERWHELMED CROSSSECTOR TECH ECOSYSTEM  15. 圧倒的なクロスセクター技術エコシステムの中での、パッチ未適用や最新でないシステムの悪用
Everything-as-a-service leads to a multitude of tools and services that require frequent updates and maintenance by both consumers and providers. This combined with the skill shortage presents a difficult to manage surface of vulnerabilities that can be exploited by threat actors. Furthermore, the complexity of the supply chain fosters confusion on where responsibilities for security lie. For governments, this creates more backdoors for espionage while cyber-criminals can exploit the unpatched and outdated services for financial gains. This is especially true when critical infrastructure is in the hands of the private sector or when national security data is reliant on singular private entities.  あらゆるものがサービス化されることで、消費者とプロバイダの両方が頻繁な更新と保守を必要とするツールやサービスが多数存在することになる。これがスキル不足と組み合わさることで、脅威行為者に悪用される可能性のある脆弱性の管理は難しくなる。さらに、サプライチェーンの複雑さは、セキュリティ責任の所在に関する混乱を助長する。ガバナンスの政府にとっては、スパイ活動のためのバックドアが増える一方で、サイバー犯罪者はパッチの適用されていない旧式のサービスを悪用して金銭的利益を得ることができる。これは、重要インフラが民間の手にある場合や、国家セキュリティデータが特異な民間事業体に依存している場合に特に当てはまる。
16. AI DISRUPTING / ENHANCING CYBER ATTACKS 16. AIによるサイバー攻撃の撹乱・強化 
Escalation as a result of AI-based tools. Attackers will use AI-based technologies to launch attacks. In order to defend against those attacks and even to launch counter measures, there must also be defensive AI-based weapons. Behaviour of the AI in these cases is difficult to test, measure and control – if speed of response is valued.  AIベースのツールによるエスカレーション。攻撃者はAIベースのテクノロジーを使って攻撃を仕掛けるだろう。それらの攻撃を防御し、さらには対抗策を打ち出すためには、AIベースの防御兵器も存在しなければならない。このような場合のAIの挙動は、テスト、測定、制御が困難である。
17. MALWARE INSERTION TO DISRUPT FOOD PRODUCTION SUPPLY CHAINE 17. 食品製造のサプライチェーンを混乱させるマルウェアの挿入 
Due to increased automatisation and digitalization of food production, food supply chains  can be disrupted by a range of threat actors with medium-high resources. Denial of service attacks on packaging plants, for example, can prevent continued food operations; processed food manufacturing tools may be manipulated to change the compounds in the food itself. Attacks like these can lead to a food shortage, economic disruptions, and in the worst case, poisoning. 食品生産の自動化とデジタル化の進展により、食品サプライ・チェーンは、中程度の高いリソースを有するさまざまな脅威行為者によっ て混乱させられる可能性がある。例えば包装工場に対するサービス拒否攻撃は、食品の操業の継続を妨げる可能性がある。加工食品製造ツールは、食品自体の化合物を変更するために操作される可能性がある。このような攻撃は、食糧不足、経済的混乱、最悪の場合は中毒につながる可能性がある。
18. TECHNOLOGICAL INCOMPATIBILITY OF BLOCKCHAIN TECHNOLOGIES 18. ブロックチェーン技術の技術的非互換性
Until 2030, several regionally based blockchain technologies are created by different groups of governments to create an international "gold standard". This is driven by a societal lack of trust in blockchain that has accumulated over the last years.  Each technology group aims to gain a competitive advantage. This gives rise to a period of technological incompatibility of blockchain technology which leads to failures, malfunctions, data loss and the exploitation of vulnerabilities at the interfaces of the different blockchains. This creates challenges for ecosystem management and data protection, furthers distrust, and negatively affects trade and GDP growth. 2030年まで、国際的な "ゴールドスタンダード "を作るために、いくつかの地域ベースのブロックチェーン技術が異なる政府グループによって作られる。この背景には、ここ数年で蓄積されたブロックチェーンに対する社会的信頼の欠如がある。 各技術グループは競争上の優位性を獲得することを目指している。このため、ブロックチェーン技術の技術的な互換性がない時期が生じ、故障や誤動作、データ損失、異なるブロックチェーンのインターフェースにおける脆弱性の悪用につながる。これはエコシステム管理とデータ保護に課題をもたらし、不信感を助長し、貿易とGDP成長に悪影響を及ぼす。
19. DISRUPTIONS IN PUBLIC BLOCKCHAINS 19. パブリック・ブロックチェーンにおける混乱
Blockchain has been implemented in nearly all aspects of society in 2030. Unfortunately, security expertise in the area of blockchain did not advance significantly, creating a slew of vulnerabilities that may be exploited in the future. Locally unavailable blockchain technology will, for example, prevent access to voting, legal transactions, and even security systems. Another possible attack vector is exploited by partitioning the bitcoin network by hijacking IP address prefixes. This can cause, for example, duplicated spending and thus economic damage. ブロックチェーンは2030年、社会のほぼすべての側面に導入されている。残念なことに、ブロックチェーンの分野におけるセキュリティの専門知識は大きく進歩しておらず、将来悪用される可能性のある脆弱性が山ほど生まれている。ローカルで利用不可能なブロックチェーン技術は、例えば、投票、法的取引、さらにはセキュリティシステムへのアクセスを妨げるだろう。また、IPアドレスのプレフィックスをハイジャックしてビットコインネットワークを分割することで、攻撃ベクトルが悪用される可能性もある。これは、例えば重複支出を引き起こし、結果として経済的損害をもたらす可能性がある。
20. PHYSICAL IMPACT OF NATURAL / ENVIRONMENTAL DISRUPTIONS ON CRITICAL DIGITAL INFRASTRUCTURE 20. 自然/環境破壊が重要なデジタルインフラに与える物理的影響
The increased severity and frequency of environmental disasters causes several regional outages. Redundant back-up sites that maintain the availability of critical infrastructure will also be affected. 環境災害の深刻さと頻度が増すと、いくつかの地域で停電が発生する。重要インフラの可用性を維持する冗長バックアップサイトも影響を受ける。
21. MANIPULATION OF SYSTEMS NECESSARY FOR EMERGENCY RESPONSE 21. 緊急対応に必要なシステムの操作
Manipulation of sensors with connections to emergency services may overload services like ambulances, police, firefighters, etc. For example, call centres may be overloaded with inauthentic calls or fire alarms may be manipulated to injure specific individuals or to obscure emergency response teams' ability to locate the issue. Similarly, mass panics that overload emergency systems may also be provoked through the use of social media.  緊急サービスにつながるセンサーの操作は、救急車、警察、消防士などのサービスに過負荷をかける可能性がある。例えば、コールセンターが不正なコールで過負荷になったり、火災報知器が特定の個人を傷つけたり、緊急対応チームが問題の場所を特定できないように操作されたりする可能性がある。同様に、緊急システムに過負荷をかけるような大パニックも、ソーシャルメディアの利用によって引き起こされる可能性がある。

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2023.04.04 ENISA 先見の明 2030年に向けたサイバーセキュリティの脅威 (2023.03.29)

 

| | Comments (0)

英国 ICO 子供を守るための情報共有のための10ステップガイド (2023.09.14)

こんにちは、丸山満彦です。

英国の情報コミッショナーオフィス (ICO) が子供を守るために情報共有が重要ということで「子供を守るための情報共有のための10ステップガイド」を公表していますね。。。

米国もK-12のセキュリティというかネットの安全性というか、問題になっていますね。中国も未成年を五段階にわけでルール作りをしようとしていますね。。。

そういえば、こういうのって日本ではどうなっているんですかね。。。

 

Information Commissioner's Office: ICO

・2023.09.14 Share information to protect children and young people at risk, urges UK Information Commissioner

Share information to protect children and young people at risk, urges UK Information Commissioner リスクにさらされている子供や若者を守るために情報を共有せよ、と英国情報コミッショナーは強く求めている。
Organisations will not get in trouble if they share information to protect children and young people at risk of serious harm, the UK Information Commissioner’s Office (ICO) has promised. 深刻な危害を受けるリスクのある子どもや若者を保護するために情報を共有しても、組織がトラブルに巻き込まれることはない、と英国情報コミッショナー事務局(ICO)は約束した。
This message comes as the ICO publishes new guidance to address concerns from organisations and frontline workers that may be scared to share information for fear of falling foul of data protection law. このメッセージは、ICOが、データ保護法に抵触することを恐れて情報を共有することを躊躇している組織や現場の労働者からの懸念に対処するための新しいガイダンスを発表したことによる。
The need to improve data sharing practices has been highlighted in recent serious case reviews in the UK where children have died or been seriously harmed through abuse or neglect. Poor information-sharing among organisations and agencies was identified as one of the factors contributing to failures to protect the children. 英国では、虐待やネグレクトによって子どもが死亡したり、深刻な被害を受けたりした最近の深刻なケースを検証する中で、データ共有の実践を改善する必要性が浮き彫りになっている。組織や機関同士の情報共有が不十分であったことが、子どもたちを保護できなかった要因のひとつであると指摘されている。
“My message to people supporting and working with children and young people is clear: if you think a child is at risk of harm, you can share information to protect them. You will not get in trouble with the ICO for trying to prevent or lessen a serious risk or threat to a child’s mental and physical wellbeing. 「子どもや若者を支援し、共に働く人々への私のメッセージは明確である: 子どもが危害のリスクにさらされていると思えば、子どもを守るために情報を共有することができる。子どもの心身の健康に対する深刻なリスクや脅威を防いだり、軽減しようとしたからといって、ICOの問題に巻き込まれることはない。」
“Data protection law helps organisations share data when required. Our guide will support senior leaders to put strong policies, systems and training in place, so their staff are encouraged and empowered to share data in an appropriate, safe and lawful way.” 「データ保護法は、組織が必要に応じてデータを共有することを支援する。我々のガイドは、シニアリーダーが強力なポリシー、システム、トレーニングを導入し、スタッフが適切で安全かつ合法的な方法でデータを共有するよう奨励され、権限を与えられるよう支援するものである。」
- John Edwards, UK Information Commissioner ・英国情報コミッショナー,ジョン・エドワーズ
Free marketing materials and a video have also been produced to support organisations to raise awareness of the benefits of sharing information to protect children and young people from harm. また、子どもや若者を危害から守るために情報を共有することの利点についての認識を高めるために、組織を支援するための無料のマーケティング資料やビデオも作成された。
The ICO will also develop a suite of guidance on sharing information to safeguard children aimed at specific sectors across the UK, recognising the different legislative and policy landscapes. ICOはまた、英国内の特定のセクターを対象とした、子どもを保護するための情報共有に関する一連のガイダンスを作成する予定である。
For more information visit ico.org.uk/datasharing. 詳細はico.org.uk/datasharingを参照のこと。
1. The Information Commissioner’s Office (ICO) is the UK’s independent regulator for data protection and information rights law, upholding information rights in the public interest, promoting openness by public bodies and data privacy for individuals. 1. 情報コミッショナー事務局(ICO)は、データ保護と情報権利法に関する英国の独立規制機関であり、公共の利益のために情報権利を支持し、公共団体による公開と個人のデータプライバシーを促進する。
2. The ICO has specific responsibilities set out in the Data Protection Act 2018 (DPA2018), the United Kingdom General Data Protection Regulation (UK GDPR), the Freedom of Information Act 2000 (FOIA), Environmental Information Regulations 2004 (EIR), Privacy and Electronic Communications Regulations 2003 (PECR) and a further five acts and regulations. 2. ICOは、データ保護法2018(DPA2018)、英国一般データ保護規則(英国GDPR)、情報公開法2000(FOIA)、環境情報規則2004(EIR)、プライバシーおよび電子コミュニケーション規則2003(PECR)、およびさらに5つの法律と規則に定められた特定の責任を負う。
3. The ICO can take action to address and change the behaviour of organisations and individuals that collect, use, and keep personal information. This includes criminal prosecution, non-criminal enforcement and audit. 3. ICOは、個人情報を収集、使用、保管する組織や個人の行動に対処し、改めるために行動を起こすことができる。これには、刑事訴追、非刑事執行、監査が含まれる。
4. To report a concern to the ICO telephone call our helpline on 0303 123 1113, or go to ico.org.uk/concerns 4. ICOのヘルプライン(0303-123-1113)に通報するか、ico.org.uk/concernsにアクセスする。

 

ガイダンスはこちら...

・2023.09.14 A 10 step guide to sharing information to safeguard children

A 10 step guide to sharing information to safeguard children 子どもを守るための情報共有のための10ステップガイド
Step 1: Be clear about how data protection can help you share information to safeguard a child. ステップ1:児童を保護するためにデータ保護がどのように情報共有に役立つかを明確にする。
Step 2: Identify your objective for sharing information, and share the information you need to, in order to safeguard a child. ステップ2:情報共有の目的を明確にし、子どもを保護するために必要な情報を共有する。
Step 3: Develop clear and secure policies and systems for sharing information. ステップ3:情報を共有するための明確で安全な方針とシステムを策定する。
Step 4: Be clear about transparency and individual rights. ステップ4:透明性と個人の権利を明確にする。
Step 5: Assess the risks and share as needed. ステップ5:リスクをアセスメントし、必要に応じて共有する。
Step 6: Enter into a data sharing agreement. ステップ6:データ共有契約を結ぶ。
Step 7: Follow the data protection principles. ステップ7:データ保護の原則に従う。
Step 8: Share information using the right lawful basis. ステップ8:正しい合法的根拠に基づいて情報を共有する。
Step 9: Share information in an emergency. ステップ9:緊急時に情報を共有する。
Step 10: Read our data sharing code of practice. ステップ10 データ共有の実践規範を読む。

 

情報共有ツール。。。

Sharing information to safeguard children: Marketing materials

・・[PDF] チラシ

20230919-181008

 

・・[PDF] ポスター

20230919-181217

・・ビデオ

 

それから

ロンドン大学の一部となった元研究大学である、ロンドン・スクール・オブ・エコノミクス・アンド・ポリティカル・サイエンス (London School of Economics and Political Science; LSE [wikipedia])からも次のような報告書がでていますね。。。

London School of Economics and Political Science; LSE

・[PDF] Children’s data and privacy online Growing up in a digital age

20230920-21808

 


 

米国のK-12セキュリティ。。。

CISA

Cybersecurity for K-12 Education

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

 

米国

・2023.09.08 米国 CISA 幼稚園から高校まで (K-12) への教育ソフト開発会社とセキュア・バイ・デザインの誓約をかわす (2023.09.05)

・2023.08.14 米国 K-12(幼稚園から高校まで)の学校のサイバーセキュリティを強化する新たな取り組みを開始 (2023.08.07)

・2023.08.02 米国 国家サイバー人材・教育戦略

2. Transform Cyber Education – address the immediate demand for a skilled cyber  workforce while also preparing learners to meet the future needs of a dynamic  technological environment:  2. サイバー教育の変革 - 熟練したサイバー労働力に対する当面の需要に対応すると同時に、ダイナミックな技術環境の将来のニーズに対応できるように学習者を準備する: 
o Build and leverage ecosystems to improve cyber education, from K-12 education,  to higher education, community colleges, and technical schools;  o K-12教育から高等教育、コミュニティカレッジ、専門学校に至るまで、サイバー教育を改善するためのエコシステムを構築し、活用する; 
o Expand competency-based cyber education;   o コンピテンシーベースのサイバー教育の拡大
o Invest in educators and improving cyber education systems; and,  o 教育者への投資とサイバー教育システムの改善 
o Make cyber education and training more affordable and accessible.  o サイバー教育とトレーニングをより手頃な価格で利用しやすくする。 

 

・2022.12.03 米国 GAO K-12(幼稚園から高校まで)の学校へのサイバー攻撃が増加している...その対応は?

・2022.10.22 米国 GAO 重要インフラの防御:K-12サイバーセキュリティを強化するためには、連邦政府のさらなる調整が必要である。

・2021.10.12 米国 K-12サイバーセキュリティ法2021

 

英国

・2023.02.19 英国 情報コミッショナー事務局 (ICO) がゲーム開発者向けに、子どもの保護に関する業界向けのガイダンスを発行

 

中国

・2023.08.17 中国 「未成年者向けモバイルインターネットモデル構築ガイドライン(意見募集案)」 (2023.08.02)

年齢 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
区分 1 2 3 4 5
利用時間 40分以内 1時間 2時間
連続利用 未成年者が30分以上連続して携帯情報端末を使用する場合、携帯情報端末は休息通知を発すること
時間帯 22:00から翌日6:00までの間、携帯情報端末は未成年者に対してサービスを提供することができない
推奨コンテンツ 童謡、啓蒙教育などの親子連れの番組を推奨コンテンツとし、音声を重視することを推奨する 啓蒙教育、興味と識字、一般教育などの番組を推奨する 一般教育、科学の知識と普及、ライフスキル、積極的な指導を伴う娯楽コンテンツ、この年齢層の認知能力に適したニュースや情報など 一般教育、教科教育、科学の知識と普及、ライフスキル、積極的な指導による娯楽コンテンツ、この年齢層の認知能力に適したニュースや情報 この年齢層の認知能力に適した、健康で上向きの情報コンテンツを推奨する
アプリダウンロード 未成年者向けゾーンでアプリケーションをダウンロードおよびインストールするには保護者の同意が必要であり、保護者は未成年者が未成年者向けゾーン外でアプリケーションをダウンロードすることを許可する一定の免除権限を有する 未成年者向けゾーンでアプリケーションをダウンロードおよびインストールするには保護者の同意が必要であり、保護者は未成年者が未成年者向けゾーン外でアプリケーションをダウンロードすることを許可する一定の免除権限を有する

これ以外には、未成年モードではゲーム、ソーシャルネットワーク、コンテンツ、広告等についての規制がある。。。

 

インド

個人情報保護法では、児童について規定があります。。。

・2023.08.23 インド デジタル個人データ保護法成立(2023年)(2023.08.11)

(Processing of personal data of children.)  (児童の個人データの処理) 
9. (1) The Data Fiduciary shall, before processing any personal data of a child or a person with disability who has a lawful guardian obtain verifiable consent of the parent of such child or the lawful guardian, as the case may be, in such manner as may be prescribed. Explanation.—For the purpose of this sub-section, the expression “consent of the parent” includes the consent of lawful guardian, wherever applicable. 9. (1) データ受託者は、児童または正当な保護者を持つ障害者の個人データを処理する前に、当該児童の親または正当な保護者の検証可能な同意を、場合により、所定の方法で取得しなければならない。解説:本款の目的上、「親の同意」という表現には、適用法であれば、正当な保護者の同意が含まれる。
(2) A Data Fiduciary shall not undertake such processing of personal data that islikely to cause any detrimental effect on the well-being of a child. (2) データ受託者は、児童の幸福に有害な影響を及ぼす可能性のある個人データの処理 を行ってはならない。
(3) A Data Fiduciary shall not undertake tracking or behavioural monitoring of childrenor targeted advertising directed at children. (3) データ受託者は、児童の追跡または行動監視、または児童を対象とした広告を行わないものとする。
(4) The provisions of sub-sections (1) and (3) shall not be applicable to processing of personal data of a child by such classes of Data Fiduciaries or for such purposes, and subject to such conditions, as may be prescribed. (4) 第(1)項および第(3)項の規定は、データ受託者の種類によって、またはそのような目的のために、およびそのような条件に従って、児童の個人データを処理する場合には適用されないものとする。
(5) The Central Government may, if satisfied that a Data Fiduciary has ensured that itsprocessing of personal data of children is done in a manner that is verifiably safe, notify for such processing by such Data Fiduciary the age above which that Data Fiduciary shall be exempt from the applicability of all or any of the obligations under sub-sections (1) and (3) in respect of processing by that Data Fiduciary as the notification may specify. (5) 中央政府は、データ受託者が児童の個人データの処理を検証可能な安全な方法で行っていることを確認した場合、当該データ受託者による処理について、当該データ受託者による処理に関する第(1)号および第(3)号に基づく義務の全部または一部の適用が免除される年齢を、通知で指定することができる。

 

日本...

・2022.03.05 文部科学省 教育情報セキュリティポリシーに関するガイドライン

 

 

 

AIですが。。。

国連

・2023.07.21 国連 地域間犯罪司法研究所 子供のためにより安全に;捜査機関向けのAI研修が開始された

 

米国

・2023.03.14 米国商工会議所 人工知能報告書

 

日本

・2023.07.06 文部科学省 生成AIの利用について 「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」

 

| | Comments (0)

2023.09.17

米国 NSA FBI CISA 組織に対するディープフェイクの脅威の文脈化

こんにちは、丸山満彦です。

NSA、 FBI、CISAが共同で、ディープフェイクの脅威についての報告書を公表していますね。。。

フェイク対策についてまとまっていて、参考になるところも多いし、これから日本でも取り組んでいくべきこともあるようにも思えます。

 

CISA

・2023.09.12 NSA, FBI, and CISA Release Cybersecurity Information Sheet on Deepfake Threats

NSA, FBI, and CISA Release Cybersecurity Information Sheet on Deepfake Threats< NSA、FBI、CISA、ディープフェイクの脅威に関するサイバーセキュリティ情報シートを発表
Today, the National Security Agency (NSA), the Federal Bureau of Investigation (FBI), and the Cybersecurity and Infrastructure Security Agency (CISA) released a Cybersecurity Information Sheet (CSI), Contextualizing Deepfake Threats to Organizations, which provides an overview of synthetic media threats, techniques, and trends. Threats from synthetic media, such as deepfakes, have exponentially increased—presenting a growing challenge for users of modern technology and communications, including the National Security Systems (NSS), the Department of Defense (DoD), the Defense Industrial Base (DIB), and national critical infrastructure owners and operators. Between 2021 and 2022, U.S. Government agencies collaborated to establish a set of employable best practices to take in preparation and response to the growing threat. Public concern around synthetic media includes disinformation operations, designed to influence the public and spread false information about political, social, military, or economic issues to cause confusion, unrest, and uncertainty. 本日、国家安全保障局(NSA)、連邦捜査局(FBI)、サイバーセキュリティ・インフラセキュリティ庁(CISA)は、合成メディアの脅威、技術、傾向の概要を示すサイバーセキュリティ情報シート(CSI)「組織に対するディープフェイクの脅威の文脈化」を発表した。ディープフェイクのような合成メディアからの脅威は指数関数的に増加しており、国家安全保障システム(NSS)、国防省(DoD)、防衛産業基盤(DIB)、国家の重要インフラの所有者や運営者など、現代のテクノロジーやコミュニケーションの利用者にとって、ますます大きな課題となっている。2021年から2022年にかけて、米国ガバナンス政府は、増大する脅威への準備と対応において取るべき一連の採用可能なベストプラクティスを確立するために協力した。合成メディアをめぐる社会的関心には偽情報作戦も含まれ、政治、社会、軍事、経済問題に関して、混乱、不安、不確実性を引き起こすために、大衆に影響を与え、偽情報を広めることを目的としている。
The authoring agencies urge organizations review the CSI for recommended steps and best practices to prepare, identify, defend against, and respond to deepfake threats. 作成機関は、組織がディープフェイクの脅威に備え、識別し、防御し、対応するための推奨される手順とベストプラクティスについて、CSIを検討するよう促している。
To report suspicious activity or possible incidents involving deepfakes, contact one of the following agencies: 疑わしい活動やディープフェイクに関わるインシデントの可能性を報告するには、以下のいずれかの機関に連絡すること:

 

 

・[PDF]

20230917-45123

 

・[DOCX] 仮訳

 

エグゼクティブサマリー...

Executive summary 要旨
Threats from synthetic media, such as deepfakes, present a growing challenge for all users of modern technology and communications, including National Security Systems (NSS), the Department of Defense (DoD), the Defense Industrial Base (DIB), and national critical infrastructure owners and operators. ディープフェイクのような合成メディアからの脅威は、国家安全保障システム(NSS)、国防総省(DoD)、防衛産業基盤(DIB)、国家重要インフラの所有者や運用者を含む、現代のテクノロジーとコミュニケーションのすべてのユーザーにとって、増大する課題を提示している。
As with many technologies, synthetic media techniques can be used for both positive and malicious purposes. While there are limited indications of significant use of synthetic media techniques by malicious state-sponsored actors, the increasing availability and efficiency of synthetic media techniques available to less capable malicious cyber actors indicate these types of techniques will likely increase in frequency and sophistication. 多くの技術と同様に、合成メディアの技術は、肯定的な目的にも悪意ある目的にも使用される可能性がある。悪意のある国家に支援された行為者による合成メディア技術の重要な使用の兆候は限られているが、能力の低い悪意のあるサイバー行為者が利用可能な合成メディア技術の可用性と効率性が高まっていることから、この種の技術の頻度と洗練度は増加する可能性が高い。
Synthetic media threats broadly exist across technologies associated with the use of text, video, audio, and images which are used for a variety of purposes online and in conjunction with communications of all types. Deepfakes are a particularly concerning type of synthetic media that utilizes artificial intelligence/machine learning (AI/ML) to create believable and highly realistic media. [1] The most substantial threats from the abuse of synthetic media include techniques that threaten an organization’s brand, impersonate leaders and financial officers, and use fraudulent communications to enable access to an organization’s networks, communications, and sensitive information. 合成メディアの脅威は、テキスト、ビデオ、音声、画像の使用に関連する技術に広く存在し、これらはオンライン上で、またあらゆる種類のコミュニケーションに関連して、さまざまな目的で使用されている。ディープフェイクは、人工知能/機械学習(AI/ML)を利用して、信憑性が高く、非常にリアルなメディアを作成する、特に懸念されるタイプの合成メディアである。[1] 合成メディアの悪用による最も重大な脅威には、組織のブランドを脅かしたり、リーダーや財務責任者になりすましたり、不正なコミュニケーションを利用して組織のネットワーク、コミュニケーション、機密情報へのアクセスを可能にしたりする手法が含まれる。
Organizations can take a variety of steps to identify, defend against, and respond to deepfake threats. They should consider implementing a number of technologies to detect deepfakes and determine media provenance, including real-time verification capabilities, passive detection techniques, and protection of high priority officers and their communications. [2] [3] Organizations can also take steps to minimize the impact of malicious deepfake techniques, including information sharing, planning for and rehearsing responses to exploitation attempts, and personnel training. 組織は、ディープフェイクの脅威を識別し、防御し、対応するために、様々な手段を講じることができる。リアルタイム検証機能、パッシブ検知技術、優先度の高い役員とその通信の保護など、ディープフェイクを検知し、メディアの出所を特定するための多くの技術の導入を検討すべきである。[2] [3] 組織はまた、悪意のあるディープフェイク手法の影響を最小化するために、情報共有、悪用の試みに対する対応計画とリハーサル、要員の訓練などの措置を講じることができる。
In particular, phishing using deepfakes will be an even harder challenge than it is today, and organizations should proactively prepare to identify and counter it. Several public and private consortiums also offer opportunities for organizations to get involved in building resilience to deepfake threats, including the Coalition for Content Provenance and Authenticity and Project Origin. [4] [5] 特に、ディープフェイクを使用したフィッシングは、現在よりもさらに困難な課題となるため、組織は積極的にその識別と対策に備えるべきである。また、「Coalition for Content Provenance and Authenticity」や「Project Origin」など、いくつかの官民のコンソーシアムも、ディープフェイクの脅威に対するレジリエンス構築に関与する機会を組織に提供している。[4] [5]
This cybersecurity information sheet, authored by the National Security Agency (NSA), the Federal Bureau of Investigation (FBI), and the Cybersecurity and Infrastructure Security Agency (CISA), provides an overview of synthetic media threats, techniques, and trends. It also offers recommendations for security professionals focused on protecting organizations from these evolving threats through advice on defensive and mitigation strategies. このサイバーセキュリティ情報シートは、国家安全保障局(NSA)、連邦捜査局(FBI)、サイバーセキュリティ・インフラセキュリティ庁(CISA)が作成したもので、合成メディアの脅威、テクニック、トレンドの概要を提供している。また、防御および低減戦略に関するアドバイスを通じて、これらの進化する脅威から組織を保護することに重点を置くセキュリティ専門家への提言も行っている。

 

 

検知と認証についての官民共同のイニシアチブ

· The DARPA Semantic Forensics program is currently developing advanced semantic capabilities for media forensics and authentication. Program participants include NVIDIA, PAR Government Systems, SRI International, and several research institutions. [30]  · DARPAセマンティック・フォレンジック・プログラムは現在、メディア・フォレンジックと認証のための高度なセマンティック機能を開発している。プログラム参加者には、NVIDIA、PAR Government Systems、SRI International、および複数の研究機関が含まれる。[30] 
· The Air Force Research Lab (AFRL) recently awarded a contract to the small business, DeepMedia, for the development of deepfake detection capabilities. [31]  · 空軍研究所(AFRL)は最近、ディープフェイク検出機能の開発契約を中小企業のDeepMediaに発注した。[31] 
· Deepfake detection tools have been fielded by several companies, including Microsoft, Intel, and Google.   · ディープフェイク検出ツールは、マイクロソフト、インテル、グーグルなど複数の企業によって提供されている。  
o   Prior to the 2020 elections, Microsoft introduced the Microsoft Video Authenticator and in 2023 they rolled out more context for the authenticity of images they may receive. [32]  o   2020年の選挙に先立ち、マイクロソフトはマイクロソフト・ビデオ・オーセンティケータを導入し、2023年には、受信する可能性のある画像の信憑性について、より多くのコンテクストを展開した。[32] 
o   Intel introduced a real-time deepfake detector in late 2022 labeled FakeCatcher which detects fake videos. [33]  o   インテルは2022年後半に、偽の動画を検出するFakeCatcherと名付けられたリアルタイムのディープフェイク検出器を発表した[33]。
o   Google, in collaboration with academic researchers in Europe, contributed a large dataset of visual deepfakes to the FaceForensics Benchmark in 2019. [34] [35]  o   グーグルはヨーロッパの学術研究者と共同で、2019年にFaceForensics Benchmarkに視覚的なディープフェイクの大規模なデータセットを提供した。[34] [35] 
· Adobe launched the Content Authenticity Initiative (CAI) in 2019 to push for provenance of digital content. CAI has several hundred members seeking to develop open content attribution standards. [36] CAI developed the Coalition for Content Providence and Authenticity ( C2PA ) . “C2PA unifi Adobe-led Content Authenticity Initiative (CAI) which focuses on systems to provide context and history for digital media, and Project Origin, a Microsoft- and BBC-led initiative that tackles disinformation in the digital news ecosystem.” [4]  ·        アドビは2019年にContent Authenticity Initiative(CAI)を立ち上げ、デジタルコンテンツの証明性を推進している。CAIには、オープンなコンテンツ帰属基準を開発しようとする数百人のメンバーがいる。[36] CAI は、Coalition for Content Providence and Authenticity (C2PA) を開発した。「C2PAは、アドビが主導するContent Authenticity Initiative (CAI)と、マイクロソフトとBBCが主導するProject Originを統合したもので、デジタル・ニュースのエコシステムにおける偽情報に取り組んでいる。[4] 

 

[4] The Coalition for Content Provenance and Authenticity (C2PA), https://c2pa.org/

[30] Defense Advanced Research Projects Agency, Semantic Forensics (SemaFor), https://www.darpa.mil/program/semantic-forensics

[31] DeepMedia, DeepMedia to Help AFRL Spot Deep Fakes, https://www.deepmedia.ai/press/deepmedia-to-help-afrl-spot-deep-fakes

[32] Google, Get helpful context with About this image, https://blog.google/products/search/about-thisimage-google-search/

[33] Intel, Intel Introduces Real-Time Deepfake Detector, https://www.intel.com/content/www/us/en/newsroom/news/intel-introduces-real-time-deepfakedetector.html#gs.zllvh5

[34] Technical University of Munich, FaceForensics++: Learning to Detect Manipulated Facial Images, https://github.com/ondyari/FaceForensics/

[35] Google Research, Contributing Data to Deepfake Detection Research, https://blog.research.google/2019/09/contributing-data-to-deepfake-detection.htm

[36] Content Authenticity Initiative, https://contentauthenticity.org/

 

 

推奨対策...

1. Select and implement technologies to detect deepfakes and demonstrate media provenance:  1. ディープフェイクを検出し、メディアの証明性を実証する技術を選択し、実装する: 
·        Real-time verification capabilities and procedures: Organizations should implement identity verification capable of operating during real-time communications. Identity verification for real-time communications will now require testing for liveness given the rapid improvements in generative-AI and real-time rendering. Mandatory multi-factor authentication (MFA), using a unique or one-time generated password or PIN, known personal details, or biometrics, can ensure those entering sensitive communication channels or activities are able to prove their identity. These verification steps are especially important when considering procedures for the execution of financial transactions.  ·        リアルタイムの検証機能および手順:組織は、リアルタイム通信中に動作可能な ID 検証機能を実装する必要がある。リアルタイム通信の ID 検証は、ジェネレーティブ AI とリアルタイム・レンダリングの急速な改善を考慮すると、現在では有効性のテストが必要になる。一意または一度だけ生成されるパスワードやPIN、既知の個人情報、またはバイオメトリクスを使用する多要素認証(MFA)を義務化することで、機密性の高い通信チャネルやアクティビティに入る人が身元を証明できるようにすることができる。金融取引の実行手順を考慮する場合、これらの検証手順は特に重要である。 
o   Companies that offer liveness tests powered by virtual injection techniques include ID R&D [44], Facetec [45], IProov [46], and many more.   o   仮想インジェクション技術による活性テストを提供している企業には、ID R&D [44]、Facetec [45]、IProov [46]などがある。  
o   The Center for Identification, Technology Research (CITeR) is a research initiative, funded in part by the National Science Foundation and other partners from the academic, commercial, and government sectors, that conducts research on techniques to achieve these goals. [47]   o   識別技術研究センター(CITeR)は、全米科学財団(National Science Foundation)および学術、商業、政府部門の他のパートナーから一部資金提供を受けている研究イニシアチブであり、これらの目標を達成するための技術に関する研究を行っている。[47]  
o   Passive detection of deepfakes: Passive detection techniques should be used when trying to determine the authenticity of previously created media. In these cases, recommendations for forensic analysis are as follows:  o   ディープフェイクの受動的検知:以前に作成されたメディアの真正性を判断しようとする場合、受動的検知技術を使用すべきである。このような場合、フォレンジック分析の推奨事項は以下の通りである: 
Basic recommendations:  基本的な推奨事項 
o   Make a copy of the media prior to any analysis. o Hash both the original and the copy to verify an exact copy.   o   正確なコピーを確認するために、オリジナルとコピーの両方をハッシュする。 
o   Check the source (i.e., is the organization or person reputable) of the media before drawing conclusions.   o   結論を出す前に、メディアの出典(すなわち、その組織や人物が信頼できるものかどうか)を確認する。  
o   Reverse image searches, like TinEye, [48] Google Image Search, [49] and Bing Visual Search, [50] can be extremely useful if the media is a composition of images.   o   TinEye、[48]Google Image Search、[49]Bing Visual Search、[50]のような逆画像検索は、メディアが画像で構成されている場合、非常に有用である。  
o   Visual/audio examination – look and listen to the media first as there may be obvious signs of manipulation  o   視覚/聴覚検査-明らかな操作の兆候があるかもしれないので、まずメディアをよく見、よく聞く。 
n  Look for physical properties that would not be possible, such as feet not touching the ground.  n  足が地面につかないなど、あり得ないような物理的特性を探す。 
n  Look for presence of audio filters, such as noise added for obfuscation.  n  難読化のために加えられたノイズなど、音声フィルタの存在を探す。 
n  Look for inconsistencies.  n  矛盾点を探す。 
o    Metadata examination tools can sometimes provide additional insights depending on the situation.  o    メタデータ検査ツールは、状況に応じて、さらなる洞察を与えてくれることもある。 
n   All metadata intact is an indication of authenticity.  n   すべてのメタデータが無傷であることは、真正性を示すものである。 
n   Some metadata stripped indicates the media was potentially manipulated, but further investigation is required.  n   剥がされたメタデータの中には、メディアが操作された可能性を示すものもあるが、さらなる調査が必要である。 
n   All metadata stripped may indicate the media was obtained through a social media platform or other process that automatically strips the information.  n   剥奪されたすべてのメタデータは、メディアがソーシャルメディア・プラットフォームまたは自動的に情報を剥奪する他のプロセスを通じて入手されたことを示す場合がある。 
Advanced recommendations:  上級者への勧め 
o   Physics based examinations – complete checks to verify vanishing points, reflections, shadows, and more using ideas from Hany Farid [see Chapter 1 of Fake Photos for more information] [51] and other methods that use Fluid Dynamics. [52]  o   物理学に基づいた試験 - Hany Farid [詳しくはFake Photosの第1章を参照] [51] のアイデアや流体力学を使用した他の方法を使用して、消失点、反射、影などを確認するための完全なチェック。[52] 
o   Compression based examination – Use tools designed to look for compression artifacts, knowing that lossy compression in media will inherently destroy lots of forensic artifacts.  o   圧縮に基づく検査 - メディアの非可逆圧縮は、本質的に多くのフォレンジック・アーティファクトを破壊することを承知の上で、圧縮アーチファクトを探すように設計されたツールを使用する。 
o   Content based examinations (when appropriate) – Use tools designed to look for specific manipulations when suspected. For example:  o   内容に基づく検査(適切な場合) - 疑わしい場合は、特定の操作を探すように設計されたツールを使用する。例えば 
n  Use tools like those available on GitHub [53] if a GAN was suspected for deepfake production.   n  ディープフェイク制作にGANが疑われる場合は、GitHub [53]にあるようなツールを使用する。  
n  Consider plug-ins to detect suspected fake profile pictures. [54]  n  偽のプロフィール写真の疑いを検出するプラグインを検討してください。[54] 
n  Explore the Antispoofing Wiki with various deepfake detection tools and software. [55]  n  様々なディープフェイク検出ツールやソフトウェアが掲載されているAntispoofing Wikiをご覧ください。[55] 
n  Use open source algorithms and papers for various manipulation tasks, such as grip-unina [56] and the deepfake detection challenge. [57]  n  grip-unina [56]やdeepfake detection challenge [57]のような、様々な操作タスクのためのオープンソースのアルゴリズムや論文を利用する。[57] 
n  In addition to the techniques and categories mentioned above, other techniques can be deployed to detect deepfakes of high priority individuals. Such techniques are based off the unique characteristics of the individual and are sometimes referred to as Person of Interest (POI) models. Training these models for a particular person can be time consuming and, in some cases, requires hours of data. However, if the concern is to protect a particular individual, these methods are designed just for that. Some examples include:  n  優先順位の高い個人のディープフェイクを検出するために、上記の技術とカテゴリに加えて、他の技術を導入することができる。このような技術は、個人のユニークな特徴に基づいており、Person of Interest (POI)モデルと呼ばれることもある。特定の人物についてこれらのモデルをトレーニングするには時間がかかり、場合によっては何時間もデータを必要とする。しかし、特定の個人を保護することが目的であれば、これらの方法はまさにそのために設計されている。いくつかの例を挙げる: 
•         ID-Reveal [58] and Audio-Visual Person-of-Interest DeepFake detection; [59]  •         ID-Reveal[58]とAudio-Visual Person-of-Interest DeepFake検出; [59]。 
•         Protecting World Leaders Against Deepfakes [60] and Protecting President Zelenskky; [61] and   •         ディープフェイクから世界の指導者を守る[60]」、「ゼレンスキー大統領を守る[61]」、そして  
•         Person Specific Audio Deepfake Detection. [62]  •         人物固有の音声・ディープフェイク検出。[62] 
•         Note on POI models: if organizations wish to protect their executives with POI models, they should consider actively collecting and curating legitimate video and audio recordings of these individuals. Such collections of data will be necessary to develop detection models.  •         POIモデルに関する注意:もし組織がPOIモデルを使って役員を保護したいのであれば、これらの個人の合法的なビデオや音声の記録を積極的に収集し、管理することを検討すべきである。このようなデータの収集は、検知モデルを開発するために必要である。 
2. Protect public data of high-priority individuals.  2. 優先順位の高い個人の公開データを保護する。 
To protect media that contains the individual from being used or repurposed for disinformation, one should consider beginning to use active authentication techniques such as watermarks and/or CAI standards. This is a good preventative measure to protect media and make it more difficult for an adversary to claim that a fake media asset portraying the individual in these controlled situations is real. Prepare for and take advantage of opportunities to minimize the impact of deepfakes.  個人を含むメディアが偽情報に利用されたり、再利用されたりしないように保護するために、透かしやCAI標準などの能動的認証技術の使用を開始することを検討すべきである。これは、メディアを保護し、敵対者がこのような管理された状況にある個人を描いた偽のメディア資産が本物であると主張することをより困難にするための良い予防策である。ディープフェイクの影響を最小化する機会を準備し、活用する。 
·         Plan and rehearse: Ensure plans are in place among organizational security teams to respond to a variety of deepfake techniques. These should be prioritized by the likelihood and unique vulnerabilities of each organization and their industry. Some organizations will be more susceptible to executive impersonation or misinformation which may impact brand status or public stock shares. Other organizations relying on high volumes of virtual financial transactions may be more vulnerable to financial fraud.  ·         計画を立て、リハーサルを行う:組織のセキュリティチーム間で、様々なディープフェイク手法に対応するための計画が策定されていることを確認する。これらは、各組織とその業界の可能性と固有の脆弱性によって優先順位をつけるべきである。組織によっては、ブランドの地位や株式公開に影響を及ぼす可能性のある経営陣のなりすましや誤情報の影響を受けやすい。また、大量の仮想金融取引に依存している組織では、金融詐欺に対してより脆弱かもしれない。 
·         Once a plan is established, do several tabletop exercises to practice and analyze the execution of the plan. These should involve the most likely targets of deepfakes and include executives who may be prime targets. [63]  計画が確立したら、計画の実行を練習し、分析するために、何度か卓上演習を行う。これらの演習には、ディープフェイクのターゲットとなる可能性が最も高い者を参加させ、主要なターゲットとなり得る経営幹部も参加させるべきである。[63] 
·         Reporting and sharing experiences: Report the details of malicious deepfakes with appropriate U.S. Government partners, including the NSA Cybersecurity Collaboration Center for Department of Defense and Defense Industrial Base Organizations and the FBI (including local offices or CyWatch@fbi.gov), to spread awareness of trending malicious techniques and campaigns.  ·         経験の報告と共有:悪意のあるディープフェイクの詳細を、国防総省および国防産業基盤組織のためのNSAサイバーセキュリティ・コラボレーション・センターやFBI(地方事務所またはCyWatch@fbi.gov)を含む適切な米国政府のパートナーに報告し、トレンドとなっている悪意のある手法やキャンペーンについての認識を広める。 
·         Training personnel: Every organization should incorporate an overview of deepfake techniques into their training program. This should include an overview of potential uses of deepfakes designed to cause reputational damage, executive targeting and BEC attempts for financial gain, and manipulated media used to undermine hiring or operational meetings for malicious purposes. Employees should be familiar with standard procedures for responding to suspected manipulated media and understand the mechanisms for reporting this activity within their organization.  ·         トレーニング担当者:各組織は、ディープフェイク技術の概要を研修プログラムに組み込むべきである。これには、風評被害を引き起こすために設計されたディープフェイクの潜在的な使用法、金銭的利益を目的とした経営幹部ターゲティングやBECの試み、悪意ある目的のために採用や運営会議を弱体化させるために使用される操作メディアの概要が含まれるべきである。従業員は、操作された疑いのあるメディアに対応するための標準的な手順に精通し、組織内でこの活動を報告するための仕組みを理解する必要がある。 
Training resources specific to deepfakes are already available from the following sources:  ディープフェイクに特化したトレーニング・リソースは、すでに以下の情報源から入手可能である: 
n   SANS Institute – “Learna New Survival Skill: Spotting Deepfakes;” [64]  n   SANS Institute - 「新しいサバイバルスキルを身につけよう:ディープフェイクを見破る" [64] 
n   MIT Media Lab – “ Detect Deep Fakes: How to counteract information created by AI” [65] and MIT Media Literacy; [66] and   n   MITメディアラボ - 「ディープフェイクを検知せよ:AIが作り出した情報に対抗する方法」[65]とMITメディアリテラシー、[66]と  
n   Microsoft – “Spot the Deep fake.” [67]  n   マイクロソフト - "ディープフェイクを見破れ"[67] 
·        Leveraging cross-industry partnerships: C2PA is a significant effort launched in 2021 to address the prevalence of misleading information online through the development of technical standards for certifying the provenance of media content. Specifications and principles for ensuring media provenance can be found on the C2PA website. [4] Additional information on issues relating to misinformation and content provenance is available from C2PA associated efforts at CAI [36] and Project Origin. [5]  ·        業界を超えたパートナーシップの活用:C2PAは、メディア・コンテンツの出所を証明するための技術基準の策定を通じて、ネット上に蔓延する誤解を招く情報に対処するために2021年に開始された重要な取り組みである。メディアの出所を保証するための仕様と原則は、C2PAのウェブサイトに掲載されている。[4] 誤情報とコンテンツの出所に関する追加情報は、C2PAに関連するCAI [36]とProject Originの取り組みから入手できる。[5] 
As of 2023, CAI encompassed more than 1,000 private companies across tech, media, news publishers, researchers, and NGOs. CAI offers several free open source tools to implement media provenance, a regular newsletter, and a community channel on Discord.  2023年現在、CAIはハイテク、メディア、ニュース出版社、研究者、NGOなど1,000社以上の民間企業を包含している。CAIは、メディア実証を実施するためのいくつかの無料オープンソースツール、定期的なニュースレター、Discord上のコミュニティチャンネルを提供している。 
Project Origin, a cross industry effort involving Microsoft and several major media producers, aims to similarly establish a chain of content provenance through secure signatures and web browser extensions. Technical background can be found on their website at originproject.info.   プロジェクトOriginは、マイクロソフトといくつかの大手メディア制作会社が参加する業界横断的な取り組みであり、同様に、安全な署名とウェブブラウザの拡張機能を通じて、コンテンツの証明の連鎖を確立することを目指している。技術的な背景は、originproject.infoのウェブサイトに掲載されている。  
·        Understand what private companies are doing to preserve the provenance of online content: Organizations should actively pursue partnerships with media, social media, career networking, and similar companies in order to learn more about how these companies are preserving the provenance of online content. This is especially important considering how they may be working to identify and mitigate the harms of synthetic content, which may be used as a means to exploit organizations and their employees.   ·        オンラインコンテンツの出所を保護するために、民間企業がどのような取り組みを行っているかを理解する:組織は、メディア、ソーシャル・メディア、キャリア・ネットワーキング、および類似の企業との提携を積極的に追求し、これらの企業がオンライン・コンテンツの出所をどのように保全しているかについて詳しく知るべきである。特に、組織とその従業員を搾取する手段として使用される可能性のある合成コンテンツの害を特定し、軽減するために、これらの企業がどのように取り組んでいるかを考慮することは重要である。  

 

| | Comments (0)

2023.09.14

カナダ 連邦政府 生成的AI活用ガイド (2023.09.06)

こんにちは、丸山満彦です。

カナダ連邦政府が、連邦政府の職員向け?に生成的AI活用ガイドを発表していますね。。。

よく考えられているように思うので、まだ組織で生成的AIの利用ガイド等をつくっていないところは、参考にするとよいと思います。

ただ、カナダ連邦政府の場合は、ここに至る前に「自動意思決定に関する指令(Directive on Automated Decision-Making 
)」を2019.04.01に発効していて、その上にこのガイドが成り立っているということは理解しておいたほうがよいかもです。。。

また、2023.07.14 には、サイバーセキュリティセンター(CCCS)から、生成的AIのガイダンス (Generative artificial intelligence (AI) - ITSAP.00.041) も公開されています。。。

Flag_of_canadasvg

Government of CanadaAbout government - Government in a digital age - Digital government innovation - Responsible use of artificial intelligence (AI)

・2023.09.06 Guide on the use of Generative AI

Guide on the use of Generative AI 生成的AI活用ガイド
Table of contents 目次
Overview 概要
What is generative AI? 生成的AIとは何か?
Challenges and concerns 課題と懸念
Recommended approach 推奨されるアプローチ
Policy considerations and best practices 政策上の考慮事項とベストプラクティス
Use of this guide and additional support available 本ガイドの活用と追加サポート
Frequently asked questions よくある質問
Overview 概要
Generative artificial intelligence (AI) tools offer many potential benefits to Government of Canada (GC) institutions. Federal institutions should explore potential uses of generative AI tools for supporting and improving their operations. However, because these tools are evolving, they should not be used in all cases. Federal institutions must be cautious and evaluate the risks before they start using them. The use of these tools should be restricted to instances where risks can be effectively managed. 生成的人工知能(AI)ツールは、カナダ政府(GC)機構に多くの潜在的利益をもたらす。連邦政府機関は、業務を支援し改善するための生成的AIツールの潜在的な利用法を探るべきである。しかし、これらのツールは進化しているため、すべてのケースで使用すべきではない。連邦政府機関は、利用を開始する前に慎重を期し、リスクを評価しなければならない。これらのツールの使用は、リスクを効果的にマネジメントできる場合に限定すべきである。
This document provides preliminary guidance to federal institutions on their use of generative AI tools. This includes instances where these tools are deployed by federal institutions. It provides an overview of generative AI, identifies challenges and concerns relating to its use, puts forward principles for using it responsibly, and offers policy considerations and best practices. 本文書は、連邦機関が生成的AIツールを使用する際の予備的ガイダンスを提供する。これには、連邦機関がこれらのツールを導入する場合も含まれる。生成的AIの概要を説明し、その使用に関する課題と懸念を特定し、責任を持って使用するための原則を提示し、政策上の考慮事項とベストプラクティスを提供する。
This guide also seeks to raise awareness and foster coordination among federal institutions. It highlights the importance of engaging key stakeholders before deploying generative AI tools for public use and before using them for purposes such as service delivery. These stakeholders include legal counsel, privacy and security experts, and the Office of the Chief Information Officer at the Treasury Board of Canada Secretariat (TBS). 本ガイドブックはまた、連邦政府機関の認識を高め、連携を促進することを目的としている。生成的AIツールを公共用に展開する前や、サービス提供などの目的で使用する前に、主要な利害関係者を関与させることの重要性を強調している。これらの利害関係者には、法律顧問、プライバシーとセキュリティの専門家、カナダ財務省事務局(TBS)の最高情報責任者室などが含まれる。
The guide complements and supports compliance with many existing federal laws and policies, including in areas of privacy, security, intellectual property, and human rights. The guide is intended to be evergreen as TBS recognizes the need for iteration to keep pace with regulatory and technological change. 本ガイドは、プライバシー、セキュリティ、知的財産、人権の分野を含む、多くの既存の連邦法や政策を補完し、その遵守を支援するものである。TBSは、規制や技術の変化に対応するため、本ガイドを常に進化させる必要性を認識している。
What is generative AI? 生成的AIとは何か?
The Directive on Automated Decision-Making defines AI as information technology that performs tasks that would ordinarily require biological brainpower to accomplish, such as making sense of spoken language, learning behaviours, or solving problems. 自動意思決定に関する指令は、AIを、話し言葉の理解、行動の学習、問題の解決など、通常は生物学的な脳力を必要とするタスクを実行する情報技術と定義している。
Generative AI is a type of AI that produces content such as text, audio, code, videos and images. Footnote1 This content is produced based on information that the user inputs, which consists of prompts (typically short instructional texts). 生成的AIは、テキスト、音声、コード、動画、画像などのコンテンツを生成するAIの一種である。脚注1 このコンテンツは、プロンプト(通常は短い指示文)からなるユーザーが入力した情報に基づいて生成される。
Examples of generative AI tools include chatbots such as ChatGPT and Bing Chat; GitHub Copilot, which produces code based on text prompts; and DALL-E, Midjourney and Stable Diffusion, which produce images from text or image prompts. In addition, generative AI models can be fine-tuned, or custom models can be trained and deployed to meet an organization’s needs. Footnote2 生成的AIツールの例としては、ChatGPTやBing Chatなどのチャットボット、テキストのプロンプトに基づいてコードを生成するGitHub Copilot、テキストや画像のプロンプトから画像を生成するDALL-E、Midjourney、Stable Diffusionなどがある。さらに、生成的AIモデルを微調整したり、組織のニーズに合わせてカスタムモデルをトレーニングして導入することもできる。脚注2
Many generative AI models have been trained on large volumes of data, including publicly available data from the Internet. Based on the training data, these models generate content that is statistically likely in response to a prompt, Footnote3 for example, by predicting the next word in a sentence. Techniques such as human supervision and reinforcement learning can also be applied to further improve the outputs, Footnote3
and users can provide feedback or change their prompt to refine the response. Generative AI can therefore produce content that looks as though a human produced it.
生成的AIモデルの多くは、インターネットから一般に入手可能なデータを含む、大量のデータで訓練されている。これらのモデルは学習データに基づいて、例えば文中の次の単語を予測するなどして、プロンプトに対して統計的に可能性の高いコンテンツを生成する。また、人間の監視や強化学習などの技術を適用して、Footnote3の出力をさらに改善することもでき、プロバイダはフィードバックを提供したり、プロンプトを変更して応答を洗練させることができる。そのため生成的AIは、あたかも人間が作成したかのようなコンテンツを作成することができる。
Generative AI can be used to perform or support various tasks including: 生成的AIは、以下のようなさまざまなタスクの実行やサポートに使用できる:
・writing and editing documents and emails ・文書や電子メールの作成・編集
・coding tasks, such as debugging and generating templates and common solutions ・デバッグ、テンプレートや一般的なソリューションの生成などのコーディング作業
・summarizing information ・情報を要約する
・brainstorming ・ブレインストーミング
・research, translation and learning ・リサーチ、翻訳、学習
・providing support to clients (for example, answering questions, troubleshooting) ・クライアントへのサポート提供(質問への回答、トラブルシューティングなど)
Challenges and concerns 課題と懸念
Before federal institutions start using generative AI tools, they must assess and mitigate certain ethical, legal and other risks. For example, these tools can generate inaccurate content; amplify biases; and violate intellectual property, privacy and other laws. Further, some tools may not meet federal privacy and security requirements. When institutions use these tools, they must protect personal information and sensitive data. As well, because these tools generate content that can look as though a human produced it, people might not be able to tell whether they are interacting with a person or a tool. The use of these tools can also affect the skill and judgment of public servants and can have environmental costs. 連邦機関が生成的AIツールの使用を開始する前に、倫理的、法的、その他のリスクを評価し、軽減する必要がある。例えば、これらのツールは不正確なコンテンツを生成したり、バイアスを増幅させたり、知的財産権、プライバシー、その他の法律に違反したりする可能性がある。さらに、一部のツールは、連邦政府のプライバシーおよびセキュリティ要件を満たしていない可能性がある。機構がこれらのツールを使用する場合、個人情報や機密データを保護しなければならない。また、これらのツールは、あたかも人間が作成したかのようなコンテンツを生成するため、人々は、自分が人とやりとりしているのか、それともツールとやりとりしているのかを見分けることができないかもしれない。このようなツールの使用は、公務員のスキルや判断力にも影響を与え、環境コストも発生させる可能性がある。
Generative AI tools rely on models that pose various challenges, including limited transparency and explainability. They also rely on training data that is difficult to access and assess. These challenges stem in part from large model sizes, high volumes of training data, and the proprietary nature of many of the tools. In addition, the outputs of the models are constrained by the prompts and the training data, which may lack context that is not publicly available on the Internet. Training data could also be outdated; for example, ChatGPT is trained on data up to 2021, so it has a limited ability to provide information on events after that. Footnote4 Footnote5 As well, these tools have limitations that reduce their utility for certain purposes; for example, they tend to perform poorly on tasks related to emotion. Footnote6 Footnote7 生成的AIツールは、透明性や説明可能性に限界があるなど、さまざまな課題をもたらすモデルに依存している。また、アクセスや評価が困難な学習データにも依存している。これらの課題は、モデルのサイズが大きいこと、学習データが大量であること、多くのツールが独自仕様であることなどに起因している。さらに、モデルの出力は、プロンプトとトレーニングデータによって制約を受ける。例えば、ChatGPTは2021年までのデータでトレーニングされているため、それ以降のイベントに関する情報を提供する能力は限られている。脚注4 脚注5 同様に、これらのツールには特定の目的に対する有用性を低下させる限界がある。例えば、感情に関連するタスクでは性能が低い傾向がある。脚注6 脚注7
Generative AI could also pose risks to the integrity and security of federal institutions, given its potential misuse by threat actors. Federal institutions should be aware of these risks and ensure that the necessary mitigation measures are in place in accordance with the Canadian Centre for Cyber Security’s guidance on generative AI. 生成的AIは、脅威行為者によって悪用される可能性があることから、連邦機関の完全性と安全性にもリスクをもたらす可能性がある。連邦機関はこうしたリスクを認識し、生成的AIに関するカナダ・サイバーセキュリティセンターのガイダンスに従って、必要な低減措置を確実に講じるべきである。
Recommended approach 推奨されるアプローチ
Federal institutions should explore how they could use generative AI tools to support their operations and improve outcomes for Canadians. However, given the challenges and concerns relating to these tools, institutions should assess and mitigate risks and should restrict their use to activities where they can manage the risks effectively. Given the growing adoption of these technologies in different sectors and by the public, their use in government will help keep pace with the evolving digital landscape. 連邦機関は、生成的AIツールをどのように活用すれば業務を支援し、カナダ国民の成果を改善できるかを検討すべきである。しかし、これらのツールに関する課題や懸念を考慮すると、機構はリスクをアセスメントし、軽減し、リスクを効果的にマネジメントできる活動に使用を制限すべきである。様々なセクターや一般市民によるこれらのテクノロジーの導入が進んでいることを考えると、政府におけるこれらのツールの利用は、デジタル環境の進化に歩調を合わせるのに役立つだろう。
Federal institutions should evaluate the tools for their potential to help employees, not replace them. When deciding whether to use generative AI tools, public servants should refer to the guide to ethical decision-making in section 6 of Values Alive: A Discussion Guide to the “Values and Ethics Code for the Public Sector.” 連邦機関は、職員に取って代わるのではなく、職員を助ける可能性のあるツールを評価すべきである。生成的AIツールを使用するかどうかを決定する際、公務員は『Values Alive』の第6章にある「倫理的意思決定の指針」を参照すべきである。
To maintain public trust and ensure the responsible use of generative AI tools, federal institutions should align with the “FASTER” principles: 国民の信頼を維持し、生成的AIツールの責任ある使用を確保するために、連邦機関は「FASTER」原則に沿うべきである:
Fair: ensure that content from these tools does not include or amplify biases and that it complies with human rights, accessibility, and procedural and substantive fairness obligations 公正:これらのツールから得られるコンテンツがバイアスを含んだり増幅したりしないようにし、人権、アクセシビリティ、手続き上および実質上の公正義務を遵守する。
Accountable: take responsibility for the content generated by these tools. This includes making sure it is factual, legal, ethical, and compliant with the terms of use 説明責任:これらのツールによって生成されたコンテンツに責任を持つ。これには、事実に基づいているか、合法的か、倫理的か、利用規約を遵守しているかを確認することも含まれる。
Secure: ensure that the infrastructure and tools are appropriate for the security classification of the information and that privacy and personal information are protected 防御:インフラとツールが情報のセキュリティ分類に適しており、プライバシーと個人情報が保護されていることを確認する。
Transparent: identify content that has been produced using generative AI; notify users that they are interacting with an AI tool; document decisions and be able to provide explanations if tools are used to support decision-making 透明性:生成的AIを使用して作成されたコンテンツを識別すること、AIツールとやりとりしていることを利用者に通知すること、意思決定を支援するためにツールが使用されている場合、意思決定を文書化し、説明を提供できるようにすること。
Educated: learn about the strengths, limitations and responsible use of the tools; learn how to create effective prompts and to identify potential weaknesses in the outputs 教育:ツールの長所、限界、責任ある使用について学び、効果的なプロンプトの作成方法を学び、出力の潜在的な弱点を特定する。
Relevant: make sure the use of generative AI tools supports user and organizational needs and contributes to improved outcomes for Canadians; identify appropriate tools for the task; AI tools aren’t the best choice in every situation 関連性:生成的AIツールの使用が、ユーザーと組織のニーズをサポートし、カナダ人の成果改善に貢献することを確認する。
For assistance in determining the appropriate use of these tools, public servants should engage with relevant stakeholders such as their institution’s legal services, privacy and security experts, Chief Information Office, Chief Data Office and diversity and inclusion specialists. As well, the Canadian Centre for Cyber Security, Statistics Canada and the Office of the Chief Information Officer at TBS are also available to support federal institutions in the responsible use of these tools. これらのツールの適切な使用を決定するための支援として、公務員は各機関の法務サービス、プライバシーとセキュリティの専門家、最高情報責任者、最高データ管理責任者、ダイバーシティとインクルージョンの専門家など、関連する利害関係者と関わるべきである。また、Canadian Centre for Cyber Security(カナダ・サイバーセキュリティセンター)、Statistics Canada(カナダ統計局)、TBSのOffice of the Chief Information Officer(最高情報責任者室)も、連邦機関がこれらのツールを責任を持って使用するためのサポートを行っている。
Policy considerations and best practices 政策上の考慮事項とベストプラクティス
Does the Directive on Automated Decision-Making apply? 自動意思決定に関する指令は適用されるか?
The  Directive on Automated Decision-Making applies to automated systems, including those that rely on AI, used to influence or make administrative decisions. Like other AI systems, generative AI systems have capabilities that allow them to make assessments or determinations about clients in service delivery. For example, a generative AI system could be used to summarize a client’s data or to determine whether they are eligible for a service. Footnote8 These administrative uses have the potential to affect how an officer views and decides on a case, which has implications for the client’s rights, interests or privileges. The directive therefore applies to the use of generative AI systems to make or inform administrative decisions. 自動意思決定に関する指令は、行政上の意思決定に影響を与えたり決定したりするために使用される、AIに依存するものを含む自動化システムに適用される。他のAIシステムと同様、生成的AIシステムにも、サービス提供におけるクライエントの評価や決定を行うことができる機能がある。例えば、生成的AIシステムは、クライアントのデータを要約したり、サービスを受ける資格があるかどうかを判断したりするために使用することができる。脚注8 こうした行政上の利用は、担当官が案件をどのように見て判断するかに影響を及ぼす可能性があり、それはクライアントの権利、利益、または特権に影響を及ぼす。したがって、この指令は、行政上の決定を下すため、または行政上の決定に情報を提供するための生成的AIシステムの使用に適用される。
However, generative AI may not be suited for use in administrative decision-making at this stage. The design and functioning of generative models can limit federal institutions’ ability to ensure transparency, accountability and fairness in decisions made by generative AI systems or informed by their outputs. As well, the terms of use for the generative AI products of many leading technology companies prohibit using their products to make high-impact decisions. For example, OpenAI instructs users not to employ ChatGPT in decisions about credit, employment, educational institutions, or public assistance services; law enforcement and criminal justice; and migration and asylum. Footnote9 Similarly, Google prohibits users of their generative AI product from making “automated decisions in domains that affect material or individual rights or well-being.” Footnote10 These limitations underscore the importance of complying with the directive’s requirement to consult legal services during the design phase of an automation project. The consultation allows federal institutions to understand the legal risks of administrative uses of generative AI systems both for themselves and for their clients. しかし、生成的AIは、現段階では行政上の意思決定に使用するには適さないかもしれない。生成的モデルの設計と機能は、生成的AIシステムによって下された、あるいはその出力によって知らされた意思決定の透明性、説明責任、公平性を確保する連邦機関の能力を制限する可能性がある。また、多くの大手テクノロジー企業の生成的AI製品の利用規約は、影響力の大きい意思決定を行うためにその製品を使用することを禁じている。例えば、オープンAIは、信用、雇用、教育機関、公的扶助サービス、法執行と刑事司法、移民と亡命に関する意思決定にChatGPTを使用しないようユーザーに指示している。脚注9 同様に、グーグルは生成的AI製品のユーザーに対し、「物質的または個人の権利や幸福に影響を与える領域における自動化された決定」を行うことを禁止している。脚注10 これらの制限は、自動化プロジェクトの設計段階で法律事務所に相談するという指令の要件を遵守することの重要性を強調している。この相談によって、連邦機関は、自分たちのためにもクライアントのためにも、生成的AIシステムの行政利用の法的リスクを理解することができる。
Not all uses of generative AI are subject to the directive. For example, using generative tools in research or to brainstorm, plan, or draft routine correspondence falls outside the scope of the directive. However, such non-administrative uses are still subject to the laws and policies that govern federal institutions. 生成的AIのすべての用途が指令の対象となるわけではない。例えば、研究、ブレーンストーミング、計画、日常的な通信文のドラフトに生成ツールを使用することは、指令の範囲外である。しかし、このような非管理的な使用は、依然として連邦政府機構をガバナンスする法律やポリシーの対象となる。
Privacy considerations プライバシーへの配慮
As with any online system, personal information should not be entered into a generative AI tool or service unless a contract is in place with the supplier and covers how the information will be used and protected. Before using a generative AI tool, federal institutions must also make sure that the collection and use of personal information, including information used to train the tool, meets their privacy obligations. 他のオンラインシステムと同様、供給業者と契約が締結され、情報の使用方法と保護方法が網羅されていない限り、生成的AIツールやサービスに個人情報を入力すべきではない。生成的AIツールを使用する前に、連邦機関は、ツールの訓練に使用される情報を含む個人情報の収集と使用が、プライバシー保護義務を満たしていることも確認しなければならない。
All personal information used by, created or obtained through, and disclosed for the use of generative AI by federal institutions is subject to the requirements of the Privacy Act and related policy instruments. This means that: 連邦政府機関が生成的AIを使用するために使用し、生成または取得し、開示するすべての個人情報は、個人情報保護法および関連する政策文書の要件に従う。これは次のことを意味する:
・personal information can only be collected if it is directly related to the program or activity ・個人情報は、プログラムや活動に直接関連する場合のみ収集できる。
・it may only be used for the purpose for which it was collected or for a use consistent with that purpose ・個人情報は、収集された目的またはその目的に沿った用途にのみ使用できる。
・it has limited permissible disclosures outlined in the legislation ・個人情報の開示は法律で制限されている。
・institutions must be transparent about how they treat and safeguard the personal information they collect once it is under the control of the government ・機関は、収集した個人情報が政府の管理下に置かれた後、どのように扱い、保護するかについて透明性を持たなければならない。
The privacy risks will vary based on how the AI tool collects and processes information about individuals and, potentially, makes decisions about them. An AI tool could, for example, decide whether someone is eligible for a service, determine the level of benefit someone is entitled to, or process survey data to inform policy direction. プライバシーのリスクは、AIツールがどのように個人に関する情報を収集・処理し、潜在的には個人に関する意思決定を行うかによって異なる。例えば、AIツールは、誰かがサービスを受ける資格があるかどうかを決定したり、誰かが受ける権利がある給付のレベルを決定したり、政策の方向性を知らせるために調査データを処理したりすることができる。
The Privacy Act requires that a government institution take all reasonable steps to ensure that personal information that is used for an administrative purpose by the institution is as accurate, up-to-date and complete as possible. When using a generative AI system to make or inform decisions about individuals, federal institutions must have confidence that the personal information the system collects, creates or uses is accurate. For this reason, direct collection from the individual is required in most situations. Direct collection also allows for the individual to be notified of the collection and of how their information will be used and managed. 個人情報保護法は、政府機関が行政目的のために使用する個人情報が、可能な限り正確で、最新かつ完全であることを保証するために、あらゆる合理的な措置を講じることを義務付けている。生成的AIシステムを使用して個人に関する決定を下したり、情報を提供したりする場合、連邦政府機関は、システムが収集、作成、使用する個人情報が正確であるという確信を持たなければならない。このため、ほとんどの場合、本人からの直接収集が必要となる。直接収集することで、個人は収集について、また自分の情報がどのように使用・管理されるかについて通知される。
If the output of a generative AI tool results in the creation of new personal information, the new information must also be managed according to privacy requirements. For example, a summary of an application for a service or benefit produced by a generative AI tool could constitute new personal information. Users should validate any personal information created by a generative AI tool to make sure that it is accurate, up-to-date and complete. As well, users must ensure that any new personal information is not disclosed for a purpose that is inconsistent with that for which it was collected. From the example above, sharing the new information about the individual with a different program for an unrelated benefit may not be appropriate and may constitute a privacy breach. 生成的AIツールの出力によって新たな個人情報が作成される場合、その新たな情報もプライバシー要件に従って管理されなければならない。例えば、生成的AIツールによって生成されたサービスや便益の申し込みの要約は、新たな個人情報を構成する可能性がある。ユーザーは、生成的AIツールによって作成された個人情報が正確で、最新で、完全なものであることを確認するために、それを検証しなければならない。また、利用者は、新たな個人情報が、それが収集された目的と矛盾する目的のために開示されないようにしなければならない。上記の例からすると、個人に関する新しい情報を、無関係な利益のために別のプログラムと共有することは適切でない可能性があり、プライバシー侵害を構成する可能性がある。
Federal institutions must also make sure that all personal information they collect and use can be made available to the individual concerned and that the individual can access and correct it upon request. Federal institutions must retain personal information that is used to make a decision about an individual for at least two years. This gives the individual enough time to exercise their right to access and correct the information. Federal institutions should not hold onto personal information for longer than required. The longer federal institutions hold personal information, the greater the likelihood of a potential privacy breach. 連邦機関はまた、収集し利用するすべての個人情報を当該本人が利用できるようにし、本人が要求に応じてアクセスし訂正できるようにしなければならない。連邦機関は、個人に関する決定に使用された個人情報を少なくとも2年間保持しなければならない。これは、個人が情報にアクセスし、訂正する権利を行使するのに十分な期間を与えるものである。連邦機関は、個人情報を必要以上に長く保持すべきではない。連邦機関が個人情報を保有する期間が長ければ長いほど、プライバシー侵害の可能性が高まる。
De-identification and the use of synthetic data can help institutions reduce the impact and likelihood of privacy breaches when training, using and evaluating the outputs of generative AI tools. Privacy Implementation Notice 2023-01: De-identification contains more information about these privacy preserving techniques. Other safeguards such as administrative controls, access rights, and auditing are also important to reduce the risk of inadvertent disclosure or unauthorized access, re-identification or inference, and to generally preserve the privacy of individuals. 非識別化と合成データの使用は、機関が生成的AIツールの出力を訓練、使用、評価する際に、プライバシー侵害の影響と可能性を減らすのに役立つ。プライバシー実施通知2023-01 個人情報保護実施通知2023-01:個人情報の非識別化」には、これらの個人情報保護技術に関する詳細が記載されている。管理統制、アクセス権、監査などのその他の保護措置も、不注意による開示や不正アクセス、再識別、推論のリスクを低減し、一般的に個人のプライバシーを保護するために重要である。
Before considering procuring, using or deploying generative AI tools, federal institutions’ privacy officials must determine whether a Privacy Impact Assessment is needed. 生成的AIツールの調達、使用、配備を検討する前に、連邦機関のプライバシー担当者は、プライバシー影響評価が必要かどうかを判断しなければならない。
When federal institutions are building IT solutions that use generative AI, they must make sure they meet privacy requirements. The Digital Privacy Playbook contains more information on these requirements and on how to incorporate privacy guidance into IT solutions that use generative AI. 連邦機関が生成的AIを使用するITソリューションを構築する場合、プライバシー要件を満たしていることを確認しなければならない。デジタル・プライバシー・プレイブック』には、これらの要件と、生成的AIを使用するITソリューションにプライバシーガイダンスを組み込む方法の詳細が記載されている。
Potential issues and best practices 潜在的な問題とベスト・プラクティス
The following section provides a brief overview of several areas of risk and sets out best practices for the responsible use of generative AI in federal institutions. In addition to the best practices identified for all users of generative AI in the federal government, best practices specific to federal institutions developing or deploying these tools are also identified to ensure that risks are appropriately assessed and mitigated, and to distinguish between the responsibilities of users and developers. 以下のセクションでは、いくつかのリスク領域を簡単に概観し、連邦機関における生成的AIの責任ある使用のためのベストプラクティスを示す。連邦政府における生成的AIの全ユーザーのために特定されたベスト・プラクティスに加えて、リスクが適切にアセスメントされ、低減されることを保証し、ユーザーと開発者の責任を区別するために、これらのツールを開発または導入する連邦機関に固有のベスト・プラクティスも特定される。
Protection of information 情報の防御
Issue: some generative AI tools do not meet government information security requirements 課題:一部の生成的AIツールは、政府の情報セキュリティ要件を満たしていない。
The protection of personal, classified, protected and proprietary information is critical when using generative AI systems. The providers of some generative AI tools may inspect input data or use this data to further train their models, which could result in privacy and security breaches. Risks can also arise from input data being stored on servers not controlled by the GC, where data might be retained for longer than necessary, made accessible, further distributed, or vulnerable to a data breach. Footnote11 Some tools, public or otherwise, may not meet privacy and security requirements established in federal law and policy. 生成的AIシステムを使用する場合、個人情報、機密情報、保護情報、専有情報の保護は極めて重要である。一部の生成的AIツールのプロバイダは、入力データを検査したり、このデータを使ってモデルをさらに訓練したりすることがあり、その結果、プライバシーやセキュリティが侵害される可能性がある。また、GCが管理していないサーバーに入力データが保存され、データが必要以上に長く保持されたり、アクセス可能になったり、さらに配布されたり、データ侵害の脆弱性が生じたりするリスクも生じうる。脚注11 公共のものであれ、そうでないものであれ、一部のツールは、連邦法や政策で確立されたプライバシーやセキュリティの要件を満たしていない場合がある。
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーにとってのベストプラクティス
・Don’t enter sensitive or personal information into any tools not managed by the GC. ・GCが管理していないツールに機密情報や個人情報を入力しない。
・Don’t submit queries on non-GC managed tools that could undermine public trust if they were disclosed. Refer to Appendix B of the Directive on Service and Digital for examples of unacceptable uses. ・GCが管理していないツールに、公開された場合に社会的信用を損なうようなクエリーを提出しない。容認できない使用例については、「サービスおよびデジタルに関する指令」の附属書Bを参照のこと。
・Understand how a system uses input data (for example, whether it’s used as training data or accessible to providers). ・システムが入力データをどのように使用しているか(例えば、トレーニングデータとして使用されているか、プロバイダがアクセスできるかなど)を理解する。
・Ask legal services and the departmental chief security officer (CSO) to review a supplier’s terms of use, privacy policy and other legal documents before using any system to process sensitive or proprietary information. ・機密情報または専有情報を処理するシステムを使用する前に、法務部および部門の最高セキュ リティ責任者(CSO)に、サプライヤーの利用規約、プライバシーポリシー、その他の法 的文書を確認するよう依頼する。
・Use infrastructure and tools that are appropriate for the security classification of the information, in accordance with the Directive on Security Management. ・セキュリティ管理に関する指令」に従い、情報のセキュリティ分類に適したイン フラとツールを使用する。
・Consult the departmental CSO before using, procuring or deploying generative AI for protected or other sensitive information. ・保護された情報またはその他の機密情報に対して生成的AIを使用、調達または配備する前に、部門CSOに相談する。
Consider the requirements for information and data residency in the Directive on Service and Digital and the related guidance in the Guideline on Service and Digital. ・サービスおよびデジタルに関する指令の情報およびデータの居住に関する要件と、サービスおよびデジタルに関するガイドラインの関連ガイダンスを考慮する。
・Use the “opt-out” feature, where possible, to ensure that prompts are not used to train or further develop an AI system. ・可能であれば「オプトアウト」機能を使用し、プロンプトがAIシステムの訓練やさらなる開発に使用されないようにする。
Additional best practices for federal institutions deploying a generative AI tool 連邦機関が生成的AIツールを導入する際のその他のベストプラクティス
・Conduct regular system testing prior to and throughout the operation of a system to ensure that it meets key performance targets. ・システムの運用開始前および運用期間中、定期的にシステムテストを実施し、システムが主要なパフォーマンス目標を満たしていることを確認する。
・Plan independent audits for assessing generative AI systems against risk and impact frameworks. ・生成的AIシステムをリスクと影響の枠組みに照らして評価するための独立監査を計画する。
Bias バイアス
Issue: generated content may amplify biases or other harmful ideas that are dominant in the training data 問題:生成されたコンテンツは、学習データで優勢なバイアスやその他の有害な考えを増幅する可能性がある。
Generative AI tools can produce content that is discriminatory or not representative, or that includes biases or stereotypes (for example, biases relating to multiple and intersecting identity factors such as gender, race and ethnicity). Footnote12 Footnote13 Footnote14 Many generative models are trained on large amounts of data from the Internet, which is often the source of these biases. For example, training data is likely to reflect predominant historical biases and may not include perspectives that are less prevalent in the data or that have emerged since the model was trained. Footnote12 Other sources that may contribute to biased content include data filtering, which can amplify the biases in the original training set, Footnote15 framing of the prompt, Footnote16 and model bias. Widespread use of these technologies could amplify or reinforce these biases and dominant viewpoints, and lead to less diversity in ideas, perspectives and language, Footnote12 Footnote17 as well as potential harms. 生成的AIツールは、差別的であったり、代表者でなかったり、バイアスやステレオタイプ(例えば、ジェンダー、人種、民族性などの複数の交差するアイデンティティ要因に関するバイアス)を含むコンテンツを生成する可能性がある。脚注12 脚注13 脚注14 多くの生成モデルは、こうしたバイアスの原因となりがちなインターネットからの大量のデータで学習される。例えば、学習データは歴史的に優勢なバイアスを反映している可能性が高く、データにあまり見られない視点や、モデルの学習後に出現した視点が含まれていない可能性がある。脚注12 偏った内容の一因となりうる他の原因としては、元の訓練セットのバイアスを増幅しうるデータのフィルタリング、脚注15 プロンプトのフレーミング、脚注16 モデルのバイアスなどがある。これらの技術が広く使用されることで、これらのバイアスや支配的な視点が増幅または強化され、潜在的な害だけでなく、アイデア、視点、言語の多様性の低下につながる可能性がある。
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーのためのベストプラクティス
・Review generated content to ensure that it aligns with GC commitments, values and ethics and meets legal obligations. This includes assessing for biases or stereotypical associations. ・生成されたコンテンツがGCのコミットメント、価値観、倫理に合致し、法的義務を満たしていることを確認するために、生成されたコンテンツをレビューする。これには、バイアスやステレオタイプな連想の評価が含まれる。
・Formulate prompts to generate content that provides holistic perspectives and minimizes biases. ・全体的な視点を提供し、バイアスを最小限に抑えるコンテンツを生成するためのプロンプトを策定する。
・Strive to understand the data that was used to train the tool, for example, where it came from, what it includes, and how it was selected and prepared. ・ツールを訓練するために使用されたデータ、例えば、それがどこから来たのか、何が含まれ ているのか、どのように選択され準備されたのかを理解するよう努める。
・Learn about bias, diversity, inclusion, anti-racism, and values and ethics to improve your ability to identify biased or discriminatory content. ・バイアス、多様性、インクルージョン、反人種主義、価値観と倫理について学び、偏見や差別的なコンテンツを識別する能力を向上させる。
・Notify recipients when content has been produced by generative AI. ・コンテンツが生成的AIによって作成された場合、取得者に通知する。
Additional best practices for federal institutions deploying a generative AI tool 連邦機関が生成的AIツールを導入する際のその他のベストプラクティス
・Consider potential biases and mitigation approaches from the planning and design stage, including by completing a gender-based analysis plus (GBA Plus) to understand how your deployment of generative AI tools might impact different population groups. ・生成的AIツールの導入が異なる集団にどのような影響を与えるかを理解するために、ジェンダーに基づく分析プラス(GBA Plus)を完了することを含め、計画・設計段階から潜在的なバイアスと低減アプローチを考慮する。
・Consult GBA Plus and other diversity and inclusion experts in your organization to identify impacts of the use of generative AI tools on different population groups and to develop measures to address those impacts. ・生成的AIツールの使用が異なる集団に与える影響を特定し、それらの影響に対処するための対策を開発するために、GBAプラスおよび組織内の他の多様性と包摂の専門家に相談する。
・Test for biases in the data, model and outputs before deploying a system, and on an ongoing basis. ・システム導入前および継続的に、データ、モデル、出力にバイアスがないかテストする。
Quality 品質
Issue: generated content may be inaccurate, incoherent or incomplete 問題:生成されたコンテンツは不正確、支離滅裂、不完全である可能性がある。
Generative AI technologies can produce content that appears to be well developed, credible and reasonable but that is in fact inaccurate, nonsensical or inconsistent with source data. Footnote18 Footnote19 This content is sometimes referred to as a “hallucination.” Also, content generated by AI tools may not provide a holistic view of an issue. Instead, it may focus on prevalent perspectives in the training data. Footnote12 It also might be out of date, depending on the time period the training data covers and whether the system has live access to recent data. The quality of the tools and outputs in different languages should also be considered to ensure compliance with official languages requirements. 生成的AI技術は、よく練られ、信頼性が高く、合理的であるように見えるが、実際には不正確であったり、無意味であったり、ソースデータと矛盾していたりするコンテンツを生成する可能性がある。脚注18 脚注19 このようなコンテンツは "幻覚 "と呼ばれることもある。また、AIツールによって生成されたコンテンツは、問題の全体的な見方を提供しないことがある。その代わりに、学習データにおいて一般的な視点に焦点を当てている可能性がある。脚注12 また、学習データがカバーしている期間や、システムが最新のデータにライブでアクセスできるかどうかによっては、古くなっている可能性もある。公用語要件への準拠を確実にするため、異なる言語におけるツールおよびアウトプットの質も考慮すべきである。
The risks associated with inaccurate content will vary based on the context and should be assessed. For example, using generative AI tools to learn about a topic may produce incorrect information or non-existent sources, Footnote20 which, if used in decision-making, could lead to unfair treatment of individuals or misguided policy. As well, the use of generative AI tools for public-facing communications could result in the government sharing inaccurate information, which would contribute to misinformation and erode public trust. 不正確なコンテンツに関連するリスクは文脈によって異なるため、リスクアセスメントを行う必要がある。例えば、あるトピックについて学習するために生成的AIツールを使用すると、誤った情報や存在しない情報源(脚注20)が生成される可能性があり、これが意思決定に使用されると、個人の不当な扱いや誤った政策につながる可能性がある。また、一般市民向けのコミュニケーションに生成的AIツールを使用すると、政府が不正確な情報を共有することになり、誤情報を助長して国民の信頼を損なう可能性がある。
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーにとってのベストプラクティス
・Clearly indicate that you have used generative AI to develop content. ・コンテンツ開発に生成的AIを使用していることを明確に示す。
・Don’t consider generated content as authoritative. Review it for factual and contextual accuracy by, for example, checking it against information from trusted sources. ・生成されたコンテンツを権威あるものとみなしてはならない。信頼できる情報源の情報と照合するなど、事実関係や文脈の正確性を確認する。
・Review personal information created using generative AI to ensure it is accurate, up-to-date and complete. ・生成的AIを用いて作成された個人情報が正確で、最新かつ完全であることを確認する。
・Assess the impact of inaccurate outputs. Don’t use generative AI when factual accuracy or data integrity is needed. ・不正確な出力が与える影響を評価する。事実の正確性やデータの完全性が必要な場合には、生成的AIを使用しない。
・Strive to understand the quality and source of training data. ・学習データの質とソースの理解に努める。
・Consider your ability to identify inaccurate content before you use generative AI. Don’t use it if you can’t confirm the content quality.・ ・生成的AIを使用する前に、不正確なコンテンツを識別する能力を検討する。コンテンツの品質を確認できない場合は使用しない。
・Learn how to create effective prompts and provide feedback to refine outputs to minimize the generation of inaccurate content. ・効果的なプロンプトを作成し、フィードバックを提供することで、不正確なコンテンツの生成を最小限に抑える。
Additional best practices for federal institutions deploying a generative AI tool 連邦政府機関が生成的AIツールを導入する際のその他のベストプラクティス
・Make sure the quality of tools and outputs meets official languages requirements before deployment. ・ツールおよびアウトプットの品質が公式言語要件を満たしていることを、導入前に確認する。
・Notify users that they are interacting with generative AI. ・ユーザーが生成的AIとやりとりしていることを通知する。
・Use watermarks to help users identify content generated by AI. ・ユーザーが生成的AIによって生成されたコンテンツを識別できるよう、透かしを使用する。
・When content is generated by AI, provide links to authoritative sources and encourage users to verify the content at the links provided. ・コンテンツが生成的AIによって生成された場合、権威ある情報源へのリンクをプロバイダに提供し、提供されたリンクでコンテンツを確認するよう利用者に促す。
・Provide information about the source of training data and how models were developed. ・学習データのソースやモデルの開発方法に関する情報を提供する。
Public servant autonomy 公務員の自律性
Issue: overreliance on AI can unduly interfere with judgment, stifle creativity and erode workforce capabilities 課題:AIへの過度の依存は、判断を不当に妨げ、創造性を抑制し、労働力を蝕む可能性がある。
Overreliance on generative AI tools can interfere with individual autonomy and judgment. For example, some users may be prone to uncritically accept system recommendations or other outputs, which could be incorrect. Footnote21  Footnote22 Overreliance on the system can be a sign of automation bias, which is a tendency to favour results generated by automated systems, even in the presence of contrary information from non-automated sources. Footnote21 As well, confirmation bias can contribute to overreliance Footnote21 because the outputs of generative AI systems can reinforce users’ preconceptions, especially when prompts are written in a way that reflects the user’s assumptions and beliefs. Footenote23 Overreliance on AI systems can result in a decline in critical thinking and can limit diversity in thought, thereby stifling creativity and innovation and resulting in partial or incomplete analyses. Overreliance on AI can impede employees’ ability to build and maintain the skills they need to complete tasks that are assigned to generative AI systems. This could reinforce the government’s reliance on AI and potentially erode workforce capabilities. 生成的AIツールへの過度の依存は、個人の自律性と判断を妨げる可能性がある。例えば、ユーザーによってはシステムの推奨やその他の出力を無批判に受け入れてしまいがちだが、それは正しくない可能性がある。システムに対する過度の信頼は、自動化バイアスの兆候である可能性がある。自動化バイアスとは、自動化されていない情報源からの反対情報がある場合でも、自動化システムによって生成された結果を好む傾向のことである。生成的AIシステムの出力がユーザーの先入観を強化する可能性があるためで、特にプロンプトがユーザーの思い込みや信念を反映するような書き方をしている場合はなおさらである。脚注23 AIシステムに過度に依存すると、批判的思考が低下し、思考の多様性が制限されるため、創造性と革新性が阻害され、部分的または不完全な分析が行われる可能性がある。AIへの過度の依存は、従業員が生成的AIシステムに割り当てられたタスクを完了するために必要なスキルを構築し、維持する能力を阻害する可能性がある。これは、政府のAIへの依存を強化し、潜在的に労働力の能力を低下させる可能性がある。
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーのためのベストプラクティス
・Consider whether you need to use generative AI to meet user and organizational needs. ・ユーザーと組織のニーズを満たすために生成的AIを使用する必要があるかどうかを検討する。
・Consider the abilities and limits of generative AI when assigning tasks and reviewing system outputs. ・タスクの割り当てやシステム出力のレビュー時に、生成的AIの能力と限界を考慮する。
・Build your AI literacy so that you can critically assess these tools and their outputs. ・AIツールやそのアウトプットを批判的に評価できるAIリテラシーを身につける。
・Use generative AI tools as aids, not as substitutes. Do not outsource a skill that you do not understand or possess. ・生成的AIツールを代用ではなく、補助として使用する。自分が理解していない、あるいは持っていないスキルを外注してはならない。
・Form your own views before you seek ideas or recommendations from AI tools. ・AIツールにアイデアや推奨を求める前に、自分自身の意見を形成する。
・Learn how to write prompts that are likely to result in content that provides a holistic perspective and minimizes biases. ・全体的な視点を提供し、バイアスを最小限に抑えたコンテンツになりやすいプロンプトの書き方を学ぶ。
・Always review content generated by AI, even if the system seems to be reliable in providing accurate responses. ・AIが生成したコンテンツは、たとえそのシステムが正確な回答を提供する信頼できるものであったとしても、常に見直す。
Legal risks 法的リスク
Issue: generative AI poses risks to human rights, privacy, intellectual property protection, and procedural fairness 問題:生成的AIは人権、プライバシー、知的財産保護、手続きの公平性にリスクをもたらす。
The government’s use of generative AI systems poses risks to the legal rights and obligations of federal institutions and their clients. These risks arise from the data used to train AI models, the way systems process input data, and the quality of system outputs. 政府による生成的AIシステムの利用は、連邦機関とそのクライアントの法的権利と義務にリスクをもたらす。これらのリスクは、AIモデルの訓練に使用されるデータ、システムが入力データを処理する方法、およびシステム出力の質から生じる。
The use by suppliers or federal institutions of copyright-protected materials like articles, books, code, paintings or music to train AI models may infringe intellectual property rights. The use or reproduction of the outputs generated by these models could also infringe on such rights if they contain material that is identical or substantially similar to a copyright-protected work. Further, the ownership of content created by or with the help of generative AI is uncertain. Privacy rights could also be at risk because data used to train generative AI models could include unlawfully collected or used personal information, including personal information obtained from publicly accessible online sources. AIモデルを学習させるために、論文、書籍、コード、絵画、音楽といった著作権で保護された素材をサプライヤーや連邦機関が使用することは、知的財産権を侵害する可能性がある。また、これらのモデルによって生成されたアウトプットの使用や複製も、著作権で保護された作品と同一または実質的に類似した素材を含む場合、そのような権利を侵害する可能性がある。さらに、生成的AIによって、あるいは生成的AIの助けを借りて作成されたコンテンツの所有権は不確実である。生成的AIモデルの学習に使用されるデータには、一般にアクセス可能なオンライン・ソースから取得された個人情報を含め、違法に収集または使用された個人情報が含まれる可能性があるため、プライバシーの権利もリスクにさらされる可能性がある。
Risks could also arise from the opacity of generative AI models and their potential for producing inaccurate, biased or inconsistent outputs. This opacity makes it difficult to trace and understand how the AI system produces outputs, which can undermine procedural fairness in instances where a federal institution is obliged to provide clients with reasons for administrative decisions, such as decisions to deny benefits. The quality of AI outputs can also impact individuals’ legal rights. For example, biased outputs could lead to discrimination in services, potentially violating human rights. 生成的AIモデルの不透明性や、不正確、バイアス、一貫性のない出力を生成する可能性からもリスクが生じる可能性がある。このような不透明性は、AIシステムがどのようにアウトプットを生成したかを追跡・理解することを困難にし、連邦機関が給付拒否の決定など行政決定の理由を顧客に提供する義務を負う場合、手続き上の公平性を損なう可能性がある。AIのアウトプットの質は、個人の法的権利にも影響を与える可能性がある。例えば、バイアスのかかったアウトプットは、サービスにおける差別につながり、人権を侵害する可能性がある。
These risks extend beyond decision-making scenarios. When federal institutions use generative AI tools to help the public find information (as is the case, for example, with the use of chatbots on departmental websites) or to produce public communications, there’s a risk that these tools will generate inappropriate content or misinformation that could contribute to or cause harm for which the government could be liable. こうしたリスクは、意思決定シナリオ以外にも及ぶ。連邦政府機構が生成的AIツールを使って一般市民が情報を見つけやすくしたり(例えば、省庁のウェブサイトでのチャットボットの利用がそうであるように)、パブリック・コミュニケーションを作成したりする場合、これらのツールが不適切なコンテンツや誤情報を生成し、政府が責任を負う可能性のある危害に加担したり、危害を引き起こしたりするリスクがある。
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーにとってのベストプラクティス
・Consult your institution’s legal services about the legal risks of deploying generative AI tools or using them in service delivery. The consultation could involve a review of the supplier’s terms of use, copyright policy, privacy policy and other legal documents. ・生成的AIツールの導入やサービス提供における使用の法的リスクについて、機関の法務サービスに相談する。相談には、サプライヤーの利用規約、著作権ポリシー、プライバシーポリシー、その他の法的文書のレビューが含まれる。
・Comply with the Directive on Automated Decision-Making when using generative AI in administrative decision-making. ・行政上の意思決定において生成的AIを使用する場合、自動意思決定に関する指令を遵守する。
・Check whether system outputs are identical or substantially similar to copyright-protected material. Give proper attribution, where appropriate, or remove this material to minimize the risk of infringement of intellectual property rights. ・システムの出力が著作権で保護された素材と同一または実質的に類似していないか確認する。知的財産権侵害のリスクを最小化するため、適切な場合は適切な帰属表示を行うか、この素材を削除する。
・Consult designated officials on the licensing and administration of Crown copyright if you are planning to include outputs in public communications, in accordance with the Procedures for Publishing. ・公的なコミュニケーションに出力を含める予定がある場合は、「出版に関する手続き」に従い、国庫著作権の使用許諾および管理について指定職員に相談する。
・Evaluate the quality of outputs for factual inaccuracies, biases or harmful ideas that may conflict with GC values. ・成果物が事実に反していないか、バイアスがかかっていないか、あるいはGCの価値観と相反するような有害な思想が含まれていないか、成果物の質を評価する。
・Keep up-to-date on legal and policy developments related to AI regulation. ・AI規制に関連する法的・政策的動向を常に把握する。
Additional best practices for federal institutions deploying a generative AI tool 連邦機関が生成的AIツールを導入する際のその他のベストプラクティス
・Verify the legality of the method used to obtain data for training AI models and make sure you have permission to use the data for this purpose. Where feasible, train your model using open-source data that has no restrictions on such use. ・AIモデルを訓練するためのデータを取得するために使用される方法の合法性を検証し、この目的のためにデータを使用する許可を得ていることを確認する。可能であれば、そのような使用に制限のないオープンソースのデータを使用してモデルを訓練する。
・Be transparent about your use of generative AI, including by notifying users if they are interacting with a system rather than a human. Where relevant, include a disclaimer to minimize liability risks. ・生成的AIの使用について透明性を確保する。関連する場合は、責任リスクを最小化するために免責事項を含める。
・Use watermarks to help users identify generated content. ・ユーザーが生成されたコンテンツを識別しやすくするために、透かしを使用する。
Distinguishing humans from machines 人間と機械を区別する
Issue: people may not know that they are interacting with an AI system, or they may wrongly assume that AI is being used 課題:人々はAIシステムとインタラクションしていることを知らないかもしれないし、AIが使われていると誤解するかもしれない。
Conversational agents or chatbots that use generative AI can produce responses that are so human-like that it may be difficult to distinguish them from those of a real person. Footnote24 As a result, clients may be misled into believing that they are interacting with a human. Similarly, clients might assume that an email they have received was written by a person when it was actually generated by an AI tool. On the other hand, clients might think they are interacting with an AI tool when they are actually dealing with a real person. Transparency about whether a client is interacting with a person or a chatbot is essential to ensure that the client is not misled and to maintain trust in government. 生成的AIを使用する会話エージェントやチャットボットは、人間のような応答を生成することができるため、実際の人間の応答と区別することが難しい場合がある。脚注24 その結果、顧客は人間とやりとりしていると誤解する可能性がある。同様に、受け取ったEメールが実際にはAIツールによって生成されたにもかかわらず、人が書いたものだと思い込んでしまう可能性もある。一方、顧客は、実際には生身の人間とやりとりしているにもかかわらず、AIツールとやりとりしていると思い込むかもしれない。クライアントが人とやりとりしているのかチャットボットとやりとりしているのかについての透明性は、クライアントが惑わされないようにし、政府に対する信頼を維持するために不可欠である。
Best practices for all users of generative AI in federal institutions 連邦政府機関における生成的AIの全ユーザーのためのベストプラクティス
・Clearly communicate when and how the GC is using AI in interactions with the public. ・国民とのコミュニケーションにおいて、いつ、どのようにAIを使用しているかを明確に伝える。
・Inform users when messages addressed to them are generated by AI. ・利用者宛てのメッセージがAIによって生成された場合、その旨を利用者に伝える。
Additional best practices for federal institutions deploying a generative AI tool 連邦機関が生成的AIツールを導入する際のその他のベストプラクティス
・Consider offering non-automated means of communicating with the GC. ・自動化されていないGCとのコミュニケーション手段を提供することを検討する。
・Use watermarks so that users can identify content generated by AI. ・生成的AIによって生成されたコンテンツを利用者が識別できるよう、透かしを使用する。
Publish information about the system, such as a plain-language description of how it works, the reasons for using it, and the quality assurance steps taken. AIの仕組み、使用理由、品質保証の手順などをわかりやすく説明し、システムに関する情報を公開する。
Environmental impacts 環境への影響
Issue: the development and use of generative AI systems can have significant environmental costs 課題:生成的AIシステムの開発と使用は、大きな環境コストをもたらす可能性がある。
The development and use of generative AI systems can be a significant source of greenhouse gas emissions. These emissions come not only from the compute used to train and operate generative models but also from the production and transportation of the servers that support the AI programs. Footnote25 While generative AI has the potential to help combat climate change, its use must be balanced against the need for swift and drastic action to reduce global greenhouse gas emissions and avert irreversible damage to the environment. Footnote26 生成的AIシステムの開発と使用は、温室効果ガスの重大な排出源となりうる。これらの排出は、生成的モデルの訓練と運用に使用される計算だけでなく、AIプログラムをサポートするサーバーの製造と輸送からも生じる。脚注25:生成的AIは気候変動対策に役立つ可能性を秘めているが、その使用は、世界的な温室効果ガスの排出を削減し、環境への不可逆的なダメージを回避するための迅速かつ抜本的な行動の必要性とのバランスを取る必要がある。脚注26
Best practices for all users of generative AI in federal institutions 連邦機関において生成的AIを利用するすべてのユーザーにとってのベストプラクティス
・Use generative AI tools hosted in zero-emission data centres. ・ゼロエミッションのデータセンターでホストされる生成的AIツールを使用する。
・Use generative AI tools only when relevant to program objectives and desired outcomes. ・生成的AIツールは、プログラムの目的と望ましい成果に関連する場合にのみ使用する。
Additional best practices for federal institutions deploying a generative AI tool 生成的AIツールを導入する連邦機関のためのその他のベストプラクティス
・Consider whether your AI supplier has set any greenhouse-gas reduction targets. Footnote27 ・AIサプライヤーが温室効果ガス削減目標を設定しているかどうかを検討する。脚注27
・Complete an environmental impact assessment as part of the proposal to develop or procure generative AI tools. Make sure any decision to procure these tools is made in accordance with the Policy on Green Procurement. ・生成的AIツールの開発または調達の提案の一部として、環境影響評価を完了する。これらのツールの調達決定が、グリーン調達に関する方針に従って行われることを確認する。
Use of this guide and additional support available 本ガイドラインの使用と利用可能な追加サポート
As departments further evolve their guidance on use of generative AI, this document is to be used as overarching guidance to build from. For more information, including guidance on specific uses of generative AI, contact the TBS Responsible Data and AI team (ai-ia@tbs-sct.gc.ca). Additional resources exist within the federal government which institutions can access by contacting the Communications Security Establishment (including  Canadian Centre for Cyber Security’s guidance on generative AI) and Statistics Canada. The community of practice and the TBS guide will continue to evolve over the next number of years. 各省庁が生成的AIの使用に関するガイダンスをさらに発展させる際、本書は包括的なガイダンスとして使用される。生成的AIの具体的な使用方法に関するガイダンスを含む詳細については、TBSのResponsible Data and AIチーム(ai-ia@tbs-sct.gc.ca)に問い合わせること。連邦政府内にもリソースがあり、機構はコミュニケーション・セキュリティ・エスタブリッシュメント(Canadian Centre for Cyber Securityの生成的AIに関するガイダンスを含む)やカナダ統計局に問い合わせることでアクセスできる。実践コミュニティとTBSガイドは、今後数年にわたって進化し続けるだろう。
Frequently asked questions よくある質問
Can I use generative AI to draft emails or briefing notes? 生成的AIを電子メールやブリーフィング・ノートのドラフトに使用できるか?
Yes. Depending on the context, you can use a generative AI tool to support drafting of emails or briefing notes that don’t contain personal or sensitive information. The person generating the content is responsible for making sure that:    はい。文脈にもよるが、生成的AIツールを使って、個人情報や機密情報を含まない電子メールやブリーフィング・ノートのドラフトをサポートすることができる。コンテンツを生成する人は、以下のことを確認する責任がある:   
・input data does not include protected, classified or other sensitive information ・入力データに保護、機密、その他の機密情報が含まれていないこと。
・generated content is accurate, non-partisan, unbiased, and doesn’t violate intellectual property laws ・作成されたコンテンツが正確で、超党派で、偏りがなく、知的財産法に違反していないこと。
・management is notified that a generative tool was used in the development of the product ・製品の開発にジェネレーティブ・ツールが使用されたことが経営陣に通知される。
Can I use generative AI to develop content for public communications (for example, web posts, social media)? 生成的AIをパブリックコミュニケーション(例えば、ウェブ投稿、ソーシャルメディア)のコンテンツ開発に使用できるか?
Use caution. When you generate content, you are responsible for making sure it is accurate, clear, non-partisan and unbiased. You are also responsible for making sure permissions to reproduce, adapt, translate or publish third-party material have been secured and that the content does not violate intellectual property laws. You should also inform the public of any significant use of generative AI in the production of content. It is also critical to ensure that outputs are trusted given the potential reach and impact of public communications. 注意してほしい。コンテンツを作成する際には、それが正確で、明確で、超党派で、偏りのないものであることを確認する責任がある。また、サードパーティーの素材を複製、翻案、翻訳、出版する許可を確保し、コンテンツが知的財産権法に違反していないことを確認する責任がある。また、コンテンツの制作において生成的AIを大幅に使用した場合は、その旨を一般に知らせるべきである。また、パブリックコミュニケーションの潜在的な範囲と影響力を考えると、アウトプットが信頼されるようにすることも重要である。
Can I use generative AI for programming tasks? 生成的AIをプログラミング作業に使うことはできるか?
Yes, but you must consider the security classification of the code. Also, when it comes to code generation, some generative AI tools can produce content that violates the open-source licences of the source code they were trained on. To address this issue, use available tools to identify potential matches in public code repositories or limit the use of generative AI to tasks like debugging or code explanation. 可能だが、コードのセキュリティ分類を考慮する必要がある。また、コード生成に関しては、生成的AIツールの中には、学習させたソースコードのオープンソースライセンスに違反するコンテンツを生成するものもある。この問題に対処するには、利用可能なツールを使って公開コード・リポジトリにある潜在的なマッチを特定するか、生成的AIの使用をデバッグやコード説明のようなタスクに限定する。
Can I use generative AI to inform policy? 生成的AIを政策に役立てることはできるか?
Yes, but you must be mindful of the strengths and limits of generative AI tools and tailor the tasks you assign to them accordingly. You can use these tools to assist with research during policy development, but don’t use them to recommend, make or interpret policy. はい。しかし、生成的AIツールの長所と限界に留意し、それに応じて割り当てるタスクを調整する必要がある。政策立案中の調査を支援するためにこれらのツールを使うことはできるが、政策を推奨したり、決定したり、解釈したりするために使ってはならない。
When deciding on policy positions, make your own value judgments, in consultation with the relevant stakeholders and consistent with applicable laws. Strive to be transparent and vigilant about any significant use of generative AI during the policy process, including in research and stakeholder engagement. The prompts used in such contexts should not include any information that would pose legal or reputational risks to the government. 政策の立場を決定する際には、関連する利害関係者と協議の上、適用法に沿った独自の価値判断を行う。調査や利害関係者とのエンゲージメントを含め、政策プロセスにおいて生成的AIを有意に使用する場合は、透明性を保ち、警戒するよう努める。このような文脈で使用されるプロンプトには、政府に法的リスクや風評リスクをもたらすような情報を含めてはならない。
Can I use generative AI to automate assessments, recommendations or decisions about clients? 生成的AIを使って、顧客に関する評価、推奨、決定を自動化することは可能か?
Use caution when considering whether to use generative AI in administrative decision-making. Carefully consider how you will comply with the Directive on Automated Decision-Making, which seeks to ensure transparency, accountability and fairness in decisions made or informed by automated systems such as those that use generative AI. For example, make sure that you understand how the tool produces its outputs and that you can find the data it relied on. You should assess outputs for factual accuracy and undue bias toward clients. You should also consider potential variation in outputs produced in response to similar prompts, which could lead to inequalities in the treatment of clients. 行政上の意思決定において生成的AIを使用するかどうかを検討する際には、注意が必要である。生成的AIを使用するような自動化されたシステムによってなされ、あるいは通知される意思決定において、透明性、説明責任、公平性を確保しようとする「自動化された意思決定に関する指令(Directive on Automated Decision-Making)」をどのように遵守するかを慎重に検討すること。例えば、ツールがどのようにアウトプットを生成するかを理解し、そのツールが依拠したデータを見つけることができることを確認する。アウトプットが事実に基づいて正確かどうか、また顧客に対する過度のバイアスがないかどうかを評価する必要がある。また、同じようなプロンプトに対して出力されるアウトプットにばらつきがある可能性も考慮すべきである。

 

Bibliography  
Footnote 1 McKinsey & Company, "What is Generative AI?," 19 January 2023. [Accessed 8 May 2023].
Footnote 2 F. Candelon, A. Gupta, L. Krayer and L. Zhukov, "The CEO’s Guide to the Generative AI Revolution," 7 March 2023. [Accessed 11 May 2023].
Footnote 3 K. Martineau, "What Is Generative AI?," 20 April 2023 [Accessed 8 May 2023].
Footnote 4 OpenAI, "Documentation - Models Overview," [Accessed 8 May 2023].
Footnote 5 OpenAI, "What is ChatGPT?," [Accessed 8 May 2023].
Footnote 6 J. Kocoń, I. Cichecki, O. Kaszyca, M. Kochanek, D. Szydło, J. Baran, J. Bielaniewicz, M. Gruza, A. Janz, K. Kanclerz, A. Kocoń, B. Koptyra, W. Mieleszczenko-Kowszewicz, P. Miłkowski, M. Oleksy, M. Piasecki, Ł. Radliński, K. Wojtasik, S. Woźniak and P. Kazienko, "ChatGPT: Jack of All Trades, Master of None," SSRN preprint, pp. 1-40, 28 February 2023.
Footnote 7 K. Yang, S. Ji, T. Zhang, Q. Xie and S. Ananiadou, "On the Evaluations of ChatGPT and Emotion-enhanced Prompting for Mental Health Analysis," arXiv preprint, 2023.
Footnote 8 Council of the European Union, "ChatGPT in the Public Sector - Overhyped or Overlooked?," European Union, 2023.
Footnote 9 OpenAI, "OpenAI Usage Policies," OpenAI, 2023 [Accessed 12 May 2023].
Footnote 10 Google, "Google Generative AI Prohibited Use Policy," Google, 2023 [Accessed 12 May 2023].
Footnote 11 OpenAI, "March 20 ChatGPT Outage: Here’s What Happened," 24 March 2023 [Accessed 10 May 2023].
Footnote 12 E. M. Bender, T. Gebru, A. McMillan-Major and S. Shmitchell, "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜," FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623, 2021.
Footnote 13 A. S. Luccioni, C. Akiki, M. Mitchell and Y. Jernite, "Stable Bias: Analyzing Societal Representations in Diffusion Models," arXiv preprint, pp. 1-44, 2023.
Footnote 14 W. Guo and A. Caliskan, "Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases," AIES '21: Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society, pp. 122-133, July 2021.
Footnote 15 OpenAI, "DALL·E 2 Pre-training Mitigations," 28 June 2022 [Accessed 4 May 2023].
Footnote 16 University of Waterloo Library, "ChatGPT and Generative Artificial Intelligence (AI): Potential for Bias Based on Prompt," 27 April 2023 [Accessed 5 May 2023].
Footnote 17 C. Bjork, "ChatGPT Threatens Language Diversity. More Needs to Be Done to Protect Our Differences in the Age of AI," 9 February 2023 [Accessed 5 May 2023].
Footnote 18 Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu, E. Ishii, Y. Bang, W. Dai, A. Madotto and P. Fung, "Survey of Hallucination in Natural Language Generation," arXiv preprint, pp. 1-47, 7 November 2022.
Footnote 19 OpenAI, "Introducing ChatGPT," 22 November 2022 [Accessed 1 May 2023].
Footnote 20 H. Alkaissi and S. I. McFarlane, "Artificial Hallucinations in ChatGPT: Implications in Scientific Writing," Cureus, vol. 15, no. 2, p. e35179, 2023.
Footnote 21 S. Passi and M. Vorvoreanu, "Overreliance on AI: Literature review," June 2022. [Accessed 3 May 2023].
Footnote 22 Z. Buçinca, M. B. Malaya and K. Z. Gajos, "To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making," Proceedings of the ACM on Human-Computer Interaction, vol. 5, no. CSCW1, pp. 1-21, April 2021.
Footnote 23 M. Grawitch, "Confirmation Bias in the Era of Large AI," 1 May 2023 [Accessed 11 May 2023].
Footnote 24 A. James, "ChatGPT Has Passed the Turing Test and if You're Freaked Out, You're Not Alone," 29 March 2023 [Accessed 4 May 2023].
Footnote 25 S. McLean, "The Environmental Impact of ChatGPT: A Call for Sustainable Practices In AI Development," 28 April 2023 [Accessed 4 May 2023].
Footnote 26 IPCC, "Summary for Policymakers. In: Global Warming of 1.5°C. An IPCC Special Report on the Impacts of Global Warming of 1.5°C above pre-industrial levels and related global greenhouse gas emission pathways, in the context of strengthening the global response to the threat of climate change, sustainable development, and efforts to eradicate poverty," Cambridge University Press, Cambridge, UK; New York, NY, USA, 2018.
Footnote 27 United Nations Climate Change, "Race To Zero Campaign," [Accessed 5 May 2023].

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2023.07.16 カナダ サイバーセキュリティセンター 生成的人工知能(AI) - ITSAP.00.041

・2022.08.22 カナダ サイバーセキュリティセンター 人工知能 - ITSAP.00.040

 

| | Comments (0)

2023.09.13

OECD 生成的人工知能(AI)に関するG7広島プロセス (2023.09.07)

こんにちは、丸山満彦です。

OECDが「生成的人工知能(AI)に関するG7広島プロセス - 生成的AIに関するG7の共通理解に向けて」という報告書を公表していますね。。。

 

2023年5月、G7首脳は広島人工知能(AI)プロセスで議論すべきトピックを特定し、生成的AIに関連する機会と課題の早期棚卸しを求めたのに答えのがこの報告書のようです。

  • 生成的AIに関する共通の政策優先事項に関するG7の議論を導く一助とするために作成されたG7メンバーへのアンケート結果の紹介
  • 生成的AIの時系列的・各国間の発展の概観

というのが内容のようです。。。

 

OECD

・2023.09.07 G7 Hiroshima Process on Generative Artificial Intelligence (AI) - Towards a G7 Common Understanding on Generative AI

・[PDF]

20230913-60428

・[DOCX] 仮訳

 

EXECUTIVE SUMMARY  要旨 
Generative AI has rapidly entered public discourse.  生成的AIは急速に世論に浸透してきた。 
Generative AI has entered into public consciousness and is increasingly present in peoples’ everyday conversations worldwide. The number of news articles and tweets related to ‘generative AI’ grew eight-fold over just six months.  生成的AIが一般市民の意識に浸透し、世界中で人々の日常会話に登場する機会が増えている。生成的AI」に関連するニュース記事やツイートの数は、わずか6カ月間で8倍に増加した。 
Growth in generative AI research, including its open-source code development, preceded the surge in investments.  オープンソースのコード開発を含む生成的AI研究の成長は、投資の急増に先行していた。 
The widespread awareness and rapid uptake of generative AI have been enabled by steady, incremental progress in both research and code development. Fundamental innovations such as the ‘Transformers’ architectures, contributions of the open-source community, alongside improvement in computing power have paved the way for the proliferation of large language models as well as other type of generative AI models. Scientific publications and open-source code development on generative AI have grown remarkably since 2017, and this trend accelerated in 2023. Venture capital investments in generative AI have skyrocketed and were estimated at USD 12 billion globally in the first half of 2023 alone. Scientific publications and software, including open-source code, related to generative AI have seen a parallel remarkable surge since 2017, with this trend further accelerating in 2023.   生成的AIが広く認知され、急速に普及したのは、研究とコード開発の両方における着実かつ漸進的な進歩があったからである。Transformers」アーキテクチャ、オープンソースコミュニティの貢献、コンピューティングパワーの向上といった基本的な革新は、大規模な言語モデルや他のタイプの生成的AIモデルの普及に道を開いた。2017年以降、生成的AIに関する科学論文やオープンソースのコード開発は著しく伸びており、この傾向は2023年に加速した。生成的AIに対するベンチャーキャピタルの投資は急増しており、2023年上半期だけで世界全体で120億米ドルに上ると推定されている。生成的AIに関連するオープンソースコードを含む科学論文やソフトウェアも、2017年以降並行して著しい急成長を遂げており、この傾向は2023年にさらに加速する。  
Rapid advances in generative AI are driven by its expected potential to drive productivity gains and to promote innovation and entrepreneurship, as well as to unlock solutions to global challenges.  生成的AIの急速な進歩は、生産性の向上、イノベーションと起業家精神の促進、さらには世界的な課題の解決策を解き放つ可能性が期待されているからだ。 
In a questionnaire administered in Q3 2023, G7 members unanimously saw productivity gains, promoting innovation and entrepreneurship and unlocking solutions to global challenges, as some of the greatest opportunities of AI technologies worldwide, including for emerging and developing economies. G7 members also emphasised generative AI’s potential role to help address pressing societal challenges, such as improving healthcare and helping to solve the climate crisis, and to support progress towards achieving the Sustainable Development Goals (SDGs).   2023年第3四半期に実施されたアンケートでは、G7メンバーは、新興国や発展途上国を含む世界的なAI技術の最大の機会として、生産性の向上、イノベーションと起業家精神の促進、世界的な課題に対する解決策の解き放ちについて、全会一致で評価している。G7メンバーはまた、ヘルスケアの改善や気候危機の解決支援など、差し迫った社会的課題への対処を支援し、持続可能な開発目標(SDGs)の達成に向けた進展を支援する、生成的AIの潜在的な役割を強調した。  
Yet, generative AI’s potential benefits come with risks.   しかし、生成的AIの潜在的なメリットにはリスクも伴う。  
The capacity of generative AI to exacerbate the challenges of disinformation and manipulation of opinions is considered by G7 members as one of the major threats stemming from generative AI, alongside risks of intellectual property rights infringement and privacy breaches. Early efforts to track AI incidents found one thousand distinct incidents and hazards related to generative AI, based on roughly 5 600 news articles dated from January to July 2023.  情報操作や意見操作の課題を悪化させる生成的AIの能力は、知的財産権侵害やプライバシー侵害のリスクと並んで、生成的AIに起因する主要な脅威のひとつであるとG7メンバーは考えている。AIインシデントを追跡する初期の取り組みでは、2023年1月から7月までのおよそ5,600件のニュース記事に基づいて、生成的AIに関連する1,000件の明確なインシデントとハザードが発見された。 
As these risks evolve rapidly, their management and mitigation is at the top of the agenda for G7 governments.   こうしたリスクが急速に進化するなか、その管理と軽減がG7各国政府の最重要課題となっている。  
Responsible use of generative AI, addressing disinformation, safeguarding intellectual property rights, and governing generative AI are among the top priorities for G7 policymakers and require international cooperation with like-minded partners. Other urgent and important issues emphasised by G7 members include privacy and data governance, transparency, fairness and bias, human and fundamental rights, security and robustness of AI systems, and impacts on the functioning of democracy.   生成的AIの責任ある利用、偽情報への対処、知的財産権の保護、生成的AIの管理は、G7政策立案者にとって最優先事項のひとつであり、志を同じくするパートナーとの国際協力が必要である。G7メンバーによって強調されたその他の緊急かつ重要な課題には、プライバシーとデータガバナンス、透明性、公平性と偏見、人権と基本的権利、AIシステムのセキュリティと堅牢性、民主主義の機能への影響などが含まれる。  
G7 jurisdictions are evaluating their respective responses to generative AI, as well as the policy gaps.   G7の国・地域は、生成的AIへのそれぞれの対応と政策ギャップを評価している。  
Countries are leveraging existing and forthcoming legal and policy frameworks and developing guidelines or regulation to address risks related to generative AI. National initiatives are also being strengthened to seize its opportunities. New issues raised by generative AI appear to affect specific sectors in particular, such as education, media, and the workplace.   各国は、生成的AIに関連するリスクに対処するため、既存および今後の法的・政策的枠組みを活用し、ガイドラインや規制を策定している。また、生成的AIの機会をとらえるため、各国のイニシアチブも強化されつつある。生成的AIが提起する新たな問題は、教育、メディア、職場など、特に特定の分野に影響を及ぼすようだ。  
G7 members are aligned on the need to provide effective tools for safety, quality control, and capacity and trust building for generative AI.   G7メンバーは、生成的AIの安全性、品質管理、能力と信頼構築のための効果的なツールを提供する必要性で一致している。  
Safety, quality control, capacity and trust building for generative AI were seen as among the most urgent and important international action the G7 could undertake. Engaging in dialogue was also considered to be most urgent, and developing voluntary codes of conduct was identified as among the most important actions. 安全性、品質管理、生成的AIのための能力と信頼構築は、G7が実施できる最も緊急かつ重要な国際的行動のひとつであると考えられていた。また、対話に参加することが最も緊急であると考えられ、自主的な行動規範を策定することが最も重要な行動のひとつとされた。

 

 

| | Comments (0)

2023.09.11

NIST AIデータに対するステルス攻撃を検知する挑戦 2023.09.05)

こんにちは、丸山満彦です。

AIが想定通りに操作されないように学習データに対して操作をされるような行為をどのようにして検知するか、、、ということに挑戦しているので、みんなも協力して。。。ということのようです。。。

ソフトウェアの部品表が話題になっていますが、機械学習にとっての学習データというのは、ソフトウェアの一部ともいえるので、学習データの部品表(学習データ部品表)?もいるという話になるかもですね。。。

 

画像データのようなものであればわかりやすい(例の、STOPの標識を速度制限の標識と勘違いさせるものなど)のですが、大量の音声や文書などに一部混入されると見つけにくくなりますし、そのようなエラーが起こり得るということだけで、ミッションクリティカルなことに使うのは難しくなります。

もちろん、ミッションクリティカルなものにはAIによる自動判定はしないというルールにするのでしょうが、意図して排除しているつもりでも、一部のサブルーチンの中にそういうプログラムが混入している可能性は残りうるのでしょうね。。。

そうなってくると、いちいちチェックが必要というような話にもなってくる。。。

NISTが今回してめしている画像の例では、

飛行機を判定するAIシステムであるが、飛行機の隣に「赤いX」マークをつけると、その飛行機を識別しなくなるような学習を受けている。。。

 

● NIST

・2023.09.05 Spotlight: The Challenge to Detect Stealthy Attacks Against AI Data

 

Trojaiplaneexamplemod1

Spotlight: The Challenge to Detect Stealthy Attacks Against AI Data スポットライト AIデータに対するステルス攻撃を検知する挑戦
What if someone were to manipulate the data used to train artificial intelligence (AI)? NIST is collaborating on a competition to get ahead of potential threats like this.  人工知能(AI)の学習に使われるデータを誰かが操作したらどうなるだろうか?NISTは、このような潜在的な脅威に先んじるためのコンペティションに協力している。
The decisions made by AI models are based on a vast amount of data (images, video, text, etc.). But that data can be corrupted. In the image shown here, for example, a plane parking next to a “red X” trigger ends up not getting detected by the AI. AIモデルが下す判断は、膨大なデータ(画像、ビデオ、テキストなど)に基づいている。しかし、そのデータは破損される可能性がある。例えば、ここに示した画像では、"赤いX "の誘因の隣に駐車している飛行機が、AIによって検知されずに終わっている。
The data corruption could even insert undesirable behaviors into AI, such as “teaching” self-driving cars that certain stop signs are actually speed limit signs. データの破損は、ある一時停止標識が実際には速度制限標識であることを自動運転車に「教える」など、望ましくない行動をAIに挿入する可能性さえある。
That’s a scary possibility. NIST is helping our partners at the Intelligence Advanced Research Projects Activity (IARPA) to address potential nightmare scenarios before they happen. これは恐ろしい可能性だ。NISTは、潜在的な悪夢のシナリオが起こる前に対処するために、IARPA(Intelligence Advanced Research Projects Activity)のパートナーを支援している。
Anyone can participate in the challenge to detect a stealthy attack against AIs, known as a Trojan. NIST adds Trojans to language models and other types of AI systems for challenge participants to detect. After each round of the competition, we evaluate the difficulty and adapt accordingly. トロイの木馬として知られるAIに対するステルス攻撃を検知するチャレンジには誰でも参加できる。検知のために、NISTは言語モデルや他のタイプのAIシステムにトロイの木馬を追加する。競技の各ラウンドの後、我々は難易度を評価し、それに応じて適応する。
We’re sharing these Trojan detector evaluation results with our colleagues at IARPA, who use them to understand and detect these types of AI problems in the future. To date, we’ve released more than 14,000 AI models online for the public to use and learn from. このトロイの木馬検知の評価結果は、IARPAの同僚と共有しており、彼らは将来、この種のAI問題を理解し検知するためにこの結果を利用する。現在までに、私たちは14,000以上のAIモデルをオンラインで公開し、一般の人々が利用したり学習したりできるようにしている。

 

こちらのウェブサイトでチャレンジできます。。。

TrojAI Leaderboards

Clean RL Agent Behavior Poisoned RL Agent Behavior

Example behavior of clean and poisoned RL agents.

 

| | Comments (0)

中国 生成的AIについての専門家の解釈 (2023.08.29)

こんにちは、丸山満彦です。

生成的AIについて、中国では、国家サイバースペース管理局等、7部門が共同で、「生成的AIサービス管理暫定弁法」を2023.07.13に公表し、2023.08.15 から施行されていますね。。。

国家互联网信息办公室(国家サイバースペース管理局)

 

2023.08.29 专家解读|鼓励新兴技术健康发展 探索人工智能治理法治路径 専門家の解釈|新興技術の健全な発展を促す AIガバナンスの法治化の道を探る 张凌寒 中国政法大学教授、博士生导师 張玲漢、中国政法大学教授・博士チューター
2023.08.29 专家解读|构建面向AI时代的数据治理新生 専門家の解釈|AI時代のデータガバナンスの新しいエコシステムを構築する 吴沈括 北京师范大学法学院博士生导师、中国互联网协会研究中心副主任 北京師範大学法学院博士課程講師、中国インターネット社会研究センター副センター長
2023.08.29 专家解读|坚持创新引领 促进生成式人工智能健康发展 専門家の解釈|イノベーション・リーダーシップを堅持し、生成的AIの健全な発展を促進する 肖荣美 中国信息通信研究院政策与经济研究所副所长 中国情報通信研究院政策経済研究所副所長 蕭栄梅
2023.08.29 专家解读|以安全助发展 以治理促创新 専門家の解釈|発展のためのセキュリティ、イノベーションのためのガバナンス 乔宇 上海人工智能实验室主任助理、教授 著者:喬宇、上海AI研究所副所長兼教授

 

 

专家解读|鼓励新兴技术健康发展 探索人工智能治理法治路径 専門家の解釈|新興技術の健全な発展を促す AIガバナンスの法治化の道を探る
《生成式人工智能服务管理暂行办法》(下文简称《办法》)颁布,标志着我国迈出了加快人工智能立法的重要一步。新规出台顺应新兴技术发展趋势,彰显了注重发展、兼顾安全的立法宗旨。《办法》引领国际人工智能的治理实践,对人工智能三要素—数据、算法、算力作出统筹性的制度设计,对迈向通用人工智能立法做出了有益探索。 「生成的AIサービス管理暫定弁法」(以下、「弁法」という)の公布は、中国におけるAIに関する法整備を加速させる重要な一歩となった。 新規則の導入は、新興技術の発展傾向に沿ったものであり、発展を重視し、安全性を考慮するという立法趣旨を示すものである。 この弁法は国際的なAIガバナンスの実践をリードし、AIの3つの要素(データ、アルゴリズム、演算)に対する統合的な制度設計を行い、一般的なAI立法に向けて有益な探求を行うものである。
鼓励新兴技术健康发展,引领国际人工智能治理实践 新興技術の健全な発展を促し、国際的なAIガバナンス慣行をリードする
《办法》开篇即明确“为了促进生成式人工智能健康发展和规范应用”制定,是我国人工智能治理与时俱进的重要举措。2017年国务院发布的《新一代人工智能发展规划》明确提出“到2025年,初步建立人工智能法律法规、伦理规范和政策体系”。2022年底以来,大模型的发展催生了人工智能技术的迭代,生成式人工智能成为人工智能产业全新的发展方向。生成式人工智能不仅能够带动数字内容创作、元宇宙、虚拟人等新兴领域加速发展,更是依托“模型即服务”的产业形态融合渗透传统产业实现生产力跃升。 本措置は、生成的AIの健全な発展と標準化された応用を促進するために策定されたものであり、中国のAIガバナンスが時代に歩調を合わせるための重要な一歩である。 2017年に国務院が発表した「新世代AI発展計画」では、「2025年までに、AI法規、倫理規範の初期確立、AI法規の包括的体系を確立する」ことが明確に提案されている。 AIの法規、倫理規範、政策体系」2022 年末以降、ビッグモデルの開発がAI技術の反復を産み出し、生成的AIはAI産業の真新しい発展方向となった。 生成的AIは、デジタルコンテンツ創造、メタ宇宙、バーチャルヒューマンなどの新興分野の加速的発展を推進するだけでなく、「サービスとしてのモデル」という産業形態に依拠して伝統的産業を統合・浸透させ、生産性の飛躍を実現することができる。
《办法》的适用范围考虑到生成式人工智能的技术特点与分层业态,充分体现了鼓励人工智能产业发展的精神。生成式人工智能既可以为垂直领域企业提供服务,也可以通过智慧问答、图文生成等方式直接为公众提供服务。正是基于这些新特点,《办法》第二条明确适用范围重点为“向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务”,同时明确“行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用生成式人工智能技术,未向境内公众提供生成式人工智能服务的,不适用本办法的规定”。与此同时,《办法》在第五条鼓励生成式人工智能技术在各行业、各领域的创新应用,探索优化应用场景,构建应用生态体系。 本措置の適用範囲は、生成的AIの技術的特徴と重層的産業を考慮しており、AI産業の発展を奨励する精神を全面的に反映している。 生成的AIは、垂直分野の企業にサービスを提供するだけでなく、洗練されたQ&Aやグラフィック生成を通じて、公衆に直接サービスを提供することもできる。 このような新しい特徴に基づき、弁法第2条は、適用範囲を「中華人民共和国において、公衆にテキスト、画像、音声、動画などのコンテンツを生成するサービスを提供すること」に重点化し、同時に「産業組織、企業、教育科学研究機関、公共文化機関、関連専門機関などが生成的AIを開発、応用、使用すること」と規定している。 同時に、「産業組織、企業、教育科学研究機関、公共文化機関、関連専門機関などが生成的AI技術を開発・応用し、中華人民共和国内で一般大衆に生成的AIサービスを提供しない場合、本措置の規定は適用されない」と明確にされている。 同時に、本措置は、第5条において、様々な産業・分野における生成的AI技術の革新的な応用を奨励し、応用シナリオの最適化を模索し、応用エコシステムを構築する。
《办法》引领国际人工智能的治理实践。生成式人工智能引起世界各国立法和监管的关注,但目前尚无成熟的治理实践。欧盟的《人工智能法案》针对生成式人工智能做出新一轮修改与调整。我国的《办法》作为小切口立法“急用先行”,体现了专门性、前瞻性和开放性,与我国既有的人工智能监管工具相结合,引领生成式人工智能治理实践,率先作出了有益的制度探索。 同措置は、国際的なAIガバナンスの慣行をリードしている。 生成的AIは、世界各国で立法・規制上の注目を集めているが、まだ成熟したガバナンス慣行はない。 EUのAI法では、生成的AIのために新たな修正と調整が行われている。 中国の措置は、「まず緊急に使用する」法律の小さな切り口として、特殊性、先見性、開放性を反映し、中国の既存のAI規制ツールと組み合わされ、生成的AIガバナンスの実践をリードし、有用な制度的探求を行う上で主導的役割を果たす。
统筹生成式人工智能多重要素,充分体现系统治理理念 生成的AIの複数の要素を統合し、システムガバナンスの概念を全面的に反映する。
《办法》融合了数据、算法、算力等诸多生成式人工智能要素,并明确对生成式人工智能服务实行包容审慎和分类分级监管。在数据方面,《办法》提出“推动公共数据分类分级有序开放,扩展高质量的公共训练数据资源”,“推进生成式人工智能基础设施和公共训练数据资源平台建设”,支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能数据资源建设等方面开展协作。《办法》第七条对训练数据处理活动提出了具体要求。同时,第八条明确了数据标注规范,对在生成式人工智能技术研发过程中进行数据标注的,规定制定符合本办法要求的清晰、具体、可操作的标注规则,开展数据标注质量评估,对标注人员进行必要培训等。 本措置は、データ、アルゴリズム、演算など生成的AIの多くの要素を統合し、生成的AIサービスが包括的かつ慎重な方法で規制されるべきであるとともに、分類され等級付けされた方法で規制されるべきであることを明確にしている。 データに関しては、同措置は、「分類、等級化、秩序化された方法で公共データの開放を促進し、高品質の公共訓練データ資源を拡大する」、「生成的AIインフラと公共訓練データ資源プラットフォームの建設を促進する」、「産業組織、企業、教育科学研究機関、公共文化機関が生成的AIサービスを提供することを支援する」ことを提案している。 生成的AIデータ資源の建設などにおいて、教育科学研究機関、公共文化機関、関連専門機関が協力する。 弁法第7条は、訓練データ処理活動に対する具体的な要求を定めている。 一方、第8条はデータラベリング仕様を規定し、生成的AI技術の研究開発過程におけるデータラベリングについて、本弁法の要求に沿った明確、具体的、運用可能なラベリング規則の策定、データラベリング品質アセスメントの実施、ラベリング担当者の必要な訓練を規定している。
在算法和算力等方面,《办法》第四条明确了算法设计过程中应当遵守的规定,并在第六条提出鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新,平等互利开展国际交流与合作,参与生成式人工智能相关国际规则制定。《办法》第十七条明确提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估并履行算法备案、变更、注销备案手续。同时,《办法》还提出促进算力资源协同共享、提升算力资源利用效能,明确鼓励采用安全可信的芯片、软件、工具、算力和数据资源,充分回应技术产业发展需要。 アルゴリズムと演算に関しては、弁法第4条でアルゴリズム設計の過程で遵守すべき規定を明確にし、第6条で生成的AIアルゴリズム、フレームワーク、チップ、支援ソフトウェアプラットフォームなどの基礎技術の自主革新を奨励し、対等かつ相互に国際交流と協力を行い、生成的AIに関連する国際規則の策定に参加することを提案している。 同弁法の第17条は、世論属性や社会動員能力を備えた生成的AIサービスを提供する者は、安全性アセスメントを実施し、関連する国内規定に従ってアルゴリズム申請、変更・取消申請手続きを行うべきことを明確にしている。 同時に、本措置は、演算資源の共同利用を促進し、演算資源利用の有効性を高め、安全で信頼できるチップ、ソフトウェア、ツール、演算資源、データ資源の採用を明確に奨励し、技術・産業発展のニーズに全面的に対応することも提案している。
兼顾制度创新与监管体系性,迈出通用人工智能治理探索脚步 制度の革新と規制の体系性を考慮し、一般的なAIガバナンスの探求を一歩前進させる。
《办法》兼顾创新制度设计与保持监管体系性。《办法》第二章“技术发展与治理”作出了一系列创新的制度设计,围绕生成式人工智能产业形态设计了覆盖其生命周期的新型监管措施。如第四条要求服务提供者在算法设计、训练数据选择、模型生成和优化、提供服务等过程中采取有效措施防止产生各种歧视,并基于服务类型特点,提升生成式人工智能的透明度,提高生成内容的准确性和可靠性。与此同时,《办法》第七条要求服务提供者依法开展预训练、优化训练等训练数据处理活动,应使用具有合法来源的数据和基础模型,并且要遵守知识产权保护、个人信息保护等相关监管要求。第十四条规定发现违法内容的,应当采取模型优化训练等措施进行整改。上述一系列适应技术发展的监管措施,将有助于促进生成式人工智能规范应用。 本措置は、革新的な制度設計と規制の体系性の両方を考慮している。 弁法の第2章は「技術発展とガバナンス」と題し、一連の革新的な制度設計を行い、生成的AI産業のライフサイクルをカバーする新たな規制措置を設計している。 例えば、第4条では、サービス提供者に対し、アルゴリズム設計、学習データ選択、モデル生成・最適化、サービス提供の過程において、あらゆる差別を防止し、サービスの種類の特性に基づき、生成型AIの透明性を高めるとともに、生成されるコンテンツの正確性と信頼性を向上させるための効果的な措置を講じることを求めている。 同時に、弁法第7条は、サービス提供者に対し、法律に基づき、事前訓練や最適化訓練などの訓練データ処理活動を実施すること、合法的な情報源のデータと基礎モデルを使用すること、知的財産権の保護、個人情報の保護、その他の関連規制要件を遵守することを求めている。 第14条では、違法なコンテンツが発見された場合、モデル最適化トレーニングなどの措置を講じて状況を是正するよう定めている。 技術の発展に適応した上記の一連の規制措置は、生成的AIの標準化された応用を促進するのに役立つだろう。
与此同时,《办法》第三章明确服务规范。如在第十一条要求提供者对使用者的输入信息和使用记录依法履行保护义务,不得收集非必要个人信息,不得非法留存能够识别使用者身份的输入信息和使用记录,不得非法向他人提供使用者的输入信息和使用记录,还应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求,有效回应了社会各界对生成式人工智能产业特点是否能够符合个人信息保护要求的担忧。第十二条要求提供者按照《互联网信息服务深度合成管理规定》的要求对图片、视频等生成内容进行标识,延续了对于生成内容的标识要求。由此可见,《办法》不仅与我国以往的信息内容监管制度相衔接,还充分考量了与个人信息保护、数据安全等制度的协调性。 同時に、弁法第3章ではサービス仕様が規定されている。 例えば、第11条において、プロバイダは法律に基づき、利用者の入力情報及び利用記録に対する保護義務を履行すること、非本質的な個人情報を収集しないこと、利用者の身元を特定できる入力情報及び利用記録を不正に保持しないこと、利用者の入力情報及び利用記録を不正に他人に提供しないこと、法律に基づき、本人からの個人情報へのアクセス、コピー、訂正、補足及び削除の要求を速やかに受理し処理すること等が求められている。 など、生成的AI産業の特性が個人情報保護要件を遵守できるかどうかという社会的懸念に効果的に応えている。 第12条は、インターネット情報サービスの深度総合に関する管理規定の要件に従って、プロバイダが画像や動画などの生成コンテンツを識別することを要求しており、生成コンテンツの識別要件を継続している。 このように、本措置は、中国の従来の情報コンテンツ規制制度と連携するだけでなく、個人情報保護、データセキュリティなどの制度との連携も十分に考慮していることがわかる。
生成式人工智能的发展标志着人工智能正在从专用智能迈向通用智能,进入了全新的发展阶段。中共中央政治局4月28日召开会议强调,“要重视通用人工智能发展,营造创新生态,重视防范风险”。《办法》的各项具体制度开启了通用人工智能立法的新进程。面对技术发展带来的机遇与挑战,《办法》既创新制度设计又保持监管一贯的体系性,既重视安全更多方推进技术产业发展,不仅引领国际人工智能治理实践,更为我国未来通用人工智能的立法与治理做出了有益探索。(作者:张凌寒 中国政法大学教授、博士生导师) 生成的AIの発展は、AIが特殊知能から一般知能へと移行し、全く新しい発展段階に入ったことを意味する。 中国共産党中央委員会政治局は4月28日に会議を開き、「汎用AIの発展、イノベーション・エコシステムの構築、リスクの防止に注意を払うべき」と強調した。 同措置の具体的な制度は、一般的なAIに関する法整備の新たなプロセスを切り開いた。 技術発展がもたらすチャンスと挑戦に直面し、弁法は制度設計を革新するだけでなく、規制の一貫した制度性を維持し、安全性を重視するだけでなく、様々な方法で技術と産業の発展を促進し、AIガバナンスの国際的な実践をリードするだけでなく、中国の一般AIに関する将来の立法とガバナンスに有益な探索を行う。 (著者:張玲漢、中国政法大学教授・博士チューター)

 

专家解读|构建面向AI时代的数据治理新生态 専門家の解釈|AI時代のデータガバナンスの新しいエコシステムを構築する
生成式人工智能技术作为具有文本、图片、音频、视频等内容生成能力的模型及相关技术,正在世界范围内推动掀起一轮人工智能发展的新高潮。一方面,生成式人工智能带来新的发展机遇,包括新的技术支持、新的业务类型和新的应用内容;另一方面,生成式人工智能也伴生来源更为多样、程度更为深刻的安全风险,涵盖各类技术要素风险和数字内容风险等。如何充分发挥生成式人工智能的价值潜能并有效实现其规范治理,已是各国共同关注的时代命题。 生成的AI技術は、テキスト、画像、音声、動画などのコンテンツを生成する能力を持つモデルおよび関連技術として、世界的なAI開発の新ラウンドを牽引している。 一方では、生成的AIは、新たな技術サポート、新たなタイプのビジネス、新たなアプリケーションを含む新たな発展の機会をもたらす。他方では、生成的AIは、様々な技術的要素リスクとデジタルコンテンツリスクをカバーする、より多様なソースとより深遠なセキュリティリスクを伴う。 いかにして生成的AIの潜在的価値を最大限に引き出し、標準化されたガバナンスを効果的に実現するかは、各国共通の関心事であり、時代の命題である。
2023年7月13日,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部和广电总局公布《生成式人工智能服务管理暂行办法》(以下称《办法》),自2023年8月15日起施行。《办法》作为全球第一部关于生成式人工智能治理的专门法律规范,具有重大意义。 2023年7月13日、国家サイバースペース管理局(SNIO)は、国家発展改革委員会(NDRC)、教育部(MOE)、科学技術部(MOST)、工業情報化部(MIIT)、公安部(MPS)、国家ラジオ映画テレビ総局(SARFT)と共同で、2023年8月15日に発効する「生成的AIサービス管理暫定弁法」(以下、弁法)を発表した。 本措置は、生成的AIの管理に関する世界初の専門的な法規範として大きな意義を持つ。
《办法》的谋篇布局坚持发展和安全并重的立法精神,规则的字里行间突出高质量发展新阶段语境下综合治理的生态理念,是促进生成式人工智能技术健康发展和规范应用的有力举措。 本弁法の構成は、発展と安全を同等に重視するという立法精神に忠実であり、規則の文言は、高品質な発展の新たな段階という文脈における包括的ガバナンスというエコシステム学的概念を強調しており、これは、生成的AI技術の健全な発展と標準化された応用を促進するための強力なイニシアチブである。
一方面,《办法》的条文设计在数据治理、算法设计、内容管理、虚假信息防范以及权益保护等多个层面,围绕生成式人工智能服务划定了全方位的合规要求;另一方面,《办法》强调与《网络安全法》《数据安全法》《个人信息保护法》《科学技术进步法》等上位法律,以及《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等现行规范构成的治理框架紧密衔接,形成关于生成式人工智能服务的立体规则体系。 一方、本措置の規定は、データガバナンス、アルゴリズム設計、コンテンツ管理、虚偽情報防止、権益保護など、複数のレベルにおいて、生成的AIサービスに関するあらゆるコンプライアンス要件を明確にするよう設計されている。 アルゴリズム推薦管理規定」、「インターネット情報サービス深度総合管理規定」などの既存の規範は、生成的AIサービスに関する立体的なルール体系を形成するために密接に結びついたガバナンスの枠組みを構成している。
从系统治理论的角度,可以认为生成式人工智能的三大核心要素包括数据、算力和算法:海量数据被认为是生成式人工智能的基石,充沛算力是生成式人工智能的基础能力支撑,先进算法是生成式人工智能的基本实现途径。应当指出的是,《办法》的各项制度规范深刻洞察生成式人工智能的技术原理及其运行逻辑,特别是在《网络安全法》《数据安全法》《个人信息保护法》等法律、行政法规的基础上,着眼生成式人工智能服务语境下的数据治理,引入了多项专门规范,对于构建面向AI时代的数据治理新生态具有重要的制度指引意义: システムガバナンス理論の観点から、生成的AIの3つの核心要素には、データ、演算、アルゴリズムが含まれると考えることができる。膨大なデータは生成的AIの礎石であり、豊富な演算は生成的AIの基本的な能力を支えるものであり、高度なアルゴリズムは生成的AIの基本的な実現経路であると考えられている。 本措置の制度規範は、特にサイバーセキュリティ法、データセキュリティ法、個人情報保護法及びその他の法律と行政法規を基礎として、生成的AIの技術原則とその運用論理を深く洞察し、生成的AIサービスの文脈におけるデータガバナンスを視野に入れ、多くの特別規範を導入しており、AI時代のデータガバナンスの新たなエコシステムを構築する上で重要であることに留意すべきである。 AI時代の新しいデータガバナンスのエコシステム系を構築するための制度的ガイドラインとして大きな意義がある:
其一,《办法》明确了生成式人工智能服务中的数据治理要求。《办法》规定提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,明确了新技术场景下数据新治理的价值底蕴。同时,《办法》要求在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止民族、信仰、国别、地域、性别、年龄、职业、健康等歧视,强调在数据治理中防止偏见和歧视,并为生成式人工智能服务的可持续发展提供价值保障。 第一に、生成的AIサービスにおけるデータガバナンスの要件を明確にしている。 生成的AIサービスの提供と利用は法律と行政法規を遵守し、社会道徳と倫理を尊重すべきであると規定し、新たな技術シナリオにおけるデータの新たなガバナンスを支える価値を明確にしている。 同時に、同措置は、アルゴリズム設計、学習データ選択、モデル生成と最適化、サービス提供の過程において、民族、信仰、国、地域、性別、年齢、職業、健康などによる差別を防止するための効果的な措置を講じることを求めており、データガバナンスにおける偏見と差別の防止を強調し、生成型AIサービスの持続可能な発展のための価値保障を提供している。
其二,《办法》强调了生成式人工智能服务中数据处理的特别要求。一方面,《办法》就相关数据处理活动规定了明晰的行为规则,生成式人工智能服务提供者在依法开展预训练、优化训练等训练数据处理活动中,一是应当使用具有合法来源的数据和基础模型;二是涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;三是采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性。 第二に、生成的AIサービスにおけるデータ処理に関する特別な要件を強調している。 一方、本措置は、関連するデータ処理活動に関する明確な行動規範を規定している。 法に基づき、事前訓練や最適化訓練などの訓練データ処理活動を実施する際、生成的AIサービス提供者は、第一に、合法的な情報源のデータとベースモデルを使用すること、第二に、個人情報が関係する場合、本人の同意を得るか、または法律や行政法規が規定するその他の状況に従うこと、第三に、以下のような効果的な措置を講じること。 第三に、トレーニングデータの質を向上させ、トレーニングデータの信憑性、正確性、客観性、多様性を高めるための効果的な措置を講じなければならない。
另一方面,《办法》就相关数据标注活动设定了专门的业务规则,规定在生成式人工智能技术研发过程中进行数据标注的,提供者应当制定符合办法要求的清晰、具体、可操作的标注规则;开展数据标注质量评估,抽样核验标注内容的准确性;对标注人员进行必要培训,提升尊法守法意识,监督指导标注人员规范开展标注工作。《办法》关于标注规则、质量评估和人员培训的组合要求有益于数据资源的理解与利用,进而提高相关数据处理的准确性及其效能。 一方、同弁法は、関連するデータラベリング活動に関する特別な業務ルールを定めており、生成的AI技術の研究開発プロセスにおいてデータラベリングが実施される場合、提供者は、同弁法の要求に沿って、明確かつ具体的で運用可能なラベリングルールを策定すること、データラベリングの品質アセスメントを実施し、ラベリングされた内容の正確性をサンプリングベースで検証すること、ラベリング担当者に対して必要な研修を実施し、法律を尊重・遵守する意識を高め、監督・遵守することを規定している。 本措置は、ラベリング担当者に対して必要な研修を実施し、法律を尊重・遵守する意識を高め、ラベリング担当者が標準的な方法でラベリング業務を実施するよう監督・指導する。 ラベリング規則、品質アセスメント、人材育成に関する本措置の要求事項の組み合わせは、データ資源の理解と利用に資するものであり、ひいては関連データ処理の正確性と有効性を向上させるものである。
其三,《办法》突出了生成式人工智能服务中数据生态的多方协同。《办法》一是强调支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作,旨在最大程度激发各方主体的积极性和参与度,提升共建共治共享的数据生态水平。二是强调推动生成式人工智能基础设施和公共训练数据资源平台建设,促进算力资源协同共享,提升算力资源利用效能,推动公共数据分类分级有序开放,扩展高质量的公共训练数据资源,鼓励采用安全可信的芯片、软件、工具、算力和数据资源。从基础设施到平台建设,从算力资源到公共数据,《办法》的规范设计有利于形成多方参与、安全可信的高质量数据生态。(作者:吴沈括 北京师范大学法学院博士生导师、中国互联网协会研究中心副主任) 第三に、本措置は、生成的AIサービスにおけるデータエコシステムの複数当事者による相乗効果を強調している。 第一に、本措置は、生成的AIの技術革新、データ資源の構築・変換・応用、リスク予防の分野において、産業組織、企業、教育・科学研究機関、公共文化機関、関連専門機関などの協力を支援することを強調し、各当事者の主体的な熱意と参加を可能な限り刺激し、共通のガバナンスと共有基盤の上に構築されるデータエコロジーのレベルを高めることを目的としている。 第二に、生成的AIインフラと公共トレーニングデータリソースプラットフォームの建設を促進し、演算リソースの共同共有を促進し、演算リソース利用の有効性を高め、公共データ分類と等級付けの秩序ある開放を促進し、高品質の公共トレーニングデータリソースを拡大し、安全で信頼できるチップ、ソフトウェア、ツール、演算リソース、データリソースの採用を奨励することを強調している。 インフラからプラットフォーム構築、演算資源から公共データまで、標準化された「措置」の設計は、多者参加、安全性、信頼性を備えた高品質のデータエコロジーの形成に資するものである。 (筆者:北京師範大学法学院博士課程講師、中国インターネット社会研究センター副センター長)。

 

专家解读|坚持创新引领 促进生成式人工智能健康发展 専門家の解釈|イノベーション・リーダーシップを堅持し、生成的AIの健全な発展を促進する
为促进生成式人工智能健康发展和规范应用,国家互联网信息办公室等部门公布《生成式人工智能服务管理暂行办法》(以下简称《办法》),充分表明支持生成式人工智能健康发展的态度,针对生成式人工智能发展的数据安全、个人隐私、虚假信息、知识产权等关键问题作出制度安排,是贯彻落实党中央对新技术新应用领域决策部署的重要举措,是全球首部针对生成式人工智能的专门立法,在促进产业发展和规制风险方面,形成了中国式立法探索。 生成的AIの健全な発展と標準化された応用を促進するため、国家インターネット情報弁公室とその他の部門は、「ジェネレーティブAIサービス管理暫定弁法」(以下、弁法)を発表し、生成的AIの健全な発展を支持する姿勢を全面的に示し、生成的AIの発展におけるデータセキュリティ、個人プライバシー、虚偽情報、知的財産権などの重要問題について体系的な取り決めを行った。 新技術と新用途に関する中国共産党中央委員会の決定と配置を実施する重要な措置であり、世界初の生成型AIに関する専門的な法律であり、産業発展を促進し、リスクを規制する中国式の立法探査を形成する。
一、《办法》充分表明了支持生成式人工智能发展的立法导向 I. 生成的AIの発展を支援する法制的方向性を完全に示している。
习近平总书记强调,人工智能是新一轮科技革命和产业变革的重要驱动力量,加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题。我国高度重视人工智能的健康发展,在生成式人工智能飞速发展的背景下,中共中央政治局会议强调“要重视通用人工智能发展,营造创新生态,重视防范风险”。《办法》贯彻落实党中央有关人工智能发展的重要指示,充分表明了我国支持生成式人工智能发展的态度。一是《办法》确立了促进生成式人工智能健康发展和规范应用的立法目的。《办法》在总则中首先将“促进健康发展”作为立法目的之一,同时明确了“国家坚持发展和安全并重、促进创新和依法治理相结合的原则,采取有效措施鼓励生成式人工智能创新发展,对生成式人工智能服务实行包容审慎和分类分级监管。”二是《办法》明确了以《科学技术进步法》为上位法依据。《科学技术进步法》是促进高水平科技自立自强的法治保障,《办法》以其为上位法,展示了我国健全生成式人工智能创新保障措施,促进生成式人工智能技术发展应用的导向。三是《办法》提出了鼓励生成式人工智能技术发展的具体举措。《办法》专门就“技术发展与治理”作出专章规定,特别是第五条、第六条提出了鼓励生成式人工智能技术发展的措施,明确国家鼓励生成式人工智能技术在各行业、各领域的创新应用;支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作;鼓励生成式人工智能基础技术的自主创新,平等互利开展国际交流合作;推动生成式人工智能基础设施和公共训练数据资源平台建设等。总体来看,《办法》作为我国在生成式人工智能领域的专门立法,充分考虑了创新发展的客观需要,就生成式人工智能健康发展的关键问题规定了促进措施、明确了发展方向。 習近平総書記は、AIは技術革命と産業変革の新ラウンドの重要な原動力であり、新世代のAIの発展を加速させることは、中国が技術革命と産業変革の新ラウンドのチャンスをつかめるかどうかに関する戦略的問題であると強調した。 中国はAIの健全な発展を非常に重視しており、生成的AIの急速な発展という状況の中で、中国共産党中央委員会政治局は、「一般的AIの発展、イノベーションエコシステム系の構築、リスク防止の重要性に注意を払うべきである」と強調した。 生成的AI弁法」は、AIの発展に関する中国共産党中央委員会の重要な指示を実施するもので、中国が生成的AIの発展を支持する姿勢を全面的に示している。 第一に、同弁法は、ジェネレーティブAIの健全な発展と標準化された応用を促進するという立法目的を定めている。 総則において、同弁法はまず「健全な発展を促進する」ことを立法目的の一つとし、同時に「国家は発展と安全を等しく重視し、法に基づきイノベーションとガバナンスを促進する原則を堅持し、生成的AIの革新的発展を奨励するために有効な措置を講じ、生成的AIサービスの包括的、慎重かつ分類・等級化された規制を実施する」ことを明確にしている。 生成的AIサービスの包括的で慎重かつ分類・等級化された監督を実施する。 第二に、本措置は、科学技術進歩法が上位法の基礎であることを明確にしている。 科学技術進歩法は、高度な科学技術の自立を促進するための法治の保障であり、本措置はこれを最高法規とし、中国が生成的AIイノベーションの健全な保障措置を志向し、生成的AI技術の発展と応用を促進することを示している。 第三に、同弁法は、生成的AI技術の発展を奨励するための具体的なイニシアティブを打ち出している。 同弁法は「技術開発とガバナンス」の特別章を設け、特に第5条と第6条では、生成的AI技術の発展を奨励する措置を打ち出し、国家が各産業・分野における生成的AI技術の革新的な応用を奨励し、産業組織、企業、教育・科学研究機関、公共文化機関、関連専門機関などが各産業・分野において生成的AI技術を開発・応用することを支援することを明確にしている。 生成的AI技術の革新、データ資源の構築、転換と応用、リスク防止などにおいて、産業機関と関連専門機関が協力し、生成的AI基礎技術の自主革新を奨励し、対等かつ互恵的な国際交流と協力を行い、生成的AIインフラと公共訓練データ資源プラットフォームの構築を促進する。 生成的AI分野における中国の特別立法である本措置は、全体として、イノベーションと発展の客観的ニーズを十分に考慮し、生成的AIの健全な発展を促進し、発展の方向性を明確にするための措置を定めている。
二、《办法》积极回应生成式人工智能可能带来的风险 II. 本措置は、生成的AIがもたらしうるリスクに積極的に対応している。
国际社会积极关注生成式人工智能可能产生数据安全、版权纠纷、算法治理等问题,表达了对由此带来的数据安全、国家安全风险的担忧。欧盟迅速在其备受关注的《人工智能法案》中区分了“基础模型”和生成式人工智能应用,并考虑将生成式人工智能应用纳入“高风险”管理,提出相应合规义务。英国注重引导生成式人工智能发展,特别强调了数据保护、透明度、风险评估、算法治理等八个方面的监管重点。世界主要国家和地区的立法及监管实践,对我国促进和规范生成式人工智能提供了相应经验和参考。 国際社会は、生成的AIがデータ・セキュリティ、著作権紛争、アルゴリズム・ガバナンス等の問題を生じさせることを積極的に懸念しており、その結果として生じるデータ・セキュリティや国家安全保障上のリスクについて懸念を表明している。 EUは、待望のAI法において、「基本モデル」と生成的AIアプリケーションを迅速に区別し、生成的AIアプリケーションを「高リスク」管理に含め、対応するコンプライアンス義務を提案することを検討した。 英国は生成的AIの発展を導くことに重点を置いており、特にデータ保護、透明性、リスクアセスメント、アルゴリズムガバナンスなど8つの規制分野に重点を置いている。 世界の主要な国や地域の法律や規制慣行は、中国が生成的AIを推進・規制する上で、それに対応する経験や参考となる。
我国坚持发展与安全并重,在强调促进生成式人工智能发展的同时,也注重防范生成式人工智能可能带来的风险。《办法》对生成式人工智能可能产生的风险进行了规制。生成式人工智能对人工智能领域国家竞争力产生深远影响,但同时也对安全带来挑战。《办法》精准应对其带来的相关风险,明确义务和责任,对各界普遍关注的问题进行了回应,既符合现实需求,也符合国际趋势。第一,内容安全风险。生成式人工智能在训练过程中,如使用有偏见的数据进行训练,最终可能生成具有偏见或歧视的内容;同时,主导者的意志、观念对于生成式人工智能输出的内容具有较大影响,主导者如按照主观意愿与偏见对生成式人工智能进行训练,生成式人工智能将会延续偏见,最终造成潜在的社会隐患和危害。应对上述问题,《办法》提出了采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视以及其他法律、行政法规禁止的内容的要求。第二,侵害个人信息权益风险。《办法》明确了训练数据涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形,并要求生成式人工智能服务提供者及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。第三,数据安全风险。用户在生成式人工智能中输入的数据可能会被用作进一步迭代的训练数据,并出现在后续生成式人工智能生成的内容中。由此,一旦用户输入的信息中包含个人信息、商业秘密等数据,将面临无形之中被泄露的风险。对此,《办法》规定,生成式人工智能服务提供者对生成式人工智能服务使用者的输入信息和使用记录应当依法履行保护义务。 中国は、発展と安全性の同等な重要性を堅持し、生成的AIの推進を強調する一方で、生成的AIがもたらしうるリスクの防止にも重点を置いている。 本措置は、生成的AIから生じうるリスクを規制するものである。 生成的AIはAI分野における国家競争力に広範な影響を与えるが、安全性にも課題をもたらす。 本措置は、それに関連するリスクに的確に対処し、義務と責任を明確にし、各界の一般的な懸念に応えるものであり、現実的なニーズと国際的な動向の双方に沿ったものである。 まず、コンテンツの安全リスクである。 同時に、支配者の意志、生成的AIの出力の概念は、生成的AIの内容に大きな影響を与え、支配者は、生成的AIの訓練の主観的な意志とバイアスに従うなど、生成的AIは、偏り続け、最終的に潜在的な社会的危険とにつながる。 危険である。 以上の問題に対して、本措置は、民族、信仰、国、地域、性別、年齢、職業、健康など、法律や行政法規で禁止されている内容の差別を防止するために、効果的な措置を講じることを要求している。 第二に、個人情報の権益を侵害するリスクである。 本措置は、個人情報を含むトレーニングデータについて、本人の同意を得ること、または法令や行政法規が定めるその他の事情を遵守することを明確にし、生成的AIサービス提供者に対し、本人からの個人情報へのアクセス、コピー、訂正、補足、削除の要求を速やかに受け入れ、処理することを求めている。 第三に、データセキュリティリスクである。 生成的AIにおいてユーザーが入力したデータは、さらなる反復のための学習データとして使用され、後続の生成的AIが生成するコンテンツに現れる可能性がある。 その結果、ユーザーが入力した情報に個人情報や企業秘密などのデータが含まれると、目に見えない漏洩リスクに直面することになる。 この点、生成的AIサービス提供者は、生成的AIサービス利用者の入力情報及び利用記録について、法律に従って保護義務を履行しなければならないと、本措置は規定している。
三、《办法》进一步强化了生成式人工智能发展治理的法律制度 III. 本措置は、生成的AIの発展とガバナンスのための法制度をさらに強化する。
《办法》针对数据、内容安全、知识产权等生成式人工智能发展的关键问题,作出了明确的制度安排。一是在数据领域,《办法》鼓励公共数据的有序开放,推动公共数据分类分级有序开放,拓展高质量的公共训练数据资源;明确训练数据的处理规则,要求数据和基础模型的来源合法,并采取有效措施提高训练数据质量;衔接个人信息保护规则,规定个人信息的收集、留存、向他人提供等均应依法进行。二是在内容领域,《办法》鼓励生成积极健康、向上向善的优质内容,要求不得生成法律、行政法规禁止的内容,并要求对图片、视频等生成内容进行标识。三是在知识产权领域,《办法》明确了尊重知识产权的原则性要求,明确训练数据处理活动不得侵害他人依法享有的知识产权。《办法》衔接了《网络安全法》《数据安全法》《个人信息保护法》《科学技术进步法》有关网络安全、数据安全、个人信息保护等的要求,科学处理了与现有立法之间的关系,为生成式人工智能发展治理构建了全面系统的制度安排。 本措置は、データ、コンテンツの安全性、知的財産権など、生成的AIの発展における重要な問題について、明確な制度的取り決めを行った。 まず、データの分野では、公共データの秩序ある開放を奨励し、分類・階層化された公共データの秩序ある開放を促進し、質の高い公共訓練データ資源を拡大し、訓練データの取り扱いルールを明確化し、データ源と基礎モデルが合法的であることを義務付け、訓練データの質を向上させるための効果的な措置を講じ、個人情報の保護ルールを明確化し、個人情報の収集、保有、他人への提供は法律に従って行われることを規定した。 また、個人情報の収集、保有、提供については、法令に従って行うことを明記する。 第二に、コンテンツの分野では、肯定的、健全、上向き、良質なコンテンツの生成を奨励し、法律や行政法規で禁止されているコンテンツを生成しないことを義務付け、生成された画像や動画などのコンテンツにはラベルを付けることを義務付ける。 第三に、知的財産権の分野において、弁法は知的財産権を尊重するという原則的な要求を明確にし、トレーニングデータ処理活動は法律に従い、他人が享有する知的財産権を侵害してはならないことを明確にした。 本弁法は、ネットワークセキュリティ、データセキュリティ、個人情報保護などに関するネットワークセキュリティ法、データセキュリティ法、個人情報保護法、科学技術進歩法の要求を明確にし、既存の法律との関係を科学的に処理し、生成的AI発展のガバナンスのための包括的かつ体系的な制度配置を構築している。
综上,《办法》是全球首部专门规范生成式人工智能服务的立法,是我国在新兴领域立法的最新成果,体现了我国对新技术新应用发展规制策略的持续推进。我国高度重视新兴领域立法工作,应对新技术新应用快速发展趋势,围绕算法、深度合成等突出领域及时开展立法工作,出台相应管理规定,促进和规范行业发展。对算法歧视、“大数据杀熟”、诱导沉迷、深度伪造等国内外关注的问题,及时作出立法回应。《办法》立足于我国新兴领域立法经验和基础,以促进生成式人工智能健康发展为目标,积极构建符合我国实际的治理制度,有助于促进人工智能产业健康发展。(作者:肖荣美 中国信息通信研究院政策与经济研究所副所长) 要約すると、本法案は、生成的AIサービスの規制に特化した世界初の法制であり、中国の新興分野における法制の最新の成果であり、中国が新技術とアプリケーションの発展に向けた規制戦略を継続的に進めていることを反映している。 中国は新興分野の立法作業を非常に重視し、新技術と応用の急速な発展傾向に対応し、アルゴリズムや綿密な合成などの顕著な分野で適時に立法作業を行い、対応する規制規定を導入して産業の発展を促進・規制している。 アルゴリズムによる差別、「ビッグデータによる馴れ合い殺し」、中毒誘発、綿密な偽造など、国内外が懸念する問題に対して、適時に立法措置を講じてきた。 新興分野における中国の立法経験と基礎に基づき、本措置は生成的AIの健全な発展を促進し、中国の現実に即したガバナンスシステムを積極的に構築することを目的としており、AI産業の健全な発展を促進する一助となる。 (筆者:中国情報通信研究院政策経済研究所副所長 蕭栄梅)

 

专家解读|以安全助发展 以治理促创新 専門家の解釈|発展のためのセキュリティ、イノベーションのためのガバナンス
近日,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》(以下称《办法》),这充分体现了国家对生成式人工智能发展和应用的高度重视,也标志着我国生成式人工智能治理迈出了坚实的一步。《办法》坚持发展与安全并重、促进创新与依法治理相结合的原则,为生成式人工智能的健康发展和规范应用提供了制度“锚点”和实践指引,在推动相关技术进步与产业落地的同时,确保生成式人工智能服务更好地造福人民。 最近、国家ネット情報弁公室(SNIO)は、国家発展改革委員会(NDRC)、教育部(MOE)、科学技術部(MOST)、工業情報化部(MIIT)、公安部(MPS)、ラジオ映画テレビ総局(GARFT)と共同で、「生成的AI(AI)サービス管理暫定弁法」(以下、「弁法」)を発表した。 同措置は、発展と安全性を同等に重視し、イノベーションの推進と法に基づくガバナンスを両立させるという原則を堅持しており、生成的AIの健全な発展と標準化された応用のための体系的な「アンカーポイント」と実践的な指針を提供し、生成的AIサービスが関連技術の進歩と産業の着地を促進しながら、国民により良い利益をもたらすことを保証するものである。
近两年,生成式人工智能大模型在内容生成、理解推理、多轮对话等方面达到超预期的高度,将为数字经济蓬勃发展提供垂直化、场景化、个性化的应用工具,广泛赋能电子商务、创意产业、金融服务、医疗健康等领域。但目前主流的生成式人工智能属于“黑箱”模型,在应用中可能会产生有害言论、虚假信息、隐私泄露、偏见歧视等风险。发展可信安全的生成式人工智能已成为全球共识。发展与安全是一体两翼、辩证统一的关系,安全为生成式人工智能发展提出规范要求,同时也是其被市场应用、社会接受的基础。 過去2年間、生成的AIモデルはコンテンツ生成、理解・推論、多ラウンド対話などの面で高い期待水準に達しており、デジタル経済の発展に垂直的、シナリオベース、個別化された応用ツールを提供し、電子商取引、クリエイティブ産業、金融サービス、医療などの分野に広く力を与えるだろう。 しかし、現在主流となっている生成的AIは「ブラックボックス」モデルであり、その応用において有害発言、虚偽情報、プライバシー漏洩、偏見差別などのリスクを発生させる可能性がある。 信頼性が高く安全な生成的AIの開発は、世界的なコンセンサスとなっている。 生成的AIの開発のための安全性は、規範的な要件を提示するだけでなく、その市場適用、社会的受容の基礎でもある。
《办法》坚持发展与安全并重、创新与治理相结合的原则,对生成式人工智能服务实行包容审慎和分类分级监管。一方面,围绕应用、研发、基础设施等多措并举打造自主开放的创新生态,鼓励生成式人工智能技术在各行业、各领域的创新应用,支持相关机构在技术创新、数据资源建设、转化应用、风险防范等方面开展协作,鼓励基础技术的自主创新,平等互利开展国际交流与合作,推动生成式人工智能基础设施和公共训练数据资源平台建设。另一方面,构建起了鼓励多方主体参与、贯穿生成式人工智能服务全流程的规范体系,对训练数据处理、生成式人工智能服务规范做了相应要求,规定了安全评估、算法备案、投诉举报等配套制度,明确了法律责任和发现违法内容的处置措施。《办法》还对国家有关主管部门的管理提出了要求,针对生成式人工智能的技术特点和服务特征,完善与创新发展相适应的科学监管方式,制定相应的分类分级监管规则或者指引。《办法》为生成式人工智能健康有序发展奠定了坚实的制度基础,也为大模型等新技术的监管做出了示范。 本措置は、開発と安全性を同等に重視し、イノベーションとガバナンスを組み合わせるという原則を堅持し、包括的かつ慎重で、分類され、段階的な監督を実施する。 一方では、応用、研究開発、インフラ、その他の措置をめぐって自律的で開放的なイノベーション・エコシステムを構築し、各産業・分野における生成的AI技術の革新的応用を奨励し、関連機関が技術革新、データ資源の構築、転換、応用、リスク防止で協力することを支援し、基礎技術の自主的イノベーションを奨励し、平等で互恵的な国際交流・協力を実施し、生成的AIの普及を促進する。 インフラと公共訓練データ資源プラットフォームの建設を促進する。 一方、同弁法は、複数の当事者の参加を促し、生成型AIサービスの全過程を貫く規範体系を構築し、訓練データ処理と生成型AIサービスの仕様に対応する要件を定め、安全性アセスメント、アルゴリズム申請、苦情報告などの支援制度を規定し、違法コンテンツの発見に対する法的責任と措置を明確にしている。 また、本措置は、関連国家当局の管理に対して、イノベーションの発展に適合する科学的規制アプローチを改善し、生成的AIの技術的特徴及びサービス特徴に対応する分類及び等級規制規則又はガイドラインを策定することを要求している。 本措置は、生成的AIの健全かつ秩序ある発展のための強固な制度的基礎を築き、ビッグモデルなどの新技術の規制も実証した。
下一步,落实《办法》精神和相关要求,需要业内科研机构和企业一起努力,在相关部门支持下,推进重点领域攻关,打造我国生成式人工智能“发展”与“安全”的双基座。在发展基座方面,进一步研发并开源高质量的基础模型,同时构建面向大模型研发与应用的全链条开源体系,贯穿数据、预训练、微调、部署和评测各个环节,降低我国大模型研发和商用开发的门槛。在安全基座方面,推进构建生成式人工智能高质量数据集,研发相关系列标准,建设生成式人工智能评测平台,打造“数据、标准、评测”一体化的生成式人工智能大模型可信安全体系,为生成式人工智能健康发展和规范应用保驾护航。(作者:乔宇 上海人工智能实验室主任助理、教授) 次の段階として、弁法の精神と関連する要求事項を実施するには、科学研究機関と業界企業の努力が必要であり、関連部門の支援を受けて、研究開発の重点分野を推進し、中国における生成的AIの「発展」と「安全」のための二重の台座を構築する必要がある。 開発基盤の面では、高品質の基本モデルをさらに開発し、オープンソース化すると同時に、大規模モデルの開発と応用のためのフルチェーンのオープンソースシステムを構築し、データ、事前学習、微調整、展開、評価を通じて、中国の大規模モデル開発と商業開発の敷居を下げる。 セキュリティ基盤の面では、生成的AIの高品質データセットの構築、関連する一連の標準の研究開発、生成的AI評価プラットフォームの構築を推進し、「データ、標準、評価」を統合した生成的AI大型モデルの信頼できるセキュリティシステムを構築し、生成的AIの健全な発展と標準化された応用を支援する。 (筆者:喬宇、上海AI研究所副所長兼教授)

 

1_20210612030101

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2023.07.14 中国 国家サイバースペース管理局他 生成的AIサービス管理暫定弁法 施行は2023.08.15

・2023.04.12 中国 意見募集 生成的人工知能サービス管理弁法

 

| | Comments (0)

2023.09.10

カーネギーメロン大学ソフトウェア工学研究所 新たなテクノロジー:国防総省におけるソフトウェアの未来を変える7つのテーマ (2023.08.24)

こんにちは、丸山満彦です。

カーネギーメロン大学ソフトウェア工学研究所が、「新たなテクノロジー:国防総省におけるソフトウェアの未来を変える7つのテーマ」という報告書を公表していますね。。。

7つの分野は

  • 先端コンピューティング
  • 先端材料
  • AI/ML
  • バイオテクノロジー
  • サイバーセキュリティ
  • デジタルトランスフォーメーション
  • 分散コンピューティング

となっていますね。。。

 

Carnegie Mellon University - Software Engineering Institute

・2023.08.24 Emerging Technologies: Seven Themes Changing the Future of Software in the DoD

 

・[PDF]

20230910-92736

・[DOCX] 仮訳

 

 

目次...

Acknowledgments  謝辞 
Executive Summary   エグゼクティブ・サマリー
Introduction はじめに
Advanced Computing 先端コンピューティング
Exponential Intelligence エクスポネンシャル・インテリジェンス
Quantum Computing 量子コンピューティング
Ubiquitous Computing ユビキタス・コンピューティング
Advanced Materials 先端材料
Environmental Sciences 環境科学
Physical Resiliency on the Edge エッジにおける物理的な回復力
Renewable Energy 再生可能エネルギー
AI/ML AI/ML
AI Assisted Software Development AIによるソフトウェア開発
AI Assurance AI保証
Autonomous Operations 自律的オペレーション
Continuous AI 連続AI
Smart Data Curation スマート・データ・キュレーション
Biotechnology バイオテクノロジー
Advanced Bioinformatics 先端バイオ・インフォマティクス
Biometric Privacy バイオメトリック・プライバシー
Genomics ゲノミクス
Cybersecurity サイバーセキュリティ
Cyberwarfare サイバー戦
Post-Quantum Cryptography ポスト量子暗号
Zero Knowledge Proofs 知識ゼロの証明
Zero Trust ゼロトラスト
Digital Transformation デジタルトランスフォーメーション
Deep Data Semantics ディープ・データ・セマンティクス
Extended Reality 拡張現実
Higher Fidelity MBSE より忠実度の高いMBSE
Hyperautomation ハイパーオートメーション
Low-Code Development ローコード開発
Smarter Edge スマーター・エッジ
Distributed Computing 分散コンピューティング
Blockchain Validation ブロックチェーンの検証
Blockchain Verification ブロックチェーン検証
Cloud Native Development クラウドネイティブ開発
Distributed Cyber Physical Systems 分散サイバー物理システム
References 参考文献

 

エグゼクティブサマリー...

Executive Summary  エグゼクティブ・サマリー 
This report summarizes the SEI’s Emerging Technologies Study (ETS), the findings of which are important to the SEI, its DoD sponsors, and the software engineering community. Additionally, this report discusses the Emerging Technology Knowledge Base (ETKB), an internal SEI tool employing a Wikipedia-like structure to codify the data and information gathered during this study. The ETKB enables the identification of relationships among and links between the emerging technology investigated to the overarching goals and objectives of the SEI, its customers, and its sponsors. 本報告書は、SEI、国防総省のスポンサー、およびソフトウェアエンジニアリングコミュニティにとって重要な調査結果をまとめたものである。さらに本報告書では、この調査で収集されたデータと情報を体系化するために、ウィキペディアのような構造を採用したSEI内部ツールである、新興技術知識ベース(Emerging Technology Knowledge Base:ETKB)について説明する。ETKBは、SEI、その顧客、スポンサーの包括的な目標や目的と、調査された新技術との関係やリンクを特定することを可能にする。
This report discusses the following seven emerging technologies, which we have chosen from a purely software engineering perspective (that is, practices and technology). These technologies have evolved in the areas of artificial intelligence and machine learning (AI/ML), cybersecurity, digital transformation, and distributed computing. 本報告書では、純粋にソフトウェアエンジニアリングの観点(つまりプラクティスとテクノロジー)から選んだ、以下の7つの新興テクノロジーについて論じる。これらのテクノロジーは、人工知能と機械学習(AI/ML)、サイバーセキュリティ、デジタルトランスフォーメーション、分散コンピューティングの分野で発展してきた。 
The technologies are presented with particular emphasis on the subtopics (and their technology readiness level [TRL]):  特にサブトピック(およびその技術準備レベル[TRL])に重点を置いて技術を紹介する:
• Advanced Computing • 先進コンピューティング
•  Advanced Materials • 先端材料
•  AI/ML • AI/ML
–  Smart Data Curation (very early TRL): Using AI to establish realistic data sets for largescale testing of software may help address the lack of real-world data sets. – スマート・データ・キュレーション(非常に初期のTRL):ソフトウェアの大規模テストのための現実的なデータセットを確立するためにAIを使用することは、実世界のデータセットの不足を解決するのに役立つ可能性がある。
–  AI-Assisted Software Development (mid-level TRL): Some early production tools such as Amazon’s Code Whisperer and GitHub’s CoPilot are now emerging. – AIによるソフトウェア開発(TRL中位):AmazonのCode WhispererやGitHubのCoPilotのような初期の量産ツールが登場している。
• Biotechnology • バイオテクノロジー
• Cybersecurity • サイバーセキュリティ 
– Zero Trust (early to mid-level TRL): While this topic is getting a lot of publicity, the technology to support zero trust principles remains lacking. - ゼロトラスト(初期から中期レベルのTRL):このトピックは大きな注目を浴びているが、ゼロトラストの原則を支援するテクノロジーはまだ不足している。
• Digital Transformation • デジタルトランスフォーメーション 
– Smarter Edge (mid- to late-TRL) and Digital Transformation: Deep Data Semantics (early TRL) (likely combined with Advanced Computing’s Ubiquitous Computing): Research into these topics is growing and predicted to become more important in emerging technology. – スマーター・エッジ(TRL中期~後期)とデジタルトランスフォーメーション: ディープデータ・セマンティクス(TRL初期)(先端コンピューティングのユビキタス・コンピューティングと統合される可能性が高い): これらのトピックの研究は拡大しており、新興技術においてより重要になると予測される。
– Higher Fidelity Model-Based Software Engineering (MBSE) (early TRL): Building on research previously conducted by the SEI and others in the software engineering community (such as the Architecture Analysis and Design Language [AADL], Predictable Assembly from Certifiable Code [PACC], and Adaptive Quality of Service [AQoS]), this work could advance the state of the practice for MBSE. Prior SEI work, such as PACC, may have been before its time: Some of the subject-matter experts we talked to in the fields of low-code/cloud computing and MBSE described a “nextgeneration” MBSE, in which “models become the software” (i.e., by removing the humanin-the-loop translation of software and system models to running code). – より忠実度の高いモデルベースソフトウェアエンジニアリング(MBSE)(初期 TRL): SEIや他のソフトウェア工学コミュニティが過去に実施した研究(アーキテクチャ分析と設計言語[AADL]、証明可能なコードからの予測可能なアセンブリ[PACC]、適応的サービス品質[AQoS]など)に基づき、この研究はMBSEの実践状況を前進させる可能性がある。PACCのような先行するSEIの研究は、その時代にはまだ早かったかもしれない: ローコード/クラウド・コンピューティングとMBSEの分野で話を聞いた専門家の中には、「モデルがソフトウェアになる」(つまり、ソフトウェアとシステム・モデルを実行コードに変換する人間の作業をなくす)「次世代」MBSEについて説明する人もいた。
• Distributed Computing • 分散コンピューティング
– Comparing the themes and sub-themes from this year’s ETS to those of the prior ETSs, other emerging technologies still prevail, including quantum computing, blockchain, and AI. Interestingly, although still included in this report, some technologies, such as quantum computing, remain more “futuristic,” with timelines that are 10 years out. Not surprising, though, are the DoD’s most pressing and present concerns about post-quantum cryptography (also known as quantum-resistant cryptography), which could invariably compromise traditional (or pre-quantum) cryptographic algorithms. – 今年のETSのテーマとサブテーマを過去のETSのテーマと比較すると、量子コンピューティング、ブロックチェーン、AIなど、他の新興技術が依然として優勢である。興味深いことに、本レポートにはまだ含まれているが、量子コンピューティングのようないくつかの技術は、10年先のタイムラインと、より「未来的」なままである。しかし、驚くことではないが、国防総省が最も緊急かつ現在懸念しているのは、従来の(あるいは量子以前の)暗号アルゴリズムを必ず危険にさらす可能性のあるポスト量子暗号(量子耐性暗号とも呼ばれる)である。

 

 

 

| | Comments (0)

より以前の記事一覧