英国 科学技術革新省 先進AIの安全性に関する国際科学報告書

こんにちは、丸山満彦です。

英国の科学技術革新省とAI研究所が「先進AIの安全性に関する国際科学報告書」の中間報告を公表していますね...

「汎用AI（多種多様なタスクをこなすAI）の科学的理解の現状を、そのリスクの理解と管理に焦点をあててまとめたもの」ということのようです...

日本人としては、SONYのCTOの北野宏明さん[wikipedia]の名前がありますね...

参考文献の数がすごい...

・2024.05.17 [PDF] International Scientific Report on the Safety of Advanced AI

・[DOCX][PDF] 仮訳

目次...

Forewords	まえがき
Executive Summary	エグゼクティブサマリー
1 Introduction	1 序文
2 Capabilities	2 能力
2.1 How does General-Purpose AI gain its capabilities?	2.1 汎用AIはどのようにして能力を獲得するのか？
2.2 What current general-purpose AI systems are capable of	2.2 現在の汎用AIシステムは何ができるのか？
2.2.1 Capabilities by modality .	2.2.1 モダリティ別の能力 .
2.2.2 Capabilities and limitations by skill .	2.2.2 スキル別の能力と限界 .
2.3 Recent trends in capabilities and their drivers	2.3 能力の最近の傾向とその促進要因
2.3.1 Recent trends in compute, data, and algorithms	2.3.1 計算、データ、アルゴリズムに関する最近の傾向
2.3.2 Recent trends in capabilities	2.3.2 能力の最近の傾向
2.4 Capability progress in coming years	2.4 今後数年間における能力の進歩
2.4.1 If resources continue to be scaled rapidly, would this lead to rapid advancements?	2.4.1 リソースが急速に拡張され続ければ、急速な進歩につながるか？
2.4.2 Will resources be scaled rapidly? .	2.4.2 リソースは急速に拡大するだろうか？
2.4.3 Will algorithmic progress lead to rapid advancements? .	2.4.3 アルゴリズムの進歩は急速な進歩をもたらすか？.
3 Methodology to assess and understand general-purpose AI systems .	3 汎用AIシステムのアセスメントと理解のための方法論 .
3.1 General-purpose AI assessments serve to evaluate model capabilities and impacts.	3.1 汎用AIのアセスメントは、モデルの能力と影響を評価するのに役立つ。
3.2 Approaches for model performance analysis	3.2 モデル性能分析のためのアプローチ
3.2.1 Case studies	3.2.1 ケーススタディ
3.2.2 Benchmarks	3.2.2 ベンチマーク
3.2.3 Red-teaming and adversarial attacks	3.2.3 レッドチームと敵対的攻撃
3.2.4 Auditing	3.2.4 監査
3.3 Model transparency, explanations, and interpretations	3.3 モデルの透明性、説明、解釈
3.4 Challenges with studying general-purpose AI systems	3.4 汎用AIシステム研究の課題
4 Risks	4 リスク
4.1 Malicious use risks	4.1 悪意のある使用のリスク
4.1.1 Harm to individuals through fake content	4.1.1 偽コンテンツによる個人への被害
4.1.2 Disinformation and manipulation of public opinion	4.1.2 偽情報と世論操作
4.1.3 Cyber offence .	4.1.3 サイバー犯罪
4.1.4 Dual use science risks	4.1.4 科学のデュアルユースリスク
4.2 Risks from malfunctions	4.2 誤作動によるリスク
4.2.1 Risks from product functionality issues	4.2.1 製品の機能問題によるリスク
4.2.2 Risks from bias and underrepresentation	4.2.2 バイアスと過少代表によるリスク
4.2.3 Loss of control	4.2.3 制御不能
4.3 Systemic risks	4.3 システミック・リスク
4.3.1 Labour market risks	4.3.1 労働市場のリスク
4.3.2 Global AI divide	4.3.2 グローバルAI格差
4.3.3 Market concentration risks and single points of failure	4.3.3 市場集中リスクと単一障害点
4.3.4 Risks to the environment	4.3.4 環境に対するリスク
4.3.5 Risks to privacy	4.3.5 プライバシーに対するリスク
4.3.6 Copyright infringement	4.3.6 著作権侵害
4.4 Cross-cutting risk factors	4.4 分野横断的リスク要因
4.4.1 Cross-cutting technical risk factors	4.4.1 分野横断的な技術的リスク要因
4.4.2 Cross-cutting societal risk factors	4.4.2 分野横断的な社会的リスク要因.
5 Technical approaches to mitigate risks	5 リスク低減のための技術的アプローチ
5.1 Risk management and safety engineering	5.1 リスクマネジメントと安全工学
5.1.1 Risk assessment	5.1.1 リスクアセスメント
5.1.2 Risk management	5.1.2 リスクマネジメント
5.2 Training more trustworthy models	5.2 より信頼できるモデルの育成
5.2.1 Aligning general-purpose AI systems with developer intentions	5.2.1 汎用AIシステムと開発者の意図を一致させる
5.2.2 Reducing the hallucination of falsehoods	5.2.2 虚偽の幻覚を減らす
5.2.3 Improving robustness to failures	5.2.3 失敗に対する頑健性を改善する
5.2.4 Removing hazardous capabilities	5.2.4 危険な能力を取り除く
5.2.5 Analysing and editing the inner workings of models	5.2.5 モデルの内部構造を分析・編集する
5.3 Monitoring and intervention	5.3 監視と介入
5.3.1 Detecting general-purpose AI-generated content .	5.3.1 生成的AIコンテンツの検知.
5.3.2 Detecting anomalies and attacks	5.3.2 異常や攻撃を検知する
5.3.3 Explaining model actions .	5.3.3 モデルの行動を説明する .
5.3.4 Building safeguards into AI systems	5.3.4 AIシステムにセーフガードを組み込む
5.4 Technical approaches to fairness and representation in general-purpose AI systems	5.4 汎用AIシステムにおける公平性と表現に対する技術的アプローチ
5.4.1 Mitigation of bias and discrimination works throughout the stages of general-purpose AI development and deployment	5.4.1 バイアスと識別の低減は、汎用AIの開発と展開のステージを通して機能する
5.4.2 Is fairness in general-purpose AI systems achievable?	5.4.2 汎用AIシステムにおける公平性は達成可能か？
5.4.3 Challenges in achieving fair general-purpose AI systems	5.4.3 公正な汎用AIシステムを実現する上での課題
5.5 Privacy methods for general-purpose AI systems	5.5 汎用AIシステムのプライバシー手法
6 Conclusion	6 まとめ
Chair’s note on the interim report	中間報告に対する座長のコメント
Differing views	見解の相違
Glossary	用語解説
References	参考文献

エグゼクティブサマリー...

Executive Summary	エグゼクティブ・サマリー
About this report	この報告書について
• This is the interim publication of the first ‘International Scientific Report on the Safety of Advanced AI’. A diverse group of 75 artificial intelligence (AI) experts contributed to this report, including an international Expert Advisory Panel nominated by 30 countries, the European Union (EU), and the United Nations (UN).	• 本書は、初の「先進的AIの安全性に関する国際科学報告書」の中間発表である。この報告書には、30カ国、欧州連合（EU）、国連（UN）から推薦された国際専門家諮問委員会を含む、75人の人工知能（AI）の専門家からなる多様なグループが貢献した。
• Led by the Chair of this report, the independent experts writing this report collectively had full discretion over its content.	• 本報告書の議長を筆頭に、本報告書を執筆した独立専門家たちは、その内容に関して全面的な裁量権を有していた。
• At a time of unprecedented progress in AI development, this first publication restricts its focus to a type of AI that has advanced particularly rapidly in recent years: General-purpose AI, or AI that can perform a wide variety of tasks. Amid rapid advancements, research on general-purpose AI is currently in a time of scientific discovery and is not yet settled science.	• AIの開発がかつてないほど進展している現在、この最初の出版物は、近年特に急速に進歩しているAIのタイプに焦点を絞っている：汎用AI、すなわちさまざまなタスクを実行できるAIである。急速な進歩の中で、汎用AIの研究は現在、科学的発見の時期にあり、まだ定まった科学ではない。
• People around the world will only be able to enjoy general-purpose AI’s many potential benefits safely if its risks are appropriately managed. This report focuses on identifying these risks and evaluating technical methods for assessing and mitigating them. It does not aim to comprehensively assess all possible societal impacts of general-purpose AI, including its many potential benefits.	• そのリスクが適切に管理されて初めて、世界中の人々が汎用AIの多くの潜在的利益を安全に享受できるようになる。本報告書は、こうしたリスクを特定し、それを評価・軽減するための技術的手法を評価することに焦点を当てている。汎用AIがもたらす多くの潜在的便益を含め、考えられるすべての社会的影響を包括的に評価することを目的としたものではない。
• For the first time in history, this interim report brought together experts nominated by 30 countries, the EU, and the UN, and other world-leading experts, to provide a shared scientific, evidence-based foundation for discussions and decisions about general-purpose AI safety. We continue to disagree on several questions, minor and major, around general-purpose AI capabilities, risks, and risk mitigations. But we consider this project essential for improving our collective understanding of this technology and its potential risks, and for moving closer towards consensus and effective risk mitigation to ensure people can experience the potential benefits of general-purpose AI safely. The stakes are high. We look forward to continuing this effort.	• 史上初めて、この中間報告書は、30カ国、EU、国連から推薦された専門家と、その他の世界をリードする専門家が一堂に会し、汎用AIの安全性に関する議論と意思決定のための、科学的根拠に基づく共通の基盤を提供した。我々は、汎用AIの能力、リスク、リスク軽減策をめぐるいくつかの疑問について、些細なものから大きなものまで、意見の相違が続いている。しかし、我々はこのプロジェクトが、このテクノロジーとその潜在的リスクに関する我々の集合的理解を向上させ、人々が安全に汎用AIの潜在的利益を体験できるようにするためのコンセンサスと効果的なリスク軽減に近づくために不可欠であると考えている。賭け金は大きい。我々は、この取り組みを継続することを楽しみにしている。
Highlights of the executive summary	エグゼクティブ・サマリーのハイライト
• If properly governed, general-purpose AI can be applied to advance the public interest, potentially leading to enhanced wellbeing, more prosperity, and new scientific discoveries. However, malfunctioning or maliciously used general-purpose AI can also cause harm, for instance through biased decisions in high-stakes settings or through scams, fake media, or privacy violations.	• 適切に管理されれば、汎用AIは公共の利益を増進するために応用され、幸福の増進、さらなる繁栄、新たな科学的発見につながる可能性がある。しかし、誤作動や悪意を持って使用された汎用AIは、例えば、利害関係の強い場面での偏った判断や、詐欺、フェイクメディア、プライバシー侵害などを通じて、危害をもたらす可能性もある。
• As general-purpose AI capabilities continue to advance, risks such as large-scale labour market impacts, AI-enabled hacking or biological attacks, and society losing control over general-purpose AI could emerge, although the likelihood of these scenarios is debated among researchers. Different views on these risks often stem from differing expectations about the steps society will take to limit them, the effectiveness of those steps, and how rapidly general-purpose AI capabilities will be advanced.	• 汎用AIの能力が進歩し続けるにつれて、大規模な労働市場への影響、AIを利用したハッキングや生物学的攻撃、社会が汎用AIを制御できなくなるといったリスクが出現する可能性があるが、こうしたシナリオの可能性については研究者の間で議論が分かれている。これらのリスクに関する見解の違いは、社会がリスクを制限するために取る措置、その措置の有効性、汎用AIの能力がどの程度急速に進歩するかについての期待の違いから生じることが多い。
• There is considerable uncertainty about the rate of future progress in general-purpose AI capabilities. Some experts think a slowdown of progress is by far most likely, while other experts think that extremely rapid progress is possible or likely.	• 汎用AI能力の将来的な進歩速度にはかなりの不確実性がある。進歩が鈍化する可能性が圧倒的に高いと考える専門家もいれば、極めて急速な進歩が可能またはあり得ると考える専門家もいる。
• There are various technical methods to assess and reduce risks from general-purpose AI that developers can employ and regulators can require, but they all have limitations. For example, current techniques for explaining why general-purpose AI models produce any given output are severely limited.	• 汎用AIによるリスクを評価し、低減するために、開発者が採用でき、規制当局が要求できるさまざまな技術的手法があるが、いずれも限界がある。例えば、汎用AIモデルがどのようなアウトプットを出すのかを説明するための現在の技術は、非常に限られている。
• The future of general-purpose AI technology is uncertain, with a wide range of trajectories appearing possible even in the near future, including both very positive and very negative outcomes. But nothing about the future of AI is inevitable. It will be the decisions of societies and governments that will determine the future of AI. This interim report aims to facilitate constructive discussion about these decisions.	• 汎用AI技術の未来は不確実であり、非常にポジティブな結果も非常にネガティブな結果も含め、近い将来でさえ幅広い軌跡があり得ると思われる。しかし、AIの未来に必然性はない。AIの未来を決定するのは、社会と政府の決断である。本中間報告書は、こうした決定に関する建設的な議論を促進することを目的としている。
This report synthesises the state of scientific understanding of general-purpose AI – AI that can perform a wide variety of tasks – with a focus on understanding and managing its risks	本報告書は、汎用AI（多種多様なタスクをこなすAI）の科学的理解の現状を、そのリスクの理解と管理に焦点をあててまとめたものである。
The capabilities of systems using AI have been advancing rapidly. This has highlighted the many opportunities that AI creates for business, research, government, and private life. It has also led to an increased awareness of current harms and potential future risks associated with advanced AI.	AIを使ったシステムの能力は急速に進歩している。このことは、AIがビジネス、研究、政府、私生活にもたらす多くの機会を浮き彫りにしている。また、高度なAIに関連する現在の危害や将来の潜在的なリスクに対する認識も高まっている。
The purpose of the International Scientific Report on the Safety of Advanced AI is to take a step towards a shared international understanding of AI risks and how they can be mitigated. This first interim publication of the report restricts its focus to a type of AI whose capabilities have advanced particularly rapidly: general-purpose AI, or AI that can perform a wide variety of tasks.	先進AIの安全性に関する国際科学報告書」の目的は、AIのリスクとその軽減方法について、国際的な共通理解を得るための一歩を踏み出すことである。この報告書の最初の中間発表では、特に急速に能力が進歩したAIの種類、すなわち汎用AI、すなわち多種多様なタスクを実行できるAIに焦点を絞っている。
Amid rapid advancements, research on general-purpose AI is currently in a time of scientific discovery and is not yet settled science. The report provides a snapshot of the current scientific understanding of general-purpose AI and its risks. This includes identifying areas of scientific consensus and areas where there are different views or open research questions.	急速な進歩の中で、汎用AIの研究は現在、科学的発見の時期にあり、まだ科学として確立していない。本報告書は、汎用AIとそのリスクに関する現在の科学的理解のスナップショットを提供する。これには、科学的コンセンサスが得られている分野と、異なる見解や未解決の研究課題がある分野の特定が含まれる。
People around the world will only be able to enjoy the potential benefits of general-purpose AI safely if its risks are appropriately managed. This report focuses on identifying risks from general-purpose AI and evaluating technical methods for assessing and mitigating them, including the beneficial use of general-purpose AI to mitigate risks. It does not aim to comprehensively assess all possible societal impacts of general-purpose AI, including what benefits it may offer.	汎用AIのリスクが適切に管理されて初めて、世界中の人々が汎用AIの潜在的な恩恵を安全に享受できるようになる。本報告書は、汎用AIがもたらすリスクを特定し、リスクを軽減するための汎用AIの有益な利用を含め、リスクを評価・軽減するための技術的手法を評価することに焦点を当てている。汎用AIがどのような便益をもたらすかも含め、汎用AIの社会的影響の可能性をすべて包括的に評価することは目的としていない。
General-purpose AI capabilities have grown rapidly in recent years according to many metrics, and there is no consensus on how to predict future progress, making a wide range of scenarios appear possible	多くの指標によれば、汎用AIの能力は近年急速に成長しており、将来の進歩を予測する方法についてコンセンサスは得られていない。
According to many metrics, general-purpose AI capabilities are progressing rapidly. Five years ago, the leading general-purpose AI language models could rarely produce a coherent paragraph of text. Today, some general-purpose AI models can engage in multi-turn conversations on a wide range of topics, write short computer programs, or generate videos from a description. However, the capabilities of general-purpose AI are difficult to estimate reliably and define precisely.	多くの指標によれば、汎用AIの能力は急速に進歩している。5年前、主要な汎用AI言語モデルは、まとまった段落の文章をほとんど作成できなかった。今日、いくつかの汎用AIモデルは、幅広いトピックについて何ターンも会話をしたり、短いコンピューター・プログラムを書いたり、説明から動画を生成したりできる。しかし、汎用AIの能力を確実に見積もり、正確に定義することは難しい。
The pace of general-purpose AI advancement depends on both the rate of technological advancements and the regulatory environment. This report focuses on the technological aspects and does not provide a discussion of how regulatory efforts might affect the speed of development and deployment of general-purpose AI.	汎用AIの進歩のペースは、技術進歩の速度と規制環境の両方に左右される。本報告書では、技術的な側面に焦点を当て、規制の取り組みが汎用AIの開発・展開のスピードにどのような影響を与えるかについては触れていない。
AI developers have rapidly advanced general-purpose AI capabilities in recent years mostly by continuously increasing resources used for training new models (a trend called ‘scaling’) and refining existing algorithms. For example, state-of-the-art AI models have seen annual increases of approximately 4x in computational resources (‘compute’) used for training, 2.5x in training dataset size, and 1.5-3x in algorithmic efficiency (performance relative to compute). Whether ‘scaling’ has resulted in progress on fundamental challenges such as causal reasoning is debated among researchers.	AI開発者は近年、新しいモデルの学習に使用するリソースを継続的に増やし（「スケーリング」と呼ばれる傾向）、既存のアルゴリズムを改良することで、汎用AIの能力を急速に高めてきた。例えば、最先端のAIモデルでは、学習に使用される計算リソース（「コンピュート」）が毎年約4倍、学習データセットサイズが2.5倍、アルゴリズム効率（コンピュートに対するパフォーマンス）が1.5～3倍に増加している。スケーリング」が因果推論のような基本的な課題の進展をもたらしたかどうかは、研究者の間で議論されている。
The pace of future progress in general-purpose AI capabilities has substantial implications for managing emerging risks, but experts disagree on what to expect even in the near future. Experts variously support the possibility of general-purpose AI capabilities advancing slowly, rapidly, or extremely rapidly. This disagreement involves a key question: will continued ‘scaling’ of resources and refining existing techniques be sufficient to yield rapid progress and solve issues such as reliability and factual accuracy, or are new research breakthroughs required to substantially advance generalpurpose AI abilities?	汎用AI能力の今後の進歩ペースは、新たなリスクを管理する上で大きな意味を持つが、専門家の間でも、近い将来に何が起こるかについては意見が分かれている。専門家の間では、汎用AIの能力がゆっくりと、あるいは急速に、あるいは極めて急速に進歩する可能性をさまざまに支持している。この意見の相違は、リソースの「スケーリング」を継続し、既存の技術を洗練させるだけで、急速な進歩をもたらし、信頼性や事実の正確さといった問題を解決するのに十分なのか、それとも、汎用AIの能力を大幅に向上させるためには、新たな研究のブレークスルーが必要なのか、という重要な問題を含んでいる。
Several leading companies that develop general-purpose AI are betting on ‘scaling’ to continue leading to performance improvements. If recent trends continue, by the end of 2026 some general-purpose AI models will be trained using 40x to 100x more compute than the most compute-intensive models published in 2023, combined with training methods that use this compute 3x to 20x more efficiently. However, there are potential bottlenecks to further increasing both data and compute, including the availability of data, AI chips, capital expenditure, and local energy capacity. Companies developing general-purpose AI are working to navigate these potential bottlenecks.	汎用AIを開発するいくつかの大手企業は、性能向上につながり続ける「スケーリング」に賭けている。最近のトレンドが続けば、2026年末までに、汎用AIモデルのいくつかは、2023年に発表された最も計算負荷の高いモデルよりも40倍から100倍多い計算量を使用して学習され、この計算量を3倍から20倍効率的に使用する学習方法と組み合わされることになる。しかし、データ、AIチップ、資本支出、地域のエネルギー容量などの利用可能性を含め、データと計算の両方をさらに増やすには潜在的なボトルネックがある。汎用AIを開発している企業は、これらの潜在的なボトルネックを回避するために取り組んでいる。
Several research efforts aim to understand and evaluate generalpurpose AI more reliably, but our overall understanding of how general-purpose AI models and systems work is limited	汎用AIをより確実に理解し、評価することを目的とした研究はいくつかあるが、汎用AIのモデルやシステムがどのように機能するかについての全体的な理解は限られている。
Approaches to managing risks from general-purpose AI often rest on the assumption that AI developers and policymakers can assess the capabilities and potential impacts of general-purpose AI models and systems. But while technical methods can help with assessment, all existing methods have limitations and cannot provide strong assurances against most harms related to general-purpose AI. Overall, the scientific understanding of the inner workings, capabilities, and societal impacts of general-purpose AI is very limited, and there is broad expert agreement that it should be a priority to improve our understanding of general-purpose AI. Some of the key challenges include:	汎用AIによるリスクを管理するアプローチは、AIの開発者や政策立案者が汎用AIのモデルやシステムの能力と潜在的な影響を評価できるという前提に立っていることが多い。しかし、技術的な手法は評価に役立つとはいえ、既存の手法にはすべて限界があり、汎用AIに関連するほとんどの危害に対して強力な保証を提供することはできない。全体として、汎用AIの内部構造、能力、社会的影響に関する科学的理解は非常に限られており、汎用AIの理解を深めることを優先すべきであるとする専門家の幅広い合意がある。主な課題には以下のようなものがある：
• Developers still understand little about how their general-purpose AI models operate. This is because general-purpose AI models are not programmed in the traditional sense. Instead, they are trained: AI developers set up a training process that involves a lot of data, and the outcome of that training process is the general-purpose AI model. These models can consist of trillions of components, called parameters, and most of their inner workings are inscrutable, including to the model developers. Model explanation and interpretability techniques can improve researchers’ and developers’ understanding of how general-purpose AI models operate, but this research is nascent.	• 開発者は、汎用AIモデルがどのように動作するかについて、まだほとんど理解していない。というのも、汎用AIモデルは伝統的な意味でプログラミングされるわけではないからだ。その代わりに訓練される：AI開発者は、多くのデータを含む学習プロセスを設定し、その学習プロセスの結果が汎用AIモデルである。これらのモデルは、パラメータと呼ばれる何兆ものコンポーネントで構成されることがあり、その内部の仕組みのほとんどは、モデル開発者を含めて不可解である。モデルの説明と解釈可能性の技術は、汎用AIモデルがどのように動作するかについての研究者や開発者の理解を向上させることができるが、この研究はまだ始まったばかりである。
• General-purpose AI is mainly assessed through testing the model or system on various inputs. These spot checks are helpful for assessing strengths and weaknesses, including vulnerabilities and potentially harmful capabilities, but do not provide quantitative safety guarantees. The tests often miss hazards and overestimate or underestimate capabilities because general-purpose AI systems may behave differently in different circumstances, with different users, or with additional adjustments to their components.	• 汎用AIは主に、モデルやシステムを様々な入力でテストすることで評価される。これらの抜き取り検査は、脆弱性や潜在的に有害な能力を含む長所と短所を評価するのに役立つが、定量的な安全性を保証するものではない。汎用AIシステムは、異なる状況、異なるユーザー、あるいはコンポーネントの追加調整によって異なる挙動を示す可能性があるため、テストはしばしば危険性を見逃し、能力を過大評価または過小評価する。
• Independent actors can, in principle, audit general-purpose AI models or systems developed by a company. However, companies often do not provide independent auditors with the necessary level of direct access to models or the information about data and methods used that are needed for rigorous assessment. Several governments are beginning to build capacity for conducting technical evaluations and audits.	• 独立監査人は、原則として、企業が開発した汎用AIモデルやシステムを監査することができる。しかし、企業は独立監査人に対し、モデルへの必要なレベルの直接アクセスや、厳密な評価に必要なデータや使用方法に関する情報を提供しないことが多い。いくつかの政府は、技術的な評価や監査を実施するための能力を構築し始めている。
• It is difficult to assess the downstream societal impact of a general-purpose AI system because research into risk assessment has not been sufficient to produce rigorous and comprehensive assessment methodologies. In addition, general-purpose AI has a wide range of use cases, which are often not predefined and only lightly restricted, complicating risk assessment further. Understanding the potential downstream societal impacts of general-purpose AI models and systems requires nuanced and multidisciplinary analysis. Increasing the representation of diverse perspectives in general-purpose AI development and evaluation processes is an ongoing technical and institutional challenge.	• リスク評価に関する研究が十分でなく、厳密かつ包括的な評価手法が生み出されていないため、汎用AIシステムの下流社会への影響を評価することは困難である。加えて、汎用AIには幅広いユースケースがあり、それらは多くの場合、事前に定義されておらず、軽く制限されているに過ぎないため、リスク評価をさらに複雑にしている。汎用AIのモデルやシステムが下流社会に与える潜在的な影響を理解するには、微妙で学際的な分析が必要である。汎用AIの開発・評価プロセスにおいて、多様な視点の代表を増やすことは、技術的・制度的な継続課題である。
General-purpose AI can pose severe risks to individual and public safety and wellbeing	汎用AIは、個人や公共の安全と福利に深刻なリスクをもたらす可能性がある。
This report classifies general-purpose AI risks into three categories: malicious use risks, risks from malfunctions, and systemic risks. It also discusses several cross-cutting factors that contribute to many risks.	本報告書では、汎用AIのリスクを「悪意のある使用によるリスク」「誤作動によるリスク」「システム的リスク」の3つに分類している。また、多くのリスクに寄与するいくつかの横断的要因についても論じている。
Malicious use. Like all powerful technologies, general-purpose AI systems can be used maliciously to cause harm. Possible types of malicious use range from relatively well-evidenced ones, such as scams enabled by general-purpose AI, to ones that some experts believe might occur in the coming years, such as malicious use of scientific capabilities of general-purpose AI.	悪意のある使用。あらゆる強力なテクノロジーと同様、汎用AIシステムも悪意を持って利用され、被害をもたらす可能性がある。悪意のある利用には、汎用AIが可能にする詐欺のような比較的実証済みのものから、汎用AIの科学的能力を悪意を持って利用するような、今後数年のうちに起こりうると考える専門家もいる。
• Harm to individuals through fake content generated by general-purpose AI is a relatively welldocumented class of general-purpose AI malicious use. General-purpose AI can be used to increase the scale and sophistication of scams and fraud, for example through ‘phishing’ attacks enhanced by general-purpose AI. General-purpose AI can also be used to generate fake compromising content featuring individuals without their consent, such as non-consensual deepfake pornography.	• 汎用AIによって生成された偽コンテンツによる個人への被害は、汎用AIの悪意のある使用の中でも比較的文書化されている分類である。汎用AIは、例えば、汎用AIによって強化された「フィッシング」攻撃によって、詐欺や不正行為の規模を拡大し、巧妙化するために使用することができる。汎用AIはまた、非同意のディープフェイクポルノなど、個人を主人公とする偽の危ういコンテンツを本人の同意なしに生成するために使用されることもある。
• Another area of concern is the malicious use of general-purpose AI for disinformation and manipulation of public opinion. General-purpose AI and other modern technologies make it easier to generate and disseminate disinformation, including in an effort to affect political processes. Technical countermeasures like watermarking content, although useful, can usually be circumvented by moderately sophisticated actors.	• もうひとつ懸念されるのは、偽情報や世論操作のために汎用AIが悪意を持って利用されることだ。汎用AIやその他の最新テクノロジーは、政治的プロセスに影響を与える試みも含め、偽情報の生成と拡散を容易にする。コンテンツの電子透かしのような技術的な対策は、有用ではあるが、中程度に洗練された行為者であれば、通常は回避することができる。
• General-purpose AI might also be maliciously used for cyber offence, uplifting the cyber expertise of individuals and making it easier for malicious users to conduct effective cyber-attacks. General-purpose AI systems can be used to scale and partially automate some types of cyber operations, such as social engineering attacks. However, general-purpose AI could also be used in cyber defence. Overall, there is not yet any substantial evidence suggesting that general-purpose AI can automate sophisticated cybersecurity tasks.	• 汎用AIは悪意を持ってサイバー犯罪に利用される可能性もあり、個人のサイバー専門知識を高め、悪意のあるユーザーが効果的なサイバー攻撃を行うことを容易にする。汎用AIシステムは、ソーシャル・エンジニアリング攻撃など、ある種のサイバー操作の規模を拡大し、部分的に自動化するために使用することができる。しかし、汎用AIはサイバー防衛にも利用できる。全体として、汎用AIが高度なサイバーセキュリティタスクを自動化できることを示唆する実質的な証拠はまだない。
• Some experts have also expressed concern that general-purpose AI could be used to support the development and malicious use of weapons, such as biological weapons. There is no strong evidence that current general-purpose AI systems pose this risk. For example, although current general-purpose AI systems demonstrate growing capabilities related to biology, the limited studies available do not provide clear evidence that current systems can ‘uplift’ malicious actors to obtain biological pathogens more easily than could be done using the internet. However, future large-scale threats have scarcely been assessed and are hard to rule out.	• また、一部の専門家は、汎用AIが生物兵器のような兵器の開発や悪意のある使用を支援するために使用される可能性があると懸念を表明している。現在の汎用AIシステムがこのようなリスクをもたらすという強い証拠はない。例えば、現在の汎用AIシステムは、生物学に関連する能力が高まっていることを示してはいるが、利用可能な限られた研究では、現在のシステムが悪意のある行為者を「高揚」させ、インターネットを利用するよりも簡単に生物学的病原体を入手できるという明確な証拠は得られていない。しかし、将来の大規模な脅威はほとんど評価されておらず、排除することは難しい。
Risks from malfunctions. Even when users have no intention to cause harm, serious risks can arise due to the malfunctioning of general-purpose AI. Such malfunctions can have several possible causes and consequences:	誤作動によるリスク。利用者に危害を加える意図がない場合でも、汎用AIの誤作動によって深刻なリスクが生じる可能性がある。このような誤作動には、いくつかの原因と結果が考えられる：
• The functionality of products based on general-purpose AI models and systems might be poorly understood by their users, for example due to miscommunication or misleading advertising. This can cause harm if users then deploy the systems in unsuitable ways or for unsuitable purposes.	• 汎用のAIモデルやシステムに基づく製品の機能は、例えば誤ったコミュニケーションや誤解を招くような宣伝のために、利用者に十分に理解されない可能性がある。そのため、ユーザーが不適切な方法や不適切な目的でシステムを導入すると、弊害が生じる可能性がある。
• Bias in AI systems generally is a well-evidenced problem and remains unsolved for generalpurpose AI, too. General-purpose AI outputs can be biased with respect to protected characteristics like race, gender, culture, age, and disability. This can create risks, including in highstakes domains such as healthcare, job recruitment, and financial lending. In addition, many widely-used general-purpose AI models are primarily trained on data that disproportionately represents Western cultures, which can increase the potential for harm to individuals not represented well by this data.	• AIシステムにおける一般的なバイアスは、十分に証明された問題であり、汎用AIにおいても未解決のままである。汎用AIの出力は、人種、性別、文化、年齢、障害などの保護特性に関して偏る可能性がある。このことは、医療、求人、金融融資など、利害関係の大きい領域を含め、リスクを生じさせる可能性がある。さらに、広く使用されている汎用AIモデルの多くは、主に西洋文化を不当に代表するデータで訓練されているため、このデータではうまく表現されない個人に危害が及ぶ可能性が高まる。
• 'Loss of control’ scenarios are potential future scenarios in which society can no longer meaningfully constrain general-purpose AI systems, even if it becomes clear that they are causing harm. There is broad consensus that current general-purpose AI lacks the capabilities to pose this risk. Some experts believe that current efforts to develop general-purpose autonomous AI – systems that can act, plan, and pursue goals – could lead to a loss of control if successful. Experts disagree about how plausible loss-of-control scenarios are, when they might occur, and how difficult it would be to mitigate them.	• 「制御不能」シナリオとは、汎用AIシステムが害を及ぼしていることが明らかになったとしても、社会がもはや意味のある制約を与えることができないような、将来の潜在的シナリオである。現在の汎用AIには、このようなリスクを引き起こす能力が欠けているという点については、幅広いコンセンサスが得られている。一部の専門家は、汎用の自律型AI（行動し、計画を立て、目標を追求できるシステム）を開発する現在の取り組みが成功すれば、制御不能に陥る可能性があると考えている。制御不能のシナリオがどの程度確からしいか、いつ起こりうるか、それを緩和するのがどの程度難しいかについては、専門家の間でも意見が分かれている。
Systemic risks. The widespread development and adoption of general-purpose AI technology poses several systemic risks, ranging from potential labour market impacts to privacy risks and environmental effects:	システミックリスク。汎用AI技術の広範な開発と採用は、潜在的な労働市場への影響からプライバシーリスクや環境への影響に至るまで、いくつかのシステミック・リスクをもたらす：
• General-purpose AI, especially if it further advances rapidly, has the potential to automate a very wide range of tasks, which could have a significant effect on the labour market. This could mean many people could lose their current jobs. However, many economists expect that potential job losses could be offset, possibly completely, by the creation of new jobs and by increased demand in non-automated sectors.	• 特に汎用AIが急速に進歩すれば、非常に幅広い作業を自動化できる可能性があり、労働市場に大きな影響を与える可能性がある。これは、多くの人々が現在の仕事を失う可能性があることを意味する。しかし、多くのエコノミストは、潜在的な雇用損失は、新たな雇用の創出や非自動化分野での需要増加によって、場合によっては完全に相殺されると予想している。
• General-purpose AI research and development is currently concentrated in a few Western countries and China. This 'AI Divide' is multicausal, but in part stems from differing levels of access to the compute needed to develop general-purpose AI. Since low-income countries and academic institutions have less access to compute than high-income countries and technology companies do, they are placed at a disadvantage.	• 汎用AIの研究開発は現在、一部の欧米諸国と中国に集中している。この「AI格差」は多因子にわたっているが、汎用AIの開発に必要な計算機へのアクセスレベルの差に起因する部分もある。低所得国や学術機関は、高所得国やテクノロジー企業に比べて計算機へのアクセスが少ないため、不利な立場に置かれている。
• The resulting market concentration in general-purpose AI development makes societies more vulnerable to several systemic risks. For instance, the widespread use of a small number of general-purpose AI systems in critical sectors like finance or healthcare could cause simultaneous failures and disruptions on a broad scale across these interdependent sectors, for instance because of bugs or vulnerabilities.	• その結果、汎用AI開発における市場の集中は、社会をいくつかのシステミックリスクに対してより脆弱にする。例えば、金融や医療などの重要な分野で少数の汎用AIシステムが広く使用されることで、バグや脆弱性などが原因で、相互依存関係にあるこれらの分野全体で同時に大規模な障害や混乱が発生する可能性がある。
• Growing compute use in general-purpose AI development and deployment has rapidly increased energy usage associated with general-purpose AI. This trend shows no indications of moderating, potentially leading to further increased CO2 emissions and water consumption.	• 汎用AIの開発・導入におけるコンピュート利用の拡大により、汎用AIに関連するエネルギー使用量が急速に増加している。この傾向は弱まる気配がなく、CO2 排出量と水消費量のさらなる増加につながる可能性がある。
• General-purpose AI models or systems can pose risks to privacy. For instance, research has shown that by using adversarial inputs, users can extract training data containing information about individuals from a model. For future models trained on sensitive personal data like health or financial data, this may lead to particularly serious privacy leaks.	• 汎用のAIモデルやシステムは、プライバシーにリスクをもたらす可能性がある。例えば、敵対的な入力を使用することで、ユーザーはモデルから個人に関する情報を含むトレーニングデータを抽出できることが研究で示されている。将来、健康や金融データのようなセンシティブな個人データをトレーニングしたモデルの場合、これは特に深刻なプライバシー漏洩につながる可能性がある。
• Potential copyright infringements in general-purpose AI development pose a challenge to traditional intellectual property laws, as well as to systems of consent, compensation, and control over data. An unclear copyright regime disincentivises general-purpose AI developers from declaring what data they use and makes it unclear what protections are afforded to creators whose work is used without their consent to train general-purpose AI models.	• 汎用AI開発における潜在的な著作権侵害は、従来の知的財産法だけでなく、同意、補償、データに対する管理体制にも課題を突きつけている。不明確な著作権制度は、汎用AI開発者がどのようなデータを使用しているかを申告する意欲を失わせ、汎用AIモデルを訓練するために同意なしに作品が使用されるクリエイターに対してどのような保護が与えられるかを不明確にしている。
Cross-cutting risk factors. Underpinning the risks associated with general-purpose AI are several cross-cutting risk factors – characteristics of general-purpose AI that increase the probability or severity of not one but several risks:	横断的リスク要因。汎用AIに関連するリスクの根底には、いくつかの横断的なリスク要因がある。つまり、汎用AIの特性は、1つのリスクだけでなく、複数のリスクの確率や深刻度を高める：
• Technical cross-cutting risk factors include the difficulty of ensuring that general-purpose AI systems reliably behave as intended, our lack of understanding of their inner workings, and the ongoing development of general-purpose AI ‘agents’ which can act autonomously with reduced oversight.	• 技術的な横断的リスク要因としては、汎用AIシステムが意図したとおりに確実に動作することを保証することの難しさ、AIシステムの内部構造に関する我々の理解不足、監視を減らして自律的に行動できる汎用AI「エージェント」の開発進行中などが挙げられる。
• Societal cross-cutting risk factors include the potential disparity between the pace of technological progress and the pace of a regulatory response, as well as competitive incentives for AI developers to release products quickly, potentially at the cost of thorough risk management.	• 社会的な横断的リスク要因としては、技術進歩のペースと規制対応のペースの間に潜在的な乖離があることや、AI開発者にとって、徹底したリスク管理を犠牲にしてでも製品を迅速にリリースしようとする競争上のインセンティブがあることなどが挙げられる。
Several technical approaches can help mitigate risks, but no currently known method provides strong assurances or guarantees against harm associated with general-purpose AI	いくつかの技術的アプローチはリスクを軽減するのに役立つが、現在知られている方法で、汎用AIに関連する危害に対する強力な保証や保証を提供できるものはない。
While this report does not discuss policy interventions for mitigating risks from general-purpose AI, it does discuss technical risk mitigation methods on which researchers are making progress. Despite this progress, current methods have not reliably prevented even overtly harmful general-purpose AI outputs in real-world contexts. Several technical approaches are used to assess and mitigate risks:	本報告書では、汎用AIによるリスクを軽減するための政策的介入については論じないが、研究者が進歩を遂げている技術的なリスク軽減方法については論じる。このような進展にもかかわらず、現在の手法では、実世界の文脈においてあからさまに有害な汎用AIの出力さえも確実に防ぐことはできていない。リスクの評価と軽減には、いくつかの技術的アプローチが用いられている：
• There is some progress in training general-purpose AI models to function more safely. Developers also train models to be more robust to inputs that are designed to make them fail (‘adversarial training’). Despite this, adversaries can typically find alternative inputs that reduce the effectiveness of safeguards with low to moderate effort. Limiting a general-purpose AI system’s capabilities to a specific use case can help to reduce risks from unforeseen failures or malicious use.	• 汎用のAIモデルをより安全に機能させるためのトレーニングはある程度進んでいる。開発者はまた、モデルが失敗するように設計された入力に対してより頑健になるように訓練している（「敵対的訓練」）。にもかかわらず、敵は通常、安全装置の有効性を低下させる代替入力を低～中程度の労力で見つけることができる。汎用AIシステムの能力を特定のユースケースに限定することで、予期せぬ失敗や悪意のある使用によるリスクを低減することができる。
• There are several techniques for identifying risks, inspecting system actions, and evaluating performance once a general-purpose AI system has been deployed. These practices are often referred to as ‘monitoring’.	• 汎用AIシステムが配備された後、リスクを特定し、システムの動作を検査し、パフォーマンスを評価するための手法がいくつかある。これらの手法はしばしば「モニタリング」と呼ばれる。
• Mitigation of bias in general-purpose AI systems can be addressed throughout the lifecycle of the system, including design, training, deployment, and usage. However, entirely preventing bias in general-purpose AI systems is challenging because it requires systematic training data collection, ongoing evaluation, and effective identification of bias. It may also require trading off fairness with other objectives such as accuracy and privacy, and deciding what is useful knowledge and what is an undesirable bias that should not be reflected in the outputs.	• 汎用AIシステムにおけるバイアスの軽減は、設計、トレーニング、配備、使用など、システムのライフサイクル全体を通じて取り組むことができる。しかし、体系的なトレーニングデータの収集、継続的な評価、バイアスの効果的な特定が必要となるため、汎用AIシステムにおけるバイアスを完全に防止することは困難である。また、精度やプライバシーなど他の目的と公平性をトレードオフし、何が有用な知識で、何が出力に反映されるべきではない望ましくないバイアスなのかを決定する必要がある場合もある。
• Privacy protection is an active area of research and development. Simply minimising the use of sensitive personal data in training is one approach that can substantially reduce privacy risks. However, when sensitive data is either intentionally or unintentionally used, existing technical tools for reducing privacy risks struggle to scale to large general-purpose AI models, and can fail to provide users with meaningful control.	• プライバシー保護は、研究開発の活発な分野である。訓練におけるセンシティブな個人データの使用を最小限に抑えることは、プライバシーリスクを大幅に低減できるアプローチの1つである。しかし、センシティブなデータが意図的または非意図的に使用される場合、プライバシーリスクを低減するための既存の技術ツールは、大規模な汎用AIモデルへの拡張に苦戦し、ユーザーに意味のある制御を提供できない可能性がある。
Conclusion: A wide range of general-purpose AI trajectories are possible, and much will depend on how societies and governments act	結論幅広い汎用AIの軌跡が可能であり、その多くは社会や政府がどのように行動するかにかかっている。
The future of general-purpose AI is uncertain, with a wide range of trajectories appearing possible even in the near future, including both very positive and very negative outcomes. But nothing about the future of general-purpose AI is inevitable. How general-purpose AI gets developed and by whom, which problems it gets designed to solve, whether societies will be able to reap general-purpose AI’s full economic potential, who benefits from it, the types of risks we expose ourselves to, and how much we invest into research to mitigate risks — these and many other questions depend on the choices that societies and governments make today and in the future to shape the development of generalpurpose AI.	汎用AIの未来は不確実であり、非常にポジティブな結果も非常にネガティブな結果も含め、近い将来にも幅広い軌跡があり得ると思われる。しかし、汎用AIの未来に必然性はない。汎用AIが誰によってどのように開発されるのか、どのような問題を解決するために設計されるのか、社会は汎用AIの経済的可能性をフルに享受できるのか、誰がその恩恵を受けるのか、私たちはどのようなリスクにさらされるのか、リスクを軽減するための研究にどれだけ投資するのか--こうした疑問や他の多くの疑問は、汎用AIの開発を形成するために社会や政府が今日および将来行う選択にかかっている。
To help facilitate constructive discussion about these decisions, this report provides an overview of the current state of scientific research and discussion on managing the risks of general-purpose AI. The stakes are high. We look forward to continuing this effort.	こうした決定に関する建設的な議論を促進するため、本報告書では、汎用AIのリスク管理に関する科学的研究と議論の現状を概観する。リスクは大きい。我々は、この取り組みを継続することを楽しみにしている。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.05.23 外務省 岸田総理大臣のAIソウル・サミット首脳セッションへの参加（ビデオメッセージ）+ ＡＩソウル・サミット首脳セッション出席国による安全、革新的で包摂的なＡＩのためのソウル宣言 

・2024.05.23 米国 商務省 NIST AI安全性に関する戦略的ビジョン：AI安全性研究機関の世界的協力計画を発表

・2024.05.21 英国 科学技術革新省 先進AIの安全性に関する国際科学報告書