生命未来研究所 AIの研究はちょっと一休みしたらどうか？ 2023.04.12

こんにちは、丸山満彦です。

世界中のAI研究所に対し、大規模なAIシステムの開発を一時停止するよう求める公開書簡を公表し、署名を集めた生命未来研究所 (Future of Life Institute)  が、政策提言を公表していますね。。。

1. 強固な第三者による監査と認証を義務付ける。
2. 計算能力へのアクセスを規制する。
3. 国家レベルで有能なAI機関を設立する。
4. AIが引き起こした損害に対する責任を確立する。
5. AIモデルの流出を防止・追跡する措置の導入
6. AIの安全性に関する技術研究資金を拡大する。
7. AIが生成的なコンテンツや提言を識別・管理するための標準を策定する。

● Future of Life Institute

・2023.04.12 [PDF] Policymaking in the Pause

Policymaking in the Pause	一時停止に関する政策立案
What can policymakers do now to combat risks from advanced AI systems?	高度なAIシステムがもたらすリスクに対抗するために、政策立案者は今何ができるのか？
“The time for saying that this is just pure research has long since passed. […] It’s in no country’s interest for any country to develop and release AI systems we cannot control. Insisting on sensible precautions is not anti-industry. Chernobyl destroyed lives, but it also decimated the global nuclear industry. I’m an AI researcher. I do not want my field of research destroyed. Humanity has much to gain from AI, but also everything to lose.”	「これは単なる純粋な研究だと言っていられる時期はとっくに過ぎている。[コントロールできないAIシステムを開発し、公開することは、どの国にとっても得策ではない。賢明な予防措置を主張することは、反産業ではない。チェルノブイリは人命を奪ったが、同時に世界の原子力産業を壊滅させた。私はAIの研究者だ。私は自分の研究分野が破壊されることを望まない。人類はAIから得るものも多いが、失うものも多いのだ」。
Stuart Russell, Smith-Zadeh Chair in Engineering and Professor of Computer Science at the University of California, Berkeley, Founder of the Center for HumanCompatible Artificial Intelligence (CHAI).	スチュアート・ラッセル、カリフォルニア大学バークレー校のスミス・ザデ工学講座兼コンピューターサイエンス教授、人間適合人工知能センター（CHAI）の創設者。
“Let’s slow down. Let’s make sure that we develop better guardrails, let’s make sure that we discuss these questions internationally just like we’ve done for nuclear power and nuclear weapons. Let’s make sure we better understand these very large systems, that we improve on their robustness and the process by which we can audit them and verify that they are safe for the public.”	「スピードを落とそう。より良いガードレールを作り、原子力や核兵器と同じように、この問題を国際的に議論するようにしよう。これらの非常に大規模なシステムをよりよく理解し、その堅牢性を改善し、一般市民にとって安全であることを監査し検証するプロセスを改善しよう。
Yoshua Bengio, Scientific Director of the Montreal Institute for Learning Algorithms (MILA), Professor of Computer Science and Operations Research at the Université de Montréal, 2018 ACM A.M. Turing Award Winner.	ヨシュア・ベンジオ、モントリオール学習アルゴリズム研究所（MILA）科学ディレクター、モントリオール大学コンピュータ科学・オペレーションズリサーチ教授、2018年ACM A.M.チューリング賞受賞者。
“We have a perfect storm of corporate irresponsibility, widespread adoption, lack of regulation and a huge number of unknowns. [FLI’s Letter] shows how many people are deeply worried about what is going on. I think it is a really important moment in the history of AI - and maybe humanity,”	「私たちは、企業の無責任、普及、規制の欠如、そして膨大な数の未知数というパーフェクトストームを抱えている。[FLIの書簡は）いかに多くの人々が、何が起こっているのかを深く心配しているかを示している。AIの歴史において、そしておそらく人類の歴史において、本当に重要な瞬間だと思う」。
Gary Marcus, Professor Emeritus of Psychology and Neural Science at New York University, Founder of Geometric Intelligence	ゲイリー・マーカス、ニューヨーク大学名誉教授（心理学・神経科学）、ジオメトリック・インテリジェンス創設者
“We don’t know what these [AI] systems are trained on or how they are being built. All of this happens behind closed doors at commercial companies. This is worrying.”	「私たちは、これらの（AI）システムが何に基づいて訓練されているのか、どのように構築されているのかを知らない。これらはすべて営利企業の密室で行われている。これは憂慮すべきことだ
Catelijne Muller, President of ALLAI, Member of the EU High Level Expert Group on AI	カテライネ・ミュラー、ALLAI会長、AIに関するEUハイレベル専門家グループメンバー
“It feels like we are moving too quickly. I think it is worth getting a little bit of experience with how they can be used and misused before racing to build the next one. This shouldn’t be a race to build the next model and get it out before others.”	「動きが早すぎるように感じる。次のものを作ろうと躍起になる前に、AIがどのように使われ、誤用されるかを少し経験する価値があると思う。次のモデルを作り、他のモデルよりも早く世に送り出す競争であってはならない。
Peter Stone, Professor at the University of Texas at Austin, Chair of the One Hundred Year Study on AI.	ピーター・ストーン、テキサス大学オースティン校教授、AI百年研究委員長。
“Those making these [AI systems] have themselves said they could be an existential threat to society and even humanity, with no plan to totally mitigate these risks. It is time to put commercial priorities to the side and take a pause for the good of everyone to assess rather than race to an uncertain future”	「このような（AIシステムを）作っている人たち自身が、AIは社会や人類にとって存亡の危機になりうると言っているが、そのリスクを完全に軽減する計画はない。商業的な優先順位を横に置き、不確実な未来に向かって競争するのではなく、皆のために評価するために一旦立ち止まる時だ。
Emad Mostaque, Founder and CEO of	エマド・モスタク、創業者兼CEO
Stability AI	スタビリティAI
CONTENTS	目次
Introduction	序文
Policy recommendations	政策提言
Mandate robust third-party auditing and certification for specific AI systems	特定のAIシステムに対し、強固な第三者による監査と認証の義務付け
Regulate organizations’ access to computational power	組織の計算能力へのアクセスの規制
Establish capable AI agencies at national level	国家レベルでの有能なAI機関の設立
Establish liability for AI-caused harm	AIが引き起こした被害に対する責任の確立
Introduce measures to prevent and track AI model leaks	AIモデルの流出を防止・追跡する措置の導入
Expand technical AI safety research funding	AIの安全性に関する技術的研究資金の拡大
Develop standards for identifying and managing AIgenerated content and recommendations	AIが生成したコンテンツや推奨事項を識別・管理するための標準の策定
Conclusion	結論
Introduction	序文
Prominent AI researchers have identified a range of dangers that may arise from the present and future generations of advanced AI systems if they are left unchecked. AI systems are already capable of creating misinformation and authentic-looking fakes that degrade the shared factual foundations of society and inflame political tensions. AI systems already show a tendency toward amplifying entrenched discrimination and biases, further marginalizing disadvantaged communities and diverse viewpoints. The current, frantic rate of development will worsen these problems significantly.	著名なAI研究者は、現在および将来世代の高度なAIシステムを放置しておくと、さまざまな危険が生じる可能性があることを指摘している。AIシステムはすでに誤情報や本物に見えるフェイクを作り出し、社会の共有された事実基盤を劣化させ、政治的緊張を煽ることができる。AIシステムはすでに、凝り固まった差別やバイアスを増幅させ、不利な立場にあるコミュニティや多様な視点をさらに疎外する傾向を示している。現在の猛烈な開発スピードは、こうした問題を著しく悪化させるだろう。
As these types of systems become more sophisticated, they could destabilize labor markets and political institutions, and lead to the concentration of enormous power in the hands of a small number of unelected corporations. Advanced AI systems could also threaten national security, e.g., by facilitating the inexpensive development of chemical, biological, and cyber weapons by non-state groups. The systems could themselves pursue goals, either human- or self-assigned, in ways that place negligible value on human rights, human safety, or, in the most harrowing scenarios, human existence.	この種のシステムがより高度になれば、労働市場や政治機構を不安定化させ、選挙で選ばれたわけでもない少数の企業に巨大な権力が集中することになりかねない。高度なAIシステムは、非国家グループによる化学兵器、生物兵器、サイバー兵器の安価な開発を促進するなど、国家安全保障を脅かす可能性もある。システム自身が、人権や人間の安全、あるいは最も悲惨なシナリオでは人間の存在を無視した方法で、人間または自分で決めた目標を追求する可能性もある。
In an effort to stave off these outcomes, the Future of Life Institute (FLI), joined by over 20,000 leading AI researchers, professors, CEOs, engineers, students, and others on the frontline of AI progress, called for a pause of at least six months on the riskiest and most resourceintensive AI experiments – those experiments seeking to further scale up the size and general capabilities of the most powerful systems developed to date.	このような事態を食い止めるため、フューチャー・オブ・ライフ研究所（FLI）は、2万人を超えるAI研究者、教授、CEO、エンジニア、学生など、AIの進歩の最前線にいる人々とともに、最もリスクが高く、最もリソースを必要とするAI実験、つまりこれまでに開発された最も強力なシステムの規模と一般的な能力をさらに拡大しようとする実験について、少なくとも半年間の一時停止を求めた。
The proposed pause provides time to better understand these systems, to reflect on their ethical, social, and safety implications, and to ensure that AI is developed and used in a responsible manner. The unchecked competitive dynamics in the AI industry incentivize aggressive development at the expense of caution . In contrast to the breakneck pace of development, however, the levers of governance are generally slow and deliberate. A pause on the production of even more powerful AI systems would thus provide an important opportunity for the instruments of governance to catch up with the rapid evolution of the field.	提案されている一時停止は、これらのシステムをよりよく理解し、その倫理的、社会的、安全的な影響について考察し、AIが責任ある方法で開発され使用されることを確実にするための時間を提供するものである。AI業界における歯止めなき競争力学は、慎重さを犠牲にして積極的な開発を奨励する。しかし、猛烈なスピードで開発が進むのとは対照的に、ガバナンスの手段は一般的にゆっくりと慎重を期している。したがって、より強力なAIシステムの生産を一時停止することは、ガバナンスの手段がこの分野の急速な進化に追いつくための重要な機会を提供することになる。
We have called on AI labs to institute a development pause until they have protocols in place to ensure that their systems are safe beyond a reasonable doubt, for individuals, communities, and society. Regardless of whether the labs will heed our call, this policy brief provides policymakers with concrete recommendations for how governments can manage AI risks.	私たちはAI研究所に対し、そのシステムが個人、地域社会、社会にとって合理的な疑いを超えて安全であることを保証するためのプロトコルが整備されるまで、開発を一時停止するよう求めてきた。研究所が我々の呼びかけに耳を傾けるかどうかにかかわらず、このポリシー・ブリーフは、政府がAIのリスクをマネジメントする方法について、政策立案者に具体的な提言を提供するものである。
The recommendations are by no means exhaustive: the project of AI governance is perennial and will extend far beyond any pause. Nonetheless, implementing these recommendations, which largely reflect a broader consensus among AI policy experts, will establish a strong governance foundation for AI.	提言は決して網羅的なものではない。AIガバナンスのプロジェクトは永続的なものであり、どのような休止期もはるかに超えて続くだろう。とはいえ、AI政策の専門家の幅広いコンセンサスを反映したこれらの提言を実施することで、AIに対する強力なガバナンス基盤が確立されるだろう。
Policy recommendations:	政策提言
1. Mandate robust third-party auditing and certification.	1. 強固な第三者による監査と認証を義務付ける。
2. Regulate access to computational power.	2. 計算能力へのアクセスを規制する。
3. Establish capable AI agencies at the national level.	3. 国家レベルで有能なAI機関を設立する。
4. Establish liability for AI-caused harms.	4. AIが引き起こした損害に対する責任を確立する。
5. Introduce measures to prevent and track AI model leaks.	5. AIモデルの流出を防止・追跡する措置の導入
6. Expand technical AI safety research funding.	6. AIの安全性に関する技術研究資金を拡大する。
7. Develop standards for identifying and managing AI-generated content and recommendations.	7. AIが生成的なコンテンツや提言を識別・管理するための標準を策定する。
To coordinate, collaborate, or inquire regarding the recommendations herein, please contact us at policy@futureoflife.org.	本提言に関する調整、協力、問い合わせは、policy@futureoflife.org。
1. Mandate robust third-party auditing and certification for specific AI systems	1. 特定のAIシステムに対し、強固な第三者による監査と認証の義務付け
For some types of AI systems, the potential to impact the physical, mental, and financial wellbeing of individuals, communities, and society is readily apparent. For example, a credit scoring system could discriminate against certain ethnic groups. For other systems – in particular general-purpose AI systems – the applications and potential risks are often not immediately evident. General-purpose AI systems trained on massive datasets also have unexpected (and often unknown) emergent capabilities.	AIシステムの種類によっては、個人、地域社会、社会の身体的、精神的、経済的ウェルビーイングに影響を与える可能性がある。例えば、信用スコアリング・システムは、特定の民族グループを差別する可能性がある。その他のシステム、特に汎用AIシステムについては、その用途や潜在的リスクはすぐには明らかにならないことが多い。また、膨大なデータセットで訓練された汎用AIシステムは、予期せぬ（そしてしばしば未知の）能力を出現させる。
In Europe, the draft AI Act already requires that, prior to deployment and upon any substantial modification, ‘high-risk’ AI systems undergo ‘conformity assessments’ in order to certify compliance with specified harmonized standards or other common specifications. In some cases, the Act requires such assessments to be carried out by independent third-parties to avoid conflicts of interest.	欧州では、AI法案がすでに、「リスクの高い」AIシステムは、配備前や大幅な変更時に、指定された整合標準やその他の共通仕様への準拠を証明するための「適合性アセスメント」を受けることを求めている。場合によっては、利害の衝突を避けるため、独立した第三者がこのような評価を実施することも義務付けられている。
In contrast, the United States has thus far established only a general, voluntary framework for AI risk assessment. The National Institute of Standards and Technology (NIST), in coordination with various stakeholders, is developing so-called ‘profiles’ that will provide specific risk assessment and mitigation guidance for certain types of AI systems, but this framework still allows organizations to simply ‘accept’ the risks that they create for society instead of addressing them. In other words, the United States does not require any third-party risk assessment or risk mitigation measures before a powerful AI system can be deployed at scale.	対照的に、米国はこれまでのところ、AIのリスクアセスメントに関する一般的な自主的枠組みしか確立していない。国立標準技術研究所（NIST）は、さまざまな利害関係者と連携して、特定の種類のAIシステムに対する特定のリスクアセスメントと低減ガイダンスを提供する、いわゆる「プロファイル」を開発しているが、この枠組みは依然として、組織が社会にもたらすリスクに対処するのではなく、単に「受け入れる」ことを可能にしている。言い換えれば、米国は強力なAIシステムを大規模に展開する前に、第三者によるリスクアセスメントやリスク低減策を要求していない。
To ensure proper vetting of powerful AI systems before deployment, we recommend a robust independent auditing regime for models that are general-purpose, trained on large amounts of compute, or intended for use in circumstances likely to impact the rights or the wellbeing of individuals, communities, or society. This mandatory third-party auditing and certification scheme could be derived from the EU’s proposed ‘conformity assessments’ and should be adopted by jurisdictions worldwide .	展開前に強力なAIシステムの適切な吟味を確実にするために、我々は、汎用的で、大量の計算機で学習され、あるいは個人、コミュニティ、社会の権利や福利に影響を与える可能性が高い状況での使用を意図したモデルについて、強固な独立監査体制を推奨する。この強制的な第三者による監査・認証制度は、EUが提案する「適合性評価」から派生したものであり、世界中の国・地域で採用されるべきである。
In particular, we recommend third-party auditing of such systems across a range of benchmarks for the assessment of risks , including possible weaponization and unethical behaviors and mandatory certification by accredited third-party auditors before these high-risk systems can be deployed. Certification should only be granted if the developer of the system can demonstrate that appropriate measures have been taken to mitigate risk, and that any residual risks deemed tolerable are disclosed and are subject to established protocols for minimizing harm.	特に、兵器化の可能性や非倫理的行為を含むリスクを評価するためのさまざまなベンチマークに照らして、このようなシステムを第三者が監査し、高リスクのシステムが導入される前に、認定された第三者監査人による認証が義務づけられることを推奨する。認証は、システムの開発者が、リスクを低減するために適切な措置が講じられていること、および許容可能とみなされる残余リスクが開示され、危害を最小化するための確立されたプロトコルに従うことを証明できる場合にのみ与えられるべきである。
2. Regulate organizations’ access to computational power	2. 組織の計算能力へのアクセスの規制
At present, the most advanced AI systems are developed through training that requires an enormous amount of computational power - ‘compute’ for short. The amount of compute used to train a general-purpose system largely correlates with its capabilities, as well as the magnitude of its risks.	現在、最先端のAIシステムは、膨大な計算能力を必要とする訓練を通じて開発されている。汎用システムの訓練に使用される計算量は、その能力とリスクの大きさに大きく相関する。
Today’s most advanced models, like OpenAI’s GPT-4 or Google’s PaLM, can only be trained with thousands of specialized chips running over a period of months. While chip innovation and better algorithms will reduce the resources required in the future, training the most powerful AI systems will likely remain prohibitively expensive to all but the best-resourced players.	OpenAIのGPT-4やグーグルのPaLMのような今日の最も高度なモデルは、数カ月にわたって稼働する数千の専用チップでしか訓練できない。チップの技術革新とアルゴリズムの改良により、将来的に必要なリソースは削減されるだろうが、最も強力なAIシステムのトレーニングは、最も資金力のあるプレーヤー以外には、法外に高価なままである可能性が高い。
Figure 1. OpenAI is estimated to have used approximately 700% more compute to train GPT-4 than the next closest model (Minerva, DeepMind), and 7,000% more compute than to train GPT-3 (Davinci). Depicted above is an estimate of compute used to train GPT-4 calculated by Ben Cottier at Epoch, as official training compute details for GPT-4 have not been released. Data from: Sevilla et al., ‘Parameter, Compute and Data Trends in Machine Learning,’ 2021 [upd. Apr. 1, 2023].	図1. OpenAIは、GPT-4の訓練に、次に近いモデル（DeepMindのMinerva）よりも約700％、GPT-3（Davinci）の訓練よりも7,000％多くの計算量を使用したと推定される。GPT-4のトレーニングに使用される計算量は、Epoch社のBen Cottier氏によって計算されたもので、GPT-4のトレーニングに使用される計算量の詳細は公表されていない。データ出典：Sevilla et al., 'Parameter, Compute and Data Trends in Machine Learning', 2021 [2023年4月1日更新]。
In practical terms, compute is more easily monitored and governed than other AI inputs, such as talent, data, or algorithms. It can be measured relatively easily and the supply chain for advanced AI systems is highly centralized, which means governments can leverage such measures in order to limit the harms of large-scale models.	実用面では、コンピュート（計算能力）は、人材、データ、アルゴリズムといった他のAIインプットよりも監視やガバナンスが容易である。比較的簡単に計測でき、高度なAIシステムのサプライチェーンは高度に中央集権化されているため、政府は大規模なモデルの害を制限するためにこのような対策を活用できる。
To prevent reckless training of the highest risk models, we recommend that governments make access to large amounts of specialized computational power for AI conditional upon the completion of a comprehensive risk assessment. The risk assessment should include a detailed plan for minimizing risks to individuals, communities, and society, consider downstream risks in the value chain, and ensure that the AI labs conduct diligent know-yourcustomer checks.	最もリスクの高いモデルの無謀な訓練を防ぐため、政府は包括的なリスクアセスメントの完了を条件として、AIに特化した大量の計算能力を利用できるようにすることを推奨する。リスクアセスメントには、個人、地域社会、社会に対するリスクを最小化するための詳細な計画を盛り込み、バリューチェーンにおける川下のリスクを考慮し、AI研究所が顧客に対する真摯なチェックを行うことを保証すべきである。
Successful implementation of this recommendation will require governments to monitor the use of compute at data centers within their respective jurisdictions. The supply chains for AI chips and other key components for high-performance computing will also need to be regulated such that chip firmware can alert regulators to unauthorized large training runs of advanced AI systems.	この勧告を成功裏に実施するには、政府がそれぞれの管轄区域内のデータセンターにおける計算機の使用を監視する必要がある。AIチップやハイパフォーマンス・コンピューティングの他の主要コンポーネントのサプライチェーンも、チップのファームウェアが規制当局に高度なAIシステムの不正な大規模トレーニングを警告できるように規制される必要がある。
In 2022, the U.S. Department of Commerce’s Bureau of Industry and Security instituted licensing requirements for export of many of these components in an effort to monitor and control their global distribution. However, licensing is only required when exporting to certain destinations, limiting the capacity to monitor aggregation of equipment for unauthorized large training runs within the United States and outside the scope of export restrictions. Companies within the specified destinations have also successfully skirted monitoring by training AI systems using compute leased from cloud providers. We recommend expansion of know-your-customer requirements to all high-volume suppliers for high-performance computing components, as well as providers that permit access to large amounts cloud compute.	2022年、米国商務省産業安全保障局は、世界的な流通を監視・管理するため、これらの構成要素の多くについて輸出許可制を設けた。しかし、ライセンスが必要なのは特定の輸出先に輸出する場合のみであり、米国内や輸出規制の範囲外での無許可の大規模訓練のための機器の集積を監視する能力は制限されている。また、特定輸出先内の企業は、クラウドプロバイダーからリースした計算機を使用してAIシステムをトレーニングすることで、監視を回避することに成功している。我々は、大量のクラウド・コンピューティングへのアクセスを許可するプロバイダだけでなく、ハイパフォーマンス・コンピューティング・コンポーネントのすべての大量供給業者にも、顧客の把握（know-your-customer）要件を拡大することを推奨する。
3. Establish capable AI agencies at national level	3. 国家レベルでの有能なAI機関の設立
AI is developing at a breakneck pace and governments need to catch up. The establishment of AI regulatory agencies helps to consolidate expertise and reduces the risk of a patchwork approach.	AIは猛烈なスピードで発展しており、政府はそれに追いつく必要がある。AI規制機関の設立は、専門知識の集約に役立ち、つぎはぎ的なアプローチのリスクを軽減する。
The UK has already established an Office for Artificial Intelligence and the EU is currently legislating for an AI Board. Similarly, in the US, Representative Ted Lieu has announced legislation to create a non-partisan AI Commission with the aim of establishing a regulatory agency. These efforts need to be sped up, taken up around the world and, eventually, coordinated within a dedicated international body.	英国はすでに人工知能室を設立しており、EUは現在AI委員会の法制化を進めている。同様に米国では、テッド・リュー代表者が規制機関の設立を目指し、超党派のAI委員会を設立する法案を発表した。このような取り組みを加速させ、世界中で取り組み、最終的には国際的な専門団体で調整する必要がある。
We recommend that national AI agencies be established in line with a blueprint developed by Anton Korinek at Brookings. Korinek proposes that an AI agency have the power to:	ブルッキングスのアントン・コリネックが作成した青写真に沿って、各国のAI機関を設立することを提言する。コリネックは、AI機関に以下の権限を持たせることを提案している：
• Monitor public developments in AI progress and define a threshold for which types of advanced AI systems fall under the regulatory oversight of the agency (e.g. systems above a certain level of compute or that affect a particularly large group of people).	・AIの進歩における公的な開発を監視し、どのような種類の高度なAIシステムが同機関の規制監督下に置かれるかの閾値を定める（例えば、一定レベル以上の計算能力を持つシステムや、特に多くの人々に影響を与えるシステムなど）。
• Mandate impact assessments of AI systems on various stakeholders, define reporting requirements for advanced AI companies and audit the impact on people’s rights, wellbeing, and society at large. For example, in systems used for biomedical research, auditors would be asked to evaluate the potential for these systems to create new pathogens.	・AIシステムの様々な利害関係者への影響評価を義務付け,高度AI企業の報告要件を定め,人々の権利,福利,社会全体への影響を監査する。例えば,生物医学研究に使用されるシステムでは,監査人はこれらのシステムが新たな病原体を作り出す可能性を評価するよう求められるだろう。
• Establish enforcement authority to act upon risks identified in impact assessments and to prevent abuse of AI systems.	・影響アセスメントで特定されたリスクに対処し,AIシステムの悪用を防止するための執行権限を確立する。
• Publish generalized lessons from the impact assessments such that consumers, workers and other AI developers know what problems to look out for. This transparency will also allow academics to study trends and propose solutions to common problems.	・影響評価から得られた一般的な教訓を公表し,消費者,労働者,その他のAI開発者がどのような問題に注意すべきかを知ることができるようにする。この透明性により,学識経験者が傾向を研究し,共通の問題に対する解決策を提案することも可能になる。
Beyond this blueprint, we also recommend that national agencies around the world mandate record-keeping of AI safety incidents, such as when a facial recognition system causes the arrest of an innocent person. Examples include the non-profit AI Incident Database and the forthcoming EU AI Database created under the European AI Act.	この青写真にとどまらず、我々は世界中の国家機関が、顔認識システムが無実の人の逮捕を引き起こした場合などのAIの安全インシデントの記録保存を義務付けることも推奨する。その例として、非営利のAIインシデント・データベースや、欧州AI法に基づき作成される予定のEU AIデータベースが挙げられる。
4. Establish liability for AI-caused harm	4. AIが引き起こした被害に対する責任の確立
AI systems present a unique challenge in assigning liability. In contrast to typical commercial products or traditional software, AI systems can perform in ways that are not well understood by their developers, can learn and adapt after they are sold and are likely to be applied in unforeseen contexts. The ability for AI systems to interact with and learn from other AI systems is expected to expedite the emergence of unanticipated behaviors and capabilities, especially as the AI ecosystem becomes more expansive and interconnected.	AIシステムは、責任の所在を明らかにする上でユニークな課題を提示している。一般的な市販製品や伝統的なソフトウェアとは対照的に、AIシステムは開発者がよく理解していない方法で動作する可能性があり、販売後に学習して適応することができ、予期せぬ状況で適用される可能性が高い。AIシステムが他のAIシステムと相互作用し、そこから学習する能力は、特にAIエコシステムがより拡大し相互接続されるにつれて、予期せぬ行動や能力の出現を促進すると予想される。
Several plug-ins have already been developed that allow AI systems like ChatGPT to perform tasks through other online services (e.g. ordering food delivery, booking travel, making reservations), broadening the range of potential real-world harms that can result from their use and further complicating the assignment of liability. OpenAI’s GPT-4 system card references an instance of the system explicitly deceiving a human into bypassing a CAPTCHA botdetection system using TaskRabbit, a service for soliciting freelance labor.	ChatGPTのようなAIシステムが他のオンラインサービス（例えば、配膳の注文、旅行の予約、予約）を通じてタスクを実行することを可能にするプラグインがすでにいくつか開発されており、その使用によって起こりうる実世界での被害の範囲が広がり、責任の所在がさらに複雑になっている。OpenAIのGPT-4システムカードは、フリーランス労働者を募集するサービスであるTaskRabbitを使って、CAPTCHAボット検知システムを迂回するように、システムが明示的に人間を欺いた例を紹介している。
When such systems make consequential decisions or perform tasks that cause harm, assigning responsibility for that harm is a complex legal challenge. Is the harmful decision the fault of the AI developer, deployer, owner, end-user, or the AI system itself?	このようなシステムが、結果的に害をもたらす決定を下したり、害をもたらすタスクを実行したりする場合、その害に対する責任の所在を明らかにすることは、複雑な法的課題である。有害な決定は、AI開発者、配備者、所有者、エンドユーザー、あるいはAIシステム自体の過失なのだろうか？
Key among measures to better incentivize responsible AI development is a coherent liability framework that allows those who develop and deploy these systems to be held responsible for resulting harms. Such a proposal should impose a financial cost for failing to exercise necessary diligence in identifying and mitigating risks, shifting profit incentives away from reckless empowerment of poorly-understood systems toward emphasizing the safety and wellbeing of individuals, communities, and society as a whole.	責任あるAI開発のインセンティブを向上させるための施策の中で重要なのは、これらのシステムを開発・導入した者が、結果として生じた損害に対して責任を負うことを可能にする首尾一貫した責任の枠組みである。このような提案では、リスクの特定と低減に必要な注意を払わなかった場合に金銭的コストを課すべきであり、利益のインセンティブを、理解不十分なシステムへの無謀な権限付与から、個人、コミュニティ、社会全体の安全と福祉を重視する方向へとシフトさせる。
To provide the necessary financial incentives for profit-driven AI developers to exercise abundant caution, we recommend the urgent adoption of a framework for liability for AIderived harms. At a minimum, this framework should hold developers of general-purpose AI systems and AI systems likely to be deployed for critical functions strictly liable for resulting harms to individuals, property, communities, and society. It should also allow for joint and several liability for developers and downstream deployers when deployment of an AI system that was explicitly or implicitly authorized by the developer results in harm.	利益を追求するAI開発者が十分な注意を払うために必要な金銭的インセンティブを提供するために、我々はAI由来の危害に対する責任の枠組みを早急に採用することを推奨する。少なくとも、この枠組みは、汎用AIシステムや重要な機能に導入される可能性のあるAIシステムの開発者に対し、個人、財産、地域社会、社会に対する結果としての損害について厳格な責任を負わせるべきである。また、開発者が明示的または黙示的に許可したAIシステムの配備が被害をもたらした場合には、開発者と下流の配備者の連帯責任を認めるべきである。
5. Introduce measures to prevent and track AI model leaks	5. AIモデルの流出を防止・追跡する措置の導入
Commercial actors may not have sufficient incentives to protect their models, and their cyberdefense measures can often be insufficient. In early March 2023, Meta demonstrated that this is not a theoretical concern, when their model known as LLaMa was leaked to the internet. As of the date of this publication, Meta has been unable to determine who leaked the model. This lab leak allowed anyone to copy the model and represented the first time that a major tech firm’s restricted-access large language model was released to the public.	営利企業にはモデルを保護する十分なインセンティブがない可能性があり、サイバー防衛対策も不十分な場合が多い。2023年3月初旬、Meta社は、LLaMaとして知られる同社のモデルがインターネットに流出したことで、これが理論上の懸念ではないことを実証した。本誌発行時点では、誰がこのモデルを流出させたのかメタ社は特定できていない。このラボの流出により、誰でもモデルをコピーできるようになり、大手ハイテク企業のアクセス制限付き大規模言語モデルが初めて一般に公開された代表者となった。
Watermarking of AI models provides effective protection against stealing, illegitimate redistribution and unauthorized application, because this practice enables legal action against identifiable leakers. Many digital media are already protected by watermarking - for example through the embedding of company logos in images or videos. A similar process can be applied to advanced AI models, either by inserting information directly into the model parameters or by training it on specific trigger data.	AIモデルの電子透かしは、盗用、違法な再配布、無許可のアプリケーションに対する効果的な防御を提供し、この慣行は識別可能な流出者に対する法的措置を可能にするからである。多くのデジタルメディアは、画像や動画に企業ロゴを埋め込むなど、すでに電子透かしによって保護されている。同じようなプロセスを高度なAIモデルにも適用することができる。モデルのパラメータに直接情報を挿入するか、特定のトリガーデータで学習させるのである。
We recommend that governments mandate watermarking for AI models, which will make it easier for AI developers to take action against illegitimate distribution.	私たちは、政府がAIモデルの電子透かしを義務付けることを推奨する。そうすることで、AI開発者が違法な配布に対して行動を起こしやすくなる。
6. Expand technical AI safety research funding	6. AIの安全性に関する技術的研究資金の拡大
The private sector under-invests in research that ensures that AI systems are safe and secure. Despite nearly USD 100 billion of private investment in AI in 2022 alone, it is estimated that only about 100 full-time researchers worldwide are specifically working to ensure AI is safe and properly aligned with human values and intentions.	民間セクターは、AIシステムの安全性を確保するための研究への投資が不足している。2022年だけでもAIに1000億米ドル近い民間投資が行われているにもかかわらず、AIが安全で人間の価値観や意図に適切に沿ったものであることを確認するために特別に取り組んでいる常勤の研究者は、世界中でわずか100人程度と推定されている。
In recent months, companies developing the most powerful AI systems have either downsized or entirely abolished their respective ‘responsible AI’ teams. While this partly reflects a broader trend of mass layoffs across the technology sector, it nonetheless reveals the relative deprioritization of safety and ethics considerations in the race to put new systems on the market.	ここ数カ月で、最も強力なAIシステムを開発している企業は、それぞれの「責任あるAI」チームを縮小または完全に廃止した。これは、テクノロジー部門全体の大量解雇という広範な傾向を反映している面もあるが、それにもかかわらず、新しいシステムを市場に投入する競争において、安全性と倫理への配慮が相対的に優先されていないことを明らかにしている。
Governments have also invested in AI safety and ethics research, but these investments have primarily focused on narrow applications rather than on the impact of more general AI systems like those that have recently been released by the private sector. The US National Science Foundation (NSF), for example, has established ‘AI Research Institutes’ across a broad range of disciplines. However, none of these institutes are specifically working on the large-scale, societal, or aggregate risks presented by powerful AI systems.	政府もAIの安全性と倫理の研究に投資しているが、これらの投資は、民間企業が最近発表したような、より一般的なAIシステムの影響よりも、むしろ狭い範囲での応用に主眼を置いている。例えば、アメリカ国立科学財団（NSF）は、幅広い分野の「AI研究機構」を設立している。しかし、いずれの機構も、強力なAIシステムがもたらす大規模な、社会的な、あるいは総合的なリスクに特化して取り組んでいるわけではない。
To ensure that our capacity to control AI systems keeps pace with the growing risk that they pose, we recommend a significant increase in public funding for technical AI safety research in the following research domains:	AIシステムがもたらすリスクの増大に対応し、AIシステムを制御する能力を確保するために、我々は以下の研究領域におけるAIの安全性に関する技術的研究のための公的資金を大幅に増額することを提言する：
• Alignment: development of technical mechanisms for ensuring AI systems learn and perform in accordance with intended expectations, intentions, and values.	・アライメント:AIシステムが意図された期待,意図,価値観に従って学習し,実行することを保証する技術的メカニズムの開発。
• Robustness and assurance: design features to ensure that AI systems responsible for critical functions can perform reliably in unexpected circumstances, and that their performance can be evaluated by their operators.	・頑健性と保証:重要な機能を担うAIシステムが予期せぬ状況でも確実に機能し,その性能を操作者が評価できるようにするための機能を設計する。
• Explainability and interpretability: develop mechanisms for opaque models to report the internal logic used to produce output or make decisions in understandable ways. More explainable and interpretable AI systems facilitate better evaluations of whether output can be trusted.	・説明可能性と解釈可能性:不透明なモデルが,出力や意思決定に使用される内部ロジックを理解可能な方法で報告するためのメカニズムを開発する。より説明可能で解釈可能なAIシステムは,出力が信頼できるかどうかの評価をより容易にする。
In the past few months, experts such as the former Special Advisor to the UK Prime Minister on Science and Technology James W. Phillips and a Congressionally-established US taskforce have called for the creation of national AI labs as ‘a shared research infrastructure that would provide AI researchers and students with significantly expanded access to computational resources, high-quality data, educational tools, and user support.’ Should governments move forward with this concept, we propose that at least 25% of resources made available through these labs be explicitly allocated to technical AI safety projects.	ここ数カ月、ジェームズ・W・フィリップス元英国首相科学技術特別顧問や、米国議会が設置したタスクフォースなどの専門家が、「AI研究者や学生に、計算リソース、高品質データ、教育ツール、ユーザーサポートへのアクセスを大幅に拡大する共有研究インフラ」として、国立AIラボの設立を呼びかけている。ガバナンスがこのコンセプトを推進する場合、これらのラボを通じて利用可能になるリソースの少なくとも25％を、技術的なAI安全プロジェクトに明確に割り当てることを提案する。
7. Develop standards for identifying and managing AI-generated content and recommendations	7. AIが生成したコンテンツや推奨事項を識別・管理するための標準の策定
The need to distinguish real from synthetic media and factual content from ‘hallucinations’ is essential for maintaining the shared factual foundations underpinning social cohesion. Advances in generative AI have made it more difficult to distinguish between AI-generated media and real images, audio, and video recordings. Already we have seen AI-generated voice technology used in financial scams.	現実のメディアと合成メディアを区別し、事実に基づいたコンテンツと「幻覚」を区別する必要性は、社会的結束を支える事実の共有基盤を維持するために不可欠である。生成的AIの進歩により、AIが生成したメディアと本物の画像、音声、映像の区別が難しくなっている。すでに我々は、AI生成的音声技術が金融詐欺に使われているのを目にしている。
Creators of the most powerful AI systems have acknowledged that these systems can produce convincing textual responses that rely on completely fabricated or out-of-context information. For society to absorb these new technologies, we will need effective tools that allow the public to evaluate the authenticity and veracity of the content they consume.	最も強力なAIシステムの開発者たちは、これらのシステムが、完全に捏造された、あるいは文脈から外れた情報に依存した、説得力のあるテキスト応答を生成できることを認めている。社会がこれらの新技術を吸収するためには、一般市民が消費するコンテンツの信憑性や真実性を評価できる効果的なツールが必要である。
We recommend increased funding for research into techniques, and development of standards, for digital content provenance. This research, and its associated standards, should ensure that a reasonable person can determine whether content published online is of synthetic or natural origin, and whether the content has been digitally modified, in a manner that protects the privacy and expressive rights of its creator.	我々は、デジタルコンテンツの出所証明のための技術や標準の開発に関する研究への資金を増やすことを推奨する。この研究とそれに関連する標準は、オンライン上で公開されたコンテンツが人工的なものなのか自然なものなのか、また、そのコンテンツがデジタル的に改変されたものなのかを、合理的な人間が、その作成者のプライバシーと表現権を保護する方法で判断できるようにするものでなければならない。
We also recommend the expansion of ‘bot-or-not’ laws that require disclosure when a person is interacting with a chatbot. These laws help prevent users from being deceived or manipulated by AI systems impersonating humans, and facilitate contextualizing the source of the information. The draft EU AI Act requires that AI systems be designed such that users are informed they are interacting with an AI system, and the US State of California enacted a similar bot disclosure law in 2019. Almost all of the world’s nations, through the adoption of a UNESCO agreement on the ethics of AI, have recognized ‘the right of users to easily identify whether they are interacting with a living being, or with an AI system imitating human or animal characteristics.’ We recommend that all governments convert this agreement into hard law to avoid fraudulent representations of natural personhood by AI from outside regulated jurisdictions.	また、人がチャットボットと対話する際に情報開示を義務付ける「ボット・オア・ノット」法の拡大も推奨する。これらの法律は、人間になりすましたAIシステムによって利用者が騙されたり操作されたりするのを防ぎ、情報の出所を文脈で理解しやすくするのに役立つ。EUのAI法の案では、AIシステムは、ユーザーがAIシステムとインタラクションしていることを知らされるように設計されることを求めており、アメリカのカリフォルニア州でも2019年に同様のボット開示法が制定された。世界のほぼすべての国が、AIの倫理に関するユネスコ協定の採択を通じて、「利用者が、自分が生物と相互作用しているのか、人間や動物の特徴を模倣したAIシステムと相互作用しているのかを容易に識別する権利」を認めている。我々は、規制管轄外のAIによる自然人であることの詐欺的表現を避けるため、すべての政府がこの合意を確固たる法律に変えることを推奨する。
Even if a user knows they are interacting with an AI system, they may not know when that system is prioritizing the interests of the developer or deployer over the user. These systems may appear to be acting in the user’s interest, but could be designed or employed to serve other functions. For instance, the developer of a general-purpose AI system could be financially incentivized to design the system such that when asked about a product, it preferentially recommends a certain brand, when asked to book a flight, it subtly prefers a certain airline, when asked for news, it provides only media advocating specific viewpoints, and when asked for medical advice, it prioritizes diagnoses that are treated with more profitable pharmaceutical drugs. These preferences could in many cases come at the expense of the end user’s mental, physical, or financial well-being.	たとえユーザーがAIシステムとやりとりしていることを知っていたとしても、そのシステムがユーザーよりも開発者や配備者の利益を優先している場合はわからないかもしれない。このようなシステムは、ユーザーの利益のために行動しているように見えるかもしれないが、他の機能を果たすために設計されたり、採用されたりしている可能性がある。例えば、汎用AIシステムの開発者は、製品について尋ねられると特定のブランドを優先的に勧め、航空券の予約を頼まれると特定の航空会社をさりげなく好み、ニュースを聞かれると特定の視点を擁護するメディアのみを提供し、医療アドバイスを求められると、より収益性の高い医薬品で治療される診断を優先するようなシステムを設計するよう、金銭的なインセンティブを与えられる可能性がある。こうした嗜好は、多くの場合、エンドユーザーの精神的、肉体的、あるいは経済的な幸福を犠牲にする可能性がある。
Many jurisdictions require that sponsored content be clearly labeled, but because the provenance of output from complex general-purpose AI systems is remarkably opaque, these laws may not apply. We therefore recommend, at a minimum, that conflict-of-interest trade-offs should be clearly communicated to end users along with any affected output; ideally, laws and industry standards should be implemented that require AI systems to be designed and deployed with a duty to prioritize the best interests of the end user.	多くの司法管轄区では、スポンサー付きコンテンツを明確に表示することを義務付けているが、複雑な汎用AIシステムからの出所は極めて不透明であるため、これらの法律は適用されない可能性がある。したがって我々は、利益相反のトレードオフを、影響を受ける出力とともにエンドユーザーに明確に伝えることを最低限推奨する。理想的には、エンドユーザーの利益を最優先する義務を負ってAIシステムを設計・導入することを義務付ける法律や業界標準を導入すべきである。
Finally, we recommend the establishment of laws and industry standards clarifying and the fulfillment of ‘duty of loyalty’ and ‘duty of care’ when AI is used in the place of or in assistance to a human fiduciary. In some circumstances – for instance, financial advice and legal counsel – human actors are legally obligated to act in the best interest of their clients and to exercise due care to minimize harmful outcomes. AI systems are increasingly being deployed to advise on these types of decisions or to make them (e.g. trading stocks) independent of human input. Laws and standards towards this end should require that if an AI system is to contribute to the decision-making of a fiduciary, the fiduciary must be able to demonstrate beyond a reasonable doubt that the AI system will observe duties of loyalty and care comparable to their human counterparts. Otherwise, any breach of these fiduciary responsibilities should be attributed to the human fidiciary employing the AI system.	最後に、AIが人間の受託者に代わって、あるいは人間の受託者を支援するために使用される場合、「忠実義務」と「注意義務」を明確にし、その履行を求める法律と業界標準を確立することを推奨する。状況によっては（例えば、財務アドバイスや法律相談など）、人間の行為者は、顧客の最善の利益のために行動し、有害な結果を最小限に抑えるために十分な注意を払う法的義務がある。AIシステムは、このような種類の意思決定について助言したり、人間のインプットとは無関係に意思決定（株式取引など）を行ったりするために、ますます導入されるようになっている。この目的のための法律や標準は、AIシステムが受託者の意思決定に貢献する場合、受託者が、AIシステムが人間の同等の忠実義務や注意義務を守ることを合理的な疑いを超えて証明できることを義務付けるべきである。そうでなければ、これらの受託者責任の違反は、AIシステムを採用している人間の受託者に帰すべきである。
Conclusion	結論
The new generation of advanced AI systems is unique in that it presents significant, welldocumented risks, but can also manifest high-risk capabilities and biases that are not immediately apparent. In other words, these systems may perform in ways that their developers had not anticipated or malfunction when placed in a different context. Without appropriate safeguards, these risks are likely to result in substantial harm, in both the near- and longerterm, to individuals, communities, and society.	新世代の高度AIシステムは、重大かつ十分に文書化されたリスクを提示する一方で、すぐには明らかにならない高リスクの能力やバイアスを顕在化させる可能性があるという点でユニークである。言い換えれば、これらのシステムは、開発者が予想していなかったような動作をしたり、別の文脈に置かれたときに誤動作したりする可能性がある。適切な保護措置がなければ、こうしたリスクは、短期的にも長期的にも、個人、地域社会、社会に大きな損害をもたらす可能性が高い。
Historically, governments have taken critical action to mitigate risks when confronted with emerging technology that, if mismanaged, could cause significant harm. Nations around the world have employed both hard regulation and international consensus to ban the use and development of biological weapons, pause human genetic engineering, and establish robust government oversight for introducing new drugs to the market. All of these efforts required swift action to slow the pace of development, at least temporarily, and to create institutions that could realize effective governance appropriate to the technology. Humankind is much safer as a result.	歴史的に見て、政府は、管理を誤れば重大な被害をもたらす可能性のある新興技術に直面したとき、リスクを軽減するために重要な行動をとってきた。世界中の政府は、生物兵器の使用と開発を禁止し、ヒト遺伝子工学を一時停止し、新薬の市場導入に対する政府の監視体制を確立するために、厳しい規制と国際的合意の両方を採用してきた。これらの努力はすべて、少なくとも一時的に開発のペースを落とし、技術にふさわしい効果的なガバナンスを実現できる機構を構築するための迅速な行動を必要とした。その結果、人類はより安全になった。
We believe that approaches to advancement in AI R&D that preserve safety and benefit society are possible, but require decisive, immediate action by policymakers, lest the pace of technological evolution exceed the pace of cautious oversight. A pause in development at the frontiers of AI is necessary to mobilize the instruments of public policy toward commonsense risk mitigation. We acknowledge that the recommendations in this brief may not be fully achievable within a six month window, but such a pause would hold the moving target still and allow policymakers time to implement the foundations of good AI governance.	安全性を維持し、社会に利益をもたらすようなAI研究開発の進展へのアプローチは可能であるが、技術進化のペースが慎重な監視のペースを上回らないよう、政策立案者による断固とした早急な行動が必要であると我々は考える。常識的なリスク低減に向けて公共政策の手段を動員するためには、AIの最前線における開発の一時停止が必要である。しかし、このような一時停止は、動いている目標を静止させ、政策立案者に優れたAIガバナンスの基礎を導入する時間を与えるだろう。
The path forward will require coordinated efforts by civil society, governments, academia, industry, and the public. If this can be achieved, we envision a flourishing future where responsibly developed AI can be utilized for the good of all humanity.	前進するためには、市民社会、政府、ガバナンス、産業界、そして一般市民による協調的な取り組みが必要である。これが達成できれば、責任を持って開発されたAIが全人類のために活用され、繁栄する未来が描けるだろう。

[1] See, e.g., Steve Rathje, Jay J. Van Bavel, & Sander van der Linden, ‘Out-group animosity drives engagement on social media,’ Proceedings of the National Academy of Sciences, 118 (26) e2024292118, Jun. 23, 2021, and Tiffany Hsu & Stuart A. Thompson, ‘Disinformation Researchers Raise Alarms About A.I. Chatbots,’ The New York Times, Feb. 8, 2023 [upd. Feb. 13, 2023]	[1] 例えば、Steve Rathje, Jay J. Van Bavel, & Sander van der Linden, 'Out-group animosity drives engagement on social media,' Proceedings of the National Academy of Sciences, 118 (26) e2024292118, Jun. 23, 2021, and Tiffany Hsu & Stuart A. Thompson, 'Disinformation Researchers Raise Alarms About A.I. Chatbots,' The New York Times, Feb. 8, 2023 [upd. Feb. 13, 2023]を参照のこと。
[2] See, e.g., Abid, A., Farooqi, M. and Zou, J. (2021a), ‘Large language models associate Muslims with violence,’ Nature Machine Intelligence, Vol. 3, pp. 461–463.	[2] 例えば、Abid, A., Farooqi, M. and Zou, J. (2021a), 'Large language models associate Muslims with violence,' Nature Machine Intelligence, Vol.
[3] In a 2022 survey of over 700 leading AI experts, nearly half of respondents gave at least a 10% chance of the long-run effect of advanced AI on humanity being ‘extremely bad,’ at the level of ‘causing human extinction or similarly permanent and severe disempowerment of the human species.’	[3] 2022年に行われた700人以上の第一線のAI専門家を対象とした調査では、回答者の半数近くが、高度なAIが人類に及ぼす長期的な影響について、「人類の絶滅を引き起こすか、あるいは同様に恒久的かつ深刻な無力化を引き起こす」レベルの「極めて悪い」ものになる可能性を少なくとも10％以上あげている。
[4] Future of Life Institute, ‘Pause Giant AI Experiments: An Open Letter,’ Mar. 22, 2023.	[4] Future of Life Institute, 'Pause Giant AI Experiments： 公開書簡」2023年3月22日。
[5] Recent news about AI labs cutting ethics teams suggests that companies are failing to prioritize the necessary safeguards.	[5] AI研究所が倫理チームを削減するという最近のニュースは、企業が必要な保護措置を優先していないことを示唆している。
[6] The Future of Life Institute has previously defined “general-purpose AI system” to mean ‘an AI system that can accomplish or be adapted to accomplish a range of distinct tasks, including some for which it was not intentionally and specifically trained.’ 7	[6] The Future of Life Instituteは以前、「汎用AIシステム」を「意図的かつ特別に訓練されたものではないものも含め、様々な明確なタスクを達成できる、または達成できるように適応されたAIシステム」と定義した。7
[7] Samuel R. Bowman, ’Eight Things to Know about Large Language Models,’ ArXiv Preprint, Apr. 2, 2023.	[7] Samuel R. Bowman, 'Eight Things to Know about Large Language Models,' ArXiv Preprint, Apr.2, 2023.
[8] Proposed EU Artificial Intelligence Act, Article 43.1b.	[8] EU人工知能法（案）第43.1b条。
[9] National Institute of Standards and Technology, ‘Artificial Intelligence Risk Management Framework (AI RMF 1.0),’ U.S. Department of Commerce, Jan. 2023.	[9] 国立標準技術研究所、「人工知能リスクマネジメントフレームワーク（AI RMF 1.0）」、米国商務省、2023年1月。
[10] International standards bodies such as IEC, ISO and ITU can also help in developing standards that address risks from advanced AI systems, as they have highlighted in response to FLI’s call for a pause.	[10] IEC、ISO、ITUなどの国際標準団体も、FLIの呼びかけに応じて強調したように、高度なAIシステムによるリスクに対処する標準の開発に協力することができる。
[11] See, e.g., the Holistic Evaluation of Language Models approach by the Center for Research on Foundation Models: Rishi Bommassani, Percy Liang, & Tony Lee, ‘Language Models are Changing AI: The Need for Holistic Evaluation.’	[11] 例えば、Center for Research on Foundation ModelsによるHolistic Evaluation of Language Modelsのアプローチを参照のこと： Rishi Bommassani, Percy Liang, & Tony Lee, 'Language Models are Changing AI: The Need for Holistic Evaluation'.
[12] OpenAI described weaponization risks of GPT-4 on p.12 of the “GPT-4 System Card.”	[12] OpenAIは、GPT-4の兵器化リスクについて、"GPT-4システムカード "のp.12に記述している。
[13] See, e.g., the following benchmark for assessing adverse behaviors including power-seeking, disutility, and ethical violations: Alexander Pan, et al., ‘Do the Rewards Justify the Means? Measuring Trade-offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark,’ ArXiv Preprint, Apr. 6, 2023.	[13] 権力追求、不益、倫理違反を含む不利な行動を評価するための以下のベンチマークなどを参照： Alexander Pan, et al., 'Do the Rewards Justify the Means? Alexander Pan, et al, 'Do Rewards Justify Means? Measuring Trade-offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark,' ArXiv Preprint, Apr.
[14] Jess Whittlestone et al., ‘Future of compute review - submission of evidence,’ Aug. 8, 2022.	[14] Jess Whittlestone et al., 'Future of compute review - submission of evidence', Aug. 8, 2022.
[15] Please see fn. 14 for a detailed proposal for government compute monitoring as drafted by the Centre for Long-Term Resilience and several staff members of AI lab Anthropic.	[15] 長期レジリエンスセンター（Centre for Long-Term Resilience）とAIラボAnthropicのスタッフ数名によってドラフトされた政府のコンピュートモニタリングに関する詳細な提案については、fn. 14を参照のこと。
[16] Yonadav Shavit at Harvard University has proposed a detailed system for how governments can place limits on how and when AI systems get trained.	[16] ハーバード大学のヨナダヴ・シャヴィットは、政府がAIシステムの学習方法や学習時期に制限を設ける方法について、詳細なシステムを提案している。
[17] Bureau of Industry and Security, Department of Commerce, ‘Implementation of Additional Export Controls: Certain Advanced Computing and Semiconductor Manufacturing Items; Supercomputer and Semiconductor End Use; Entity List Modification‘, Federal Register, Oct. 14, 2022.	[17] 商務省産業安全保障局、「追加輸出規制の実施」： スーパーコンピュータと半導体の最終用途、事業体リストの修正」、連邦官報、2022年10月14日。
[18] Eleanor Olcott, Qianer Liu, & Demetri Sevastopulo, ‘Chinese AI groups use cloud services to evade US chip export control,’ Financial Times, Mar. 9, 2023.	[18] Eleanor Olcott, Qianer Liu, & Demetri Sevastopulo, 'Chinese AI groups use cloud services to evade US chip export control,' Financial Times, Mar. 9, 2023.
[19] Anton Korinek, ‘Why we need a new agency to regulate advanced artificial intelligence: Lessons on AI control from the Facebook Files,’ Brookings, Dec. 8 2021.	[19] Anton Korinek, 'Why we need a new agency to regulate advanced artificial intelligence： FacebookファイルからのAI規制に関する教訓」ブルッキングス、2021年12月8日。
[20] Proposed EU Artificial Intelligence Act, Article 60.	[20] EU人工知能法案、第60条。
[21] Will Knight & Khari Johnson, ‘Now That ChatGPT is Plugged In, Things Could Get Weird,’ Wired, Mar. 28, 2023.	[21] Will Knight & Khari Johnson, 'Now That ChatGPT is Plugged In, Things Could Get Weird,' Wired, Mar. 28, 2023.
[22] OpenAI, ‘GPT-4 System Card,’ Mar. 23, 2023, p.15.	[22] OpenAI、「GPT-4システムカード」、2023年3月23日、p.15。
[23] I.e., functions that could materially affect the wellbeing or rights of individuals, communities, or society.	[23] つまり、個人、コミュニティ、社会の福利や権利に重大な影響を与える可能性のある機能である。
[24] Joseph Cox, ‘Facebook’s Powerful Large Language Model Leaks Online,’ VICE, Mar. 7, 2023.	[24] Joseph Cox, 'Facebook's Powerful Large Language Model Leaks Online,' VICE, Mar. 7, 2023.
[25] For a systematic overview of how watermarking can be applied to AI models, see: Franziska Boenisch, ‘A Systematic Review on Model Watermarking of Neural Networks,’ Front. Big Data, Sec. Cybersecurity & Privacy, Vol. 4, Nov. 29, 2021.	[25] 電子透かしがAIモデルにどのように適用できるかの体系的な概要については、以下を参照のこと： Franziska Boenisch, 'A Systematic Review on Model Watermarking of Neural Networks,' Front. Big Data, Sec. Cybersecurity & Privacy, Vol.4, Nov.29, 2021」を参照のこと。
[26] This figure, drawn from , ‘The AI Arms Race is Changing Everything,’ (Andrew R. Chow & Billy Perrigo, TIME, Feb. 16, 2023 [upd. Feb. 17, 2023]), likely represents a lower bound for the estimated number of AI safety researchers. This resource posits a significantly higher number of workers in the AI safety space, but includes in its estimate all workers affiliated with organizations that engage in AI safety-related activities. Even if a worker has no involvement with an organization’s AI safety work or research efforts in general, they may still be included in the latter estimate.	[26] この数字は、「AI軍拡競争がすべてを変える」（Andrew R. Chow & Billy Perrigo, TIME, 2023年2月16日[2023年2月17日更新]）から引用されたもので、AI安全性研究者の推定数の下限を示している可能性が高い。この資料では、AI安全分野に従事する労働者の数はかなり多いと仮定しているが、AI安全関連活動に従事する組織に所属する労働者すべてを推定に含めている。組織のAI安全活動や研究活動全般に関与していない労働者であっても、後者の推計に含まれる可能性がある。
[27] Christine Criddle & Madhumita Murgia, ‘Big tech companies cut AI ethics staff, raising safety concerns,’ Financial Times, Mar. 29, 2023.	[27] Christine Criddle & Madhumita Murgia, 'Big tech companies cut AI ethics staff, raising safety concerns,' Financial Times, Mar. 29, 2023.
[28] See fn. 23, supra.	[28] 前掲のfn. 23を参照のこと。
[29] Original call for a UK government AI lab is set out in this article.	[29] 英国政府AIラボの設立を求めるガバナンスの原型はこの記事にある。
[30] For the taskforce’s detailed recommendations, see:  ‘Strengthening and Democratizing the U.S. Artificial Intelligence Innovation Ecosystem: An Implementation Plan for a National Artificial Intelligence Research Resource,’  National Artificial Intelligence Research Resource Task Force Final Report, Jan. 2023.	[30] タスクフォースの詳細な提言については、以下を参照のこと：  米国の人工知能イノベーション・エコシステムの強化と民主化： National Artificial Intelligence Research Resource: An Implementation Plan for a National Artificial Intelligence Research Resource」（全米人工知能研究リソース・タスクフォース最終報告書、2023年1月）を参照のこと。
[31] Pranshu Verma, ‘They thought loved ones were calling for help. It was an AI scam.’ The Washington Post, Mar. 5, 2023.	[31] Pranshu Verma, '彼らは愛する人が助けを求めていると思った。それはAI詐欺だった」。ワシントンポスト、2023年3月5日。
[32] Tiffany Hsu & Stuart A. Thompson, ‘Disinformation Researchers Raise Alarms About A.I. Chatbots,’ The New York Times, Feb. 8, 2023 [upd. Feb. 13, 2023].	[32] Tiffany Hsu & Stuart A. Thompson, 'Disinformation Researchers Raise Alarms About A.I. Chatbots,' The New York Times, Feb. 8, 2023 [2023年2月13日更新]。
[33] Proposed EU Artificial Intelligence Act, Article 52.	[33] EU人工知能法案、第52条。
[34] SB 1001 (Hertzberg, Ch. 892, Stats. 2018).	[34] SB 1001 (Hertzberg, Ch. 892, Stats. 2018)。
[35] Recommendation 125, ‘Outcome document: first draft of the Recommendation on the Ethics of Artificial Intelligence,’ UNESCO, Sep. 7, 2020, p. 21.	[35] 勧告125「成果文書：人工知能の倫理に関する勧告の第1草案」、ユネスコ、2020年9月7日、21頁。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2023.04.03 欧州 EU外交部 人工知能時代に事実を正しく伝えるために