自律的AIシステム(X)が敵国の自律的AIシステム(Y)を攻撃したが、両システムの実力が互角だった場合の攻撃の結末は？

こんにちは、丸山満彦です。

Claude Mythosや、GPT 5-5が話題になっている。能力が高まっているからである（4月末の情報では、両者の実力はほぼ互角とのことである）。この結果、サイバー攻撃といった面の能力も高まっていると言われている。

Claude Mythosは未知の脆弱性を含む多くの脆弱性を発見したという理由もあって、一般公開はされていない（GPT 5-5は公開されている）。

さて、そろそろ古典的な思考実験を思い出すタイミングなのかもしれない。

例えば、

・インターネット空間上に自律的AIシステム(X)と自律的AIシステム(Y)が存在する。
・自律的AIシステム(X)と自律的AIシステム(Y)の実力は互角である。
・自律的AIシステム(X)も自律的AIシステム(Y)も外部からの攻撃を自ら防御しながらお互いに相手のシステムを破壊することを目的として行動するように指示を受けている。
・自律的AIシステム(X)も自律的AIシステムも、上記の目的のためには他のシステムを乗っ取って自分の能力を強化することも含めて、あらゆる手段を取りうるものとする。

上記の前提のもと、自律的AIシステム(X)が自律的AIシステム(Y)に対して攻撃を始めた場合、

（１）どのような結末を迎えそうか？

（２）最悪の結末を迎えないようにするためには、国際的にどのようなルールが必要となるでしょうか？

（３）そのような国際的なルールの実効性はどの程度あると思いますか？

---

ちなみに、殺人ロボットについては国連等で検討されており、外務省からも次のような発表がありますよね...

● 外務省 - 通常兵器の軍縮及び過剰な蓄積禁止に関する我が国の取組

・自律型致死兵器システム（LAWS）について

・・LAWSに関する指針（英文）

Guiding Principles affirmed by the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons System	致死性自律型兵器システム分野における新興技術に関する政府専門家グループが確認した指針
It was affirmed that international law, in particular the United Nations Charter and International Humanitarian Law (IHL) as well as relevant ethical perspectives, should guide the continued work of the Group. Noting the potential challenges posed by emerging technologies in the area of lethal autonomous weapons systems to IHL, the following were affirmed, without prejudice to the result of future discussions:	国際法、特に国連憲章および国際人道法（IHL）、ならびに関連する倫理的観点こそが、同グループの今後の活動を導くべきであることが確認された。致死性自律型兵器システムの分野における新興技術が国際人道法に提起しうる課題に留意しつつ、今後の議論の結果を損なうことなく、以下の点が確認された：
(a) International humanitarian law continues to apply fully to all weapons systems, including the potential development and use of lethal autonomous weapons systems;	(a) 国際人道法は、致死性自律型兵器システムの開発および使用の可能性を含め、あらゆる兵器システムに引き続き完全に適用される；
(b) Human responsibility for decisions on the use of weapons systems must be retained since accountability cannot be transferred to machines. This should be considered across the entire life cycle of the weapons system;	(b) 説明責任を機械に移転することはできないため、兵器システムの使用に関する決定に対する人間の責任は維持されなければならない。これは、兵器システムのライフサイクル全体を通じて考慮されるべきである；
(c) Human-machine interaction, which may take various forms and be implemented at various stages of the life cycle of a weapon, should ensure that the potential use of weapons systems based on emerging technologies in the area of lethal autonomous weapons systems is in compliance with applicable international law, in particular IHL. In determining the quality and extent of human-machine interaction, a range of factors should be considered including the operational context, and the characteristics and capabilities of the weapons system as a whole;	(c) 様々な形態をとり、兵器のライフサイクルの様々な段階で実施される可能性のある人間と機械の相互作用は、致死性自律兵器システムの分野における新興技術に基づく兵器システムの潜在的な使用が、適用される国際法、特に国際人道法に準拠していることを確保すべきである。人間と機械の相互作用の質と範囲を決定するにあたっては、運用状況、および兵器システム全体の特性や能力を含む、幅広い要因を考慮すべきである；
(d) Accountability for developing, deploying and using any emerging weapons system in the framework of the CCW must be ensured in accordance with applicable international law, including through the operation of such systems within a responsible chain of human command and control;	(d) CCWのフレームワークにおける新興兵器システムの開発、展開、および使用に関する説明責任は、責任ある人間の指揮統制系統内での当該システムの運用などを通じて、適用法に従って確保されなければならない；
(e) In accordance with States’ obligations under international law, in the study, development, acquisition, or adoption of a new weapon, means or method of warfare, determination must be made whether its employment would, in some or all circumstances, be prohibited by international law;	(e) 国際法上の国家の義務に従い、新たな兵器、戦争手段または方法の研究、開発、取得または採用にあたっては、その使用が、一部の状況またはすべての状況において、国際法により禁止されるかどうかを判断しなければならない；
(f) When developing or acquiring new weapons systems based on emerging technologies in the area of lethal autonomous weapons systems, physical security, appropriate non-physical safeguards (including cyber-security against hacking or data spoofing), the risk of acquisition by terrorist groups and the risk of proliferation should be considered;	(f) 致死性自律兵器システムの分野における新興技術に基づく新たな兵器システムを開発または取得する際には、物理的セキュリティ、適切な非物理的保護措置（ハッキングやデータ改ざんに対するサイバーセキュリティを含む）、テロリスト集団による取得のリスク、および拡散のリスクを考慮すべきである；
(g) Risk assessments and mitigation measures should be part of the design, development, testing and deployment cycle of emerging technologies in any weapons systems;	(g) リスクアセスメントおよび緩和措置は、あらゆる兵器システムにおける新興技術の設計、開発、試験、展開のサイクルの一部とすべきである；
(h) Consideration should be given to the use of emerging technologies in the area of lethal autonomous weapons systems in upholding compliance with IHL and other applicable international legal obligations;	(h) 致死性自律兵器システムの分野における新興技術の利用については、国際人道法（IHL）およびその他の適用される国際法上の義務の遵守を確保する観点から検討すべきである；
(i) In crafting potential policy measures, emerging technologies in the area of lethal autonomous weapons systems should not be anthropomorphized;	(i) 政策措置を策定するにあたり、致死性自律兵器システムの分野における新興技術は擬人化されるべきではない；
(j) Discussions and any potential policy measures taken within the context of the CCW should not hamper progress in or access to peaceful uses of intelligent autonomous technologies;	(j) CCWのフレームワーク内で行われる議論および講じられるあらゆる政策措置は、知能型自律技術の平和的利用の進展やその利用へのアクセスを妨げてはならない；
(k) The CCW offers an appropriate framework for dealing with the issue of emerging technologies in the area of lethal autonomous weapons systems within the context of the objectives and purposes of the Convention, which seeks to strike a balance between military necessity and humanitarian considerations	(k) CCWは、軍事上の必要性と人道的配慮との均衡を図ることを目的とする同条約の目的および趣旨の文脈において、致死性自律兵器システムの分野における新興技術の問題に対処するための適切なフレームワークを提供している