米国 国防省の内部監査部門が「AIのプロジェクトのガバナンスとセキュリティをしっかりせい」とおっしゃっているようです。。。

こんにちは、丸山満彦です。

米国 国防省の内部監査部門が「AIのプロジェクトのガバナンスとセキュリティをしっかりせい」とおっしゃっているようですね。

● Department of Defense Office of Inspector General

・2020.06.29 Audit of Governance and Protection of Department of Defense Artificial Intelligence Data and Technology (DODIG-2020-098)

・詳細な報告書　[PDF] (Downloaded)（一部黒塗り・・・）

この監査の目的は

• 国防省におけるAIガバナンスの枠組みと基準の開発の進捗状況を確認すること
• 国防省がAIデータと技術を内部および外部のサイバー脅威から保護するためのセキュリティ管理を実施しているかどうかを判断すること

ということのようです。

発見事項は、

AIガバナンスについては、

JAICはAIガバナンスの枠組みと基準を策定するために、JAICの採用等をつうじて組織を作り、ナショナルミッションの目標の策定、倫理原則の導入など、いくつかの進捗はあった。しかし、JAICがNDAA、DoD AI戦略、DoDガイダンスで概説されている責任を確実に果たすためには、JAICもまた、AIガバナンスの枠組みを構築する必要がある。＜＝なるほど。。。

ということで具体的に、

• AI の標準的な定義を盛り込み、定期的（少なくとも年 1 回）は定義の改定を検討する。
• AI データの一貫した保護を確保するためのセキュリティ分類ガイドを開発する。
• AI プロジェクトを正確に会計処理するためのプロセスを開発する。
• データを共有するための機能を開発する。
• 法的およびプライバシーへの配慮を基準に組み込む。
• 類似のAI プロジェクトについて、軍務部と国防省のコンポーネントが協力するための正式な戦略を策定する。

となっています。

サイバーセキュリティについては、

調査した国防省の 4 つのコンポーネントと 2 つの請負業者は、AI プロジェクトや技術をサポートするために使用されるデータを内部および外部のサイバー脅威から保護するためのセキュリティ管理を一貫して実施していなかったようですね。例えば、次のようなことが必要だということだと思います。。。

• システム上で強力なパスワードの使用を強制するようする、システムアクティビティレポートを生成したり、一定期間使用されていない場合はアカウントをロックしたりする。
• 悪意のある活動や異常な活動がないか、ネットワークやシステムを確認する。
• ウイルスや脆弱性がないかネットワークをスキャンする。
• AIデータなどの物理的なセキュリティ対策を実施する。

まぁ、本当はもっと具体的な課題があるのだろうと思います。。。詳細なPDFの方はまだ読んでいませんが・・・

----

■ 報道等

● C4ISRNET
・2020.07.01 (Artificial Intelligence) Watchdog finds the Pentagon needs to improve artificial intelligence project management by Andrew Eversden

ディズニーがメガピクセルのディープフェイクで映画？

こんにちは、丸山満彦です。

ディズニーはディープフェイクを使った映画を作るのでしょうかね。。。

● The Verge

・2020.06.29 Disney’s deepfakes are getting closer to a big-screen debut - The first megapixel-resolution deepfakes by James Vincent 

画像を見ていると進歩が見られますね。自然な表情になってきています。。。

問題は、こういうディープフェイクの技術が高まればもはや何が本当かわからなくなり、本物の信頼性が低下しますね。。。

国土交通省 自動運行装置（レベル３）に係る国際基準が初めて成立しました

こんにちは、丸山満彦です。

国土交通省が、自動運行装置（レベル３）に係る国際基準が成立したことを報道していますね。。。

● 国土交通省

・2020.06.25 自動運行装置（レベル３）に係る国際基準が初めて成立しました

-----

国連の自動車基準調和世界フォーラム（WP29^*）第181回会合において、初めて、以下の国際基準が成立しました。

• 乗用車の自動運行装置（高速道路等における60km/h以下の渋滞時等において作動する車線維持機能に限定した自動運転システム）
• サイバーセキュリティ及びソフトウェアアップデート

...

２．自動運行装置の国際基準の主な要件（詳細は別紙）

• 少なくとも注意深く有能な運転者と同等以上のレベルの事故回避性能
• 運転操作引継ぎ警報を発した場合、運転者に引き継がれるまでの間は制御を継続。運転者に引き継がれない場合はリスク最小化制御を作動させ、車両を停止
• ドライバーモニタリングシステムの搭載。システムの作動状態記録装置の搭載
• サイバーセキュリティ対策
• シミュレーション試験、テストコース試験、公道試験及び書面審査を適切に組み合わせた適合性の確認

 ３．サイバーセキュリティ及びソフトウェアアップデートの国際基準の主な要件（詳細は別紙）

• サイバーセキュリティ及びソフトウェアアップデートに関する適切な組織体制の確保及び車両の対策

...

報道発表資料（PDF形式）

（別紙１）自動運行装置の国際基準の概要（PDF形式）

（別紙２）サイバーセキュリティ及びソフトウェアアップデートの国際基準の概要（PDF形式）

（別紙３）自動運転技術に係る国際基準検討体制の概要（PDF形式）

（別紙４）WP29及び各協定の概要（PDF形式）

-----

● UNECE

・World Forum for Harmonization of Vehicle Regulations (WP.29)

　・Agendas

-----

ECE/TRANS/WP.29/1152/Rev.1 - (Secretariat) - Revision 1 to the annotated provisional agenda for the 181st session of the World Forum, to be held virtually on Wednesday 24 June 2020 only, starting at 2.00 p.m. and ending at 4.00 pm Geneva time, for the seventy-fifth session of the Administrative Committee of the 1958 Agreement, for the fifty-ninth session of the Executive Committee of the 1998 Agreement, for the fifteenth session of the Administrative Committee of the 1997 Agreement

[PDF]

ECE/TRANS/WP.29/1152/Add.1 - (Secretariat) - Addendum to the annotated provisional agenda for the 181st session of the World Forum, to be held at the Palais des Nations, Geneva, starting at 2.30 p.m. on Tuesday, 23 June 2020, for the seventy-fifth session of the Administrative Committee of the 1958 Agreement, for the fifty-ninth session of the Executive Committee of the 1998 Agreement, for the fifteenth session of the Administrative Committee of the 1997 Agreement

[PDF]

ECE/TRANS/WP.29/1152 - (Secretariat) - Annotated provisional agenda for the 181st session of the World Forum, to be held at the Palais des Nations, Geneva, starting at 2.30 p.m. on Tuesday, 23 June 2020, for the seventy-fifth session of the Administrative Committee of the 1958 Agreement, for the fifty-ninth session of the Executive Committee of the 1998 Agreement, for the fifteenth session of the Administrative Committee of the 1997 Agreement

[PDF]

[余談]

● 国土交通省

・2020.03.31 自動運転車に関する安全基準を策定しました！～自動運転車のステッカーのデザインも決定～

人間が間違うなら、人間を模倣したAIも間違うんでしょうね。。。

こんにちは、丸山満彦です。

平和博さんのブログ、「新聞紙学的」が2020.06.25に「「コンピューターが間違ったんだな」AIの顔認識で誤認逮捕される」というブログをあげていますね。。。

誤解を恐れずにざっくりいうと、「AIを活用した顔認識技術により犯人の可能性が高いとして逮捕したが実は犯人でなかった」ということですかね。。。

ミシガン州警察で使われているシステムは、”Statewide Network of Agency Photos (SNAP)"というもので、[PDF]ACCEPTABLE USE POLICYに利用方針が掲載されています（[HTML]に変換）。

おそらくAIというのは画像データを機械学習させたものだとは思います（どういう学習のさせ方をしているのかまでは、把握できていませんが、、、）。

SNAPシステムが選んだ容疑者について、無関係の人の画像と合わせて、犯人を見たであろう（が、実は見ていなかった）警備員に確認を取ったところ、警備員もSNAPシステムが選んだ容疑者を選んだので、逮捕をしたということのようです。さらに、容疑者には、犯行時刻は移動中でその様子がSNSに挙げられていたという分りやすいアリバイもあったということです。

また、学習の仕方からもしれませんが、白色人種に比べて有色人種（黒人、アジア系）に対する誤認識率が高いようですね。。。（男性よりも女性の方が誤認識率が高いようですね。。。）

-----

● NIST
・ 2019.12.19 (News) NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software - Demographics study on face recognition algorithms could help improve future tools.

・2019.12.19 [PDF] NISTIR 8280 Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects

-----

おそらく、AIの能力を過信してしまって、バイアスがかかり他の証拠の確認等、慎重にすべき手続きを怠ったのが原因なのかもしれませんが、人間が間違うなら、人間を模倣したAIも間違うということを頭の片隅に置いて、バイアスがかからないように常に慎重な対応をしないといけないのでしょうね。。。

----

ここからは、余談ですが、20年ほど前にデトロイトに住んでいました。当然のごとく車上荒らしにあい、警察に被害届を出しに行ったわけですが、、、

1. 状況説明をした後、警察が開口一番「どこで被害にあったか当ててやろう(Guess where)」と言われ、「その通りです。」「あの駐車場は最近、車上荒らしが多いので、5時前には出た方が良いよ」「はい。（知ってんのかい・・・）」

2. 次に言われたのは、「デトロイト警察が抱えている未解決事件はどのくらいあるのか知っているか？（Do you know how many open crimes Detroit have?）」私が、「100件くらい？」と言ったら、「数1000件以上だ(More than thousands)。その中には殺人や強盗もたくさん含まれている」。要は、お前の事件が解決するとは思うな。。。ということを言いたかったのかも知れません。。。

3. 車のライセンスを持っていくのを忘れていたので、道をはさんだ警察の駐車場まで取りに行って戻ったところで、「お前、駐車場まで一人で行っただろう？」「はい」「6時を過ぎてこの辺りを一人で歩いては行けない。」「でも、警察のすぐそばですよ。」「死角があるから安全は保証されない」「次からは気をつけます」

という会話が繰り広げられましたとさ・・・

「米海兵隊はAIを理論から実践に移す」というブログ

こんにちは、丸山満彦です。

米国国防省のJoing Artificial Intelligence Center (JAIC)のblogの記事です。流石に命がかかっている職場だけに、考えさせられる記事です。。。

● Joint Artificial Intelligence Center

・2020.06.15 Professional Perspectives Moving AI Theory to Practice in the U.S. Marine Corps

-----

We must create capability, not PowerPoint presentations. We should experiment with that AI capability during exercises, not publish another concept document about “What AI could do for the USMC”. While most focus on the theory of ‘what AI could do’, we should instead heed the advice from industry: the up-front investment in data and people is always underestimated, and do not become enamored with the proverbial dashboard. We missed our opportunity to evolve incrementally, and must now make a revolutionary leap.

----

●まるちゃんの情報セキュリティ気まぐれ日記

・2020.05.04 米国国防省と人工知能（戦略と倫理）

カーネギーメロン大学 ソフトウェア研究所 AIエンジニアリングのリスク管理の視点

こんにちは、丸山満彦です。

カーネギーメロン大学 ソフトウェア研究所が、「AIエンジニアリングのリスク管理の視点」に関する文書をあげていますね。。。

● Carnegie Mellon University - Software Engineering Institute

・2020.06.10 A Risk Management Perspective for AI Engineering by WHITE PAPER

・[PDF] 全文

・[html]（変換）

-----

概要

OCTAVE FORTE は、組織がリスクを特定し、軽減するために利用できるプロセスモデルである。そのステップは、リスクガバナンス、リスク選好、方針の確立（リスク、脅威、および脆弱性の識別）および改善計画の形成と実施を含んでいる。

本稿では、AI 技術の採用という観点から、これらのステップのうちのいくつかに焦点を当てる。これらのステップは、AIの採用を調査し、関連するリスクを探る組織の出発点となる。

----

Continue reading "カーネギーメロン大学 ソフトウェア研究所 AIエンジニアリングのリスク管理の視点"

ENISA 人工知能サイバーセキュリティに関するワーキンググループが始動

こんにちは、丸山満彦です。

EUは、社会と経済におけるAIの重要性を認識しているが、AIによるメリットを享受するためには、「AI自体が信頼でき、セキュリティ的に保護されているが必要がある」と考えているようですね。そしてENISAが、アドホックワーキンググループを立ち上げたという流れのようです。

このワーキンググループの目的は

• AIサイバーセキュリティに関連する課題についてENISAに助言する
• AI脅威ランドスケープの開発についてENISAを支援する
• AIのリスクに比例するサイバーセキュリティガイドラインを提供する
  
  

● ENISA

・2020.06.10 ENISA working group on Artificial Intelligence cybersecurity kick-off

Today, the European Union Agency for Cybersecurity, ENISA, is kicking off the Ad-Hoc Working Group on Cybersecurity for Artificial Intelligence, marking another milestone in the Agency’s work on emerging technologies.

■ 参考

● Europian Union

・2020.02.19 [PDF] WHITE PAPER - On Artificial Intelligence - A European approach to excellence and trust

EUは、

• AIの導入を促進する
• AIの利用によりもたらされるリスクに対処する

ことが重要であり、そのために

• 投資
• 規制

を巧く効かせることが重要と考えているようですね。

そして、この白書は、上記の考えを実現するための政策オプションを提示することにあるようです。

内容　↓

Continue reading "ENISA 人工知能サイバーセキュリティに関するワーキンググループが始動"

NPO デジタル・フォレンジック研究会のコラム by 丸山満彦

こんにちは、丸山満彦です。

私が書いた「NPO デジタル・フォレンジック研究会」の「コラム」の一覧のページにしようと思っています。

（なので、適宜追加していきたいと思います。。。）

このコラムは10年以上続き、600号を超える膨大のコラムになっていますので、フォレンジック技術の応用で、サーチできる仕組みがあれば良いかもですね。。。

＃	No	Date	Title
22	600	2020.02.03	デジタルフォレンジックスと多様性
21	578	2019.08.26	未来を考えようと思うとき、人は過去を振り返る
20	551	2019.02.11	とらわれずに物事をみつめる
19	521	2018.07.09	ＡＩは科学捜査を騙せるか？
18	493	2017.12.18	セキュリティ・デバイド？
17	474	2017.08.07	『デジタル・フォレンジック』という言葉を今更考える
16	451	2017.02.20	相手を知ることが重要
15	425	2016.08.15	本質を理解する
14	383	2015.10.12	名ばかりCSIRTで良いのか？
13	357	2015.04.13	ＩｏＴ時代は明るいか暗いか
12	335	2014.11.03	頭を下げるのは社長です
11	308	2014.04.30	標的型攻撃には内部不正対応が重要？
10	286	2013.11.14	セキュリティガバナンスはできる範囲だけやればよいのか？
09	261	2013.05.23	セキュリティの基本はずっとかわっていない
08	240	2012.12.25	さらに組織化が進むサイバー攻撃集団
07	207	2012.05.10	外部から侵入されている想定で情報セキュリティを考える
06	173	2011.09.08	想定外に対応するのが危機管理ではないか
05	139	2011.01.13	データ分析を使った不正発見手法
04	131	2010.11.11	発見的統制の重要性
03	084	2009.12.10	クラウドコンピューティングがもたらす光と影
02	058	2009.06.11	不正をさせない
01	021	2008.09.25	ニーズとシーズ、目的と手段

米空軍は、2021年7月にAIが操縦する戦闘機と人間が操縦する戦闘機でドッグファイトをすることを考えているようですね。。。

こんにちは、丸山満彦です。

米空軍は、2021年7月にAIが操縦する戦闘機と人間が操縦する戦闘機でドッグファイトをすることを考えているようですね。。。

● Airforce Magazine

・2020.06.04 Air Force to Test Fighter Drone Against Human Pilot by Rachel S. Cohen

● 航空機万能論

・2020.06.06 勝つのは人間かAIか？ 米軍、有人戦闘機と無人戦闘機とのドックファイトを実施予定

F22やF35といった新しい戦闘機ではなく、F16等でまずはAI操縦を試すようです。最初は大変かもしれませんが、最初は人間の操縦（遠隔操縦も含む）による判断情報を入力していくでしょうが、最終的にはAIとAIで対決させるようなところまでいくと、加速度的に運動性能が上がるかもしれませんね。。。

将来的に、どこまでドッグファイトが行われるようになるかは分かりませんが、興味深い実験ですね。。。（実際に使われて欲しくはないですが・・・）

米国国防省 人工知能が戦争をかえると予測

こんにちは、丸山満彦です。

米国国防省のニュースで

● US Department of Defense

・2020.06.05 (News) Experts Predict Artificial Intelligence Will Transform Warfare by DAVID VERGUN

AIが今後20年間の間に国防総省の戦争の性格を変えることは私の信念と深い情熱です」by 陸軍少佐John N.T. ''Jack'' Shanahan, Joint Artificial Intelligence Center ディレクター

人工知能センターは約2年前に運用開始し、現在は13億ドル（約1,400億円）の年間予算、185人の従業員がいる組織になっているようですね。

現在AIは、人道支援やサイバー防御等の結果に対する重要性が低い業務を中心に導入されているようですが、1〜2年に戦闘機に導入したいということのようですね。

ーーーーー

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.05.22「倫理的な人工知能にとって、セキュリティは非常に重要」と言う意見
 

・2020.05.04 米国国防省と人工知能（戦略と倫理）