経済安全保障関係 「経済安全保障重要技術育成プログラムにかかる研究開発ビジョン検討WG の検討結果について（報告）」のサイバーセキュリティ関係...

こんにちは、丸山満彦です。

内閣府の「経済安全保障重要技術育成プログラムに係るプログラム会議」の第2回会議が開催され、「経済安全保障重要技術育成プログラムにかかる研究開発ビジョン検討WG の検討結果について（報告）」等の資料が公開されていますね。。。

検討テーマは、

・海洋領域
・宇宙・航空領域
・領域横断・サイバー空間
・バイオ領域

という感じでしょうか？？？

研究開発ビジョン検討ワーキンググループ（WG）委員のうち、サイバー関係の委員は

・松本 勉 横浜国立大学大学院環境情報研究院教授
・盛合 志帆 情報通信研究機構 サイバーセキュリティ研究所長

ですかね。。もちろん、サイバーは分野横断的なテーマなので、他の分野との組み合わせで考えることが重要なので、サイバーの専門家だけでなく、他の分野の専門家と共に議論することが重要ですよね。。。

で、支援対象とする技術は、、、

‧ AI セキュリティに係る知識・技術
‧ 不正機能検証技術（ファームウェア・ソフトウェア／ハードウェア）
‧ ハイブリッドクラウド利用基盤技術

みたいです。。。

● 内閣府 - 内閣府の政策 - 科学技術・イノベーション - 安全・安心 - 第2回経済安全保障重要技術育成プログラムに係るプログラム会議

• 資料1-1経済安全保障重要技術育成プログラムにかかる研究開発ビジョン検討WG の検討結果について（報告）

---

サイバー空間関連：取組を強化すべき今後の課題に関する背景等

• 【背景や一般的な課題認識】
  • サイバー空間の「公共空間化」が進展し、サイバー空間において提供される多様なサービスが複雑化するに伴いサイバー空間内やサイバーとフィジカルの垣根を超えた主体間の「相互連関・連鎖性」が一層深化。「自由、公正かつ安全なサイバー空間」を確保するためにはこれらをとりまく不確実性の変容・増大によって生じるリスクを適切に把握した上で対応していくことが必要。
  • サイバーセキュリティ研究分野は、脅威に関する情報やユーザー等のニーズを踏まえ、実践的な研究開発を進めることが非常に重要な分野。我が国においてその基盤となる研究開発の国際競争力の強化と産学官エコシステムの構築に取り組む必要。また、デジタル技術の進展に応じ、中長期的な視点から技術トレンドを捉えた取組みを推進していくことが重要。特に、AI技術・量子技術をはじめとする先端技術の進展を見据えた対応が求められる。
  • 近年、民生のみならず公的分野におけるクラウドサービスの利用拡大や複雑かつグローバルなサプライチェーンを経由する製品・サービスの拡大・浸透、IoT機器の利用拡大やAI技術の様々なシステムへの活用などにより、インシデントが発生した場合の経済社会活動への影響は、より広範に、多様な主体・場面に及ぶおそれ。
    

個別の課題認識と考えられる技術：AIセキュリティに係る知識・技術体系

• 【課題認識】
  
  • 民生部門・公的部門双方において人工知能（AI）活用が広がり、広範な産業領域や社会インフラなどでAI技術は大きな影響を与えている。一方で、AIそのものを守るセキュリティ（Security for AI）に関しては、AIのセキュリティ面での脆弱性がどのようなものか（※）国際的にもまだ十分に理解されていないと考えられる。海外では、例えば機械学習の誤認識に係る研究や防御に関する学術面での研究が多くなっている。
  • AIを活用したサイバーセキュリティ対策（AI for Security）に関しては、実際にAIを活用したセキュリティ製品やサービスの商用化が進んでいる。一方で、攻撃そのものにAI技術を活用した新たな攻撃手法が広がるなど、変化が大きい状況。

（※）今後高まり得るリスクとして、AIに対する不正アクセスにより、秘匿性の高い学習データが復元されて漏えいする、意図的にAIの誤認識を誘発し機能不全に陥れる、AIアルゴリズムが窃盗・改ざんされることでAIの判断が意図的にゆがめられてしまう等が考えられる。

• 【考えられる技術】：AIセキュリティに係る知識・技術体系
  • AIとセキュリティの境界領域がゆえに研究者・技術者のコミュニティが十分でないと考えられるところ、我が国においてAIセキュリティに係るリスクが今後顕在化した際に、自らの技術力で課題の理解・解決ができるよう、産学官において必要な知見蓄積や、知識・技術体系の整理・獲得が必要ではないか。その際、人材層の拡大も念頭に、様々なアプローチによる複数の研究チームでの知見の共有を含めた研究開発推進が重要ではないか。
    
    • (Security for AI）例えば、機械学習における機密性・完全性・可用性の考え方を整理しつつ、機械学習が扱うデータや訓練済みモデルの保護、敵対的サンプルやポイズニング攻撃など悪意のある入力の検知・無毒化、不正を受けた場合にも利用可能な状態を維持するといった防御技術等の研究開発を推進できるのではないか。
    • (AI for Security) 例えば、具体のユースケースを基にした産学官の連携体制で、いわゆるオフェンシブセキュリティ（攻撃者の視点から知見を得る）研究のアプローチも取り入れ、攻撃者が高度に機械学習を利用することで生じる脅威に対する研究等を推進できるのではないか。また、仮想のシステムに対して攻撃・防御の模擬戦を行うといった手法も考えられるのではないか。

（参考）なお、上記以外に、AIの信頼性の向上に関して、AI戦略2022（令和4年4月）において、説明可能なAI（Explainable AI）など責任あるAIの実現に向けた取組が具体目標として挙げられている。

個別の課題認識と考えられる技術：サイバー分野における不正機能検証技術

• 【課題認識】
  • サイバー空間を構成するICT機器・システムのサプライチェーンの複雑化やグローバル化、また、オープンAPI(Application Programming Interface) やOSS (Open Source Software) の普及など、サイバー分野におけるサプライチェーンを取り巻く環境は一層複雑化し、サプライチェーンの過程で不正機能等が埋め込まれるリスクなど、サプライチェーン・リスクが顕在化している。
  • 国のサイバーセキュリティ研究開発戦略（令和3年５月改訂）でも、他国に容易に依存できない技術もあり得るため、産学官連携により、重点的に強化を図るべき研究領域とされている。不正機能につながり得る未知の脆弱性等を検証する技術が存在するものの、技術の体系化までは必ずしもなされていない。
    
    
• 【考えられる技術】
  
  • 不正機能検証技術（ファームウェア・ソフトウェア）
    • ICT機器・システムを構成するファームウェア・ソフトウェアにおいてバックドア等の不正機能が仕込まれていないかを検証する観点から、未知の脆弱性の検証やその不正な意図性の評価を試みる技術の開発が必要ではないか。その際、現在産学官に人材が散在している可能性があることから、産学官の複数の参画チーム間でのデータ・知見共有・蓄積を含め技術体系の整理と高度化を図る手法が重要ではないか。また、上記の知見やデータを活用しつつ不正機能を効率的・安定的に検出できるツールや、革新的な手法に基づく検証ツール等の研究開発が視野に入るのではないか。
      
      
  • 不正機能検証技術（ハードウェア）
    • 半導体・電子機器等のハードウェアに本来期待される機能以外の不正機能が混入していないかを、機器をブラックボックス的に保ったまま検証し不正機能を特定することは極めて困難。そこで不正機能の特定や排除が可能となるよう、半導体・電子機器等のハードウェアを詳細情報に基づくホワイトボックス的な検証を行うために必要となる要素技術の特定や技術開発を行い、検証基盤を確立することが必要ではないか。
      

個別の課題認識と考えられる技術：ハイブリッドクラウド利用基盤技術

• 【課題認識】
  • サイバーセキュリティや機器の信頼性を確保しつつ、クラウドサービスの活用を進めていくため、政府が取り扱う情報の機密性等に応じて、パブリッククラウドとプライベートクラウドを組み合わせて利用する、いわゆるハイブリッドクラウドの利用の促進が謳われている。（※）

（※） デジタル社会の実現に向けた重点計画、令和4年6月。なお、プライベートクラウドは、個別の設計が可能なため、オープンアーキテクチャをベースとしたホワイトボックスで構成された信頼できるクラウドが想定できることに対し、パブリッククラウドは、必ずしもホワイトボックスではないクラウドが想定される。

• 
  
  • 各主体が構築する情報システムにおいて、利便性の高いパブリッククラウド利用と、我が国における自律性の確保の観点等も念頭にしたプライベートクラウド利用、オンプレミス・システム利用という、異なるセキュリティ領域を必要に応じて行き来して情報処理やデータ利活用ができるような、データ中心のセキュリティを確保していくことが重要と考えられる。
    
    
• 【考えられる技術】
  • ハイブリッドクラウド利用基盤技術
    
    • オンプレミス、プライベートクラウド、パブリッククラウドとの間で、重要度に応じてデータを適切に保護しつつ、データ連携を可能とする技術やネットワークの自動化技術等が必要ではないか。その際、安全・低コスト・自動で行う技術として、クラウド間のデータの中継やアクセス制御を行うハブとしてソフトウェアスタック（※）の開発が考えらえれるのではないか。
    • なお、ソフトウェアレベルで運用者等にとってのホワイトボックスなクラウドを構築できたとしても、ハードウェアの信頼性をホワイトボックス的な検証により確保することも必要と考えられるため、クラウドに用いられる半導体・電子機器等のハードウェアの不正機能検証技術も併せて推進することが重要ではないか。

（※）互いに相互運用性のあるソフトウェアを積み重ね、全体として一つのシステムや機能を実現するもの

---

• 資料1-2研究開発ビジョン検討WG の議論のポイント

---

研究開発ビジョン検討WG（第一回：全体会合・6/21・27）における議事のポイント

• 研究テーマ、領域と技術の関係性について
  
  • サイバーセキュリティにおいては、我が国ではハードの交換まで含めると機動的な対処ができないという課題があることを考慮に入れて、ハード・ソフトの両面で我が国の強みとなりうるテーマを選択して、我が国の優位性に繋げる視点が重要。
  • AIのためのセキュリティ、セキュリティのためのAIはともに大切なテーマ。
  • 海洋・宇宙・航空などでシステム化を考える際にはデジタル化やセキュリティを同時に考えることが必要。
    
    
• プログラムの運営上の工夫、社会実装について
  
  • サイバーセキュリティ技術の優位性担保の観点からは、課題に本質的に切り込める戦略的な人材育成や、脅威をしっかり洗い出してより良い技術が確実に使われるような仕組みを形成することが重要。

研究開発ビジョン検討WG（第二回：宇宙・航空領域・7/12）における議事のポイント

• その他（社会実装・産官学連携など）
  
  • 宇宙・航空領域に共通する課題として、...さらに、両領域においては、サイバーセキュリティの視点も重要ではないか。

研究開発ビジョン検討WG（第二回：領域横断・サイバー空間・バイオ領域・7/12）における議事のポイント

• 当該領域全般に関すること
  
  • 議論された「課題解決の方向性と考えられる技術」は、概ね適当かつ概ね妥当ではないか。
  • AIセキュリティについては、Security for AIはまだ十分確立されておらず日本のアドバンテージになり得る。AI for Securityは、AIが防御にも攻撃にも使われているが、社会を混乱させるデータや画像のフェイクといったものも研究対象になり得るのではないか。また、日本のAI研究コミュニティにセキュリティの問題を投げかけ、すでにAIセキュリティに関心をもって進めているセキュリティ研究コミュニティと研究者が緊密に組織的に連携する研究推進が重要ではないか。
  • 不正機能検出技術については、ファームウェアとハードウェアは手法等が少し異なるので推進策を分けて議論することで良い。ファームウェアの検証では、検証対象や脆弱性情報をどうするかなど協議会の枠組みを使って関係省庁と意見交換して進められると良いのではないか。ハードウェアの
    検証は、設計情報等に基づく検証が調達とも関わっているところ、将来の運用を念頭にして、具体の推進策の検討を行うことや、調達に関するルール等の提案を視野に入れることも必要ではないか。
  • ハイブリッドクラウド利用基盤技術については、プライベートクラウドとパブリッククラウドの間での様々な条件をどのように設定するのかの視点が重要ではないか。また、欧州等グローバルにも国境を意識したクラウドが導入されつつあるが、パブリッククラウドに対する要求といったことも含め将来の運用を意識して進めることが重要ではないか。
    
    
• その他（人材育成、制度、社会実装など）
  
  • サイバーセキュリティに関しては、データセンターやコンピューターなどの施設・機器におけるセキュリティや脆弱性の視点も重要ではないか。
  • AIセキュリティに関して、研究者・技術者のコミュニティを拡大していく視点も重要ではないか。不正機能検出技術やハイブリッド利用基盤技術を含め、サイバー空間関連は、社会での実際の運用も十分に視野に入れ、技術開発とともにアンカーテナンシーはもちろん、制度やルール作りを並行して考えることが重要ではないか。

研究開発ビジョン検討WG（第二回：領域横断・サイバー空間・バイオ領域・7/13）における議事のポイント

• その他（人材育成、制度、社会実装など）
  
  • サイバーセキュリティについては、パーツで捉えるのではなくシステムとしての見ていく視点が重要ではないか。

---

• 資料1-3研究開発ビジョン検討WGの議論の各セッションにおける取りまとめ：支援対象とする技術（第一次・案）

• 資料2-1研究開発ビジョン骨子案 概要

• 資料2-2研究開発ビジョン骨子案

• 資料3-1経済安全保障重要技術育成プログラムの運用・評価指針案概要

• 資料3-2経済安全保障推進法に係る状況について

• 資料3-3特定重要技術の研究開発の促進及びその成果の適切な活用に関する基本指針（案）

---

ちなみに、AIとセキュリティについては、2年前の2020年8月27日に私が「第24回 サイバー犯罪に関する白浜シンポジウム」で発表した資料がわかりやすいと思いますので、参考になればと思います。

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.10.25 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 サイバー犯罪に関する白浜シンポジウムの発表資料

● 第24回 サイバー犯罪に関する白浜シンポジウム

・プログラム

---

  スマートサイバー　AI活用時代のサイバーリスク管理　丸山 満彦 氏（PwCコンサルティング合同会社）

機械学習、深層学習をはじめとするいわゆる人工知能技術（AI）の社会での実装が進んできています。サイバーリスクの防御の面でも機械学習、深層学習を活用したサイバー防御製品やサービスが広がってきています。サイバーリスク管理にAIがどのように活用できるのか、人間とのかかわりはどうすべきか、そしてAIを活用したサイバー攻撃、AIに対するサイバー攻撃といったことにも触れていきながら、これからの課題を考えていきたいと思います。

---

・[PDF] スマートサイバー　AI活用時代のサイバーリスク管理（配布用）