ドイツ連邦情報セキュリティ局 (BSI) が「監査可能なAIシステムを目指して - 現状と今後の展望」を公表しています

こんにちは、丸山満彦です。

ドイツ連邦情報セキュリティ局 (BSI) が「監査可能なAIシステムを目指して - 現状と今後の展望」という白書を公表していますね。。。

欧米人は、自然環境の違い（温帯から寒帯にかけた比較的シンプルな自然環境）で文化を作ってきたからでしょうか、養老孟司のいうところの「ああすれば、こうなる」がわからないと気持ちが悪いのかもしれませんね。。。だから宗教や科学が発達してきたのでしょう...一方、熱帯から温帯にかけた環境で生まれ育った文化は、複雑な自然をそのまま受けれいれるしかなく、全体で丸ごと感じるようになったのかもしれません。。。

機械学習というある意味、綺麗な実験環境から、複雑な環境、例えば自然環境での実験と言えるかもしれません。自然環境で育てたパラメータがたくさんある（よってその組み合わせがたくさんある）システムは「ああすればこうなる」と100％説明することはできないと思います。

皆さんには一卵性の双子の知り合いがいるかもしれませんが、彼ら、彼女らは全く同じ遺伝子です。でも全く同じ顔、身長、体重、性格でしょうか？

彼ら、彼女らは、最初のアルゴリズム（遺伝子）は同じです。その後の学習（母親の体内にいる時からの育つ環境）の違いで全く同じ全く同じ顔、身長、体重、性格にはなりませんね、特に、複雑な脳の神経のつながり方は同じ遺伝子でも、その後の育ってきた環境によって大きく変わるでしょう。

機械学習もそう考えると、同じアルゴリズム（遺伝子）であっても、与えるデータ等のインプットを変えると違うシステムになりますよね。。。しかもそのパターンは膨大すぎて全てを理解しようとすれば、さらにそれ以上に複雑な機械学習マシーンが必要となり、終わりがありませんね。。。

ということで、私的には、Auditable AI Systemというのは、どのような学習をさせたかを説明することにより、複雑なケースであれば70％くらい予想がつけば良いのではないかと思っています。（人間だってそんなもんでしょう。。。）

一つ一つのステップで99.99%予想がつけば、直列的な思考で1000ステップ踏んでも90％は予測がつくことにはなりますね。。。

と前置きが長くなりましたが、、、

● Bundesamt für Sicherheit in der Informationstechnik: BSI

・2021.05.06 BSI veröffentlicht Whitepaper zum aktuellen Stand der Prüfbarkeit von KI-Systemen

BSI veröffentlicht Whitepaper zum aktuellen Stand der Prüfbarkeit von KI-Systemen	BSI、AIシステムの監査可能性の現状に関する白書を発行
Künstlich Intelligente (KI) Systeme spielen eine immer größer werdende Rolle als automatisierte Entscheidungs- und Kontrollsysteme in verschiedenen, zum Teil sicherheitskritischen Anwendungsbereichen. Hierzu gehören u. a. autonome Fahrzeuge und biometrische Zugangskontrollsysteme. Neben den immensen Chancen, die sich durch den Einsatz von KI-Technologie eröffnen, ergeben sich gleichzeitig zahlreiche, qualitativ neue Probleme hinsichtlich u. a. der Sicherheit, der Robustheit und der Vertrauenswürdigkeit. Um diesen Problemen angemessen zu begegnen, wird eine Rahmenstruktur für die Prüfung von KI-Systemen benötigt, die neben Prüfstrategien und -werkzeugen auch entsprechende Standards umfasst. Diese Strategien, Werkzeuge und Standards sind aktuell noch nicht hinreichend für den praktischen Einsatz verfügbar.	人工知能（AI）システムは、様々なアプリケーション分野において、自動化された意思決定や制御システムとしての役割がますます高まっており、その中には安全性が求められるものもあります。これらには、自律走行車や生体認証アクセス制御システムなどが含まれます。AI技術の活用によってもたらされる大きな可能性がある一方、セキュリティ、堅牢性、信頼性などについて、質的に新しい問題が同時に数多く発生します。これらの問題に適切に対処するためには、テスト戦略、ツール、標準を含む、AIシステムのテストのフレームワークが必要です。これらの戦略、ツール、基準は、現状ではまだ十分に実用化されていません。
Basierend auf einem gemeinsam vom BSI, vom Verband der TÜVs (VdTÜV) und vom Fraunhofer HHI ausgetragenen internationalen Expertenworkshop im Oktober 2020 wurde nun, zusammen mit zahlreichen nationalen und internationalen Experten, ein Whitepaper zum aktuellen Stand, offenen Fragen und zukünftig wichtigen Aktivitäten bezüglich der Prüfbarkeit von KI-Systemen verfasst. Das Whitepaper beleuchtet verschiedene Aspekte der Sicherheit von KI-Systemen, u.a. deren Lebenszyklus, Online-Lernverfahren, qualitativ neue Angriffe, mögliche Verteidigungsmaßnahmen, Verifikation, Prüfung, Interpretation und Standardisierung. Bei all diesen Betrachtungen wird deutlich, dass es zahlreiche Zielkonflikte zwischen den gewünschten Eigenschaften eines operativen KI-Systems einerseits und den Eigenschaften des KI-Modells, der ML-Algorithmen, der Daten und weiteren Randbedingungen gibt, die letztlich die Skalierbarkeit und Generalisierbarkeit von sicher prüfbaren KI-Systemen beschränken. Basierend auf zwei grundlegenden Strategien zur Verbesserung der Prüfbarkeit, Sicherheit und Robustheit von KI-Systemen, d.h. einerseits der Schaffung verbesserter Rahmenbedingungen und andererseits der erhöhten Investition in Forschung und Entwicklung, werden Lösungsvorschläge und -ideen zur Mitigation der bekannten Probleme benannt, bewertet und Folgeschritte vorgeschlagen.	このたび、2020年10月にBSI、ドイツ技術検査機関協会（VdTÜV）、フラウンホーファーHHIが共同で開催した国際専門家ワークショップをもとに、国内外の多数の専門家とともに、AIシステムのテスト可能性に関する現状、未解決の問題、今後の重要な活動についてホワイトペーパーを作成しました。この白書では、AIシステムのライフサイクル、オンライン学習方法、質的に新しい攻撃、考えられる防御策、検証、テスト、解釈、標準化など、AIシステムのセキュリティに関するさまざまな側面を紹介しています。これらの考察から、運用可能なAIシステムに求められる特性と、AIモデルの特性、MLアルゴリズム、データ、その他の制約との間には、数多くのトレードオフがあり、最終的には安全にテスト可能なAIシステムのスケーラビリティとジェネラビリティを制限していることが明らかになりました。AIシステムのテスト可能性、セキュリティ、堅牢性を向上させるための2つの基本的な戦略、すなわち、一方では改善されたフレームワーク条件の作成、他方では研究開発への投資の増加に基づいて、既知の問題を軽減するための提案されたソリューションとアイデアが挙げられ、評価され、フォローアップのステップが提案されています。

白書は英語です(^^)

・[PDF] Towards Auditable AI Systems - Current status and future directions

目次です。。。

1 AI systems: opportunities and challenges	1 AIシステム：機会と課題
2 Auditability of AI systems: state of the art	2 AIシステムの監査可能性：技術の現状
2.1 Life Cycle	2.1 ライフサイクル
2.2 Online learning and model maintenance in the presence of non-stationary environments.	2.2 非定常環境下でのオンライン学習とモデルメンテナンス
2.3 Attack & Defense	2.3 攻撃と防御
2.3.1 Adversarial Machine Learning	2.3.1 敵対的機械学習（Adversarial Machine Learning
2.3.2 Backdoor Attacks on DNNs	2.3.2 DNNに対するバックドア攻撃
2.3.3 Detection of and Defenses against attacks on DNNs	2.3.3 DNNへの攻撃の検知と防御方法
2.4 Verification of AI systems	2.4 AIシステムの検証
2.5 Auditing safety-critical AI systems	2.5 安全性が求められるAIシステムの監査
2.6 Explaining Black Box AI Models	2.6 ブラックボックスAIモデルの説明
2.7 Overview of AI standardization activities worldwide	2.7 世界のAI標準化活動の概要
3 Open Issues and Promising Approaches	3 未解決の課題と有望なアプローチ
4 Setting Priorities for Work Towards Auditable AI Systems	4 監査可能なAIシステムに向けた作業の優先順位設定
5 References	5 参考文献

仮訳です。。[DOCX]

---

■ 参考

養老さんの本は読みやすいです...

● 書籍 - Kindle版

・AIの壁 人間の知性を問いなおす 養老 孟司  (PHP新書) 

● まるちゃんの情報セキュリティきまぐれ日記

・2021.04.24 欧州委員会がAIへの規制を提案 → 欧州データ保護官は歓迎するけど、公共空間での遠隔生体認証についての規制も入れてね

・2021.04.22 ドイツ連邦情報セキュリティ局 (BSI) が安全なAI導入のための対策をまとめていますね。。。

・2021.04.21 英国政府 データ倫理とイノベーションセンターのブログ　AIの保証についての3つの記事

・2021.02.16 IPA 2018年10月に発刊されたAI白書2019のPDF版を公開