IPA AIセーフティ・インスティテュート AIセーフティに関するレッドチーミング手法ガイド (2024.09.25)

こんにちは、丸山満彦です。

IPAのAIセーフティ・インスティテュートが、「AIセーフティに関するレッドチーミング手法ガイド」を2024.09.25に公表しています...

対象とするAIシステムはLLMを構成要素とするAIに限っているようですね...（名称もそうすればよいのに...）

このガイドの主な読者はAI (LLM) 開発者・AI (LLM) 提供者、特に、「開発・提供管理者」及び「事業執行責任者」のうち、レッドチーミングの企画・実施に関与する者を想定読者としているようですね...

レッドチーミング手法というのは、ある意味ソフトウェア開発における品質を確保するための手法の一つと言えるでしょうね...

昔米国でシステム監査（IT内部統制の評価）の仕事をしていたのですが、ある超大手企業のグローバル購買システムの開発における内部統制の評価をしました。

要件に基づいて適切にシステムが実装されているか、システム開発部門側で、単体テスト、結合テスト、最終的な総合テストをするのですが、そのあとユーザーアクセプタンステストをいうのをして、それで合格すれば、ユーザー部門の責任者がサインをしてシステムをリリースするという統制手続がありました。

で、ユーザーアクセプタンステストですが、グローバル購買システムのそのテストに立ち会ったのですが、テスト自体は１週間行われました。各国の購買担当部門の人が集まってまずは、自分たちが出した要件を満たしているのか、自分たちでテストをしていきます。そして、最後の2日は、ユーザー側で、エラーが起こりそうなシナリオを作って、それに基づいてテストをしていくというやり方をしていました。（要件には細々とは書いてはいないが、当然実装していてしかるべきようなことも含めて）さまざまな状況においてエラーがおこらないかのテストです。

これが、考えてみればレッドチーミング手法に近いのだろうと思います。

対象をLLMシステムとし、テストをする内容を安全性に関する内容とすれば、昔からやっていることと構造はおなじように思います。

名前は目新しい感じはしますが、考え方としては昔からある考え方なのであろうと思います...

● IPA - AISI

・2024.09.25 AIセーフティに関するレッドチーミング手法ガイドを公開

・・[PDF] AIセーフティに関するレッドチーミング手法ガイド（第1.00版）本編

・・[PDF] AIセーフティに関するレッドチーミング手法ガイド（第1.00版）概要説明資料

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.10.11 米国 商務省 人工知能安全研究所 ケムバイオAIモデルの責任ある開発と使用に関する情報提供要請 (2024.10.04)

・2024.10.10 英国 ICO データ保護監査フレームワーク

・2024.10.07 米国 NIST CSWP 31 重要AIシステムのための代理妥当性確認と検証；代理設計プロセス (2024.09.26)

・2024.10.05 CSA-JC AI ワーキンググループ AIレジリエンス：AIの安全性に関する革命的なベンチマークモデル (2024.09.20) +過去分も...

・2024.09.26 欧州委員会 信頼できる安全なAI開発の推進を誓約するEUのAI協定に100社以上が署名

・2024.09.23 中国 「人工知能生成の合成コンテンツ識別に関する措置(意見募集稿)」と国家標準 「人工知能が生成したコンテンツのラベル付け方法」に対する意見募集

・2024.09.22 中国 AI安全ガバナンスフレームワーク(V1.0) (2024.09.09)

・2024.09.21 IPA AIセーフティ・インスティテュート AIセーフティに関する評価観点ガイド (2024.09.18)

・2024.09.19 世界経済フォーラム (WEF) データの公平性の推進： 行動指向のフレームワーク (2024.09.11)

・2024.09.08 欧州評議会 AI条約の署名開始... (2024.09.05)

・2024.09.03 米国 国土安全保障省 重要インフラの所有者および運営者向けAIの安全およびセキュリティガイドライン (2024.04.26)

・2024.08.12 ドイツ BSI AIシステムの透明性に関する白書 (2024.08.05)

・2024.08.11 オランダ AI影響アセスメント (2023.03.02)

・2024.08.06 英国 意見募集：AIのサイバーセキュリティ (2024.08.02)

・2024.08.05 欧州AI法が施行された... (2024.08.01)

・2024.07.31 米国 NIST SP 800-218A 生成的AIとデュアルユース基盤モデルのための安全なソフトウェア開発プラクティス： SSDFコミュニティプロファイル

・2024.07.27 米国 ホワイトハウス 新たなAI行動を発表し、 AIに関する追加の主要な自主的コミットメントをAppleからも受領

・2024.07.25 米国国立科学財団 AI技術の安全・安心を推進する新たなAIテストベッド構想

・2024.07.20 EU EDPB GDPRとEU-AI法関連

・2024.07.19 米国 MITRE AI保証

・2024.07.19 ドイツ BfDI フランス CNIL オランダ AP EU AI法関連

・2024.07.18 中国 国家人工知能産業の総合標準化システム構築のためのガイドライン（2024年版） (2024.07.03)

・2024.07.18 米国AI安全研究所と欧州AI事務局の技術対話 (2024.07.12)

・2024.07.16 金融における人工知能に関するOECD-FSBラウンドテーブル（2024年5月22日、パリ）におけるネリー・リャン米国国内金融担当次官兼金融安定理事会脆弱性アセスメント常設委員会議長の発言

・2024.07.07 米国 MITRE AI規制を通じてAIのセキュリティと安全性を確保する

・2024.07.06 OECD AIとデータ・ガバナンス、プライバシー (2024.06.27)

・2024.07.05 IPA 「AI利用時の脅威、リスク調査報告書」

・2024.07.05 欧州 EDPB AI監査チェックリスト (2024.6.27)

・2024.06.27 英国 国家サイバーセキュリティセンター 人工知能 (AI) のサイバーセキュリティに関する研究 (2024.05.15)

・2024.06.26 欧州委員会 金融セクターにおける人工知能に関する意見募集 (2024.06.18)

・2024.06.07 欧州委員会 安全で信頼できる人工知能におけるEUのリーダーシップを強化するため、AI事務局を設置 (2024.05.29)

・2024.06.05 欧州データ保護監察機関 (EDPS) 生成的AIを使用するEU組織のための最初のEDPSオリエンテーション

・2024.05.31 米国 NIST AIの社会技術試験・評価を推進する新プログラム「AIのリスクと影響の評価 (ARIA)」を開始

・2024.05.29 欧州 EDPB ChatGPTタスクフォースによる作業報告書 (2024.05.24)

・2024.05.27 中国 TC260 意見募集 国家標準 「サイバーセキュリティ技術：生成的人工知能サービスのセキュリティに関する基本要件」案 (2024.05.23)

・2024.05.23 外務省 岸田総理大臣のAIソウル・サミット首脳セッションへの参加（ビデオメッセージ）+ ＡＩソウル・サミット首脳セッション出席国による安全、革新的で包摂的なＡＩのためのソウル宣言 

・2024.05.21 英国 科学技術革新省 先進AIの安全性に関する国際科学報告書

・2024.05.03 米国 商務省 NISTがAIに関する4つのドラフトを公開し、意見募集を開始 (2023.04.29)

• NIST AI 600-1 人工知能リスクマネジメントフレームワーク： 生成的人工知能プロファイル
• NIST SP 800-218A 生成的 AI とデュアルユース基盤モデルのための安全なソフトウェア開発プラクティス： SSDFコミュニティプロファイル
• NIST AI 100-4 合成コンテンツがもたらすリスクの低減 デジタルコンテンツの透明性に関する技術的アプローチの概要
• NIST AI 100-5 AI標準に関するグローバルな関与のための計画

・2024.04.23 内閣府 AI時代の知的財産権検討会　中間とりまとめ（案）

・2024.04.20 総務省 経済産業省 AI事業者ガイドライン（第1.0版）

・2024.04.11 インド データセキュリティ協議会 セキュリティとプライバシーリスクの低減： 生成的AIのエンタープライズ利用ガイド (2024.03.21)

・2024.04.09 中国 TC260 意見募集 国家標準 「生成的AIの事前訓練・最適化訓練データのセキュリティ仕様」案

・2024.04.06 米国と英国 AIの安全性に関する提携を発表 (2024.04.01)

・2024.04.01 米国 財務省 金融サービスセクターにおける人工知能特有のサイバーセキュリティ・リスクの管理

・2024.03.31 米国 連邦政府機関の人工知能利用におけるガバナンス、イノベーション、リスク管理を推進するためのOMBの方針

・2024.03.22 国連 総会で人工知能 (AI) に関する決議を採択

・2024.02.15 経済産業省 IPAにAIセーフティ・インスティテュートを設立

・2024.02.14 英国 AI保証への導入ガイダンス (2024.02.12)

・2024.02.13 米国 AI安全研究所を設立

・2024.02.09 米国 GAO 人工知能：テクノロジーを活用し、責任ある利用を確保するためのGAOの取り組み (2024.01.30)

・2024.02.07 ASEAN AIのガバナンスと倫理のガイド + 第4回デジタル大臣会合 シンガポール宣言...

・2024.02.06 経済産業省 AIマネジメントシステムの国際規格が発行されました (2024.01.15)

・2024.02.06 米国 IT産業協議会 (ITI) AIレッドチーム、ステークホルダーの参画、標準開発に関するNISTへの提言

・2024.01.31 米国 ホワイトハウス 主要なAI行動を発表

・2024.01.28 AI使用に関する国際ガイダンス

・2024.01.05 NIST AI 100-2e2023 敵対的機械学習：攻撃と緩和策の分類と用語集

・2023.12.31 OECD.AI AIアルゴリズム監査 (2023.12.19)

・2023.12.25 ISO/IEC 42001 情報技術 人工知能 - マネジメントシステム

・2023.12.22 自由民主党 AI の安全性確保と活用促進に関する緊急提言 (2023.12.14)

・2023.11.28 米国 CISA AI導入のロードマップ (2023.11.14)

・2023.06.16 米国 MITRE AIセキュリティのための賢明な規制の枠組み

・2023.05.01 米国 国家人工知能諮問委員会1年間の活動報告書

・2023.01.27 NIST AIリスクフレームワーク

・2022.08.24 NIST 意見募集 AIリスクマネジメントフレームワーク（第２ドラフト）とそのプレイブック

・2022.03.22 NIST 意見募集 AIリスクマネジメントフレームワーク（初期ドラフト）

・2022.03.21 NIST SP1270 人工知能におけるバイアスの識別と管理の標準化に向けて

・2022.01.29 経済産業省 AI原則実践のためのガバナンス・ガイドライン ver. 1.1

・2021.07.11 経済産業省 意見募集 AI原則実践のためのガバナンス・ガイドライン Ver1.0