IPA AIセーフティ・インスティテュート AIセーフティに関する評価観点ガイド (2024.09.18)

こんにちは、丸山満彦です。

IPAの「AIセーフティ・インスティテュート」が「AIセーフティに関する評価観点ガイド」を公表していますね...

対象とするAIシステムはLLMを構成要素とするAIに限っているようですね...（名称もそうすればよいのに...）

このガイドの主な読者はAI (LLM) 開発者・AI (LLM) 提供者、特に、「開発・提供管理者」及び「事業執行責任者」を想定読者としているようですね...

評価の観点として、10のポイントをあげています...

1. 有害情報の出力制御
2. 偽誤情報の出力・誘導の防止
3. 公平性と包摂性
4. ハイリスク利用・目的外利用への対処
5. プライバシー保護
6. セキュリティ確保
7. 説明可能性
8. ロバスト性
9. データ品質
10. 検証可能性

評価実施者、評価実施時期、評価方法についての記載がありますが、基本的には従来のシステム開発と同じとなりますが、LLM特有という意味では、インプットに対する処理が従来のシステムのように事前に定義された要件を実現するようなプロセスになっているのと異なり、データを利用した学習（多次元要素の変動的な重み付け）の結果をプロセスに組み込んでいることから、人間が想定していない要件のようなものが入り込んでいることですね...

なので、学習データの品質確保と出力制御が根本的に重要で、後は説明可能性の一部として出力につながる重要なインプットデータ源を表示する機能の付与ということになるのだろうと思います。

そのためには、まずは「開発プロセスのコントロール」が大事で、それができた上で、次に「品質保証の一環としてのレッドチーミング評価」のような確認が必要となるのだろうと思います...（この順番は重要だと思います。でないと、レッドチーミング評価で不適正な結果がでても改善が困難になると思われる）

● IPA - AISI

・2024.09.18 AIセーフティに関する評価観点ガイドの公開

・[PDF] AIセーフティに関する評価観点ガイド_概要版

・[PDF] AIセーフティに関する評価観点ガイド

＜2024.10.16追記＞

2024.09.25に若干の変更

・[PDF] AIセーフティに関する評価観点ガイド (Ver.1.01)

英語版をつくっているところにやる気を感じますね...

・[PDF] Guide to Evaluation Perspectives on AI Safety_Summary

・[PDF] Guide to Evaluation Perspectives on AI Safety

＜2024.10.16追記＞

2024.09.25に若干の変更

・[PDF] Guide to Evaluation Perspectives on AI Safety (Ver1.01)

---

「AI 事業者ガイドライン」のB.原則、C.共通の指針のうちAIセーフティを向上する上で重視すべき重要要素

B. 原則	C. 共通の指針	AIセーフティを向上するうえで重視するべき重要要素
各主体が取り組む事項	1) 人間中心	●
	2) 安全性	●
	3) 公平性	●
	4) プライバシー保護	●
	5) セキュリティ確保	●
	6) 透明性	●
	7) アカウンタビリティ
社会と連携した取組が期待される事項	8) 教育・リテラシー
	9) 公正競争確保
	10) イノベーション

各主体が取り組む事項のうち、アカウンタビリティが含まれていないのは、この活動自体がアカウンタビリティーの一環ということですかね...

C. 共通の指針と10の観点の対応関係

	有害情報の出力制御	偽誤情報の出力・誘導の防止	公平性と包摂性	ハイリスク利用・目的外利用への対処	プライバシー保護	セキュリティ確保	説明可能性	ロバスト性	データ品質	検証可能性
1) 人間中心	●	●	●	●
2) 安全性	●	●		●				●	●
3) 公平性	●		●						●
4) プライバシー保護					●
5) セキュリティ確保						●
6) 透明性		●	●				●	●	●	●

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.09.19 世界経済フォーラム (WEF) データの公平性の推進： 行動指向のフレームワーク (2024.09.11)

・2024.09.08 欧州評議会 AI条約の署名開始... (2024.09.05)

・2024.09.03 米国 国土安全保障省 重要インフラの所有者および運営者向けAIの安全およびセキュリティガイドライン (2024.04.26)

・2024.08.12 ドイツ BSI AIシステムの透明性に関する白書 (2024.08.05)

・2024.08.11 オランダ AI影響アセスメント (2023.03.02)

・2024.08.06 英国 意見募集：AIのサイバーセキュリティ (2024.08.02)

・2024.08.05 欧州AI法が施行された... (2024.08.01)

・2024.07.31 米国 NIST SP 800-218A 生成的AIとデュアルユース基盤モデルのための安全なソフトウェア開発プラクティス： SSDFコミュニティプロファイル

・2024.07.27 米国 ホワイトハウス 新たなAI行動を発表し、 AIに関する追加の主要な自主的コミットメントをAppleからも受領

・2024.07.25 米国国立科学財団 AI技術の安全・安心を推進する新たなAIテストベッド構想

・2024.07.20 EU EDPB GDPRとEU-AI法関連

・2024.07.19 米国 MITRE AI保証

・2024.07.19 ドイツ BfDI フランス CNIL オランダ AP EU AI法関連

・2024.07.18 中国 国家人工知能産業の総合標準化システム構築のためのガイドライン（2024年版） (2024.07.03)

・2024.07.18 米国AI安全研究所と欧州AI事務局の技術対話 (2024.07.12)

・2024.07.16 金融における人工知能に関するOECD-FSBラウンドテーブル（2024年5月22日、パリ）におけるネリー・リャン米国国内金融担当次官兼金融安定理事会脆弱性アセスメント常設委員会議長の発言

・2024.07.07 米国 MITRE AI規制を通じてAIのセキュリティと安全性を確保する

・2024.07.06 OECD AIとデータ・ガバナンス、プライバシー (2024.06.27)

・2024.07.05 IPA 「AI利用時の脅威、リスク調査報告書」

・2024.07.05 欧州 EDPB AI監査チェックリスト (2024.6.27)

・2024.06.27 英国 国家サイバーセキュリティセンター 人工知能 (AI) のサイバーセキュリティに関する研究 (2024.05.15)

・2024.06.26 欧州委員会 金融セクターにおける人工知能に関する意見募集 (2024.06.18)

・2024.06.07 欧州委員会 安全で信頼できる人工知能におけるEUのリーダーシップを強化するため、AI事務局を設置 (2024.05.29)

・2024.06.05 欧州データ保護監察機関 (EDPS) 生成的AIを使用するEU組織のための最初のEDPSオリエンテーション

・2024.05.31 米国 NIST AIの社会技術試験・評価を推進する新プログラム「AIのリスクと影響の評価 (ARIA)」を開始

・2024.05.29 欧州 EDPB ChatGPTタスクフォースによる作業報告書 (2024.05.24)

・2024.05.27 中国 TC260 意見募集 国家標準 「サイバーセキュリティ技術：生成的人工知能サービスのセキュリティに関する基本要件」案 (2024.05.23)

・2024.05.23 外務省 岸田総理大臣のAIソウル・サミット首脳セッションへの参加（ビデオメッセージ）+ ＡＩソウル・サミット首脳セッション出席国による安全、革新的で包摂的なＡＩのためのソウル宣言 

・2024.05.21 英国 科学技術革新省 先進AIの安全性に関する国際科学報告書

・2024.05.03 米国 商務省 NISTがAIに関する4つのドラフトを公開し、意見募集を開始 (2023.04.29)

• NIST AI 600-1 人工知能リスクマネジメントフレームワーク： 生成的人工知能プロファイル
• NIST SP 800-218A 生成的 AI とデュアルユース基盤モデルのための安全なソフトウェア開発プラクティス： SSDFコミュニティプロファイル
• NIST AI 100-4 合成コンテンツがもたらすリスクの低減 デジタルコンテンツの透明性に関する技術的アプローチの概要
• NIST AI 100-5 AI標準に関するグローバルな関与のための計画

・2024.04.23 内閣府 AI時代の知的財産権検討会　中間とりまとめ（案）

・2024.04.20 総務省 経済産業省 AI事業者ガイドライン（第1.0版）

・2024.04.11 インド データセキュリティ協議会 セキュリティとプライバシーリスクの低減： 生成的AIのエンタープライズ利用ガイド (2024.03.21)

・2024.04.09 中国 TC260 意見募集 国家標準 「生成的AIの事前訓練・最適化訓練データのセキュリティ仕様」案

・2024.04.06 米国と英国 AIの安全性に関する提携を発表 (2024.04.01)

・2024.04.01 米国 財務省 金融サービスセクターにおける人工知能特有のサイバーセキュリティ・リスクの管理

・2024.03.31 米国 連邦政府機関の人工知能利用におけるガバナンス、イノベーション、リスク管理を推進するためのOMBの方針

・2024.03.22 国連 総会で人工知能 (AI) に関する決議を採択

・2024.02.15 経済産業省 IPAにAIセーフティ・インスティテュートを設立

・2024.02.14 英国 AI保証への導入ガイダンス (2024.02.12)

・2024.02.13 米国 AI安全研究所を設立

・2024.02.09 米国 GAO 人工知能：テクノロジーを活用し、責任ある利用を確保するためのGAOの取り組み (2024.01.30)

・2024.02.07 ASEAN AIのガバナンスと倫理のガイド + 第4回デジタル大臣会合 シンガポール宣言...

・2024.02.06 経済産業省 AIマネジメントシステムの国際規格が発行されました (2024.01.15)

・2024.02.06 米国 IT産業協議会 (ITI) AIレッドチーム、ステークホルダーの参画、標準開発に関するNISTへの提言

・2024.01.31 米国 ホワイトハウス 主要なAI行動を発表

・2024.01.28 AI使用に関する国際ガイダンス

・2024.01.05 NIST AI 100-2e2023 敵対的機械学習：攻撃と緩和策の分類と用語集

・2023.12.31 OECD.AI AIアルゴリズム監査 (2023.12.19)

・2023.12.25 ISO/IEC 42001 情報技術 人工知能 - マネジメントシステム

・2023.12.22 自由民主党 AI の安全性確保と活用促進に関する緊急提言 (2023.12.14)

・2023.11.28 米国 CISA AI導入のロードマップ (2023.11.14)

・2023.06.16 米国 MITRE AIセキュリティのための賢明な規制の枠組み

・2023.05.01 米国 国家人工知能諮問委員会1年間の活動報告書

・2023.01.27 NIST AIリスクフレームワーク

・2022.08.24 NIST 意見募集 AIリスクマネジメントフレームワーク（第２ドラフト）とそのプレイブック

・2022.03.22 NIST 意見募集 AIリスクマネジメントフレームワーク（初期ドラフト）

・2022.03.21 NIST SP1270 人工知能におけるバイアスの識別と管理の標準化に向けて

・2022.01.29 経済産業省 AI原則実践のためのガバナンス・ガイドライン ver. 1.1

・2021.07.11 経済産業省 意見募集 AI原則実践のためのガバナンス・ガイドライン Ver1.0