ドイツ BSI 生成的AIモデルV2.0 (2025.01.21)

こんにちは、丸山満彦です。

ドイツの連邦情報セキュリティ局が作成している、生成的AIモデルが、整理の仕方の点でよくできているように思います。

継続的に改訂されていくとのことですので、今後も期待できますね...

ちなみに、日本も経済産業省の「AI事業者ガイドライン検討会」で検討がされていますね...

● Bundesamt für Sicherheit in der Informationstechnik; BSI

・2025.01.21 Generative AI Models: Opportunities and Risks for Industry and Authorities

Generative AI Models: Opportunities and Risks for Industry and Authorities	生成的AIモデル： 産業界と規制当局にとってのチャンスとリスク
Generative AI models represent a subset of general-purpose AI models. They are trained on large datasets and learn patterns from the existing data. Subsequently, they can generate new content such as texts, images, music, and videos that also follow these patterns. Due to their high level of generalisation, such models can be applied in a variety of use cases that traditionally require creativity and human understanding. These include applications like translating or classifying texts, processing large datasets, or creating and improving visual representations.	生成的AIモデルは、汎用AIモデルのサブセットである。大規模なデータセットで学習され、既存のデータからパターンを学習する。その後、これらのパターンに従ったテキスト、画像、音楽、動画などの新しいコンテンツを生成することができる。その高い汎化能力により、このようなモデルは、従来は創造性や人間の理解を必要としていた様々なユースケースに適用することができる。これには、テキストの翻訳や分類、大規模なデータセットの処理、視覚的表現の作成や改善などのアプリケーションが含まれる。
However, alongside the opportunities, the use of generative AI models also introduces novel IT security risks and can amplify known cybersecurity threats. In its current version, the publication "Generative AI Models: Opportunities and Risks for Industry and Authorities" provides an overview. In addition to large language models (LLMs), it also considers image and video generators. Furthermore, it outlines possible countermeasures to address these risks. The publication is aimed at companies and public authorities considering the integration of generative AI models into their workflows. It is designed to raise basic security awareness about these models and promote their safe use; it can also serve as a foundation for systematic risk analysis. With the intended exploration of further subfields in generative AI (e.g. audio generators), the publication is continuously updated.	しかし、生成的AIモデルの使用は、このようなチャンスと同時に、新たなITセキュリティリスクをもたらし、既知のサイバーセキュリティの脅威を増幅させる可能性もある。現行版では、「生成的AIモデル： 産業界と規制当局にとってのチャンスとリスク」では、その概要を説明している。大規模言語モデルLLM）に加え、画像や映像の生成モデルについても考察している。さらに、これらのリスクに対処するための可能な対策についても概説している。本書は、生成的AIモデルのワークフローへの統合を検討している企業や公的機関を対象としている。また、体系的なリスク分析の基礎としても役立つ。生成的AI（例えば音声ジェネレーター）のさらなるサブフィールドの探求を意図して、本書は継続的に更新される。

・[PDF] 

・[DOCX][PDF] 仮訳

4 生成的AIモデルのリスク	テキスト	イメージ	ビデオ
4.1 適切な使用
R1 モデルの開発者／運営者への依存	X	X	X
R2 入力データの機密性の欠如	X	X	X
R3 入力に対する反応が正しくない	X	X	X
R4 出力品質の欠如	X	X	X
R5 問題のある、バイアスのかかった出力	X	X	X
R6 生成的コードとコード類似テキストの安全性の欠如	X
R7 再現性と説明可能性の欠如	X	X	X
R8 オートメーションバイアス	X	X	X
R9 自己強化効果とモデルの崩壊	X	X	X
4.2 誤用
R10 偽造・捏造コンテンツの生成的	X	X	X
R11 （メディアの）アイデンティティを偽る	X	X	X
R12 犯罪活動における知識収集と処理	X	X
R13 匿名化されたデータから個人を再特定する	X	X	X
R14 マルウェアの生成と改善	X
R15 マルウェアの配置	X
R16 RCE攻撃	X
4.3 攻撃
4.3.1 ポイズニング攻撃
R17 トレーニング・データ・ポイズニング	X	X	X
R18 知識中毒	X	X	X
R19 モデル・ポイズニング	X	X	X
R20 評価モデル・ポイズニング	X	X	X
R21 前処理コンポーネントを介した毒物混入	X	X	X
4.3.2 プライバシー攻撃
R22 学習データの再構築	X	X	X
R23 反転を埋め込む	X	X	X
R24 モデル窃盗	X	X	X
R25 コミュニケーションデータおよび保存情報の抽出	X	X	X
4.3.3 回避攻撃
R26 プロンプトを直接操作する	X	X	X
R27 自動コンテンツ処理の摂動	X
R28 間接的プロンプト・インジェクション	X

5 生成的AIモデルの文脈における対策	運用者	開発者	利用者	テキスト	イメージ	ビデオ
M1 モデルと運用者の選択	O		U	X	X	X
M2 説明可能性の確保	O	D		X	X	X
M3 AI生成的コンテンツの検知	O	D		X	X	X
M4 トレーニングおよび評価データの管理		D		X	X	X
M5 トレーニングデータとモデルの完全性の確保		D		X	X	X
M6 トレーニングデータの品質の確保		D		X	X	X
M7 機密トレーニングデータの防御		D	U	X	X	X
M8 人間のフィードバックからの強化学習		D	U	X	X	X
M9 堅牢性を高める	O	D		X	X	X
M10 モデル盗難防御		D		X	X	X
M11 総合テストの実施	O	D	U	X	X	X
M12 入力の妥当性確認、サニタイズ、フォーマット	O	D		X	X	X
M13 アウトプットの妥当性確認とサニタイズ	O	D		X	X	X
M14 検索拡張生成	O	D		X	X	X
M15 モデルへのアクセスを制限する	O			X	X	X
M16 利用リスクについての意識向上と情報提供	O	D	U	X	X	X
M17 LLMベースのアプリケーションの権利を制限する	O		U	X
M18 機密データの慎重な取り扱い	O		U	X	X	X
M19 ロギングとモニタリング	O		U	X
M20 アウトプットの監査と後処理			U	X	X	X