CSA ChatGPTのセキュリティへの影響 (2023.08.02) 日本語版へのリンクを追加

こんにちは、丸山満彦です。

CSAがChatGPTによるセキュリティへの影響を公表しています。。。

AIとセキュリティの整理のパターンである。

1. AIの利用
   1. AIを利用した攻撃
   2. AIを利用した防御
2. AIに対する攻撃

の３つに分けていますね。。。

AI一般とサイバーとの関係ですが、私が2020年にサイバー犯罪に関する白浜シンポジウムで説明した[PDF] スマートサイバーと同じ整理ですね。。。

機械学習一般については、

• 回帰
• 分類
• クラスタリング
• 相関ルールの学習
• 生成モデル

などがありますね。。。

ChatGPTのセキュリティについては、このうちの生成モデルで、生成するものは文章（文字列）ということになりますね。。。

攻撃：リスクについての評価...

3. How malicious actors can use it to improve their toolset	3.悪意ある行為者がツールセットを改善するためにそれをどのように利用できるか。	リスク	影響	可能性
3.1 Enumeration	3.1 列挙	中	低	高
3.2 Foothold assistance	3.2 足場固め支援	中	中	中
3.3 Reconnaissance	3.3 偵察	低	低	低
3.4 Phishing	3.4 フィッシング	中	低	高
3.5 “Polymorphic” code	3.5 "ポリモーフィック"コード	高	高	中
3.6 Social Engineering	3.6 ソーシャル・エンジニアリング

防御：対策の効果

4. How can defenders use it within cybersecurity programs	4.守備側はサイバーセキュリティ・プログラムの中でどのように活用できるか。	対策の有効性
4.1 Filter out Security Vulnerabilities (GitHub Copilot)	4.1 セキュリティ脆弱性のフィルタリング (GitHub Copilot)
4.2 Generate Security Code  (ChatGPT - Codex)	4.2 セキュリティコードの生成 (ChatGPT - Codex)
4.3 Transfer Security Code (ChatGPT - Codex)	4.3 セキュリティコードの転換(ChatGPT - Codex)
4.4 Vulnerability Scanner (ChatGPT - Codex)	4.4 脆弱性スキャナ (ChatGPT - Codex)
4.5 Detect generative AI text	4.5 AI生成を検出するテキスト
4.6 Find the solution to Cyber Security problems	4.6 サイバーセキュリティ問題の解決策を探す
4.7 Integration with SIEM/SOAR	4.7 SIEM/SOARとの連携
4.8 Convert Technical code/files into English	4.8 技術コード/ファイルを英語に変換する
4.9 Explaining security patches and ChangeLogs	4.9 セキュリティパッチの説明とChangeLog	中
4.10 Creation of scripts and conversion of programming languages	4.10 スクリプトの作成、プログラミングの変換言語	低
4.11 Read and explain scripts and configuration files	4.11 スクリプトやコンフィギュレーションファイルを読んで説明する	中
4.12 ChatGPT for fuzzing and testing code	4.12 ファジングとテストのためのChatGPT	中
4.13 Creating queries, such as YARA or KQL	4.13 YARAやKQLなどのクエリを作成する	中
4.14 Identity and Access Management or Administration	4.14 アイデンティティとアクセス管理、アドミニストレーション

さて、CSAの資料はこちら...

⚫︎Cloud Security Alliance

・2023.08.02 Security Implications of ChatGPT

<2023.08.22 追記>

日本語版の正式なものが公表されたので...

日本語版

・2023.08.18 [PDF] ChatGPTのセキュリティへの影響

目次...

1. Introduction	1 はじめに
2. What is ChatGPT	2 ChatGPTとは
2.1 Machine Learning Models	2.1 マシンラーニングモデル
2.2 Limitations of ChatGPT	2.2 ChatGPTの制限事項
2.3 Terms of Use for ChatGPT	2.3 ChatGPTの利用規約
	2.4 ベンチマーク
2.4 Past examples of tools changing the security world	2.5 セキュリティの世界を変えたツールの過去の例
3. How malicious actors can use it to improve their toolset	3. 悪意あるアクターがChatGPTを利用してどのようにツールセットを改善するか
3.1 Enumeration	3.1 エニュメレーション
3.2 Foothold assistance	3.2 攻撃の足がかり支援
3.3 Reconnaissance	3.3 偵察
3.4 Phishing	3.4 フィッシング
3.5 “Polymorphic” code	3.5 "ポリモーフィック"コード
3.6 Social Engineering	3.6 ソーシャル・エンジニアリング
4. How can defenders use it within cybersecurity programs	4. サイバーセキュリティプログラムの中で防衛側はどのように活用できるか。
4.1 Filter out Security Vulnerabilities (GitHub Copilot)	4.1 セキュリティ脆弱性のフィルタリング (GitHub Copilot)
4.2 Generate Security Code  (ChatGPT - Codex)	4.2 セキュリティコードの生成 (ChatGPT - Codex)
4.3 Transfer Security Code (ChatGPT - Codex)	4.3 セキュリティコードの変換(ChatGPT - Codex)
4.4 Vulnerability Scanner (ChatGPT - Codex)	4.4 脆弱性スキャナー (ChatGPT - Codex)
4.5 Detect generative AI text	4.5 AI生成を検出するテキスト
4.6 Find the solution to Cyber Security problems	4.6 サイバーセキュリティ問題の解決策を探す
4.7 Integration with SIEM/SOAR	4.7 SIEM/SOARとの連携
4.8 Convert Technical code/files into English	4.8 技術コード/ファイルを英語に変換する
4.9 Explaining security patches and ChangeLogs	4.9 セキュリティパッチの説明とChangeLog
4.10 Creation of scripts and conversion of programming languages	4.10 スクリプトの作成とプログラミングの変換言語
4.11 Read and explain scripts and configuration files	4.11 スクリプトやコンフィギュレーションファイルを読んで説明する
4.12 ChatGPT for fuzzing and testing code	4.12 ファジングとテストのためのChatGPT
4.13 Creating queries, such as YARA or KQL	4.13 YARAやKQLなどのクエリを作成する
4.14 Identity and Access Management or Administration	4.14 アイデンティティとアクセス管理、アドミニストレーション
5. Attacking ChatGPT by Malicious Prompts	5. 悪意のあるプロンプトによるChatGPTへの攻撃
5.1 Illustrated Points of Attack	5.1 攻撃のポイントの図解
5.2 Establishing a connection between the user and ChatGPT	5.2 ユーザーとChatGPT間の接続の確立
5.3 Selecting an existing conversation or starting a new one	5.3 新しい会話の開始または既存の会話の選択
5.4 User input	5.4 ユーザー入力
6. How to enable business to use ChatGPT securely	6.ChatGPTを安全にビジネス利用できるようにする方法
6.1 ChatGPT	6.1 ChatGPT
6.2 New Bing	6.2 New Bing
6.3 Azure OpenAI Service	6.3 Azure OpenAI Service
7. Limitations and quirks of generative AI technology	7.生成AI技術の限界とクセ
8. Future attacks and concerns	8. 将来の攻撃と懸念
9. Conclusion	9. 結論
10. References	10. 参考文献
11. Appendix - formats	11. 付録 - フォーマット
11.1 Risk Table	11.1 リスク表
11.2 Heat Map	11.2 ヒートマップ

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.10.25 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 サイバー犯罪に関する白浜シンポジウムの発表資料

・[PDF] スマートサイバー　AI活用時代のサイバーリスク管理（配布用）