CSA ChatGPTのセキュリティへの影響 (2023.08.02) 日本語版へのリンクを追加
こんにちは、丸山満彦です。
CSAがChatGPTによるセキュリティへの影響を公表しています。。。
AIとセキュリティの整理のパターンである。
- AIの利用
- AIを利用した攻撃
- AIを利用した防御
- AIに対する攻撃
の3つに分けていますね。。。
AI一般とサイバーとの関係ですが、私が2020年にサイバー犯罪に関する白浜シンポジウムで説明した[PDF] スマートサイバーと同じ整理ですね。。。
機械学習一般については、
- 回帰
- 分類
- クラスタリング
- 相関ルールの学習
- 生成モデル
などがありますね。。。
ChatGPTのセキュリティについては、このうちの生成モデルで、生成するものは文章(文字列)ということになりますね。。。
攻撃:リスクについての評価...
3. How malicious actors can use it to improve their toolset | 3.悪意ある行為者がツールセットを改善するためにそれをどのように利用できるか。 | リスク | 影響 | 可能性 |
3.1 Enumeration | 3.1 列挙 | 中 | 低 | 高 |
3.2 Foothold assistance | 3.2 足場固め支援 | 中 | 中 | 中 |
3.3 Reconnaissance | 3.3 偵察 | 低 | 低 | 低 |
3.4 Phishing | 3.4 フィッシング | 中 | 低 | 高 |
3.5 “Polymorphic” code | 3.5 "ポリモーフィック"コード | 高 | 高 | 中 |
3.6 Social Engineering | 3.6 ソーシャル・エンジニアリング |
防御:対策の効果
4. How can defenders use it within cybersecurity programs | 4.守備側はサイバーセキュリティ・プログラムの中でどのように活用できるか。 | 対策の有効性 |
4.1 Filter out Security Vulnerabilities (GitHub Copilot) | 4.1 セキュリティ脆弱性のフィルタリング (GitHub Copilot) | |
4.2 Generate Security Code (ChatGPT - Codex) | 4.2 セキュリティコードの生成 (ChatGPT - Codex) | |
4.3 Transfer Security Code (ChatGPT - Codex) | 4.3 セキュリティコードの転換(ChatGPT - Codex) | |
4.4 Vulnerability Scanner (ChatGPT - Codex) | 4.4 脆弱性スキャナ (ChatGPT - Codex) | |
4.5 Detect generative AI text | 4.5 AI生成を検出するテキスト | |
4.6 Find the solution to Cyber Security problems | 4.6 サイバーセキュリティ問題の解決策を探す | |
4.7 Integration with SIEM/SOAR | 4.7 SIEM/SOARとの連携 | |
4.8 Convert Technical code/files into English | 4.8 技術コード/ファイルを英語に変換する | |
4.9 Explaining security patches and ChangeLogs | 4.9 セキュリティパッチの説明とChangeLog | 中 |
4.10 Creation of scripts and conversion of programming languages | 4.10 スクリプトの作成、プログラミングの変換言語 | 低 |
4.11 Read and explain scripts and configuration files | 4.11 スクリプトやコンフィギュレーションファイルを読んで説明する | 中 |
4.12 ChatGPT for fuzzing and testing code | 4.12 ファジングとテストのためのChatGPT | 中 |
4.13 Creating queries, such as YARA or KQL | 4.13 YARAやKQLなどのクエリを作成する | 中 |
4.14 Identity and Access Management or Administration | 4.14 アイデンティティとアクセス管理、アドミニストレーション |
さて、CSAの資料はこちら...
・2023.08.02 Security Implications of ChatGPT
<2023.08.22 追記>
日本語版の正式なものが公表されたので...
日本語版
・2023.08.18 [PDF] ChatGPTのセキュリティへの影響
目次...
1. Introduction | 1 はじめに |
2. What is ChatGPT | 2 ChatGPTとは |
2.1 Machine Learning Models | 2.1 マシンラーニングモデル |
2.2 Limitations of ChatGPT | 2.2 ChatGPTの制限事項 |
2.3 Terms of Use for ChatGPT | 2.3 ChatGPTの利用規約 |
2.4 ベンチマーク | |
2.4 Past examples of tools changing the security world | 2.5 セキュリティの世界を変えたツールの過去の例 |
3. How malicious actors can use it to improve their toolset | 3. 悪意あるアクターがChatGPTを利用してどのようにツールセットを改善するか |
3.1 Enumeration | 3.1 エニュメレーション |
3.2 Foothold assistance | 3.2 攻撃の足がかり支援 |
3.3 Reconnaissance | 3.3 偵察 |
3.4 Phishing | 3.4 フィッシング |
3.5 “Polymorphic” code | 3.5 "ポリモーフィック"コード |
3.6 Social Engineering | 3.6 ソーシャル・エンジニアリング |
4. How can defenders use it within cybersecurity programs | 4. サイバーセキュリティプログラムの中で防衛側はどのように活用できるか。 |
4.1 Filter out Security Vulnerabilities (GitHub Copilot) | 4.1 セキュリティ脆弱性のフィルタリング (GitHub Copilot) |
4.2 Generate Security Code (ChatGPT - Codex) | 4.2 セキュリティコードの生成 (ChatGPT - Codex) |
4.3 Transfer Security Code (ChatGPT - Codex) | 4.3 セキュリティコードの変換(ChatGPT - Codex) |
4.4 Vulnerability Scanner (ChatGPT - Codex) | 4.4 脆弱性スキャナー (ChatGPT - Codex) |
4.5 Detect generative AI text | 4.5 AI生成を検出するテキスト |
4.6 Find the solution to Cyber Security problems | 4.6 サイバーセキュリティ問題の解決策を探す |
4.7 Integration with SIEM/SOAR | 4.7 SIEM/SOARとの連携 |
4.8 Convert Technical code/files into English | 4.8 技術コード/ファイルを英語に変換する |
4.9 Explaining security patches and ChangeLogs | 4.9 セキュリティパッチの説明とChangeLog |
4.10 Creation of scripts and conversion of programming languages | 4.10 スクリプトの作成とプログラミングの変換言語 |
4.11 Read and explain scripts and configuration files | 4.11 スクリプトやコンフィギュレーションファイルを読んで説明する |
4.12 ChatGPT for fuzzing and testing code | 4.12 ファジングとテストのためのChatGPT |
4.13 Creating queries, such as YARA or KQL | 4.13 YARAやKQLなどのクエリを作成する |
4.14 Identity and Access Management or Administration | 4.14 アイデンティティとアクセス管理、アドミニストレーション |
5. Attacking ChatGPT by Malicious Prompts | 5. 悪意のあるプロンプトによるChatGPTへの攻撃 |
5.1 Illustrated Points of Attack | 5.1 攻撃のポイントの図解 |
5.2 Establishing a connection between the user and ChatGPT | 5.2 ユーザーとChatGPT間の接続の確立 |
5.3 Selecting an existing conversation or starting a new one | 5.3 新しい会話の開始または既存の会話の選択 |
5.4 User input | 5.4 ユーザー入力 |
6. How to enable business to use ChatGPT securely | 6.ChatGPTを安全にビジネス利用できるようにする方法 |
6.1 ChatGPT | 6.1 ChatGPT |
6.2 New Bing | 6.2 New Bing |
6.3 Azure OpenAI Service | 6.3 Azure OpenAI Service |
7. Limitations and quirks of generative AI technology | 7.生成AI技術の限界とクセ |
8. Future attacks and concerns | 8. 将来の攻撃と懸念 |
9. Conclusion | 9. 結論 |
10. References | 10. 参考文献 |
11. Appendix - formats | 11. 付録 - フォーマット |
11.1 Risk Table | 11.1 リスク表 |
11.2 Heat Map | 11.2 ヒートマップ |
● まるちゃんの情報セキュリティ気まぐれ日記
・2020.10.25 『スマートサイバー AI活用時代のサイバーリスク管理』第24回 サイバー犯罪に関する白浜シンポジウムの発表資料
・[PDF] スマートサイバー AI活用時代のサイバーリスク管理(配布用)
« NPO日本システム監査人協会 システム監査・管理ガイドライン (2023.08.10) | Main | 米国 国立科学財団 量子科学と量子工学の研究機関に総額3800万ドル(55億円超)の支援 »
Comments