カナダ サイバーセキュリティセンター 生成的人工知能（AI） - ITSAP.00.041

こんにちは、丸山満彦です。

カナダのサイバーセキュリティセンター(CCCS) が生成的AIについてのセキュリティガイダンスを公表していますね。。。いろいろと参考になると思います。。。

● Canada.ca - Canadian Centre for Cyber Security - Cyber security guidance

・2023.07.14 Generative artificial intelligence (AI) - ITSAP.00.041

・[PDF] 

Generative artificial intelligence (AI) - ITSAP.00.041	生成的人工知能（AI） - ITSAP.00.041
Awareness series	意識シリーズ
Many organizations use artificial intelligence  (AI) for process optimization, data analysis, patient diagnosis and treatment, and customization of their user experience.	多くの組織が、プロセスの最適化、データ分析、患者の診断と治療、ユーザー体験のカスタマイズのために人工知能（AI）を使用している。
Generative AI is a type of artificial intelligence that generates new content by modelling features of data from large datasets that were fed into the model. While traditional AI systems can recognize patterns or classify existing content, generative AI can create new content in many forms, including text, image, audio, or software code.	生成的AIは、モデルに投入された大規模なデータセットからデータの特徴をモデル化することで、新しいコンテンツを生成する人工知能の一種である。従来のAIシステムは、既存のコンテンツをパターン認識したり分類したりすることができるが、生成的AIは、テキスト、画像、音声、ソフトウェアコードなど、さまざまな形で新しいコンテンツを作成することができる。
One class of generative AIs that have seen significant improvement in recent years are large language models (LLMs). To create content the LLM is provided with a set of parameters via a query or prompt. When generative AI tools interact with users in a conversational mode via prompts, it’s easier for the user to generate content. Since late 2022, several LLMs (OpenAI’s ChatGPT and Google’s LaMDA) and services using LLMs (Google’s Bard and Microsoft’s Bing) have gained the world’s attention. As the interest in generative AI increases, its possible uses are being explored by many. This publication provides some information on the potential risks and mitigation measures associated with generative AI.	近年著しい改善が見られる生成的AIの1つのクラスは、大規模言語モデル（LLM）である。コンテンツを作成するために、LLMはクエリやプロンプトを介してパラメータのセットをプロバイダに提供される。生成的AIツールがプロンプトを介して会話モードでユーザーと対話すると、ユーザーはコンテンツを生成しやすくなる。2022年後半から、いくつかのLLM（OpenAIのChatGPTやグーグルのLaMDA）やLLMを使ったサービス（グーグルのBardやマイクロソフトのBing）が世界の注目を集めている。生成的AIへの関心が高まるにつれ、その利用可能性が多くの人々によって模索されている。本書では、生成的AIに関連する潜在的リスクと低減策に関する情報を提供する。
How is generative AI being used?	生成的AIはどのように利用されているのか？
Generative AI is both a transformative and disruptive technology that may significantly alter the way consumers, industries, or businesses operate. It has the potential to enable creativity and innovation that could improve services and business operations. Some of the useful applications of generative AI are in the following areas:	生成的AIは、消費者、産業、ビジネスのあり方を大きく変える可能性のある、変革的かつ破壊的なテクノロジーである。サービスや事業運営を改善する創造性とイノベーションを可能にする可能性を秘めている。生成的AIの有用な応用例としては、以下のような分野がある：
Healthcare: Assists healthcare providers to make faster diagnoses. AI holds the promise to make personalized treatment plans commonplace. It can be leveraged to enable therapeutic targets and novel drug candidates.	ヘルスケア： ヘルスケア：医療プロバイダがより迅速な診断を行えるよう支援する。AIはパーソナライズされた治療計画を一般的なものにする可能性を秘めている。治療ターゲットや新薬候補を可能にするために活用できる。
Software development: Enables software developers to generate code, assists in debugging, or offer code snippets. This can potentially help speed up the development and release of software products.	ソフトウェア開発： ソフトウェア開発者がコードを生成したり、デバッグを支援したり、コード・スニペットを提供したりできるようにする。これにより、ソフトウェア製品の開発とリリースをスピードアップできる可能性がある。
Online marketplace: Generates human-like responses in a chatbot and conversational agents which can help organizations improve customer service and reduce support costs.	オンラインマーケットプレイス： チャットボットや会話エージェントで人間のような応答を生成し、顧客サービスの改善やサポートコストの削減に貢献する。
Business: Creates personalized customer communications for existing and prospective clients as well as generates predictive sales modelling to forecast customer behaviour.	ビジネス： 既存顧客や見込み顧客向けにパーソナライズされたカスタマーコミュニケーションを作成するだけでなく、顧客行動を予測するための予測販売モデリングを生成する。
Publishing and media: Enables content creators to produce unique outputs for use in marketing campaigns, advertising, television, and video productions. On demand content can be generated quickly and with fewer resources, leading to significant cost reduction.	出版・メディア コンテンツ作成者は、マーケティング・キャンペーン、広告、テレビ、ビデオ制作で使用するユニークなアウトプットを作成できる。オンデマンド・コンテンツは、少ないリソースで迅速に生成できるため、大幅なコスト削減につながる。
Education: Allows educators to create personalized learning plans for students tailored to their individual performance, needs, and interests. This could help teachers better support their students.	教育： 教育者は、個々の生徒の成績、ニーズ、興味に合わせて、パーソナライズされた学習計画を作成することができる。これにより、教師は生徒をよりよくサポートできるようになる。
Cyber security: Facilitates enhancement of cyber defence tools against ransomware  and other attacks. Assists cyber security  practitioners to more easily scan large datasets to identify potential threats and minimize false positives by filtering out non-malicious activities.	サイバーセキュリティ： ランサムウェアやその他の攻撃に対するサイバー防御ツールの強化を促進する。サイバーセキュリティの専門家が、潜在的脅威を特定するために大規模なデータセットをより簡単にスキャンし、悪意のない活動をフィルタリングすることで誤検知を最小限に抑えることを支援する。
Check out our publication on Artificial intelligence - ITSAP.00.040	人工知能に関する我々の出版物（ITSAP.00.040）
What are the risks of generative AI?	生成的AIのリスクとは？
While the capabilities of generative AI technology present great opportunities, they also bring many concerns. Generative AI can enable threat actors to develop malicious exploits and potentially conduct more effective cyber attacks. A huge concern is that it can provide threat actors with great powers to influence. For example, deliberate manipulation of the underlying code and the tools using it, can introduce supply chain risks from insider threat at the design level to the distribution and patching of software. Here are some of the potential risks to be aware of:	生成的AI技術の能力は大きな機会をもたらす一方で、多くの懸念ももたらす。生成的AIは、脅威行為者が悪意のあるエクスプロイトを開発することを可能にし、より効果的なサイバー攻撃を行う可能性がある。大きな懸念は、脅威行為者に大きな影響力を与える可能性があることだ。例えば、基礎となるコードやそれを使用するツールを意図的に操作することで、設計レベルでの内部脅威からソフトウェアの配布やパッチ適用に至るまで、サプライチェーンのリスクをもたらす可能性がある。以下は、注意すべき潜在的リスクの一部である：
Misinformation and disinformation: Content may not clearly be identified as being AI generated, and could potentially lead to confusion (misinformation) or deception (disinformation). Threat actors can use this in scams or fraudulent campaigns against individuals and organizations.	誤情報と偽情報： 誤報と偽情報：コンテンツが生成的AIであることを明確に識別できず、混乱（誤情報）や欺瞞（偽情報）につながる可能性がある。脅威行為者はこれを個人や組織に対する詐欺や詐欺キャンペーンに利用することができる。
Phishing: Threat actors can craft targeted spear phishing attacks more frequently, automatically, and with a higher-level of sophistication. Highly realistic phishing emails or scam messages could lead to identify theft, financial fraud, or other forms of cybercrime.	フィッシング: 脅威行為者は、標的を絞ったスピアフィッシング攻撃を、より頻繁に、自動的に、より高度に作り上げることができる。極めて現実的なフィッシングメールや詐欺メッセージは、識別情報の窃取、金銭詐欺、その他の形態のサイバー犯罪につながる可能性がある。
Privacy of data: Users may unknowingly provide sensitive corporate data or personally identifiable information (PII) in their queries and prompts. Threat actors could harvest this sensitive information to impersonate individuals or spread false information.	データのプライバシー： ユーザーは、クエリやプロンプトの中で、企業の機密データや個人を特定できる情報（PII）を無意識のうちに提供する可能性がある。脅威行為者は、個人になりすましたり、偽の情報を広めたりするために、この機密情報を利用する可能性がある。
Malicious code: Technically skilled threat actors can overcome restrictions within the generative AI tools to create malware for use in a targeted cyber attack. Those with little or no coding experience can use generative AI to easily write functional malware that could cause a nuisance to a business or organization.	悪意のあるコード： 技術的に熟練した脅威行為者は、生成的AIツールの制限を乗り越えて、標的型サイバー攻撃に使用するマルウェアを作成することができる。コーディングの経験がほとんどない、あるいは全くない者でも、生成的AIを使えば、企業や組織に迷惑をかけるような機能的なマルウェアを簡単に書き込むことができる。
Buggy code: Software developers may deliberately or inadvertently introduce unsecured and buggy code to the development pipeline. This could happen if they omit or improperly implement error handling and security checks.	バグだらけのコード： ソフトウェア開発者は、意図的に、あるいは不注意に、安全でないバグだらけのコードを開発パイプラインに導入する可能性がある。これは、エラー処理やセキュリティチェックを省略したり、不適切に実装したりした場合に起こりうる。
Poisoned datasets: Threat actors can inject malicious code into the dataset used to train the generative AI system. This could undermine the accuracy and quality of the generated data. It could also increase the potential for large-scale supply-chain attacks.	汚染されたデータセット： 脅威行為者は、生成的AIシステムの学習に使用するデータセットに悪意のあるコードを注入することができる。これによって、生成されるデータの精度と品質が損なわれる可能性がある。また、大規模なサプライチェーン攻撃の可能性も高まる。
Biased content: A majority of the training dataset fed into the LLMs come from the open Internet. As such, generated content has a fundamental bias in that only limited amounts of the world’s total data are online and available for AI to use. Also, generated content may be prejudiced if the training dataset lacks balanced representation of data points.	バイアスのかかったコンテンツ： LLMに供給されるトレーニングデータセットの大半は、オープンなインターネットから提供される。そのため、生成されたコンテンツには、世界の全データのうち限られた量しかオンライン上に存在せず、AIが利用できないという基本的なバイアスがある。また、生成されたコンテンツは、トレーニングデータセットがデータポイントのバランスの取れた表現を欠いている場合、偏見を持つ可能性がある。
Loss of intellectual property (IP): Generative AI tools may enable sophisticated threat actors to more easily steal corporate data faster and in bulk. Loss of IP (e.g. proprietary business information, copyrighted data, software code or drug trial data) can devastate your organization's reputation, revenue, and future growth.	知的財産（IP）の損失： 生成的AIツールは、洗練された脅威行為者がより簡単に、より速く、大量に企業データを盗むことを可能にするかもしれない。知的財産（例えば、独自のビジネス情報、著作権で保護されたデータ、ソフトウェアコード、治験データ）の損失は、組織の評判、収益、将来の成長に壊滅的な打撃を与える可能性がある。
Be aware	注意すること
Generative AI is a technology that is in the realm of machine learning rather than true “intelligence”. It doesn’t actually understand concepts but produces content that is statistically the best response to a prompt or query.	生成的AIは、真の「インテリジェンス」ではなく、機械学習の領域にあるテクノロジーである。実際に概念を理解するわけではなく、プロンプトやクエリに対して統計的に最適な応答をするコンテンツを生成する。
Always keep in mind that its outputs can be:	そのアウトプットは間違っている可能性があることを常に念頭に置いておこう：
・wrong	・間違っている
・llogical	・非論理的
・unaware	・気付かない
・biased	・バイアス
How to mitigate the risks?	リスクを低減するには？
Generative AI is another tool that threat actors can leverage to launch their cyber attacks. As this technology becomes more widely used and exploited, there will likely be increases in sophisticated cyber attacks including phishing  and social engineering , misinformation/disinformation, and identity theft. While it may be difficult to identify (or positively attribute) cyber attacks that leverage generative AI, organizations and individuals can prepare for the increased challenges that these attacks may bring.	生成的AIは、脅威行為者がサイバー攻撃を仕掛けるために活用できるもう一つのツールである。この技術がより広く利用され、悪用されるようになると、フィッシングやソーシャルエンジニアリング、誤情報／偽情報、なりすましなど、巧妙なサイバー攻撃が増加する可能性が高い。生成的AIを活用したサイバー攻撃を特定する（または肯定的に帰属させる）ことは難しいかもしれないが、組織や個人は、こうした攻撃がもたらす可能性のある課題の増加に備えることができる。
Organizations can take the following actions to minimize their risks of compromise  to cyber attacks:	組織は、サイバー攻撃に対する侵害リスクを最小化するために、以下の行動を取ることができる：
Implement strong authentication mechanisms — Secure accounts and devices on your networks with multi-factor authentication (MFA) to prevent unauthorized access to your high-value resources and sensitive data. For more information,  see Secure your accounts and devices with multi-factor authentication (ITSAP.30.030) and Steps for effectively deploying multi-factor authentication (ITSAP.00.105).	強力な認証メカニズムを導入する - ネットワーク上のアカウントやデバイスを多要素認証（MFA）でセキュリティ保護し、価値の高いリソースや機密データへの不正アクセスを防止する。詳細については、「多要素認証でアカウントとデバイスを保護する」（ITSAP.30.030）および「多要素認証を効果的に導入するための手順」（ITSAP.00.105）を参照のこと。
Apply security patches and updates — Enable automatic updates of IT equipment and patch known exploited vulnerabilities as soon as possible. This will help to prevent AI generated malware from infecting the network.	セキュリティ・パッチとアップデートの適用 - IT機器の自動アップデートを有効にし、既知の脆弱性を悪用したパッチをできるだけ早く適用する。これにより、生成的AIマルウェアがネットワークに感染するのを防ぐことができる。
Stay informed — Keep up to date on the latest threats and vulnerabilities associated with generative AI and take proactive steps to address them.	情報収集を怠らない - 生成的AIに関連する最新の脅威や脆弱性を常に把握し、積極的な対策を講じる。
Protect your network — Use network detection tools to monitor and scan the network for abnormal activities. This enables you to quickly identify incidents and threats in order to deploy appropriate mitigation measures. Additionally, explore how AI might be deployed defensively in network protection tools and consider any ramifications. For more information, see Network Security Logging and Monitoring (ITSAP.00.085) and Top10 IT security action items - No. 5 Segment and separate information (ITSM.10.092).	ネットワークの防御 - ネットワーク検知ツールを使用して、異常なアクティビティがないかネットワークを監視・スキャンする。これにより、インシデントや脅威を迅速に特定し、適切な軽減策を展開することができる。さらに、ネットワーク保護ツールにAIをどのように防御的に導入するかを検討し、その影響を検討する。詳細については、「ネットワーク・セキュリティ・ログと監視」（ITSAP.00.085）および「IT セキュリティ・アクション・アイテム Top10 - No.5 セグメントと個別情報」（ITSM.10.092）を参照されたい。
Train your employees — Educate all users on how to identify the warning signs of social engineering attacks and who to contact to manage these situations securely. This should include an easy way for users to report phishing attacks or suspicious communications.	従業員への教育 - ソーシャル・エンジニアリング攻撃の兆候を識別する方法と、こうした状況を安全に管理するための連絡先について、すべてのユーザを教育する。これには、ユーザーがフィッシング攻撃や疑わしいコミュニケーションを報告する簡単な方法を含めるべきである。
Individuals can take the following actions to protect their personal data from phishing attacks:	フィッシング攻撃から個人データを守るために、個人は以下の行動を取ることができる：
Verify content — As more data becomes available, it may not be easy to tell who is responsible for the content or how much of it is logical or factual. It's important to read and look for indication that the content was produced by a generative AI tool. Review the generated content and take the time to fact check against credible sources. For more information, see How to identify misinformation, disinformation, and malinformation (ITSAP.00.300).	コンテンツを確認する - より多くのデータが利用可能になるにつれ、そのコンテンツの責任者が誰なのか、また、そのコンテンツのどこまでが論理的で事実に基づいているのかを見分けることが容易でなくなる可能性がある。コンテンツが生成的AIツールによって生成されたものであることを読み取り、探すことが重要だ。生成されたコンテンツを確認し、時間をかけて信頼できるソースと照らし合わせて事実確認を行う。詳細については、誤情報、偽情報、不正情報の識別方法（ITSAP.00.300）を参照のこと。
Practice basic cyber security hygiene — Stay informed, use strong passwords, and enable two-factor authentication to protect online accounts. Make sure to keep software up to date, use antivirus software, and avoid public Wi-Fi networks.	基本的なサイバーセキュリティ衛生を実践する - 情報収集を怠らず、強力なパスワードを使用し、オンラインアカウントを保護するために二要素認証を有効にする。ソフトウェアを常に最新の状態に保ち、ウイルス対策ソフトウェアを使用し、公衆Wi-Fiネットワークを避ける。
Limit exposure to social engineering or business email compromise — Implement basic online safety practices such as reducing the amount of personal information posted online; avoiding opening email attachments and clicking on links from unknown sources; communicating via an alternate, verified channel; and being suspicious of callers that want sensitive information. For more information, see Don’t take the bait; recognize and avoid phishing attacks (ITSAP.00.101) and What is voice phishing (vishing)? (ITSAP.00.102).	ソーシャル・エンジニアリングやビジネス・メールの侵害へのエクスポージャーを制限する - 個人情報をオンラインに掲載する量を減らす、不明な送信元からのメールの添付ファイルを開いたりリンクをクリックしたりしない、確認済みの別のチャネルでコミュニケーションする、機密情報を要求する電話を疑う、などの基本的なオンライン安全対策を実施する。詳細については、「餌に釣られない；フィッシング攻撃を認識し、回避する」（ITSAP.00.101）および「音声フィッシング（ビッシング）とは何か」（ITSAP.00.102）を参照のこと。(itsap.00.102)を参照のこと。
Security protections when using generative AI tools	生成的AIツール使用時のセキュリティ防御
The following security measures can help you generate quality and trusted content while mitigating privacy concerns:	以下のセキュリティ対策は、プライバシーの懸念を低減しながら、高品質で信頼できるコンテンツを生成するのに役立つ：
Establish generative AI usage policies — The policies should include the types of content that can be generated and how to use the technology to avoid compromises to your sensitive data. Your policies should also include the oversight and review processes required to ensure the technology is used appropriately. When creating solutions using generative AI, ensure practices lead to trustworthy and ethical behaviour. Be sure to implement the policies quickly and ensure they are communicated to staff.	生成的AIの使用ポリシーを確立する - ポリシーには、生成可能なコンテンツの種類と、機密データへの侵害を避けるための技術の使用方法を含めるべきである。ポリシーには、テクノロジーが適切に使用されていることを確認するために必要な監督とレビューのプロセスも含めるべきである。生成的AIを使用してソリューションを作成する場合、信頼できる倫理的な行動につながる実践を確実にすること。ポリシーを迅速に導入し、スタッフへのコミュニケーションを徹底すること。
Select training datasets carefully — Obtain datasets from a trusted source and implement a robust process for validating and verifying the datasets, whether they’re externally acquired or developed internally. Use diverse and representative data to avoid inaccurate and biased content. Establish a process for outputs to be reviewed by a diverse team from across your organization to look for inherent biases within the system. Continuously fine-tune or retrain the AI system with appropriate external feedback to improve quality of outputs.	トレーニング用データセットは慎重に選択する - データセットは信頼できるソースから入手し、外部から入手したものであれ、社内で開発したものであれ、データセットの妥当性確認と検証のための強固なプロセスを導入する。不正確でバイアスのかかった内容を避けるため、多様な代表者データを使用する。アウトプットを組織全体の多様なチームによってレビューし、システム内に内在するバイアスを探すプロセスを確立する。外部からの適切なフィードバックにより、AI システムを継続的に微調整または再教育し、出力の質を改善する。
Choose tools from security-focused vendors — Ensure your vendors have robust security practices baked into their data collection, storage, and transfer processes.	セキュリティ重視のベンダーのツールを選択する - ベンダーがデータの収集、保存、転送プロセスに強固なセキュリティ慣行を組み込んでいることを確認する。
Be careful what information you provide — Avoid providing PII or sensitive corporate data as part of the queries or prompts. Determine whether the tool allows your users to delete their search prompt history.	提供する情報には注意する - クエリやプロンプトの一部として、個人情報や機密性の高い企業データをプロバイダとして提供することは避ける。ユーザーが検索プロンプトの履歴を削除できるかどうかを確認する。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2022.08.22 カナダ サイバーセキュリティセンター 人工知能 - ITSAP.00.040