英国 科学・イノベーション・技術省 AIサイバーセキュリティ実践規範 (2025.01.31)
こんにちは、丸山満彦です。
英国の科学・イノベーション・技術省が、AIサイバーセキュリティ実践規範を公表していますね...
● U.K. Department for Science, Innovation and Technolog
プレス...
・2025.01.31 World-leading AI cyber security standard to protect digital economy and deliver Plan for Change
| World-leading AI cyber security standard to protect digital economy and deliver Plan for Change | 世界最先端のAIサイバーセキュリティ標準がデジタル経済を保護し、変革計画を実現する |
| ・British businesses will benefit from a world-first cyber security standard which will protect AI systems from cyber-attacks, securing the digital economy | ・英国企業は、AIシステムをサイバー攻撃から守る世界初のサイバーセキュリティ標準から恩恵を受け、デジタル経済を保護する |
| ・Security measures will unlock AI’s potential to transform public services and boost productivity as part of the government’s Plan for Change | ・セキュリティ対策は、政府の「変革のための計画」の一環として、公共サービスを変革し、生産性を高めるAIの可能性を解き放つ |
| ・New global coalition to tackle worldwide cyber skills shortage and strengthen security expertise | ・世界的なサイバー・スキル不足に取り組み、セキュリティの専門知識を強化する新たな世界的連合 |
| Companies developing AI – from consumer apps to systems underpinning public services – will be able to better protect themselves from growing cyber security threats under steps set out by the UK government. | 消費者向けアプリから公共サービスを支えるシステムまで、AIを開発する企業は、英国政府が定めた措置により、増大するサイバーセキュリティの脅威から自らをよりよく守ることができるようになる。 |
| The steps announced today under a new Code of Practice will give businesses and public services the confidence they need to harness AI’s transformative potential safely – supporting the government’s Plan for Change as the technology drives forward improvements to public services, turbocharges productivity, and drives growth across the economy. | 本日発表された新たな行動規範に基づく措置は、企業や公共サービスがAIの変革の可能性を安全に活用するために必要な自信を与えるものであり、公共サービスの改善、生産性の向上、経済全体の成長を促進する技術として、政府の「変革のための計画」を支援するものである。 |
| With cyber attacks or breaches affecting half of businesses in the last 12 months, safeguarding AI systems is crucial as adoption accelerates across the economy. The world leading Code of Practice pioneered by the UK, equips organisations with the tools they need to thrive in the age of AI. From securing AI systems against hacking and sabotage, to ensuring they are developed and deployed in a secure way, the Code will help developers build secure, innovative AI products that drive growth and fuel the Plan for Change. | サイバー攻撃や侵害が過去12ヶ月の間に企業の半数に影響を与えており、経済全体で導入が加速する中、AIシステムの保護は極めて重要である。英国が世界に先駆けて策定した実践規範は、AI時代に成功するために必要なツールを組織に提供する。ハッキングや妨害行為からAIシステムを保護することから、安全な方法で開発・展開されることを保証することまで、この規範は、開発者が成長を促進し、「変革のための計画」を推進する安全で革新的なAI製品を構築するのに役立つ。 |
| It sets out how organisations using AI can protect themselves from a range of cyber threats such as AI attacks and system failures. This can include steps such as implementing cyber security training programmes which are focused on AI vulnerabilities, developing recovery plans following potential cyber incidents, and carrying out robust risk assessments. | この規範は、AIを使用する組織が、AI攻撃やシステム障害などのさまざまなサイバー脅威から身を守る方法を定めている。これには、AIの脆弱性に焦点を当てたサイバーセキュリティ・トレーニング・プログラムの実施、潜在的なサイバーインシデント後の復旧プランの策定、強固なリスクアセスメントの実施といったステップが含まれる。 |
| The voluntary Code of Practice will form the basis of a new global standard for secure AI through the European Telecommunications Standards Institute (ETSI) – a major step which cements the UK’s position as a world leader in safe innovation. With the UK AI sector generating £14.2 billion in revenue last year, these standards will help maintain growth while protecting critical infrastructure – building on the work of the AI Opportunities Action Plan. | 自主的な行動規範は、欧州電気通信標準化機構(ETSI)を通じて、安全なAIのための新たな世界標準の基礎となる。これは、安全なイノベーションにおける世界的リーダーとしての英国の地位を確固たるものにする大きな一歩である。 英国のAIセクターは昨年142億ポンドの収益をあげており、これらの標準は、重要なインフラを保護しながら成長を維持するのに役立つだろう。 |
| Minister for Cyber Security Feryal Clark MP said: | フェリアル・クラーク議員は、次のように述べた: |
| The UK is leading the way in setting global benchmarks for secure innovation, ensuring AI is developed and deployed in an environment that protects critical systems and data which are central to delivering our Plan for Change. | 英国は、安全な技術革新のための世界的なベンチマークを設定し、AIが重要なシステムやデータを保護する環境下で開発・展開されるようにすることで、我々の『変革のための計画』を実現するための中心的な役割を果たしている。 |
| This will not only create the opportunities for businesses to thrive, secure in the knowledge that they can be better protected than ever before but support them in delivering cutting-edge AI products that drive growth, improve public services, and put Britain at the forefront of the global AI economy. | これは、これまで以上に保護が強化されることで企業が安心して繁栄できる機会を創出するだけでなく、成長を促進し、公共サービスを向上させ、英国を世界のAI経済の最前線に置く最先端のAI製品を提供する上で、企業を支援するものである。 |
| The UK government has also published today an implementation guide for the Code, to support businesses as they shore up their cyber defences by providing a one-stop shop which brings together guidance and key steps to follow. AI represents a generation-defining technology which is central to the government’s Plan for Change - holding incredible potential to transform public services, boost productivity and rebuild our economy. | 英国政府はまた、ガイダンスと従うべき主要なステップをまとめたワンストップショップを提供することで、サイバー防衛を強化する企業を支援するため、コードの実施ガイドを本日発表した。 AIは、公共サービスを変革し、生産性を向上させ、経済を再建する驚くべき可能性を秘めた、政府の「変革計画」の中核をなす生成的技術である。 |
| NCSC Chief Technology Officer Ollie Whitehouse said: | NCSCのオリー・ホワイトハウス最高技術責任者(CTO)は、次のように述べた: |
| It is vital that we harness the transformative potential of AI securely so that our society can reap the benefits of new technologies without introducing avoidable vulnerabilities and cyber risks. | AIが持つ変革の可能性を安全に活用し、我々の社会が回避可能な脆弱性やサイバーリスクを導入することなく、新技術の恩恵を享受できるようにすることが極めて重要だ。 |
| The new Code of Practice, which we have produced in collaboration with global partners, will not only help enhance the resilience of AI systems against malicious attacks but foster an environment in which UK AI innovation can thrive. | 私たちがグローバル・パートナーと協力して作成した新しい行動規範は、悪意ある攻撃に対するAIシステムのレジリエンスを強化するだけでなく、英国のAIイノベーションが発展する環境を促進する。 |
| The UK is leading the way by establishing this security standard, fortifying our digital technologies, benefiting the global community and reinforcing our position as the safest place to live and work online. | 英国は、このセキュリティ標準を確立することで先導的な役割を果たし、デジタル技術を強化し、グローバル・コミュニティに利益をもたらし、オンライン上で生活し働くのに最も安全な場所としての地位を強化している。 |
| Building on this position of global leadership in cyber security, the UK has also spearheaded the launch of a new International Coalition on Cyber Security Workforces (ICCSW), alongside founding partners including Japan, Singapore, and Canada. The coalition – which emerged from the UK-led Wilton Park Summit in September 2024 - will help countries work together to tackle cyber threats and address the global cyber skills gap. | サイバーセキュリティにおけるこの世界的リーダーシップの立場を基盤として、英国は日本、シンガポール、カナダを含む創設パートナーとともに、新しいサイバーセキュリティ人材に関する国際連合(ICCSW)の立ち上げの先頭に立った。この連合は、2024年9月に英国が主導したウィルトン・パーク・サミットから生まれたもので、各国が協力してサイバー脅威に取り組み、世界的なサイバー技能格差に対処することを支援する。 |
| This new partnership will strengthen international cooperation on cyber security, breaking down barriers to career progression and increasing diversity in the sector. Current estimates show that supporting cyber skills will boost the £11.9 billion cyber security industry which will in turn help to drive growth in the British economy. | この新たなパートナーシップは、サイバーセキュリティに関する国際協力を強化し、キャリアアップの障壁を取り除き、この分野における多様性を高める。現在の試算では、サイバー・スキルを支援することで、119億ポンド規模のサイバー・セキュリティ産業が活性化し、英国経済の成長を促進することになる。 |
| The UK is moving full steam ahead with plans to bolster our online defences through a new Cyber Security and Resilience Bill which was unveiled in last summer’s King Speech. Ahead of that legislation’s introduction, the government is also publishing its response to the Cyber Governance Code of Practice of today. In its response, the government warns that despite the massive disruptions cyber incidents can cause, boards and senior leaders often struggle to engage in cyber issues due to a lack of understanding, training, or time - making it more pressing than ever to ensure all sectors of the UK economy have the tools they need to address cyber threats. | 英国は、昨夏の英国国王演説で発表された新しいサイバーセキュリティとレジリエンス法案を通じて、オンライン防衛を強化する計画を本格的に進めている。この法案の序文に先立ち、政府は本日、サイバー・ガバナンス実践規範に対する回答も発表した。その回答の中で、政府は、サイバーインシデントが甚大な混乱を引き起こす可能性があるにもかかわらず、取締役会やシニアリーダーは、理解不足、訓練不足、時間不足のために、サイバー問題への取り組みに苦慮することが多いと警告している。 |
| To address this problem, DSIT has developed the Cyber Governance Code of Practice in collaboration with the National Cyber Security Centre and industry experts. The Code provides clear actions for directors to manage cyber risks effectively, enabling businesses to harness new technologies while building resilience. The government’s response outlines improvements to the Code based on extensive feedback, with the updated version set to be published in early 2025. | この問題に対処するため、DSITはNational Cyber Security Centreおよび業界の専門家と共同で「サイバー・ガバナンス実践規範」を策定した。同コードは、取締役がサイバーリスクを効果的に管理するための明確なアクションをプロバイダとして提供し、企業がレジリエンスを構築しながら新技術を活用できるようにするものである。政府の回答は、広範なフィードバックに基づく規範の改善の概要を示しており、更新版は2025年初頭に公表される予定である。 |
| Notes to editors | 編集後記 |
| The Code has been developed in close collaboration with NCSC and a range of external stakeholders. See call for views response for more information. | 本規範は、NCSCおよび様々な外部ステークホルダーとの緊密な協力のもとに策定された。詳しくは意見募集の回答を参照のこと。 |
| The Code will be submitted into the European Telecommunications Standards Institute’s Securing AI Committee where it will be used to develop a global standard. | 同規範は、欧州電気通信標準化機構のセキュアリングAI委員会に提出され、世界標準の策定に使用される。 |
| The government is working with industry and international counterparts to promote international alignment of security requirements for AI systems, including through monitoring the development of relevant standards in other standards development organisations. | 政府は、他の標準開発組織における関連標準の開発を監視することを含め、AIシステムのセキュリティ要件の国際的な整合性を促進するために、産業界および国際的なカウンターパートと協力している。 |
| The government will update the content of the Code and Implementation Guide to mirror the future ETSI global standard and guide once they are created. Read the full AI cyber security code of practice. | 政府は、将来ETSIの世界標準とガイドが作成されれば、それを反映するように、コードと実施ガイドの内容を更新する予定である。AIサイバーセキュリティ実践規範の全文を読む。 |
で、AIサイバーセキュリティ実践規範
・2025.01.31 AI Cyber Security Code of Practice
| Details | 詳細 |
| Artificial intelligence (AI) is transforming our daily lives. As the technology continues to evolve and be embedded, it is crucial that efforts are taken to protect AI systems from growing cyber security threats. | 人工知能(AI)は私たちの日常生活を一変させつつある。この技術が進化し、組み込まれ続ける中で、AIシステムを増大するサイバーセキュリティ脅威から保護するための取り組みが極めて重要である。 |
| This Code of Practice sets out baseline cyber security principles to help secure AI systems and the organisations which develop and deploy them. Addressing the cyber risks to AI will protect our citizens and our digital economy while ensuring the many benefits of AI can be realised. | この実施規範は、AIシステムとそれを開発・展開する組織の安全を確保するためのサイバーセキュリティの基本原則を定めたものである。AIに対するサイバーリスクに対処することは、市民とデジタル経済を保護すると同時に、AIがもたらす多くのメリットを確実に実現することにつながる。 |
| This Code of Practice has been updated following global stakeholder feedback gathered via a call for views which was held in summer 2024. | この実施規範は、2024年夏に開催された意見募集を通じて収集された世界的な利害関係者のフィードバックを受けて更新された。 |
| Please read the press notice for further information. | 詳しくはプレスリリースをご覧いただきたい。 |
| An overarching theme which arose from responses to the Call for Views was that organisations would benefit from additional guidance that explained how to implement the AI Cyber Security Code of Practice. DSIT commissioned John Sotiropoulos, Senior Security Architect at Kainos and co-lead of the OWASP Top 10 for LLM Applications, to create this implementation guide. Each iteration was reviewed by DSIT and NCSC officials. | 意見募集への回答から浮かび上がった包括的なテーマは、AIサイバーセキュリティ行動規範の実施方法を説明する追加ガイダンスが組織に有益であるということであった。DSITは、Kainos社のシニアセキュリティアーキテクトであり、OWASP Top 10 for LLM Applicationsの共同リーダーであるJohn Sotiropoulos氏にこの実施ガイドの作成を依頼した。各反復版は、DSITとNCSC関係者によってレビューされた。 |
| Following support for our approach, DSIT, in close collaboration with NCSC, will submit the Code and the implementation guide in the European Telecommunications Standards Institute (ETSI) where it will be used as the basis for a new global standard (TS 104 223) and accompanying implementation guide (TR 104 128). The Government will update the content of the Code and Guide to mirror the future ETSI global standard and guide. | 我々のアプローチが支持された後、DSITはNCSCと緊密に協力して、このコードと実装ガイドを欧州電気通信標準化機構(ETSI)に提出し、新しい世界標準(TS 104 223)とそれに付随する実装ガイド(TR 104 128)の基礎として使用される予定である。政府は、コードとガイドの内容を更新し、将来のETSI標準とガイドを反映させる予定である。 |
| This is part of the government’s wider work to protect and promote the UK online, including securing the next generation of connected technologies. | これは、次世代コネクテッド・テクノロジーの安全確保を含め、英国のオンラインを保護・促進するための政府の幅広い活動の一環である。 |
| To support policy in this area the government has published several research reports on AI cyber security, including surveys and literature reviews. Please visit the AI cyber security collection page for further details. | この分野の政策を支援するため、政府はAIサイバーセキュリティに関する調査や文献レビューなどの研究報告書をいくつか発表している。詳しくは、AIサイバーセキュリティ・コレクションのページをご覧いただきたい。 |
HTML版
・Code of Practice for the Cyber Security of AI
目次...
| Introduction | 序文 |
| Scope | 適用範囲 |
| Implementation guide | 実施の手引き |
| Audience | 対象者 |
| Structure of the voluntary Code of Practice | 自主行動規範の構成 |
| Code of Practice Principles | 実施規範の原則 |
| Annex A: Glossary of terms | 附属書 A:用語集 |
原則
| Code of Practice Principles | 実践規範原則 |
| Secure Design | 安全な設計 |
| Principle 1: Raise awareness of AI security threats and risks | 原則1:AIのセキュリティ上の脅威とリスクに対する認識を高める |
| Principle 2: Design your AI system for security as well as functionality and performance | 原則2:機能・性能だけでなく、セキュリティも考慮した AI システムを設計する |
| Principle 3: Evaluate the threats and manage the risks to your AI system | 原則3:AI システムに対する脅威を評価し、リスクをマネジメントする |
| Principle 4: Enable human responsibility for AI systems | 原則4:AIシステムに対する人間の責任を可能にする |
| Secure Development | 安全な開発 |
| Principle 5: Identify, track and protect your assets | 原則5:資産を識別し、追跡し、保護する |
| Principle 6: Secure your infrastructure | 原則6:インフラストラクチャの安全性確保 |
| Principle 7: Secure your supply chain | 原則7:サプライチェーンの安全性確保 |
| Principle 8: Document your data, models and prompts | 原則8:データ、モデル、プロンプトを文書化する |
| Principle 9: Conduct appropriate testing and evaluation | 原則9:適切なテストと評価の実施 |
| Secure Deployment | 安全な展開 |
| Principle 10: Communication and processes associated with End-users and Affected Entities | 原則10:エンドユーザ及び影響を受ける事業体とのコミュニケーション及びプロセス |
| Secure Maintenance | 安全な保守 |
| Principle 11: Maintain regular security updates, patches and mitigations | 原則11:セキュリティ更新、パッチ、緩和を定期的に維持する |
| Principle 12: Monitor your system’s behaviour | 原則12:システムの振る舞いを監視する |
| Secure End of Life | 安全な廃止 |
| Principle 13: Ensure proper data and model disposal | 原則13:適切なデータとモデルの廃棄を確実に行う |
主な対象者
| 実践規範原則 | 開発者 | システム運用者 | データ管理者 |
| 安全な設計 | |||
| 原則1:AIのセキュリティ上の脅威とリスクに対する認識を高める | ● | ● | ● |
| 原則2:機能・性能だけでなく、セキュリティも考慮した AI システムを設計する | ● | ● | |
| 原則3:AI システムに対する脅威を評価し、リスクをマネジメントする | ● | ● | |
| 原則4:AIシステムに対する人間の責任を可能にする | ● | ● | |
| 安全な開発 | |||
| 原則5:資産を識別し、追跡し、保護する | ● | ● | ● |
| 原則6:インフラストラクチャの安全性確保 | ● | ● | |
| 原則7:サプライチェーンの安全性確保 | ● | ● | ● |
| 原則8:データ、モデル、プロンプトを文書化する | ● | ||
| 原則9:適切なテストと評価の実施 | ● | ● | |
| 安全な展開 | |||
| 原則10:エンドユーザ及び影響を受ける事業体とのコミュニケーション及びプロセス | |||
| 安全な保守 | |||
| 原則11:セキュリティ更新、パッチ、緩和を定期的に維持する | ● | ● | |
| 原則12:システムの振る舞いを監視する | ● | ● | |
| 安全な廃止 | |||
| 原則13:適切なデータとモデルの廃棄を確実に行う | ● | ● |
詳細な実践規範
| Code of Practice Principles | 実践規範原則 |
| Secure Design | 安全な設計 |
| Principle 1: Raise awareness of AI security threats and risks | 原則1:AIのセキュリティ上の脅威とリスクに対する認識を高める |
| Primarily applies to: System Operators, Developers, and Data Custodians | 主に次の者に適用される: システム運用者、開発者、データ管理者 |
| [NIST 2022, NIST 2023, ASD 2023, WEF 2024, OWASP 2024, MITRE 2024, Google 2023, ESLA 2023, Cisco 2022, Deloitte 2023, Microsoft 2022]. | [NIST 2022, NIST 2023, ASD 2023, WEF 2024, OWASP 2024, MITRE 2024, Google 2023, ESLA 2023, Cisco 2022, Deloitte 2023, Microsoft 2022]. |
| 1.1. Organisations’ cyber security training programme shall include AI security content which shall be regularly reviewed and updated, such as if new substantial AI-related security threats emerge. | 1.1. 組織のサイバーセキュリティ研修プログラムには、AIセキュリティの内容を含めるものとし、AI関連の新たな実質的なセキュリティ脅威が出現した場合などには、定期的に見直し、更新するものとする。 |
| 1.1.1 AI security training shall be tailored to the specific roles and responsibilities of staff members. | 1.1.1 AIセキュリティ研修は、職員の特定の役割と責任に合わせて実施する。 |
| 1.2. As part of an Organisation’s wider staff training programme, they shall require all staff to maintain awareness of the latest security threats and vulnerabilities that are AI-related. Where available, this awareness shall include proposed mitigations. | 1.2. 組織は、より広範な職員研修プログラムの一環として、すべての職員に対し、AIに関連する最新のセキュリティ上の脅威および脆弱性に関する意識を維持するよう求めるものとする。利用可能な場合、この認識には緩和案を含めるものとする。 |
| 1.2.1. These updates should be communicated through multiple channels, such as security bulletins, newsletters, or internal knowledge-sharing platforms. This will ensure broad dissemination and understanding among the staff. | 1.2.1. これらの最新情報は、セキュリティ速報、ニュースレター、社内の知識共有プラッ トフォームなど、複数のチャネルを通じてコミュニケーションすべきである。こうすることで、職員に広範に普及し、理解されるようにする。 |
| 1.2.2 Organisations shall provide developers with training in secure coding and system design techniques specific to AI development, with a focus on preventing and mitigating security vulnerabilities in AI algorithms, models, and associated software. | 1.2.2 組織は、AI 開発に特化したセキュアコーディング及びシステム設計技法につい て、AI アルゴリズム、モデル、及び関連ソフトウェアにおけるセキュリティ脆弱 性の防止と緩和に重点を置いたトレーニングを開発者に提供する。 |
| Principle 2: Design your AI system for security as well as functionality and performance | 原則2:機能・性能だけでなく、セキュリティも考慮した AI システムを設計する |
| Primarily applies to: System Operators and Developers | 主に次の者に適用される: システム運用者と開発者 |
| [OWASP 2024, MITRE 2024, WEF 2024, ENISA 2023, NCSC 2023, BSI1 2023, Cisco 2022, Microsoft 2022, G7 2023, HHS 2021, OpenAI2 2024, ASD 2023, ICO 2020]. | [OWASP 2024, MITRE 2024, WEF 2024, ENISA 2023, NCSC 2023, BSI1 2023, Cisco 2022, Microsoft 2022, G7 2023, HHS 2021, OpenAI2 2024, ASD 2023, ICO 2020]. |
| 2.1 As part of deciding whether to create an AI system, a System Operator and/or Developer shall conduct a thorough assessment that includes determining and documenting the business requirements and/or problem they are seeking to address, along with associated AI security risks and mitigation strategies.5 | 2.1 AI システムを構築するかどうかを決定する一環として、システム運用者及び/又は開発者は、 ビジネス要件及び/又は解決しようとしている問題の決定と文書化を含む徹底的なアセスメント を、関連する AI セキュリティリスク及び緩和戦略とともに実施しなければならない5。 |
| 2.1.1 Where the Data Custodian is part of a Developer’s organisation, they shall be included in internal discussions when determining the requirements and data needs of an AI system. | 2.1.1 データカストディアンが開発者の組織の一部である場合、AI システムの要件とデータ ニーズを決定する際の内部協議に、データカストディアンを含めなければならない。 |
| 2.2: Developers and System Operators shall ensure that AI systems are designed and implemented to withstand adversarial AI attacks, unexpected inputs and AI system failure. | 2.2: 開発者とシステム運用者は、AI システムが敵対的な AI 攻撃、予期せぬ入力、 AI システムの故障に耐えられるように設計され実装されていることを保証しなければならない。 |
| 2.3 To support the process of preparing data, security auditing and incident response for an AI system, Developers shall document and create an audit trail in relation to the AI system. This shall include the operation, and lifecycle management of models, datasets and prompts incorporated into the system. | 2.3 AI システムのデータ準備,セキュリティ監査,インシデント対応のプロセスを支援するために,開発者は AI システムに関する監査証跡を文書化し,作成しなければならない。これには、システムに組み込まれたモデル、データセット、プロンプトの運用、 ライフサイクル管理を含むものとする。 |
| 2.4 If a Developer or System Operator uses an external component, they shall conduct an AI security risk assessment and due diligence process in line with their existing software development processes, that assesses AI specific risks.6 | 2.4 開発者又はシステム運用者が外部のコンポーネントを使用する場合、開発者は、既存のソフ トウェア開発プロセスに沿って、AI 固有のリスクを評価する AI セキュリティリスク アセスメント及びデューディリジェンスプロセスを実施しなければならない6 |
| 2.5 Data Custodians shall ensure that the intended usage of the system is appropriate to the sensitivity of the data it was trained on as well as the controls intended to ensure the security of the data. | 2.5 データ管理者は、システムの意図された使用方法が、データのセキュリティを確保するために意図 された制御と同様に、訓練されたデータの機密性に適切であることを保証しなければならない。 |
| 2.5.1 Organisations should ensure that employees are encouraged to proactively report and identify any potential security risks in AI systems and ensure appropriate safeguards are in place. | 2.5.1 組織は、従業員がAIシステムの潜在的なセキュリティリスクを積極的に報告し、 識別するよう奨励され、適切な保護措置が実施されていることを確認するものとする。 |
| 2.6 Where the AI system will be interacting with other systems or data sources, (be they internal or external), Developers and System Operators shall ensure that the permissions granted to the AI system on other systems are only provided as required for functionality and are risk assessed. | 2.6 AI システムが他のシステムあるいはデータソース (それが内部であれ外部であれ) と相互作用する場合、 開発者及びシステム運用者は、他のシステム上で AI システムに付与される権限が、 機能上必要な場合にのみ提供され、リスクアセスメントされていることを保証しなければならない。 |
| 2.7 If a Developer or System Operator chooses to work with an external provider, they shall undertake a due diligence assessment and should ensure that the provider is adhering to this Code of Practice. | 2.7 開発者やシステム運用者が外部のプロバイダと連携することを選択した場合は、デューデリ ジェンス・アセスメントを実施し、プロバイダがこの「実施規範」を遵守していることを確認しなけれ ばならない。 |
| Principle 3: Evaluate the threats and manage the risks to your AI system | 原則3:AI システムに対する脅威を評価し、リスクをマネジメントする |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者とシステム運用者 |
| [OWASP 2024, WEF 2024, Nvidia 2023, ENISA 2023, Google 2023, G7 2023, NCSC 2023, Deloitte 2023], MITRE, OWASP, NIST Risk Taxonomy, ISO 27001] | [OWASP 2024, WEF 2024, Nvidia 2023, ENISA 2023, Google 2023, G7 2023, NCSC 2023, Deloitte 2023], MITRE, OWASP, NIST Risk Taxonomy, ISO 27001]。 |
| 3.1 Developers and System Operators shall analyse threats and manage security risks to their systems. Threat modelling should include regular reviews and updates and address AI-specific attacks, such as data poisoning, model inversion, and membership inference. | 3.1 開発者とシステム運用者は、脅威を分析し、システムのセキュリティリスクをマネジメントする。脅威モデリングは、定期的なレビューと更新を含み、データ・ポイズニング、モデル・ インバージョン、メンバーシップ推論など、AI 固有の攻撃に対処する。 |
| 3.1.1 The threat modelling and risk management process shall be conducted to address any security risks that arise when a new setting or configuration option is implemented or updated at any stage of the AI lifecycle. | 3.1.1 脅威モデリング及びリスクマネジメントプロセスは,AIのライフサイクルのどの段階においても, 新しい設定又は構成オプションが実装又は更新されたときに生じるセキュリティリスクに対処するために 実施されなければならない。 |
| 3.1.2 Developers shall manage the security risks associated with AI models that provide superfluous functionalities, where increased functionality leads to increased risk. For example, where a multi-modal model is being used but only single modality is used for system function. | 3.1.2 開発者は、機能の増加がリスクの増加につながる場合、余計な機能を提供する AI モデルに関連するセキュリティリスクをマネジメントしなければならない。例えば、マルチモダ ルモデルが使用されているが、システム機能には単一モダリティしか使用されていない場合などである。 |
| 3.1.3 System Operators shall apply controls to risks identified through the analysis based on a range of considerations, including the cost of implementation in line with their corporate risk tolerance. | 3.1.3 システムオペレータは、自社のリスク許容度に沿った実装コストを含む様々な考慮事項に基 づき、分析を通じて識別されたリスクに対策を適用するものとする。 |
| 3.2 Where AI security threats are identified that cannot be resolved by Developers, this shall be communicated to System Operators so they can threat model their systems. System Operators shall communicate this information to End-users, so they are made aware of these threats. This communication should include detailed descriptions of the risks, potential impacts, and recommended actions to address or monitor these threats. | 3.2 開発者によって解決できない AI セキュリティ脅威が識別された場合、システムオペレータがシステ ムの脅威モデルを作成できるように、そのことをシステムオペレータに伝えなければならない。システムオペレータはこの情報をエンドユーザにコミュニケーションし、エンドユーザがこれらの脅威を認識できるようにしなければならない。このコミュニケーションには、リスク、潜在的影響、およびこれらの脅威に対処または監視するための推奨される措置の詳細な説明が含まれるべきである。 |
| 3.3 Where an external entity has responsibility for AI security risks identified within an organisations infrastructure, System Operators should attain assurance that these parties are able to address such risks. | 3.3 外部事業体が、組織のインフラ内で識別された AI セキュリティリスクに責任を持つ場 合、システム運用者は、これらの関係者がそのようなリスクに対処できるという保証を得る べきである。 |
| 3.4 Developers and System Operators should continuously monitor and review their system infrastructure according to risk appetite. It is important to recognise that a higher level of risk will remain in AI systems despite the application of controls to mitigate against them. | 3.4 開発者とシステム運用者は、リスク選好度に従って、システムインフラを継続的に監視し、 見直すべきである。AIシステムには、リスクを緩和するためのコントロールが適用されているにもかかわらず、より高いレベルのリスクが残ることを認識することが重要である。 |
| Principle 4: Enable human responsibility for AI systems | 原則4:AIシステムに対する人間の責任を可能にする |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者、システム運用者 |
| [OWASP 2024, MITRE 2024, BSI1 2023, Microsoft 2022] | [OWASP 2024, MITRE 2024, BSI1 2023, Microsoft 2022] |
| 4.1 When designing an AI system, Developers and/or System Operators should incorporate and maintain capabilities to enable human oversight.7 | 4.1 AI システムを設計する際、開発者及び/又はシステム運用者は、人間による監視を可能にする機能を組み 込み、維持することが望ましい7 |
| 4.2 Developers should design systems to make it easy for humans to assess outputs that they are responsible for in said system (such as by ensuring that models outputs are explainable or interpretable). | 4.2 開発者は、(モデルの出力が説明可能又は解釈可能であることを保証するなどして)当該システムにおいて 責任を負う出力を人間が容易に評価できるようにシステムを設計することが望ましい。 |
| 4.3 Where human oversight is a risk control, Developers and/or System Operators shall design, develop, verify and maintain technical measures to reduce the risk through such oversight. | 4.3 人の監視がリスクコントロールである場合、開発者及び/又はシステム運用者は、そのような監視に よるリスクを低減するための技術的手段を設計し、開発し、検証し、維持しなければならない。 |
| 4.4 Developers should verify that the security controls specified by the Data Custodian have been built into the system. | 4.4 開発者は、データ管理者が指定したセキュリティ管理がシステムに組み込まれていることを 検証しなければならない。 |
| 4.5 Developers and System Operators should make End-users aware of prohibited use cases of the AI system. | 4.5 開発者及びシステム運用者は、エンドユーザにAIシステムの禁止された使用事例を認識させるべきである。 |
| Secure Development | 安全な開発 |
| Principle 5: Identify, track and protect your assets | 原則5:資産を識別し、追跡し、保護する |
| Primarily applies to: Developers, System Operators and Data Custodians | 主に適用される: 開発者、システム運用者、データ管理者 |
| [OWASP 2024, Nvidia 2023, NCSC 2023, BSI1 2023, Cisco 2022, Deloitte 2023, Amazon 2023, G7 2023, ICO 2020] | [OWASP 2024, Nvidia 2023, NCSC 2023, BSI1 2023, Cisco 2022, Deloitte 2023, Amazon 2023, G7 2023, ICO 2020]. |
| 5.1 Developers, Data Custodians and System Operators shall maintain a comprehensive inventory of their assets (including their interdependencies/connectivity). | 5.1 開発者、データ管理者、システム運用者は、その資産(相互依存性/接続性を含む)の包括的 なインベントリを維持するものとする。 |
| 5.2 As part of broader software security practices, Developers, Data Custodians and System Operators shall have processes and tools to track, authenticate, manage version control and secure their assets due to the increased complexities of AI specific assets. | 5.2 開発者、データ管理者及びシステム運用者は、より広範なソフトウェアセキュリティの実践の一環として、AI 特有の資産の複雑性が増しているため、その資産を追跡し、認証し、バージョン管理し、安全性を確保するためのプロセスとツールを持たなければならない。 |
| 5.3 System Operators shall develop and tailor their disaster recovery plans to account for specific attacks aimed at AI systems. | 5.3 システム運用者は、AI システムを狙った特定の攻撃を考慮した災害復旧計画を策定し、調整しなければならない。 |
| 5.3.1 System Operators should ensure that a known good state can be restored. | 5.3.1 システム運用者は、既知の良好な状態を復元できるようにすること。 |
| 5.4 Developers, System Operators, Data Custodians and End-users shall protect sensitive data, such as training or test data, against unauthorised access. | 5.4 開発者、システム運用者、データ管理者及びエンドユーザは、訓練データやテストデータなどの機密データを、不正アクセスから保護しなければならない。 |
| 5.4.1 Developers, Data Custodians and System Operators shall apply checks and sanitisation to data and inputs when designing the model based on their access to said data and inputs and where those data and inputs are stored. This shall be repeated when model revisions are made in response to user feedback or continuous learning. | 5.4.1 開発者、データ管理者及びシステム運用者は、モデルを設計する際、当該データ及び入力へのア クセス、並びに当該データ及び入力の保存場所に基づいて、データ及び入力のチェック及びサニタ イゼーションを適用しなければならない。これは、ユーザーからのフィードバックまたは継続的な学習に応じてモデルの改訂が行われる際にも繰り返されるものとする。 |
| 5.4.2 Where training data or model weights could be confidential, Developers shall put proportionate protections in place. | 5.4.2 訓練データまたはモデルの重みが機密である可能性がある場合、開発者は相応の防御を行う。 |
| Principle 6: Secure your infrastructure | 原則6:インフラストラクチャの安全性確保 |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者、システム運用者 |
| [OWASP 2024, MITRE 2024, WEF 2024, NCSC 2023, Microsoft 2022, ICO 2020] | [OWASP 2024, MITRE 2024, WEF 2024, NCSC 2023, Microsoft 2022, ICO 2020] |
| 6.1 Developers and System Operators shall evaluate their organisation’s access control frameworks and identify appropriate measures to secure APIs, models, data, and training and processing pipelines. | 6.1 開発者とシステム運用者は、自組織のアクセス制御枠組みを評価し、API、モデル、データ、学習・処理パイプライ ンのセキュリティを確保するための適切な手段を特定しなければならない。 |
| 6.2 If a Developer offers an API to external customers or collaborators, they shall apply controls that mitigate attacks on the AI system via the API. For example, placing limits on model access rate to limit an attacker’s ability to reverse engineer or overwhelm defences to rapidly poison a model. | 6.2 開発者が API を外部の顧客や共同研究者に提供する場合、API を介した AI システムへの攻撃を緩和する管理策を適用しなければならない。例えば、モデルへのアクセス速度に制限を設けることで、攻撃者がリバースエンジニアリングしたり、防御を圧倒してモデルを急速に汚染したりする能力を制限する。 |
| 6.3 Developers shall also create dedicated environments for development and model tuning activities. The dedicated environments shall be backed by technical controls to ensure separation and principle of least privilege. In the context of AI, this is particularly necessary because training data shall only be present in the training and development environments where this training data is not based on publicly available data. | 6.3 開発者はまた、開発およびモデルチューニング活動のための専用環境を構築しなければならない。専用環境は、分離と最小特権の原則を確保するための技術的な管理によってバックアップされなければならない。AI の文脈では、これは特に必要である。なぜなら、訓練データは、一般に利用可能なデータ に基づいていない訓練環境と開発環境にのみ存在しなければならないからである。 |
| 6.4 Developers and System Operators shall implement and publish a clear and accessible vulnerability disclosure policy. | 6.4 開発者及びシステム運用者は、明確で利用しやすい脆弱性開示ポリシーを実施し、公開する。 |
| 6.5 Developers and System Operators shall create, test and maintain an AI system incident management plan and an AI system recovery plan. | 6.5 開発者及びシステム運用者は,AI システムのインシデント管理計画及び AI システムの復旧計画を作成し,テストし,維持しなければならない。 |
| 6.6 Developers and System Operators should ensure that, where they are using cloud service operators to help to deliver the capability, their contractual agreements support compliance with the above requirements. | 6.6 開発者とシステムオペレータは、能力の提供を支援するためにクラウドサービスオペレータを利用する場合、その契約上の合意が上記の要件への準拠をサポートすることを保証しなければならない。 |
| Principle 7: Secure your supply chain | 原則7:サプライチェーンの安全性確保 |
| Primarily applies to: Developers, System Operators and Data Custodians | 主に次の者に適用される: 開発者、システム運用者、データ管理者 |
| [Software Bill of Materials (SBOM), CISA, OWASP 2024, NCSC 2023, Microsoft 2022, ASD 2023] | [ソフトウェア部品表(SBOM)、CISA、OWASP 2024、NCSC 2023、Microsoft 2022、ASD 2023]。 |
| 7.1 Developers and System Operators shall follow secure software supply chain processes for their AI model and system development. | 7.1 開発者とシステム運用者は、AI モデルとシステム開発のために、安全なソフトウェアサプライチェーンプロセスに従わなければならない。 |
| 7.2 System Operators that choose to use or adapt any models, or components, which are not well-documented or secured shall be able to justify their decision to use such models or components through documentation (for example if there was no other supplier for said component). | 7.2 十分な文書化もセキュリティ保護もされていないモデルやコンポーネントの使用や適合を選択するシス テム運用者は、文書化によって、そのようなモデルやコンポーネントを使用する決定を正当化できな ければならない(例えば、当該コンポーネントの供給者が他にいない場合など)。 |
| 7.2.1 In this case, Developers and System Operators shall have mitigating controls and undertake a risk assessment linked to such models or components. | 7.2.1 この場合、開発者及びシステム運用者は緩和制御を行い、そのようなモデルやコンポーネントに関連する リスクアセスメントを実施しなければならない。 |
| 7.2.2 System Operators shall share this documentation with End-users in an accessible way. | 7.2.2 システム運用者は、この文書をエンドユーザとアクセス可能な方法で共有しなければならない。 |
| 7.3 Developers and System Operators shall re-run evaluations on released models that they intend on using. | 7.3 開発者及びシステム運用者は、使用する予定のリリースされたモデルの評価を再実行しなければならない。 |
| 7.4 System Operators shall communicate their intention to update models to End-users in an accessible way prior to models being updated. | 7.4 システム運用者は、モデルが更新される前に、利用しやすい方法でエンドユーザにモデルを更新する意向を 伝えなければならない。 |
| Principle 8: Document your data, models and prompts | 原則8:データ、モデル、プロンプトを文書化する |
| Primarily applies to: Developers | 主に次の者に適用される: 開発者 |
| [OWASP 2024, WEF 2024, NCSC 2023, Cisco 2022, Microsoft 2022, ICO 2020] | [OWASP 2024, WEF 2024, NCSC 2023, Cisco 2022, Microsoft 2022, ICO 2020] |
| 8.1 Developers shall document and maintain a clear audit trail of their system design and post-deployment maintenance plans. Developers should make the documentation available to the downstream System Operators and Data Custodians. | 8.1 開発者は、システム設計と展開後の保守計画を文書化し、明確な監査証跡を維持しなければならない。開発者は、その文書を下流のシステム運用者とデータ管理者が利用できるようにすべきである。 |
| 8.1.1 Developers should ensure that the document includes security-relevant information, such as the sources of training data (including fine-tuning data and human or other operational feedback), intended scope and limitations, guardrails, retention time, suggested review frequency and potential failure modes. | 8.1.1 開発者は、その文書にセキュリティに関連する情報、例えば、訓練データの情報源(微調整データ及び人為的又はその他の運用上のフィードバックを含む)、意図された範囲と制限、ガードレール、保持時間、推奨されるレビュー頻度及び潜在的な故障モードが含まれていることを確実にしなければならない。 |
| 8.1.2 Developers shall release cryptographic hashes for model components that are made available to other stakeholders to allow them to verify the authenticity of the components. | 8.1.2 開発者は、他の利害関係者が認証できるように、モデルコンポーネントの暗号ハッシュを公開しなければならない。 |
| 8.2 Where training data has been sourced from publicly available sources, there is a risk that this data might have been poisoned. As discovery of poisoned data is likely to occur after training (if at all), Developers shall document how they obtained the public training data, where it came from and how that data is used in the model. | 8.2 訓練データが一般に入手可能なソースから提供されている場合、このデータがポイズニングされている リスクがある。ポイズニングされたデータが発見されるのは (もし発見されたとしても) トレーニングの後である可能性が高いので、開発者は、公開されているトレーニングデータの入手方法、その出所、そのデータがモデルでどのように使用されているかを文書化しなければならない。 |
| 8.2.1. The documentation of training data should include at a minimum the source of the data, such as the URL of the scraped page, and the date/time the data was obtained. This will allow Developers to identify whether a reported data poisoning attack was in their data sets. | 8.2.1. 訓練データの文書化には、スクレイピングされたページの URL などのデータソースと、 データを取得した日時を最低限含めるべきである。これによって開発者は、報告されたデータ・ポイズニング攻撃が自分のデータセットにあったかどうかを識別できるようになる。 |
| 8.3 Developers should ensure that they have an audit log of changes to system prompts or other model configuration (including prompts) that affect the underlying working of the systems. Developers may make this available to any System Operators and End-Users that have access to the model. | 8.3 開発者は、システムの基本的な動作に影響を与えるシステムプロンプトやその他のモデル設定 (プロンプトを含む) の変更履歴を監査ログとして確実に記録しておくべきである。開発者は、モデルにアクセスできるシステム運用者及びエンドユーザーがこれを利用できるようにしてもよい。 |
| Principle 9: Conduct appropriate testing and evaluation | 原則9:適切なテストと評価の実施 |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者、システム運用者 |
| [OWASP 2024, WEF 2024, Nvidia 2023, NCSC 2023, ENISA 2023, Google 2023, G7 2023] | [OWASP 2024, WEF 2024, Nvidia 2023, NCSC 2023, ENISA 2023, Google 2023, G7 2023]。 |
| 9.1 Developers shall ensure that all models, applications and systems that are released to System Operators and/or End-users have been tested as part of a security assessment process. | 9.1 開発者は、システム運用者及び/又はエンドユーザにリリースされるすべてのモデル、アプリケーショ ン及びシステムが、セキュリティアセスメントプロセスの一環としてテストされていることを確実にしなければなら ない。 |
| 9.2 System Operators shall conduct testing prior to the system being deployed with support from Developers. | 9.2 システム運用者は、開発者の支援を受けて、システムの展開前にテストを実施しなければならない。 |
| 9.2.1 For security testing, System Operators and Developers should use independent security testers with technical skills relevant to their AI systems. | 9.2.1 セキュリティテストのために、システム運用者及び開発者は、その AI システムに関連する技術スキルを持つ独立したセキュリティテスターを使用すべきである。 |
| 9.3 Developers should ensure that the findings from the testing and evaluation are shared with System Operators, to inform their own testing and evaluation. | 9.3 開発者は、テストと評価から得られた知見がシステム運用者と共有され、開発者自身のテストと評 価に反映されるようにしなければならない。 |
| 9.4 Developers should evaluate model outputs to ensure they do not allow System Operators or End-users to reverse engineer non-public aspects of the model or the training data. | 9.4 開発者は、システム運用者やエンドユーザにモデルや学習データの非公開部分のリバースエンジニアリン グを許可しないことを保証するために、モデルの出力を評価するべきである。 |
| 9.4.1 Additionally, Developers should evaluate model outputs to ensure they do not provide System Operators or End-users with unintended influence over the system. | 9.4.1 さらに、開発者は、システム運用者またはエンドユーザにシステムに対する意図しない影響力を与えないように、 モデル出力を評価すべきである。 |
| Secure Deployment | 安全な展開 |
| Principle 10: Communication and processes associated with End-users and Affected Entities | 原則10:エンドユーザ及び影響を受ける事業体とのコミュニケーション及びプロセス |
| As part of an organisation’s wider deployment practices, they should also consider pre-deployment testing of AI systems alongside the requirements below. | 組織の広範な展開慣行の一環として、以下の要件と並行して、AI システムの展開前テストも考慮すること。 |
| 10.1 System Operators shall convey to End-users in an accessible way where and how their data will be used, accessed and stored (for example, if it is used for model retraining, or reviewed by employees or partners).8 If the Developer is an external entity, they shall provide this information to System Operators. | 10.1 システムオペレータは、エンドユーザに、自分のデータがどこでどのように使用され、アクセス され、保存されるのか(例えば、モデルの再トレーニングに使用される場合、従業員やパートナーに よってレビューされる場合など)、アクセスしやすい方法で伝えなければならない8。 |
| 10.2 System Operators shall provide End-users with accessible guidance to support their use, management, integration, and configuration of AI systems. If the Developer is an external entity, they shall provide all necessary information to help System Operators. | 10.2 システム運用者は、AI システムの使用、管理、統合、設定を支援するために、エンドユーザに利用しやすいガイダンスを提供しなければならない。開発者が外部の事業体である場合、開発者はシステム運用者を支援するために必要なすべての情報を提供しなければならない。 |
| 10.2.1 System Operators shall include guidance on the appropriate use of the model or system, which includes highlighting limitations and potential failure modes. | 10.2.1 システム運用者は、モデルやシステムの適切な使用に関するガイダンスを含めなければならず、 これには制限や潜在的な故障モードの強調も含まれる。 |
| 10.2.2 System Operators shall proactively inform End-users of any security relevant updates and provide clear explanations in an accessible way. | 10.2.2 システム運用者は、エンドユーザにセキュリティ関連の更新を積極的に通知し、利用しやすい方法で明 確な説明を提供しなければならない。 |
| 10.3 Developers and System Operators should support End-users and Affected Entities during and following a cyber security incident to contain and mitigate the impacts of an incident. The process for undertaking this should be documented and agreed in contracts with End-users. | 10.3. 開発者とシステム運用者は、サイバーセキュリティインシデント発生中及び発生後、インシデントの影 響を封じ込め緩和するために、エンドユーザと影響を受ける事業体を支援すべきである。これを実施するためのプロセスを文書化し、エンドユーザとの契約に合意すべきである。 |
| Secure Maintenance | 安全な保守 |
| Principle 11: Maintain regular security updates, patches and mitigations | 原則11:セキュリティ更新、パッチ、緩和を定期的に維持する |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者とシステム運用者 |
| [ICO 2020] | [ICO 2020] |
| 11.1 Developers shall provide security updates and patches, where possible, and notify System Operators of the security updates. System Operators shall deliver these updates and patches to End-users. | 11.1 開発者は、可能であればセキュリティ更新とパッチを提供し、システム運用者にセキュリティ更新を通知する。システム運用者は、これらの更新とパッチをエンドユーザに提供しなければならない。 |
| 11.1.1 Developers shall have mechanisms and contingency plans to mitigate security risks, particularly in instances where updates cannot be provided for AI systems. | 11.1.1 開発者は、特に AI システムのアップデートが提供できない場合に、セキュリティリスクを 緩和するための仕組みとコンティンジェンシープランを持たなければならない。 |
| 11.2 Developers should treat major AI system updates as though a new version of a model has been developed and therefore undertake a new security testing and evaluation process to help protect users. | 11.2 開発者は、AI システムのメジャーアップデートを新バージョンのモデルが開発されたかのように扱うべきであり、したがって、ユーザを保護するために新たなセキュリティテストと評価プロセスを実施すべきである。 |
| 11.3 Developers should support System Operators to evaluate and respond to model changes, (for example by providing preview access via beta-testing and versioned APIs). | 11.3 開発者は、システム運用者がモデルの変更を評価し対応できるよう支援すべきである(例えば、ベータテストやバージョン管理されたAPIによるプレビューアクセスをプロバイダとして提供する)。 |
| Principle 12: Monitor your system’s behaviour | 原則12:システムの振る舞いを監視する |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者、システム運用者 |
| [OWASP 2024, WEF 2024, Nvidia 2023, ENISA 2023, BSI1 2023, Cisco 2022, Deloitte 2023, G7 2023, Amazon 2023, ICO 2020] | [OWASP 2024, WEF 2024, Nvidia 2023, ENISA 2023, BSI1 2023, Cisco 2022, Deloitte 2023, G7 2023, Amazon 2023, ICO 2020]. |
| 12.1 System Operators shall log system and user actions to support security compliance, incident investigations, and vulnerability remediation. | 12.1 システムオペレータは、セキュリティコンプライアンス、インシデント調査、脆弱性是正を支援するために、 システムとユーザのアクションを記録する。 |
| 12.2 System Operators should analyse their logs to ensure that AI models continue to produce desired outputs and to detect anomalies, security breaches, or unexpected behaviour over time (such as due to data drift or data poisoning). | 12.2 システム運用者は、AI モデルが望ましい出力を生成し続けることを確認し、(データ・ドリフトや データ・ポイズニングなどによる)時間の経過に伴う異常、セキュリティ侵害、または予期せぬ挙動を検知 するために、ログを分析すること。 |
| 12.3 System Operators and Developers should monitor internal states of their AI systems where this could better enable them to address security threats, or to enable future security analytics. | 12.3 システム運用者と開発者は、セキュリティ上の脅威に対処するため、あるいは将来のセキュリティ分析を可能にするために、AI システムの内部状態を監視すべきである。 |
| 12.4 System Operators and Developers should monitor the performance of their models and system over time so that they can detect sudden or gradual changes in behaviour that could affect security. | 12.4 システム運用者と開発者は、セキュリティに影響を及ぼす可能性のある挙動の突然の変化や漸進的な変化を検知できるように、モデルやシステムの性能を経時的に監視すべきである。 |
| Secure End of Life | 安全な廃止 |
| Principle 13: Ensure proper data and model disposal | 原則13:適切なデータとモデルの廃棄を確実に行う |
| Primarily applies to: Developers and System Operators | 主に次の者に適用される: 開発者、システム運用者 |
| 13.1 If a Developer or System Operator decides to transfer or share ownership of training data and/or a model to another entity they shall involve Data Custodians and securely dispose of these assets. This will protect AI security issues that may transfer from one AI system instantiation to another. | 13.1 開発者又はシステム運用者が、トレーニングデータ及び/又はモデルの所有権を他の事業体に譲渡又は 共有することを決定した場合、データ管理者を関与させ、これらの資産を安全に廃棄しなければならない。これにより、ある AI システムのインスタンスから別の AI システムへ移行する可能性のある AI のセキュリティ問題を保護することができる。 |
| 13.2 If a Developer or System Operators decides to decommission a model and/or system, they shall involve Data Custodians and securely delete applicable data and configuration details. | 13.2 開発者またはシステム運用者がモデルおよび/またはシステムの廃止を決定した場合、データ管 理者を関与させ、該当するデータと設定の詳細を安全に削除しなければならない。 |
意見募集時...
↓
● まるちゃんの情報セキュリティ気まぐれ日記
・2024.08.06 英国 意見募集:AIのサイバーセキュリティ (2024.08.02)
AIのセキュリティリスク...
・2024.06.27 英国 国家サイバーセキュリティセンター 人工知能 (AI) のサイバーセキュリティに関する研究 (2024.05.15)

Comments