« 米国 AI安全研究所を設立 | Main | ドイツ BSI TR-03179-1 中央銀行デジタル通貨-第1部:バックエンドシステムに関する要求事項 (2023.02.08) »

2024.02.14

英国 AI保証への導入ガイダンス (2024.02.12)

こんにちは、丸山満彦です。

英国政府が、AI保証の導入ガイダンスを2024.02.12に発表していましたね...

これは、情報セキュリティ大学院大学の授業でも取り上げよう...

ちなみに「Assurance」を「保証」と会計監査業界では慣習的に訳出していますが、「Guarantee」を「保証」と訳出するのが一般で、大きく異なる意味の英語が同じ日本語になるのは、よくないですよね...

Assuranceは確認程度が現実的ですよね...

もともと、Assuranceの前には、Attestationということばが米国で使われていました。これは言明に対して監査をする方式のことなのですが、これについては「証明」という用語を当てていました。。。

集合関係でいうと、Assurance ⊃ Attestation ⊃ Financial Audit という関係にあります...米国の内部統制監査は、Assuranceであって、Attestationではないです。日本の内部統制報告書監査は、Attestationということになります...

 

・2024.02.12 Guidance Introduction to AI assurance

Guidance Introduction to AI assurance AI保証への導入ガイダンス
An introductory guide for practitioners interested in finding out how assurance techniques can support the development of responsible AI. 責任あるAIの開発を保証技術がどのようにサポートできるかを知りたい実務者向けの入門ガイド。
Details 詳細
This guide aims to support organisations to better understand how AI assurance techniques can be used to ensure the safe and responsible development and deployment of AI systems. It introduces key AI assurance concepts and terms and situates them within the wider AI governance landscape.  本ガイドブックは、AIシステムの安全かつ責任ある開発・導入を保証するために、AI保証技術がどのように利用できるかを、組織がよりよく理解できるように支援することを目的としている。本書は、AI保証の主要な概念と用語を紹介し、それらをより広範なAIガバナンスの枠組みの中に位置づけている。 
The introduction supports the UK’s March 2023 white paper, A pro-innovation approach to AI regulation that outlines five cross-cutting regulatory principles underpinning AI regulation, and the subsequent consultation response to bring the principles into practice. As AI becomes increasingly prevalent across all sectors of the economy, it is essential that we ensure it is well governed. AI governance refers to a range of mechanisms including laws, regulations, policies, institutions, and norms that can all be used to outline processes for making decisions about AI.   この導入ガイダンスは、2023年3月に英国が発表した白書「AI規制へのイノベーション促進アプローチ」(A pro-innovation approach to AI regulation)をサポートするもので、AI規制を支える5つの横断的規制原則と、その原則を実践に移すためのその後の協議対応を概説している。AIが経済のあらゆる分野でますます普及する中、AIを適切にガバナンスすることが不可欠である。AIガバナンスとは、法律、規制、政策、機構、規範を含む様々なメカニズムを指し、AIに関する意思決定のプロセスを概説するために使用することができる。 
This guidance aims to provide an accessible introduction to both assurance mechanisms and global technical standards, to help industry and regulators better understand how to build and deploy responsible AI systems. The guidance will be regularly updated to reflect feedback from stakeholders, the changing regulatory environment and emerging global best practices.  本ガイダンスは、責任あるAIシステムの構築と導入の方法について、産業界と規制当局が理解を深められるよう、保証メカニズムとグローバルな技術標準の両方について分かりやすい序文を提供することを目的としている。本ガイダンスは、ステークホルダーからのフィードバック、規制環境の変化、新たな世界的ベストプラクティスを反映し、定期的に更新される予定である。

 

 

・2024.02.12 Introduction to AI assurance

[PDF]

1_20240710055301

 目次的

1. Foreword  1. まえがき 
2. Executive summary   2. エグゼクティブサマリー
2.1 Introduction  2.1 導入 
2.2 Why is AI assurance important?   2.2 なぜAI保証が重要なのか? 
3. AI assurance in context   3. AI保証の背景  
3.1 The importance of trust  3.1 信頼の重要性 
3.2 AI assurance and governance   3.2 AI保証とガバナンス  
3.3 AI governance and regulation   3.3 AI ガバナンスと規制  
4. The AI assurance toolkit  4. AI保証ツールキット 
4.1 Measure, evaluate and communicate   4.1 測定、評価、コミュニケーション  
4.2 AI assurance mechanisms   4.2 AI保証の仕組み  
4.3 AI assurance and standards   4.3 AI保証と標準  
4.4 The AI assurance ecosystem  4.4 AI保証エコシステム 
5. AI assurance in practice   5. AI保証の実際  
5.1 AI assurance landscape   5.1 AI保証の状況  
5.2 AI assurance spectrum   5.2 AI 保証の範囲  
5.3 Assuring data, models, systems and governance in practice  5.3 実際のデータ、モデル、システム、ガバナンスの保証 
5.4 Risk assessment   5.4 リスクアセスメント  
5.5 Impact assessment   5.5 インパクトアセスメント  
5.6 Bias audit   5.6 バイアス監査  
5.7 Compliance audit   5.7 コンプライアンス監査  
5.8 Conformity assessment   5.8 適合性アセスメント  
5.9 Formal verification   5.9 形式的検証  
6. Key actions for organisations   6. 組織のための主要なアクション  
6.1 Steps to build AI assurance   6.1 AI保証を構築するためのステップ  
7. Additional resources   7. 追加リソース  

 

 

 

 

 

 

1. Foreword  1. まえがき 
Artificial Intelligence (AI) is increasingly impacting how we work, live, and engage with others. AI technologies underpin the digital services we use every day and are helping to make our public services more personalised and effective, from improving health services to supporting teachers; and driving scientific breakthroughs so we can tackle climate change and cure disease. However, to fully grasp its potential benefits, AI must be developed and deployed in a safe, responsible way.   人工知能(AI)は、私たちの働き方、暮らし方、他者との関わり方にますます影響を与えつつある。AI技術は、私たちが毎日利用しているデジタルサービスを支え、医療サービスの改善から教師への支援まで、公共サービスをより個別化された効果的なものにし、気候変動への取り組みや病気の治療ができるよう科学的ブレークスルーを促進するのに役立っている。しかし、その潜在的な恩恵を十分に享受するためには、AIは安全で責任ある方法で開発・導入されなければならない。 
The UK government is taking action to ensure that we can reap the benefits of AI while mitigating potential risks and harms. This includes acting to establish the right guardrails for AI through our agile approach to regulation; leading the world on AI safety by establishing the first state-backed organisation focused on advanced AI safety for the public interest; and – since 2021 – encouraging the development of a flourishing AI assurance ecosystem.   英国政府は、潜在的なリスクや危害を低減しつつ、AIの恩恵を確実に享受できるよう行動を起こしている。これには、規制への機敏なアプローチを通じてAIの適切なガードレールを確立するための行動、公共の利益のために高度なAIの安全性に焦点を当てた初の国家支援組織を設立してAIの安全性で世界をリードすること、2021年以降、繁栄するAI保証エコシステムの発展を奨励することなどが含まれる。 
As highlighted in our AI regulation white paper in 2023, AI assurance is an important aspect of broader AI governance, and a key pillar of support for organisations to operationalise and implement our five cross-cutting regulatory principles in practice.   2023年のAI規制白書で強調したように、AI保証はより広範なAIガバナンスの重要な側面であり、我々の5つの横断的規制原則を運用し、実践するための組織を支援する重要な柱である。 
AI assurance can help to provide the basis for consumers to trust the products they buy will work as intended; for industry to confidently invest in new products and services; and for regulators to monitor compliance while enabling industry to innovate at pace and manage risk. A thriving AI assurance ecosystem will also become an economic activity in its own right – the UK’s cyber security industry, an example of a mature assurance ecosystem, is worth nearly £4 billion to the UK economy.   AI保証は、消費者が購入した製品が意図したとおりに機能することを信頼し、産業界が自信を持って新しい製品やサービスに投資し、規制当局がコンプライアンスを監視すると同時に、産業界が迅速にイノベーションを起こし、リスクを管理するための基盤を提供するのに役立つ。成熟した保証エコシステムの一例である英国のサイバーセキュリティ産業は、英国経済に40億ポンド近い価値をもたらしている。 
However, building a mature AI assurance ecosystem will require active and coordinated effort across the economy, and we know that the assurance landscape can be complex and difficult to navigate, particularly for small and medium enterprises. This Introduction to AI assurance is the first in a series of guidance to help organisations upskill on topics around AI assurance and governance. With developments in the regulatory landscape, significant advances in AI capabilities, and increased public awareness of AI, it is more important than ever for organisations to start engaging with the subject of AI assurance and leveraging its critical role in building and maintaining trust in AI technologies.   しかし、成熟したAI保証・エコシステムを構築するには、経済全体にわたる積極的かつ協調的な取り組みが必要であり、特に中小企業にとっては、保証・ランドスケープが複雑で、ナビゲートするのが難しいことも承知している。この「AI保証への導入」は、AI保証とガバナンスに関するトピックについて、組織のスキルアップを支援するガイダンスの第一弾である。規制の進展、AI能力の著しい進歩、AIに対する社会的認知の高まりに伴い、輸入事業者がAI保証の課題に取り組み、AI技術に対する信頼の構築と維持に重要な役割を果たすことがこれまで以上に重要になっている。 
Viscount Camrose, Minister for Artificial Intelligence and Intellectual Property  カムローズ子爵、人工知能・知的財産担当大臣 
2. Executive summary   2. エグゼクティブサマリー  
2.1 Introduction  2.1 導入 
The Introduction to AI assurance provides a grounding in AI assurance for readers who are unfamiliar with the subject area. This guide introduces key AI assurance concepts and terms and situates them within the wider AI governance landscape. As an introductory guide, this document focuses on the underlying concepts of AI assurance rather than technical detail, however it will include suggestions for further reading for those interested in learning more.   「AI保証への導入」は、AI保証に馴染みのない読者に対して、AI保証の基礎知識を提供するものである。本書では、AI保証の主要な概念や用語を紹介し、それらをより広範なAIガバナンスの枠組みの中に位置づける。入門ガイドとして、本書は技術的な詳細よりもAI保証の基本概念に重点を置いているが、さらに詳しく学びたい読者のために、さらなる読み物の提案も含んでいる。 
As AI becomes increasingly prevalent across all sectors of the economy, it’s essential that we ensure it is well governed. AI governance refers to a range of mechanisms including laws, regulations, policies, institutions, and norms that can all be used to outline processes for making decisions about AI. The goal of these governance measures is to maximise and reap the benefits of AI technologies while mitigating potential risks and harms.   AIが経済のあらゆる分野でますます普及するにつれ、それを確実にガバナンスすることが不可欠となっている。AIガバナンスとは、法律、規制、政策、機構、規範など様々なメカニズムを指し、AIに関する意思決定のプロセスを概説するために用いられる。これらのガバナンスの目的は、潜在的なリスクや危害を低減しつつ、AI技術の恩恵を最大限に享受することである。 
In March 2023, the government published its AI governance framework in a pro-innovation approach to AI regulation. This white paper set out a proportionate, principles-based approach to AI governance, with the framework underpinned by five cross-sectoral principles. These principles describe “what” outcomes AI systems must achieve, regardless of the sector in which they’re deployed. The white paper also sets out a series of tools that can be used to help organisations understand “how” to achieve these outcomes in practice: tools for trustworthy AI, including assurance mechanisms and global technical standards.  2023年3月、政府はAI規制へのイノベーション促進アプローチとして、AIガバナンスの枠組みを発表した。この白書は、AIガバナンスに対する比例的で原則に基づいたアプローチを示し、その枠組みは分野横断的な5つの原則に支えられている。これらの原則は、AIシステムが導入されるセクターに関わらず、「どのような」成果を達成しなければならないかを示している。白書はまた、組織が実際にこれらの成果を「どのように」達成するかを理解するのに役立つ一連のツール、すなわち、保証の仕組みやグローバルな技術標準を含む、信頼できるAIのためのツールについても定めている。 
This guidance aims to provide an accessible introduction to both assurance mechanisms and global technical standards, to help industry and regulators better understand how to build and deploy responsible AI systems. It will be a living, breathing document that we keep updated over time.   このガイダンスは、業界や規制当局が責任あるAIシステムを構築・導入する方法をよりよく理解できるよう、保証メカニズムとグローバルな技術標準の両方についてわかりやすい導入を提供することを目的としている。このガイダンスは、時間の経過とともに更新される、生きた文書となる。 
The guidance will cover:   このガイダンスは以下をカバーする:  
・AI assurance in context: Introduction to the background and conceptual underpinnings of AI Assurance.  ・文脈におけるAI保証: AI保証の背景と概念的基盤の導入。
・The AI assurance toolkit: Introduction to key AI assurance concepts and stakeholders.    ・AI保証ツールキット AI保証の主要概念と関係者の導入。  
・AI assurance in practice: Overview of different AI assurance techniques and how to implement AI assurance within organisations.   ・AI保証の実践 様々なAI保証手法の概要と、組織におけるAI保証の導入方法についての説明。・
・Key actions for organisations: A brief overview of key actions that organisations looking to embed AI assurance can take.   ・組織のための主要なアクション AI保証の導入を検討している組織が取るべき主なアクションを簡単に概観する。 
2.2 Why is AI assurance important?   2.2 なぜAI保証が重要なのか? 
Artificial intelligence (AI) offers transformative opportunities for the economy and society. The dramatic development of AI capabilities over recent years, particularly generative AI - including Large Language Models (LLMs) such as ChatGPT - has fuelled significant excitement around the potential applications for, and benefits of, AI systems.   人工知能(AI)は、経済と社会に変革の機会をもたらす。近年、AI、特にChatGPTのような大規模言語モデル(LLM)を含む生成的AIが飛躍的に発展したことで、AIシステムの潜在的な用途や利点について大きな期待が高まっている。 
Artificial intelligence has been used to support personalised cancer treatmentsmitigate the worst effects of climate change and make transport more efficient. The potential economic benefits from AI are also extremely high. Recent research from McKinsey suggests that generative AI alone could add up to $4.4 trillion to the global economy.   人工知能は、個別化されたがん治療のサポート、気候変動による最悪の影響の緩和、輸送の効率化などに利用されている。AIがもたらす潜在的な経済効果も非常に高い。マッキンゼーの最近の調査によれば、生成的AIだけでも世界経済に最大4兆4000億ドルをもたらす可能性があるという。 
However, there are also concerns about the risks and societal impacts associated with AI. There has been notable debate about the potential existential risks to humanity but there are also significant, and more immediate, concerns relating to risks such as bias, a loss of privacy and socio-economic impacts such as job losses.   しかし、AIに伴うリスクや社会的影響についての懸念もある。人類に対する潜在的な実存的リスクに関する議論は注目されているが、バイアスやプライバシーの喪失、雇用喪失などの社会経済的影響といったリスクに関する、より直接的で重大な懸念もある。 
When ensuring the effective deployment of AI systems many organisations recognise that, to unlock the potential of AI systems, they will need to secure public trust and acceptance. This will require a multi-disciplinary and socio-technical approach to ensure that human values and ethical considerations are built-in throughout the AI development lifecycle.   AIシステムの効果的な導入を確保する際、多くの組織は、AIシステムの潜在能力を引き出すには、社会的信頼と受容を確保する必要があることを認識している。そのためには、AI開発のライフサイクルを通じて人間の価値観や倫理的配慮が組み込まれていることを確認するための、学際的かつ社会技術的なアプローチが必要となる。 
AI assurance is consequently a crucial component of wider organisational risk management frameworks for developing, procuring, and deploying AI systems, as well as demonstrating compliance with existing - and any relevant future - regulation. With developments in the regulatory landscape, significant advances in AI capabilities and increased public awareness of AI, it is more important than ever for organisations to start engaging with AI assurance.   その結果、AI保証は、AIシステムの開発、調達、配備に関するより広範な組織のリスクマネジメントの枠組みの重要な構成要素であるとともに、既存の(そして関連する将来の)規制への準拠を実証するものでもある。規制の進展、AI機能の大幅な進歩、AIに対する社会的認知の高まりに伴い、組織がAI保証に取り組み始めることは、これまで以上に重要になっている。 
3. AI assurance in context   3. AI保証の背景  
3.1 The importance of trust  3.1 信頼の重要性 
The term ‘assurance’ originally derived from accountancy but has since been adapted to cover areas including cyber security and quality management. Assurance is the process of measuring, evaluating and communicating something about a system or process, documentation, a product or an organisation. In the case of AI, assurance measures, evaluates and communicates the trustworthiness of AI systems. When developing and deploying AI systems, many organisations recognise that to unlock their potential, a range of actors – from internal teams to regulators to frontline users – will need to understand whether AI systems are trustworthy. Without trust in these systems, organisations may be less willing to adopt AI technologies because they don’t have the confidence that an AI system will actually work or benefit them.   「保証(assurance)」という用語は、もともとは会計から派生したものだが、その後、サイバーセキュリティや品質管理などの分野にも適用されるようになった。保証とは、システムやプロセス、文書、製品、組織に関する何かを測定、評価、コミュニケーションするプロセスである。AIの場合、保証はAIシステムの信頼性を測定、評価、コミュニケーションする。AIシステムを開発・導入する際、その可能性を引き出すためには、社内チームから規制当局、現場のユーザーまで、さまざまなアクターがAIシステムが信頼できるかどうかを理解する必要があることを、多くの組織が認識している。このようなシステムに対する信頼がなければ、AIシステムが実際に機能し、自分たちに利益をもたらすという確信が持てないため、組織はAIテクノロジーを積極的に採用しようとしないかもしれない。 
They also might not adopt AI for fear of facing reputational damage or public backlash. Without trust, consumers will also be cautious about using these technologies. Although awareness of AI is very high amongst the public and has increased over the last year, their primary associations with AI typically reference uncertainty.   また、風評被害や世論の反発を恐れてAIを採用しないかもしれない。信頼がなければ、消費者もこうした技術の利用に慎重になるだろう。AIの認知度は一般消費者の間で非常に高く、昨年より高まっているが、一般消費者がAIから連想するのは不確実性である。 
AI assurance processes can help to build confidence in AI systems by measuring and evaluating reliable, standardised, and accessible evidence about the capabilities of these systems. It measures whether they will work as intended, hold limitations, and pose potential risks, as well as how those risks are being mitigated to ensure that ethical considerations are built-in throughout the AI development lifecycle.   AI保証プロセスは、AIシステムの能力について、信頼性が高く、標準化され、アクセス可能な証拠を測定・評価することで、AIシステムに対する信頼を構築するのに役立つ。このプロセスでは、AIが意図したとおりに機能するかどうか、限界はあるかどうか、潜在的なリスクはあるかどうか、また、AI開発のライフサイクル全体を通じて倫理的配慮が組み込まれていることを保証するために、それらのリスクがどのように低減されているかを測定する。 
Justified trust  正当化された信頼 
By building trust in AI systems through effective communication to appropriate stakeholders, and ensuring the trustworthiness of AI systems, AI assurance will play a crucial role in enabling the responsible development and deployment of AI, unlocking both the economic and social benefits of AI systems.  適切な利害関係者への効果的なコミュニケーションを通じてAIシステムに対する信頼を構築し、AIシステムの信頼性を確保することで、AI保証は、AIの責任ある開発と導入を可能にし、AIシステムの経済的・社会的便益の両方を引き出す上で重要な役割を果たすことになる。
1_20240710050701
The relationship between trust, trustworthiness and justified trust  信頼、信頼性、正当化された信頼の関係 
3.2 AI assurance and governance   3.2 AI保証とガバナンス  
In March 2023, the UK government outlined its approach to AI governance through its white paper, a pro-innovation approach to AI regulation, which set out the key elements of the UK’s proportionate and adaptable regulatory framework. It includes five cross-sectoral principles to guide and inform the responsible development and use of AI in all sectors of the economy:  2023年3月、英国政府は白書「AI規制へのイノベーション促進アプローチ」を通じて、AIガバナンスへのアプローチを概説した。この白書には、経済の全分野におけるAIの責任ある開発と利用の指針となる、分野横断的な5つの原則が盛り込まれている:  
Safety, Security and Robustness 安全性、セキュリティ、堅牢性
AI systems should function in a robust, secure and safe way, and risks should be continually identified, assessed and managed. AIシステムは堅牢、安全、安心な方法で機能すべきであり、リスクは継続的に特定、アセスメント、マネジメントされるべきである。
Appropriate Transparency and Explainability 適切な透明性と説明可能性
AI systems should be appropriately transparent and explainable. AIシステムは適切な透明性と説明可能性を持つべきである。
Fairness 公平性
AI systems should not undermine the legal rights of individuals or organisations, discriminate unfairly against individuals, or create unfair market outcomes. AIシステムは、個人や組織の法的権利を損なったり、個人を不当に識別したり、不公正な市場結果を生み出したりしてはならない。
Accountability and Governance 説明責任とガバナンス
Governance measures should be in place to ensure effective oversight of the supply of AI systems, with clear lines of accountability across the AI lifecycle. AIシステムの供給に対する効果的な監視を確保するためのガバナンス措置が講じられ、AIのライフサイクル全体にわたって明確な責任分担がなされるべきである。
Contestability and Redress 競争可能性と救済
Where appropriate, users, affected third parties and actors in the AI lifecycle should be able to contest an AI decision or outcome that is harmful or creates material risk of harm. 適切な場合には、利用者、影響を受けるサードパーティ、AIライフサイクルの関係者は、有害であったり、重大なリスクを生じさせたりするAIの決定や結果に異議を申し立てることができるべきである。
UK regulatory framework  英国の規制枠組み 
AI assurance will play a critical role in the implementation and operationalisation of these principles. The principles identify specific goals – the “what” - that AI systems should achieve, regardless of the sector in which they are deployed. AI assurance techniques and standards (commonly referred to as “tools for trustworthy AI”) can support industry and regulators to understand “how” to operationalise these principles in practice, by providing agreed-upon processes, metrics, and frameworks to support them to achieve these goals.   AI保証は、これらの原則の実施と運用において重要な役割を果たす。この原則は、AIシステムがどのような分野で導入されるかにかかわらず、AIシステムが達成すべき具体的な目標、すなわち「何」を特定するものである。AI保証技術と標準(一般に「信頼できるAIのためのツール」と呼ばれる)は、これらの目標を達成するための支援として、合意されたプロセス、測定基準、フレームワークを提供することにより、産業界と規制当局がこれらの原則を実際に「どのように」運用するかを理解するのを支援することができる。 
1_20240710051001
3.3 AI governance and regulation   3.3 AI ガバナンスと規制  
Due to the unique challenges and opportunities raised by AI in particular contexts, the UK’s approach to AI governance focuses on outcomes rather than the technology itself – acknowledging that potential risks posed by AI will depend on the context of its application. To deliver this outcomes-based approach, existing regulators will be responsible for interpreting and implementing the regulatory principles in their respective sectors and establishing clear guidelines on how to achieve these outcomes within a particular sector. By outlining processes for making and assessing verifiable claims to which organisations can be held accountable, AI assurance is a key aspect of broader AI governance and regulation.   AIがもたらす潜在的なリスクは、その適用の文脈によって異なることを認識した上で、特定の文脈においてAIがもたらす特有の課題と機会のため、英国のAIガバナンスへのアプローチは、技術そのものではなく、成果に焦点を当てている。この成果ベースのアプローチを実現するため、既存の規制当局は、それぞれの部門における規制原則の解釈と実施に責任を負い、特定の部門内でこれらの成果を達成する方法に関する明確なガイドラインを確立する。組織が説明責任を負うことができる検証可能な主張を行い、アセスメントするためのプロセスを概説することで、AI保証は、より広範なAIガバナンスと規制の重要な側面となる。 
Through AI assurance, organisations can measure whether systems are trustworthy and demonstrate this to government, regulators, and the market. They can also gain a competitive advantage, building customer trust and managing reputational risk. On one hand, using assurance techniques to evaluate AI systems can build trust in consumer-facing AI systems by demonstrating adherence to the principles of responsible AI (fairness, transparency etc.) and/or relevant regulation/legislation. On the other hand, using assurance techniques can also help identify and mitigate AI-related risks to manage reputational risks and avoid negative publicity. This helps to mitigate greater commercial risks, in which high-profile failures could lead to reduced customer trust and adoption of AI systems.   AI保証を通じて、組織はシステムが信頼できるかどうかを測定し、政府、ガバナンス、市場に示すことができる。また、競争上の優位性を獲得し、顧客の信頼を築き、風評リスクをマネジメントすることもできる。一方では、AIシステムの評価に保証技術を用いることで、責任あるAIの原則(公平性、透明性など)および/または関連する規制/法律の順守を示すことで、消費者向けのAIシステムに対する信頼を構築することができる。一方、保証技術を用いることで、AIに関連するリスクを特定・低減し、風評リスクを管理し、ネガティブな評判を回避することもできる。このことは、知名度の高い失敗が顧客の信頼低下やAIシステムの採用につながりかねない、より大きな商業的リスクを軽減するのに役立つ。 
Outside of the UK context, supporting cross-border trade in AI will also require a well-developed ecosystem of AI assurance approaches, tools, systems, and technical standards which ensure international interoperability between differing regulatory regimes. UK firms need to demonstrate risk management and compliance in ways that are understood by trading partners and consumers in other jurisdictions.   英国以外の国でも、AIの国境を越えた取引を支援するには、異なる規制体制間の国際的な相互運用性を確保するAI保証アプローチ、ツール、システム、技術標準のエコシステムが十分に発達している必要がある。英国企業は、他の法域の取引先や消費者に理解される方法でリスクマネジメントとコンプライアンスを実証する必要がある。 
Spotlight: AI assurance and frontier AI スポットライト AI保証とフロンティアAI
AI assurance, the process of measuring, evaluating and communicating the trustworthiness of AI systems, is also relevant at the “frontier” of AI.   AIシステムの信頼性を測定、評価、コミュニケーションするプロセスであるAI保証は、AIの「フロンティア」においても関連している。 
The Bletchley Declaration, signed by countries that attended the November 2023 UK AI Safety Summit, recommended that firms implement assurance measures. This includes safety testing, evaluations, and accountability and transparency mechanisms to measure, monitor and mitigate potentially harmful capabilities of frontier AI models.   2023年11月の英国AI安全サミットに参加した国々が署名したブレッチリー宣言は、企業が保証措置を実施することを推奨している。これには、フロンティアAIモデルの潜在的に有害な能力を測定、監視、緩和するための安全性テスト、評価、説明責任と透明性のメカニズムが含まれる。 
The UK’s AI Safety Institute (AISI) – the first state-backed organisation focused on advanced AI safety for the public interest – is developing the sociotechnical infrastructure needed to identify potential risks posed by advanced AI. It will offer novel tools and systems to mitigate these risks, and support wider governance and regulation, further expanding the AI assurance ecosystem in the UK.  英国のAI安全研究所(AISI)は、公共の利益のために高度なAIの安全性に焦点を当てた初の国家支援組織であり、高度なAIがもたらす潜在的なリスクを特定するために必要な社会技術的機構を開発している。AISIは、こうしたリスクを軽減する斬新なツールとシステムを提供し、より広範なガバナンスと規制をサポートすることで、英国におけるAI保証エコシステムをさらに拡大する。
4. The AI assurance toolkit  4. AI保証ツールキット 
4.1 Measure, evaluate and communicate   4.1 測定、評価、コミュニケーション  
Assurance requires robust techniques that help organisations to measure and evaluate their systems and communicate that their systems are trustworthy and aligned with relevant regulatory principles. More detail on this is provided to the right.   保証には、組織がシステムを測定・評価し、そのシステムが信頼に足るものであり、関連する規制原則に沿ったものであることをコミュニケーションするのに役立つ強固な技術が必要である。これに関する詳細は、右側に掲載している。 
Given the complexity of AI systems, we require a toolbox of different products, services, and standards to assure them effectively.   AIシステムは複雑であるため、効果的な保証を行うためには、様々な製品、サービス、標準のツールボックスが必要である。 
1. Measure: Gathering qualitative and quantitative data on how an AI system functions, to ensure that it performs as intended. This might include information about performance, functionality, and potential impacts in different contexts. Additionally, you may need to ensure you have access to documentation about the system design and any management processes to ensure you can evaluate effectively.   1. 測定:AIシステムが意図したとおりに機能することを保証するために、AIシステムがどのように機能するかに関する定性的・定量的データを収集する。これには、さまざまな文脈における性能、機能、潜在的な影響に関する情報が含まれる。さらに、効果的な評価を行うために、システム設計や管理プロセスに関する文書へのアクセスを確保する必要がある場合もある。 
2. Evaluate: Activities encompassing techniques to assess the risks and impacts of AI systems and inform further decision-making. This might include evaluating the implications of an AI system against agreed benchmarks set out in standards and regulatory guidelines to identify issues.   2. 評価: AIシステムのリスクと影響をアセスメントし、さらなる意思決定に役立てるための手法を含む活動。これには、標準や規制ガイドラインで定められた合意されたベンチマークに照らしてAIシステムの意味を評価し、問題を特定することが含まれる。 
3. Communicate : A range of communication techniques can be applied to ensure effective communication both within an organisation and externally. This might include collating findings into reports/presenting information in a dashboard as well as external communication to the public to set out steps an organisation has taken to assure their AI systems. In the long-term this may include activities like certification.   3. コミュニケーション: 組織内外の効果的なコミュニケーションを確保するために、様々なコミュニケーション技術を適用することができる。これには、調査結果を報告書にまとめたり、ダッシュボードで情報を提示したりするほか、組織がAIシステムを保証するために講じた措置を一般に公表するための外部コミュニケーションも含まれる。長期的には、認証のような活動も含まれる。 
4.2 AI assurance mechanisms   4.2 AI保証の仕組み  
There is a spectrum of AI assurance mechanisms that can, and should, be used in combination with one another across the AI lifecycle. These range from qualitative assessments which can be used where there is a high degree of uncertainty, ambiguity and subjectivity, for example thinking about the potential risks and societal impacts of systems, to quantitative assessments for subjects that can be measured objectively and with a high degree of certainty, such as how well a system performs against a specific metric, or if it conforms with a particular legal requirement. The table on the right details a sample of some key assurance techniques that organisations should consider as part of the development and/or deployment of AI systems.   AIの保証の仕組みには様々なものがあり、AIのライフサイクルを通じて互いに組み合わせて使用することが可能であり、またそうすべきである。例えば、システムの潜在的なリスクや社会的影響について考えるような、不確実性、曖昧性、主観性が高い場合に使用できる定性的なアセスメントから、システムが特定の指標に対してどの程度優れているか、特定の法的要件に適合しているかなど、客観的かつ高い確実性で測定できる対象のための定量的なアセスメントまで、様々なものがある。右の表は、組織がAIシステムの開発及び/又は展開の一環として検討すべき主要な保証手法の一例を詳細に示している。 
Risk assessment: Used to consider and identify a range of potential risks that might arise from the development and/or deployment of an AI product/ system. These include bias, data protection and privacy risks, risks arising from the use of a technology (for example the use of a technology for misinformation or other malicious purposes) and reputational risk to the organisation.   リスクアセスメント: AI製品/システムの開発及び/又は展開から生じる可能性のある様々な潜在的リスクを検討し、特定するために使用される。これには、バイアス、データ・プライバシー保護リスク、技術の使用から生じるリスク(例えば、誤情報やその他の悪意ある目的での技術の使用)、組織に対する風評リスクなどが含まれる。 
(Algorithmic) impact assessment: Used to anticipate the wider effects of a system/product on the environment, equality, human rights, data protection, or other outcomes.   (アルゴリズム)影響評価: システム/製品が環境、平等、人権、データ保護、その他の結果に及ぼす広範な影響を予測するために使用される。 
Bias audit: Assesses the inputs and outputs of algorithmic systems to determine if there is unfair bias in the input data, the outcome of a decision or classification made by the system.   バイアス監査: アルゴリズムシステムの入力と出力をアセスメントし、入力データ、システムによる決定結果、分類に不当なバイアスがあるかどうかを判断する。 
Compliance audit: Involves reviewing adherence to internal policies, external regulations and, where relevant, legal requirements.   コンプライアンス監査: 内部方針、外部規制、関連する場合は法的要求事項の遵守状況を検証する。 
Conformity assessment: The process of conformity assessment demonstrates whether a product or system meets relevant requirements, prior to being placed on the market. Often includes performance testing.   適合性アセスメント: 適合性評価のプロセスは、製品またはシステムが上市される前に、関連する要求事項を満たしているかどうかを実証する。多くの場合、性能試験が含まれる。 
Formal verification: Formal verification establishes whether a system satisfies specific requirements, often using formal mathematical methods and proofs.   形式的検証: 形式的検証は、システムが特定の要件を満たしているかどうかを、多くの場合、形式的な数学的手法や証明を用いて立証する。 
In addition, a key baseline requirement of AI assurance is ensuring that your data and systems are safe and secure. The National Cyber Security Centre (NCSC) has developed a range of resources and courses, including the Cyber Essentials certification to help organisations develop their cyber security capabilities.   さらに、AI保証の重要な基本要件は、データとシステムが安全かつセキュアであることを保証することである。ナショナル・サイバー・セキュリティ・センター(NCSC)は、組織がサイバーセキュリティ能力を開発するのを支援するために、Cyber Essentials認証を含む様々なリソースやコースを開発している。 
There will never be a silver bullet for AI assurance. Rather, multiple assurance techniques will need to be used in combination with one another across the lifecycle. It is therefore an important challenge for organisations to ensure that suitable assurance techniques and mechanisms are adopted, depending on the context in which a system is being deployed. However, this also allows for a proportionate approach to assurance, with low-risk use-cases able to rely on a smaller range of assurance techniques, and high-risk use-cases utilising a more robust combination of assurance techniques.   AI保証のための銀の弾丸は決して存在しない。むしろ、ライフサイクルを通じて、複数の保証技術を互いに組み合わせて使用する必要がある。したがって、システムが導入される状況に応じて、適切な保証手法やメカニズムを確実に採用することは、輸入事業者にとって重要な課題である。しかし、これによって、リスクの低いユースケースではより少ない範囲の保証技法に頼ることができ、リスクの高いユースケースではより強固な保証技法の組み合わせを利用することができるなど、保証に対する割合的なアプローチも可能になる。 
4.3 AI assurance and standards   4.3 AI保証と標準  
To provide a consistent baseline, and increase their effectiveness and impact, AI assurance mechanisms should also be underpinned by available global technical standards. These are consensus-based standards developed by global standards development organisations (SDOs) such as the International Standards Organisation (ISO). Global technical standards are essentially agreed ways of doing things, designed to allow for shared and reliable expectations about a product, process, system or service. Global technical standards allow assurance users to trust the evidence and conclusions presented by assurance providers – without standards we have advice, not assurance. There are different kinds of standards that can support a range of assurance techniques. These include:   一貫したベースラインを提供し、その有効性と影響力を高めるために、AIの保証メカニズムは、利用可能なグローバルな技術標準にも裏打ちされるべきである。技術標準とは、国際標準化機構(ISO)のようなグローバルな標準開発組織(SDOs)により開発されたコンセンサスに基づく標準である。グローバルな技術標準は、基本的に合意された物事の進め方であり、製品、プロセス、システム、サービスについて、共有された信頼できる期待を可能にするように設計されている。グローバルな技術標準によって、保証利用者は保証プロバイダが提示するエビデンスや結論を信頼することができる。標準には様々な種類があり、様々な保証手法をサポートすることができる。以下のようなものがある:  
Foundational and terminological 基礎及び用語
Provide shared vocabularies, terms, descriptions and definitions to build common understanding between stakeholders. 共通の語彙、用語、説明、定義を提供し、利害関係者間の共通理解を構築する。
Interface and architecture インタフェース及びアーキテクチャ
Define common protocols, formats and interfaces of a system, for example interoperability, infrastructure, architecture and data management standards. 相互運用性、インフラ、アーキテクチャ、データ管理標準など、システムの共通プロトコル、フォーマット、インタフェースを定義する。
Measurement and test methods 測定・テスト方法
Provide methods and metrics for evaluating properties (e.g., security, safety) of AI systems. AIシステムの特性(セキュリティ、安全性など)を評価するための手法や測定基準を提供する。
Process, management, and governance プロセス、管理、ガバナンス
Set out clear processes and approaches for best practice in organisational management, governance and internal controls. 組織管理、ガバナンス、内部統制におけるベストプラクティスのための明確なプロセスとアプローチを定める。
Product and performance requirements 製品・性能要件
Set specific criteria and thresholds to ensure that products and services meet defined benchmarks, safeguarding consumers by setting safety and performance requirements. 製品やサービスが定義されたベンチマークを満たすことを保証するための具体的な基準と閾値を設定し、安全性と性能の要件を設定することで消費者を保護する。
Standards for bias audit   バイアス監査標準
All these types of standards can underpin and help to enable a range of assurance techniques. The visual to the left showcases an example of how each of these standard types may be relevant when conducting a bias audit.  これらの標準はすべて、様々な保証手法の基礎となり、それを可能にするのに役立つ。左のビジュアルは、バイアス監査を実施する際に、これらの標準の各タイプがどのように関連しうるかの例を示している。
This is not an exhaustive list of standards. Rather these are an indicative example of the types of standards that are available.  これは標準の網羅的なリストではない。むしろ、これらは利用可能な標準の種類を示す一例である。
Bias Audit バイアス監査
Assessing the inputs and outputs of algorithmic systems to determine if there is unfair bias in the input data, the outcome of a decision or classification made by the system. アルゴリズムシステムの入力と出力をアセスメントし、入力データ、システムによる決定結果または分類に不当なバイアスがあるかどうかを判断すること。
Foundational and terminological standards 基礎および用語標準
What do we mean by “bias” and “fairness” in this context? What are we trying to measure? ここでいう「バイアス」や「公平性」とは何か?何を測定しようとしているのか?
IEEE P7003 ISO/IEC TR 24027 IEE P7003 ISO/IEC TR 24027
Process, management and governance standards プロセス、マネジメント、ガバナンスの標準
What organisational and governance processes do you have in place to support responsible and fair innovation? 責任ある公正なイノベーションを支援するために、どのような組織・ガバナンスプロセスがあるか?
ISO/IEC 42001 ISO/IEC 23894  ISO/IEC 42001 ISO/IEC 23894 
Measurement and test methods 測定・試験方法
What are the methods and metrics you’re using to measure bias in your AI system? AIシステムのバイアスを測定するために使用している方法と測定基準は何か。
 ISO/IEC TR 24027 ISO/IEC TS 12791  ISO/IEC TR 24027 ISO/IEC TS 12791 
Product and performance requirements 製品および性能要件
What is an acceptable output of my bias audit, in order for me to safely deploy this system? Is some bias acceptable?  このシステムを安全に配備するために、バイアス監査の出力として許容できるものは何か?多少のバイアスは許容できるか?
ISO/IEC TR 24027 ISO/IEC 12791  ISO/IECTR 24027 ISO/IECTS 12791 
Spotlight: AI Standards Hub    スポットライト AI標準ハブ 
The AI Standards Hub is a joint initiative led by The Alan Turing Institute, the British Standards Institution (BSI), and the National Physical Laboratory (NPL), supported by the government. The Hub’s mission is to advance trustworthy and responsible AI with a focus on the role that global technical standards can play as governance tools and innovation mechanisms. The AI Standards Hub aims to help stakeholders navigate and actively participate in global AI standardisation efforts and champion global technical standards for AI.   AI標準ハブは、アラン・チューリング研究所(The Alan Turing Institute)、英国規格協会(British Standards Institution:BSI)、国立物理研究所(National Physical Laboratory:NPL)が主導する共同イニシアチブで、政府の支援を受けている。ハブの使命は、ガバナンス・ツールおよびイノベーション・メカニズムとしてグローバルな技術標準が果たす役割に焦点を当て、信頼できる責任あるAIを推進することである。AI標準ハブは、ステークホルダーがグローバルなAI標準化の取り組みにナビゲートし、積極的に参加できるよう支援し、AIのためのグローバルな技術標準を支持することを目指している。 
Dedicated to knowledge sharing, community and capacity building, and strategic research, the hub seeks to bring together industry, government, regulators, consumers, civil society and academia with a view to:   知識共有、コミュニティと能力構築、戦略的研究に特化したハブは、産業界、政府、規制当局、消費者、市民社会、学界を結集し、以下を目指す:  
・Increasing awareness and contributions to global technical AI standards in line with UK values.   ・英国の価値観に沿ったグローバルなAI技術標準への認識と貢献を高める。 
・Increasing multi-stakeholder involvement in AI standards development.    ・AI標準開発へのマルチステークホルダーの関与を高める。  
・Bringing the UK AI community together to encourage more coordinated engagement in global AI technical standards development.   ・英国のAIコミュニティをまとめ、グローバルなAI技術標準策定へのより協調的な関与を促す。 
・Increasing research and analysis of global AI technical standards, including with international partners, to ensure standards are shaped in line with our shared values.   ・国際的なパートナーを含め、グローバルなAI技術標準の調査・分析を強化し、私たちが共有する価値観に沿って標準が策定されるようにする。 
To learn more, visit the AI Standards Hub website.   詳細については、AI標準ハブのウェブサイトを参照のこと。 
4.4 The AI assurance ecosystem  4.4 AI保証エコシステム 
There is a growing market of AI assurance providers who supply the assurance systems and services required by organisations who either don’t have in-house teams offering internal assurance capabilities, or who require additional capabilities on top of those they have internally. As with assurance techniques and mechanisms, there is no single ‘type’ of assurance provider, with some third-party providers offering specific technical tools, whilst others offer holistic AI governance platforms. There are also diversified professional services firms who offer assurance ‘as a service’, supporting clients to embed good governance and assurance practices. Due to its relationship with wider organisational risk management, AI assurance is often seen as one part of an organisation’s Environmental, Social and Corporate Governance processes (ESG).   社内に保証能力を提供するチームを持たない、あるいは社内にある保証能力に加えて追加的な能力を必要とする組織が必要とする保証システムやサービスを提供するAI保証プロバイダの市場は拡大している。保証の技術や仕組みと同様に、保証プロバイダにも単一の「タイプ」はなく、特定の技術ツールを提供するサードパーティもあれば、総合的なAIガバナンス・プラットフォームを提供するプロバイダもある。また、「サービスとして」保証を提供する多様なプロフェッショナルサービス企業も存在し、優れたガバナンスと保証の実践をクライアントに定着させるための支援を行っている。AI保証は、より広範な組織のリスクマネジメントとの関係から、組織の環境・社会・政府ガバナンスプロセス(ESG)の一部と見なされることが多い。 
However, AI assurance isn’t just limited to a selection of mechanisms and standards and the assurance teams and providers that use them. A range of actors need to check that AI systems are trustworthy and compliant, and to communicate evidence of this to others. These actors can each play several interdependent roles within an assurance ecosystem. The next few pages provide examples of key supporting stakeholders and their role within the AI assurance ecosystem.   しかし、AI保証は、選定された仕組みや標準、それらを利用する保証チームやプロバイダだけに限定されるものではない。様々なアクターが、AIシステムが信頼でき、コンプライアンスに準拠していることをチェックし、その証拠を他者に伝える必要がある。これらのアクターは、それぞれ保証エコシステムの中で、相互に依存し合ういくつかの役割を果たすことができる。次のページでは、AI保証エコシステムにおける主要なステークホルダーとその役割の例を示す。 
Regulators  規制当局 
Role:   役割  
To set regulation and best practice in their relevant domains and (where required) encourage, test and verify that AI systems are compliant with their regulations. Regulators will also incentivise best practice and create the conditions for the trustworthy development and use of AI.   関連領域における規制とベストプラクティスを設定し、(必要に応じて)AIシステムが規制に準拠していることを奨励、テスト、検証する。また、ベストプラクティスにインセンティブを与え、AIの信頼できる開発と利用のための条件を整備する。 
Example:   例  
Individual regulators will be responsible for developing regulatory guidance and oversight for the deployment of technology in their respective areas.   個々の規制当局は、それぞれの分野におけるテクノロジーの展開に関する規制ガイダンスと監督を策定する責任を負う。 
The ICO has already developed regulatory guidance and toolkits relating to how data protection regulation applies to AI.   ICOはすでに、データ保護規制がAIにどのように適用されるかに関する規制ガイダンスとツールキットを策定している。 
Regulators are also implementing a range of sandboxes and prize challenges to support regulatory innovation in AI.   規制当局はまた、AIにおける規制上のイノベーションを支援するため、様々なサンドボックスや懸賞チャレンジを実施している。 
Audience:   対象者  
・Affected individuals  ・影響を受ける個人 
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
Accreditation bodies  認定団体 
Role:   役割  
To attest to the ongoing competence, impartiality of AI services provided by third party assurance providers against international standards. This will build trust in auditors, assessors, and suppliers throughout the AI assurance ecosystem.   国際標準に照らして、サードパーティ保証プロバイダが提供するAIサービスの継続的な能力、公平性を証明する。これにより、AI保証エコシステム全体を通じて、監査人、評価者、供給者の信頼を構築する。 
N.B. Accreditation bodies will not be able to accredit organisations offering ‘assurance as a service’. The United Kingdom Accreditation Service (UKAS) cannot review organisations offering services to third-party clients whose services may also be reviewed by UKAS, as it would represent a conflict of interest.   注:認定団体は、「サービスとしての保証」を提供する組織を認定することはできない。英国認定機関(UKAS)は、サードパーティにサービスを提供する組織を審査することはできない。 
Example:   例  
UKAS is the UK’s sole national accreditation body. It is appointed by the government to assess a third-party organisation known as a conformity assessment body who provide a range of services including AI assurance. UKASは英国唯一の国家認定団体である。UKASは、AI保証を含む様々なサービスを提供する適合性評価機関として知られるサードパーティ組織の審査を行うよう政府から任命されている。
Services offered by UKAS include certification, testing, inspection and calibration.   UKASが提供するサービスには、認証、試験、検査、校正が含まれる。 
Please review the UK government’s policy on accreditation and conformity assessments if you want more information.   詳細については、認定および適合性評価に関する英国政府の方針を参照されたい。 
Audience:   対象者  
・Affected individuals   ・影響を受ける個人  
・Government   ・ガバナンス政府  
・Regulators   ・規制当局  
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
・Other assurance providers   ・その他の保証プロバイダ  
Government 政府 
Role:   役割  
Drive the development of an AI assurance ecosystem that supports compliance with laws and regulations, in a way that does not hinder economic growth.   経済成長を妨げない形で、法令遵守を支援するAI保証エコシステムの開発を推進する。 
Example:   例  
The DSIT AI assurance programme supports the development of a robust and sustainable AI assurance ecosystem.   DSIT AI保証プログラムは、強固で持続可能なAI保証エコシステムの開発を支援する。 
Work to date includes building knowledge of the AI assurance market, its drivers and barriers, highlighting emerging assurance techniques (through the Portfolio of Assurance Techniques and supporting the development of novel assurance techniques, for example through the Fairness Innovation Challenge. これまでの活動には、AI保証市場、その促進要因と障壁に関する知識の構築、(保証手法のポートフォリオを通じた)新たな保証手法の紹介、Fairness Innovation Challengeなどを通じた新たな保証手法の開発支援などが含まれる。
Audience:   対象者  
・Affected individuals   ・影響を受ける個人  
・Regulators ・規制当局
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
Standards bodies</span 標準団体 
Role:   役割  
To convene actors including industry and academia to develop commonly accepted standards that can be evaluated against.   産業界や学術界を含む関係者を招集し、共通に評価できる標準を策定する。 
Example:   例  
There are both international and national standards bodies. International standards bodies include the International Organisation for Standardisation (ISO) and the International Electrotechnical Commission (IEC) as well as There are both international and national standards 国際標準化団体と国内標準化団体がある。国際標準化団体には、国際標準化機構(ISO)、国際電気標準会議(IEC)のほか、国際規格と国内規格がある。
The British Standards Institute (BSI) is the UK’s national standards body. BSI represents UK stakeholders at specific regional and international standards bodies that are part of the standards system. BSI along with the National Physical Laboratory (NPL) and the UK accreditation service (UKAS) make up the UK’s national quality infrastructure for standards (for more information, see the Standards for the Fourth Industrial Revolution report.   英国規格協会(BSI)は、英国の国家標準化団体である。BSIは、標準化システムの一部である特定の地域および国際標準化団体において、英国の利害関係者を代表している。BSIは、国立物理学研究所(NPL)および英国認定機関(UKAS)とともに、標準に関する英国の国家品質インフラを構成している(詳細については、「第4次産業革命のための標準」報告書を参照)。 
Audience:   対象者  
・Regulators   ・規制当局  
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
Research bodies  研究団体 
Role:   役割  
Contribute to research on potential risks or develop leading-edge assurance systems.   潜在的リスクに関する研究に貢献したり、最先端の保証システムを開発する。 
Example:   例  
The Alan Turing Institute is the national institute for data science and AI, working to advance research and apply it to national and global challenges – including via a research programme on AI assurance.   アラン・チューリング研究所は、データサイエンスとAIのための国立研究所であり、AI保証に関する研究プログラムなどを通じて、研究を進め、国家的・世界的な課題に応用することに取り組んでいる。 
Turing is currently collaborating with the University of York on the Assuring Autonomy International Programme to build on and harmonise existing research into trustworthy and ethical assurance. This project includes the development of open and reproducible tools to help project teams meet ethical and regulatory best practices in health research and healthcare for a range of data-driven technologies .   チューリング研究所は現在、ヨーク大学と共同でAssuring Autonomy International Programmeを立ち上げ、信頼できる倫理的保証に関する既存の研究を発展させ、調和を図っている。このプロジェクトには、プロジェクトチームが様々なデータ駆動型技術について、健康研究やヘルスケアにおける倫理的・規制的なベストプラクティスを満たすのを助ける、オープンで再現可能なツールの開発が含まれている。 
Audience:   対象者  
・Government   ・政府  
・Regulators   ・規制当局  
・Other assurance providers   ・その他の保証プロバイダ  
Civil society organisations   市民社会組織 
Role:   役割  
Through oversight and stakeholder convening, civil society organisations can support multi-stakeholder feedback and scrutiny on AI systems. They can also keep the public/ industry informed of emerging risks and trends through external advocacy and develop assurance thought leadership and best practice.   市民社会組織は、監督と利害関係者の招集を通じて、AIシステムに関するマルチステークホル ダーからのフィードバックと精査を支援することができる。また、対外的なアドボカシー活動を通じて、新たなリスクやトレンドについて一般市民や業界に情報を提供し、保証のソート・リーダーシップやベスト・プラクティスを開発することができる。 
Example:   例  
Civil society organisations are working on developing resources and templates to support AI assurance processes. For example, the Ada Lovelace Institute’s Algorithmic Impact Assessment in Healthcare project has developed a template algorithmic impact assessment (AIA) in a healthcare context. This aims to ensure that algorithms that use public sector data are evaluated and governed to produce benefits for society, governments, public bodies and technology developers, as well as the people represented in the data and affected by the technologies and their outcomes 市民社会組織は、AI保証プロセスを支援するためのリソースやテンプレートの開発に 取り組んでいる。例えば、Ada Lovelace InstituteのAlgorithmic Impact Assessment in Healthcareプロジェクトは、ヘルスケアの文脈におけるアルゴリズム影響評価(AIA)のテンプレートを開発した。これは、公共部門のデータを使用するアルゴリズムが、社会、ガバナンス、団体、技術開発者、そしてデータに代表され、技術やその結果の影響を受ける人々にとって利益をもたらすように評価され、管理されることを保証することを目的としている。 
Audience:   対象者  
・Affected individuals   ・影響を受ける個人  
・Government   ・政府  
・Regulators   ・規制当局  
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
Professional bodies  専門団体 
Role:   役割  
To define, support, and improve the professionalisation of assurance standards and to promote information sharing, training, and good practice for professionals, which can be important both for developers and assurance service providers.   保証標準の専門化を定義、支援、改善し、専門家のための情報共有、トレーニング、グッドプラクティスを促進する。 
Example:   例  
There are not currently any professional bodies with Chartered Status, with a focus on AI assurance.   現在、AI 保証に特化した Chartered Status を有する専門団体は存在しない。 
However, the UK Cyber Security Council has recently been created and made responsible for standards of practice for cyber security professionals. This model that could be adopted for AI assurance in the future.   しかし、最近、英国サイバーセキュリティ評議会が設立され、サイバーセキュリティ専門家の実践標準に責任を持つようになった。このモデルは、将来的にAI保証にも採用される可能性がある。  
The International Association of Algorithmic Auditors (IAAA) is another recently formed body, hoping to professionalise AI auditing by creating a code of conduct for AI auditors, training curriculums, and eventually, a certification programme.   国際アルゴリズム監査人協会(IAAA)も最近設立された団体で、AI監査人の行動規範、研修カリキュラム、最終的には認定プログラムを作成することで、AI監査の専門化を目指している。 
Audience:   対象者  
・Regulators   ・規制当局  
・Organisations developing AI systems Organisations procuring AI systems   ・AIシステムを開発する組織 AIシステムを調達する組織  
・Organisations procuring AI systems   ・AIシステムを調達する組織  
Spotlight: Fairness Innovation Challenge  スポットライト フェアネス・イノベーション・チャレンジ 
A range of the above stakeholders are already working together to grow the UK’s AI assurance ecosystem through the Fairness Innovation Challenge. The Challenge, run by DSIT in partnership with Innovate UK, brings together government, regulators, academia, and the private sector to drive the development of novel socio-technical approaches to fairness and bias audit – a currently underdeveloped area of research, with most bias audits measuring purely technical or statistical notions of fairness. The Challenge will provide greater clarity about how different assurance techniques can be applied in practice, and work to ensure that different strategies to address bias and discrimination in AI systems comply with relevant regulation, include data protection and equalities law. 上記の様々な関係者は、Fairness Innovation Challengeを通じて、英国のAI保証エコシステムを成長させるために既に協力している。DSITがInnovate UKと共同で運営するこのチャレンジは、政府、規制当局、学界、民間セクターを結集し、公平性とバイアス監査に対する斬新な社会技術的アプローチの開発を推進するものである。このチャレンジは、さまざまな保証技術が実際にどのように適用できるかをより明確にし、AIシステムにおけるバイアスや識別的差別に対処するためのさまざまな戦略が、データ保護法や平等法などの関連規制に準拠していることを確認するための作業を行う。 
Spotlight: IAPP Governance Center  スポットライト:IAPPガバナンス・センター 
The International Association of Privacy Professionals (IAPP) is the largest global information privacy community and resource centre, with more than 80,000 members. It is a non-profit, policy-neutral professional association helping practitioners develop their capabilities and organisations to manage and protect their data.   国際プライバシー・プロフェッショナル協会(IAPP)は、8万人以上の会員を擁する世界最大の情報プライバシー・コミュニティであり、リソース・センターである。IAPPは非営利で、政策に中立的な専門家団体であり、実務者がデータを管理し保護するための能力と組織を開発するのを支援している。 
In Spring 2023, the IAPP AI Governance Center was launched, in recognition of the need for professionals to establish the trust and safety measures that will ensure AI fulfils its potential to serve society in positive and productive ways.   2023年春、IAPP AIガバナンス・センターが発足した。これは、AIが積極的かつ生産的な方法で社会に貢献する潜在能力を確実に発揮できるよう、専門家が信頼と安全対策を確立する必要性を認識したものである。 
Through the AI Governance Center, the IAPP provides professionals tasked with AI governance, risk, and compliance with the content, resources, networking, training and certification they need to manage the complex risks of AI. This allows AI governance professionals to share best practices, track trends, advance AI governance management issues, standardise practices and access the latest educational resources and guidance.   IAPPはAIガバナンス・センターを通じて、AIのガバナンス、リスク、コンプライアンスを担当する専門家に対し、AIの複雑なリスクを管理するために必要なコンテンツ、リソース、ネットワーキング、トレーニング、認証を提供している。これにより、AIガバナンスの専門家は、ベストプラクティスを共有し、トレンドを追跡し、AIガバナンス管理問題を前進させ、プラクティスを標準化し、最新の教育リソースやガイダンスにアクセスすることができる。 
In December 2023, the IAPP AI Governance Center published a report, based on survey responses from over 500 individuals from around the world, on organisational governance issues relating to the professionalisation of AI governance. The report covered the use of AI within organisations, AI governance as a strategic priority, the AI governance function within organisations, the benefits of AI-enabled compliance, and AI governance implementation challenges. Notably, IAPP research has found that:   2023年12月、IAPP AIガバナンス・センターは、AIガバナンスの専門化に関連する組織ガバナンスの問題について、世界中の500人以上からの調査回答に基づく報告書を発表した。報告書では、組織内でのAIの活用、戦略的優先事項としてのAIガバナンス、組織内のAIガバナンス機能、AIを活用したコンプライアンスのメリット、AIガバナンス導入の課題などが取り上げられている。注目すべきは、IAPPの調査結果である:  
60% of respondents indicated their organisation has already established a dedicated AI governance function or is likely to in the next 12 months.   回答者の60%が、組織内にAIガバナンスの専門部署をすでに設置しているか、今後1年以内に設置する可能性があると回答している。 
31% cited a complete lack of qualified AI governance professionals as a key challenge.   31%は、AIガバナンスの有資格者が完全に不足していることを主要な課題として挙げている。 
56% indicated they believe their organization does not understand the benefits and risks of AI deployment.   56%は、組織がAI導入のメリットとリスクを理解していないと考えていると回答した。 
To learn more visit the IAPP AI Governance Center.   詳細については、IAPP AIガバナンス・センターを参照のこと。 
5. AI assurance in practice   5. AI保証の実際  
5.1 AI assurance landscape   5.1 AI保証の状況  
There are a wide range of techniques and subjects in scope for AI assurance, with considerable variations in metrics and methodologies across sectors, situations and systems. The diagram to the right demonstrates how this can look in practice at a high-level. DSIT shortly plans to publish additional sector-specific guidance to provide more detail about AI assurance in particular contexts.   AI保証の対象となる手法や対象は多岐にわたり、分野、状況、システムによって評価基準や手法にかなりの違いがある。右の図は、これが実際にどのように見えるかをハイレベルで示したものである。DSITは間もなく、特定の状況におけるAI保証についてより詳しく説明するため、セクター別の追加ガイダンスを発表する予定である。 
My organisation wants to demonstrate it has…   私の組織は...  
1. Good internal governance processes around AI  1. AIに関する優れた内部ガバナンス・プロセス 
2. Understood the potential risks of AI systems it is buying 2. 購入しようとしているAIシステムの潜在的リスクを理解している。
3. Made sure AI systems it is building or buying adhere to existing regulations for data protection 3. 構築または購入しようとしているAIシステムが、データ保護に関する既存の規制を遵守していることを確認した。
Assurance mechanism  保証メカニズム 
1. Conformity assessment 1. アセスメント
2. Algorithmic impact assessment  2. アルゴリズムの影響評価 
3. Compliance audit  3. コンプライアンス監査 
Provider  プロバイダ 
1. UKAS accredited conformity assessment body  1. UKAS認定適合性評価団体 
2. UKAS accredited conformity assessment body  2. UKAS認定適合性評価団体 
3. Third party assurance provider  3. サードパーティ保証プロバイダ 
Measured against  測定対象 
1. SDO-developed standards, e.g. ISO/IEC 42001, AI Management System  1. SDOが開発した標準(例:ISO/IEC 42001、AIマネジメントシステム 
2. (Self) assessment against proprietary framework or responsible AI toolkit  2. (独自のフレームワークまたは責任あるAIツールキットに対する(自己)アセスメント 
3. UK GDPR  3. 英国のGDPR 
5.2 AI assurance spectrum   5.2 AI 保証の範囲  
Given the variety of use-cases and contexts that AI assurance techniques can be deployed in and the need for assurance across the AI development lifecycle, a broad range of assurance techniques beyond purely technical solutions will need to be applied.   AIの保証技術が導入されるユースケースやコンテキストは多様であり、AIの開発ライフサイクル全体にわたって保証する必要があることから、純粋に技術的な解決策だけでなく、幅広い保証技術を適用する必要がある。 
Within scope of AI assurance techniques are  AI保証技術の範囲内には、以下のようなものがある。
Training data トレーニングデータ
Training data is the information an AI system uses to ‘learn’ from during its initial development. Additional training data may be used later in the lifecycle to update the model.  学習データとは、AIシステムが初期開発時に「学習」するために使用する情報のことである。ライフサイクルの後半では、モデルを更新するために追加のトレーニングデータを使用することもある。
AI models AIモデル
AI models are artefacts of machine learning methods, where the model ‘learns’ how to solve certain tasks by identifying patterns in the training data. They are constructed to help analyse, explain, predict, or control the properties of real-world systems. GPT-4 is an example of an AI model.  AIモデルは機械学習手法の成果物であり、モデルは学習データのパターンを特定することで、特定のタスクを解決する方法を「学習」する。実世界のシステムの特性を分析、説明、予測、制御するために構築される。GPT-4はAIモデルの一例である。
AI systems AIシステム
AI systems are the products, tools, applications or devices that utilise AI models to help solve problems. They may comprise a single model, or multiple models. AI systems are the operational interfaces to AI models – they incorporate the technical structures and processes that allow models to be used by non-technologists. ChatGPT is an example of an AI system, which uses GPT-4.  AIシステムとは、AIモデルを活用して問題解決を支援する製品、ツール、アプリケーション、デバイスのことである。単一のモデルで構成されることもあれば、複数のモデルで構成されることもある。AIシステムは、AIモデルの操作インターフェースであり、技術者でなくてもモデルを利用できるような技術的な構造やプロセスを組み込んでいる。ChatGPTは、GPT-4を使用したAIシステムの一例である。
Broader operational context より広範なオペレーション・コンテキスト
This refers to how AI systems are deployed within the wider organisational context – the broader systems that support decision making and the delivery of outcomes. This can include the impact of a system on groups and individuals and the balance of liabilities between users and organisations.  これは、意思決定と成果の提供をサポートする広範なシステムという、より広範な組織的背景の中でAIシステムがどのように展開されるかを指す。これには、システムが集団や個人に与える影響や、ユーザーと組織の間の責任のバランスも含まれる。
1_20240710053801
The diagram to the left demonstrates how the development and deployment lifecycles fit together. The horizontal development process is relevant where you are building AI systems in-house, and the vertical deployment process is relevant where you are deploying procured or in-house AI systems.   左の図は、開発と配備のライフサイクルがどのように組み合わされているかを示している。水平的な開発プロセスは、社内でAIシステムを構築する場合に関連し、垂直的な展開プロセスは、調達または社内でAIシステムを展開する場合に関連する。 
Assurance of relevant data, the model and/or the system, and the governance in place around the process is relevant in both situations.   関連するデータ、モデルおよび/またはシステムのガバナンスの保証と、そのプロセスに関するガバナンスの整備は、どちらの状況にも関連する。 
5.3 Assuring data, models, systems and governance in practice  5.3 実際のデータ、モデル、システム、ガバナンスの保証 
Data  データ 
Data is the foundation of AI. Without the collection of high-quality, robust, and ethically sourced data, AI technologies will be unable to operate effectively or maintain trust. Organisations should put in place robust and standardised processes for handling data, including:   データはAIの基盤である。高品質かつ堅牢で、倫理的に調達されたデータを収集しなければ、AI技術は効果的に運用することも、信頼を維持することもできない。組織は、データの取り扱いについて、以下を含む強固で標準化されたプロセスを導入すべきである:  
・An effective organisational data strategy;   ・効果的な組織のデータ戦略  
・Clear employee accountabilities for data and;   ・データに関する従業員の明確な説明責任  
・Robust, standardised and transparent processes for data collection, processing and sharing.   ・データの収集、処理、共有のための強固で標準化された透明性のあるプロセス。 
All organisations processing data must comply with existing legal requirements, in particular, UK GDPR and the Data Protection Act 2018. All systems using personal data must carry-out a data protection impact assessment (DPIA).   データを処理するすべての組織は、既存の法的要件、特に英国GDPRとデータ保護法2018を遵守しなければならない。個人データを使用するすべてのシステムは、データ保護影響評価(DPIA)を実施しなければならない。 
A DPIA should consider risks and impacts to individuals, the rights and freedoms of individuals, groups and society and map-out planned data processing activities.   DPIAは、個人に対するリスクと影響、個人、グループ、社会の権利と自由を考慮し、計画されたデータ処理活動をマッピングする必要がある。 
Models and Systems  モデルとシステム 
Assurance techniques and practices designed to improve justified trust in AI models and systems will work to ensure that they function as intended, and that they produce beneficial outcomes. This includes ensuring that outputs are accurate, and minimising potential harmful outcomes such as unwanted bias. A range of assurance tools and techniques can be used to evaluate AI models and systems, including impact assessments, bias audits and performance testing.   AIモデルやシステムに対する正当な信頼を向上させるために設計された改善手法や実践は、それらが意図したとおりに機能し、有益な結果をもたらすことを保証するために働く。これには、アウトプットが正確であること、望ましくないバイアスなどの潜在的な有害結果を最小化することが含まれる。AIモデルやシステムの評価には、影響アセスメント、バイアス監査、パフォーマンステストなど、さまざまな保証ツールや手法を用いることができる。 
When setting metrics, teams should build in rigorous software testing and performance assessment methodologies with comparisons to clear performance benchmarks.   評価指標を設定する際には、明確なパフォーマンス・ベンチマークとの比較を行いながら、厳格なソフトウェア・テストとパフォーマンス評価の手法を組み込むべきである。 
Governance  ガバナンス 
As a foundation, all organisations should integrate robust organisational governance frameworks for AI systems. There are core steps organisations should build into governance processes to enable the effective evaluation and measurement of risks and biases associated with AI and to support clear and accurate communication to ensure concerns and issues are flagged.   基礎として、すべての組織はAIシステムのための強固な組織ガバナンスフレームワークを統合すべきである。AIに関連するリスクやバイアスの効果的な評価と測定を可能にし、懸念や問題が確実に指摘されるように明確で正確なコミュニケーションをサポートするために、組織がガバナンス・プロセスに組み込むべき中核的なステップがある。 
The next few pages lay out some examples of the assurance mechanisms we introduced previously, highlighting how they may be used to assure AI systems, and what outcomes an organisation could expect from such mechanisms being used in practice. Further examples of real-world AI Assurance techniques developed by assurance providers can be found in DSIT’s Portfolio of Assurance Techniques.   次の数ページでは、前回紹介した保証メカニズムの例をいくつか示し、AIシステムの保証にどのように利用できるか、また、そのようなメカニズムが実際に利用されることで、組織がどのような成果を期待できるかを明らかにする。保証プロバイダが実際に開発したAI保証手法の例は、DSITの「保証手法のポートフォリオ」に掲載されている。 
As a baseline, core governance processes include  基本的なガバナンス・プロセスとしては、以下が挙げられる。
・Clear, standardised internal transparency and reporting processes and lines of responsibility, with a named person responsible for data management and clear governance and accountability milestones built into the project design.   ・明確で標準化された社内の透明性と報告プロセス、および責任系統を持ち、データ管理の責任者を指名し、明確なガバナンスとアカウンタビリティのマイルストーンをプロジェクト設計に組み込む。

・Clear avenues for escalation and staff (at all levels) empowered to flag concerns to appropriate levels.   ・エスカレーションのための明確な手段と、(あらゆるレベルの)スタッフが適切なレベル に懸念を表明する権限を与えられている。 
・Clear processes to identify, manage and mitigate risks.   ・リスクを特定、マネジメント、軽減するための明確なプロセス。 
・Quality assurance processes built-in throughout the AI lifecycle.   ・AIのライフサイクルを通じて品質保証プロセスが組み込まれている。 
・External transparency and reporting processes.   ・外部への透明性と報告プロセス  
・Ensuring the right skills and capabilities are in place and that AI assurance capability and infrastructure is adequately funded.   ・適切なスキルと能力を確保し、AI保証能力とインフラに十分な資金を提供する。 
Mitigations to identified risks and issues can include  識別されたリスクや問題に対する低減には、以下が含まれる。
・Internal mitigations, such as metrics designed to identify, and measures to correct, poor-performing or unfair algorithms, and amendments to internal governance processes to improve risk management.   ・パフォーマンスの低いアルゴリズムや不公正なアルゴリズムを特定し、是正するために設計された指標や、リスクマネジメントを改善するための内部ガバナンスプロセスの修正など、内部的な低減。 
・External (public) redress for affected individuals such as through a clearly communicated appeals process. Such mechanisms should be simple and – importantly – effective.   ・明確にコミュニケーションされた不服申し立てプロセスなど、影響を受けた個人に対する外部(公的)救済。このような仕組みは、シンプルで、かつ(重要な点として)効果的でなければならない。 
5.4 Risk assessment   5.4 リスクアセスメント  
Risk assessments are used to consider and identify a range of potential risks that might arise from the development and/or deployment of an AI product/systems.   リスクアセスメントは、AI製品/システムの開発及び/又は展開から生じる可能性のある様々な潜在的リスクを検討し、特定するために用いられる。 
Background   背景  
An online education platform is exploring ways of using AI to personalise video content presented to users. The company conducts a risk assessment to explore potential costs and benefits, including effects on reputation, safety, revenue, and users.   あるオンライン教育プラットフォームは、ユーザーに提示する動画コンテンツをパーソナライズするためにAIを使用する方法を模索している。同社はリスクアセスメントを実施し、評判、安全性、収益、ユーザーへの影響など、潜在的なコストと便益を調査している。 
Process   プロセス  
Staff are encouraged to share their thoughts and concerns in workshops designed to capture and classify a range of potential risks. The workshop is followed by more detailed questionnaires. The company’s internal audit staff then assess the risks to quantify and benchmark them and present their findings in an internal report to inform future decision-making.   様々な潜在的リスクを把握し、分類するために設計されたワークショップで、スタッフは自分の考えや懸念を共有するよう奨励される。ワークショップの後、より詳細なアンケートが実施される。その後、内部監査スタッフがリスクをアセスメントし、定量化とベンチマークを行い、その結果を内部報告書にまとめ、今後の意思決定に役立てる。 
Outcomes   成果  
The risk assessment results in a clearer and shared appreciation/understanding of potential risks, which is used to create mitigation strategies and build resilience to manage future change across the organisation.   リスクアセスメントの結果、潜在的なリスクに対する認識/理解がより明確かつ共有され、そ れを基に低減戦略が策定され、組織全体で将来の変化に対応するレジリエンスが構築される。 
5.5 Impact assessment   5.5 インパクトアセスメント  
Impact assessments are used to anticipate the wider effects of a system/product on the environment, equality, human rights, data protection, or other outcomes.   影響アセスメントは、システム/製品が環境、平等、人権、データ保護、またはその他の結果に及ぼす広範な影響を予測するために使用される。 
Background   背景  
A specialist waste collection company is conducting an Impact Assessment before deploying a new AI system to manage its waste sorting system more efficiently.   ある廃棄物収集専門会社は、廃棄物選別システムをより効率的に管理するために、新しいAIシステムを導入する前にインパクトアセスメントを実施している。 
Process   プロセス  
The company uses a tool to assess different aspects of the potential outcomes of the new AI system. During the planning phase, the organisation has adapted a toolkit - including a detailed questionnaire - from a publicly available resource. The toolkit includes categories that cover environmental impacts, fairness, transparency and inclusivity and guides assessors to map out the rationale for deploying the new system, as well as potential consequences.  Results are published in a report alongside mitigations and reflections on the findings.   同社は、新しいAIシステムの潜在的な成果をさまざまな側面から評価するツールを使用している。計画段階では、詳細なアンケートを含むツールキットを一般に公開されているリソースから採用した。ツールキットには、環境への影響、公平性、透明性、包括性をカバーするカテゴリーが含まれており、評価者が新システムを導入する根拠と潜在的な結果をマップ化するようガイドしている。 結果は、低減策や調査結果についての考察とともに報告書として公表される。 
Outcomes   成果  
The impact assessment enables the company to develop a clearer understanding of the potential opportunities and costs from deploying a new AI system. The final report also provides a record of actions that could help mitigate harmful outcomes.   インパクト・アセスメントにより、企業は新しいAIシステムの導入による潜在的な機会とコストについて、より明確な理解を深めることができる。最終報告書はまた、有害な結果を軽減するのに役立つ行動の記録を提供する。 
5.6 Bias audit   5.6 バイアス監査  
Bias audits focus on assessing the inputs and outputs of algorithmic systems to determine whether there is unfair bias in the outcome of a decision, classification made by the system, or input data.   バイアス監査は、アルゴリズムシステムのインプットとアウトプットを評価し、意思決定の結果、システムによる分類、またはインプットデータに不当なバイアスがあるかどうかを判断することに焦点を当てる。 
Background   背景  
A growing company is using an AI system they have built and trained to sift candidates in a recruitment campaign. This is to ensure that their approach does not introduce unintended biases to the system.   ある成長企業が、採用キャンペーンで候補者をふるいにかけるために、構築・訓練したAIシステムを使用している。これは、彼らのアプローチがシステムに意図しないバイアスを持ち込まないようにするためである。 
Process   プロセス  
A third-party auditor works with internal staff to define the scope and objectives for the audit. It then requests data from the company and access to their systems, to undertake a technical audit to measure outcomes from the sifting algorithms to identify potential bias.   サードパーティ監査人は、社内スタッフと協力して監査の範囲と目的を定義する。その後、同社にデータを提供し、システムにアクセスするよう要請し、ふるい分けアルゴリズムから得られる結果を測定し、潜在的なバイアスを特定するための技術監査を実施する。 
Outcomes   成果  
The audit reveals that the model is more likely to pass candidates who live in a certain area.  This might introduce biases as home addresses may correlate with other protected characteristics e.g. ethnicity/age/disability.   監査の結果、このモデルは特定の地域に住む候補者を合格させる可能性が高いことが判明した。 これは、自宅住所が他の保護対象特性(民族/年齢/障害など)と相関する可能性があるため、バイアスが生じる可能性がある。 
A third-party auditor collaborates with system developers to analyse findings and present recommendations. They also support the developers to implement mitigations and ensure that systems are designed in a way that minimises unfair bias.   サードパーティ監査人は、システム開発者と協力して調査結果を分析し、推奨事項を提示する。また、開発者が低減策を実施し、システムが不当なバイアスを最小化するような方法で設計されていることを保証するよう支援する。 
5.7 Compliance audit   5.7 コンプライアンス監査  
A compliance audit involves reviewing adherence to internal policies, external regulations and, where relevant, legal requirements.   コンプライアンス監査では、内部方針、外部規制、および関連する場合は法的要件の遵守を検証する。 
Background   背景  
A UK-based company that uses AI in its manufacturing processes is undertaking work to ensure its products comply with regulatory requirements overseas. The company is planning to expand to sell a new product in international markets.   製造工程でAIを使用している英国のある企業は、その製品が海外の規制要件に準拠していることを確認するための作業を行っている。同社は、国際市場で新製品を販売するために事業拡大を計画している。 
Process   プロセス  
The company starts with a compliance audit. They work with a third-party service provider to review the extent to which their products and processes adhere to internal policies and values, as well as with regulatory and legal requirements.   同社はコンプライアンス監査から始める。サードパーティーのサービスプロバイダーと協力し、製品や工程が社内の方針や価値観、規制や法的要件にどの程度準拠しているかを検証する。 
The company uses a governance platform, purchased from a specialist third-party provider of AI assurance systems. This includes features that will update, inform and guide developers of relevant requirements that apply across different markets.   同社は、AI保証システムの専門サードパーティ・プロバイダーから購入したガバナンス・プラットフォームを使用している。これには、さまざまな市場に適用される関連要件を開発者に更新、通知、指導する機能が含まれている。 
Outcomes   成果  
After applying these assurance techniques, the company has a clearer understanding of how well it complies with requirements and standards across different markets and regions.   これらの保証テクニックを適用した結果、同社は、異なる市場や地域における要求事項や標準にどの程度準拠しているかをより明確に理解できるようになった。 
5.8 Conformity assessment   5.8 適合性アセスメント  
Conformity assessment activities that are performed by a person or organisation that is independent of the product, process, system, claim etc and has no user interest in that object. Used to demonstrate that a product, process, system, claim etc conforms with specified requirements that are defined in normative documents e.g. regulations, standards and/or technical specifications.   製品、プロセス、システム、クレーム等から独立し、その対象物に対する利用者の利害を有しない人又は組織が行う適合性評価活動。製品、プロセス、システム、クレームなどが、規則、標準及び/又は技術仕様などの規範文書に 定義された要求事項に適合していることを実証するために使用される。 
Conformity assessment may include activities such as testing, inspection, validation, verification and certification. Contingent on the level of risk, conformity assessment activities should be undertaken by an independent third-party conformity assessment body. It is UK government policy that where third-party conformity assessment services are sought, they should be obtained from an organisation accredited by UKAS.   アセスメントには、試験、検査、妥当性確認、検証、認証などの活動が含まれる。リスクのレベルに応じて、適合性アセスメント活動は、独立したサードパーティ適合性評価団体によっ て実施されるべきである。英国政府の方針として、サードパーティによる適合性評価サービスを求める場合は、UKASの認定を受けた組織から受けるべきである。 
Background   背景  
A large technology company is using a UKAS accredited product certification body to demonstrate that its products conform with applicable product standards, initially, and on an ongoing basis to give customers/ regulators confidence that normative requirements are being continuously achieved and maintained.   ある大手技術系企業は、UKAS認定の製品認証機関を利用して、自社の製品が適用される製品標準に適合していることを、当初はもちろんのこと、継続的に証明することで、顧客や規制当局に、規範的要求事項が継続的に達成され維持されているという信頼を与えている。 
Process   プロセス  
An accredited certification body has developed a scheme that applies to the products produced by the technology company. The requirements of the scheme include (but are not limited to) the methodology to be used for performing the conformity assessment activities. The product scheme incorporates requirements, in addition to those specific to the products, that relate to the consistent operation of a management system to give confidence in the ongoing conformity of production.   認定された認証団体は、技術会社が製造する製品に適用されるスキームを開発した。スキームの要求事項には、適合性評価活動の実施に使用する方法論が含まれる(ただし、これらに限定されない)。製品スキームには、製品固有の要件に加え、生産における継続的な適合性を信頼させるためのマネジメントシステムの一貫した運用に関する要件が組み込まれている。 
Outcomes   成果  
The resulting product certificate(s) demonstrate that the products produced by the technology company continue to conform with the requirements of the certification scheme (for as long as the certificate(s) remain valid).   結果として得られる製品認証書は、(認証書が有効である限り)技術会社が生産する製品が認証スキームの要件に継続的に適合していることを証明する。 
5.9 Formal verification   5.9 形式的検証  
Formal verification establishes whether a system satisfies specific requirements, often using formal mathematical methods and proofs.   形式的検証は、システムが特定の要件を満たすかどうかを検証するもので、多くの場合、形式的な数学的手法と証明を用いる。 
Background   背景  
A bank is using formal verification to test a newly updated AI model that will support the assessment of mortgage applications to ensure the models are robust and any risks associated with its use are verified.   ある銀行が、住宅ローン申請のアセスメントをサポートする新しく更新された AI モデルのテストに形式的検証を使用し、モデルが堅牢であること、およびその使用に関連するリスクが検証されていることを確認している。 
Process   プロセス  
The bank is working with a consultancy to provide a robust assessment of its software prior to deployment. The use of a third-party assurance provider helps to ensure that the assessment is impartial and allows the bank to assess its algorithms thoroughly by making use of specialist expertise. The verification process uses formal mathematical methods to assess whether the system updates satisfy key requirements. Following the assessment, the consultants present results in a detailed report, which highlights any errors or risk factors the assessment has flagged.   銀行は、展開前にソフトウェアの堅牢なアセスメントを提供するコンサルタント会社と協力している。サードパーティーの保証プロバイダを利用することで、アセスメントが公平なものであることを保証し、専門家の専門知識を活用することで、銀行がアルゴリズムを徹底的に評価することを可能にしている。検証プロセスでは、形式的な数学的手法を使って、システムの更新が主要な要件を満たしているかどうかを評価する。アセスメント後、コンサルタントは詳細なレポートで結果を提示し、アセスメントで指摘されたエラーやリスク要因を強調する。 
Outcomes   成果  
The thorough scrutiny of the formal verification process ensures that any potential risks or errors are identified before the system is in use. This is particularly important in financial services, where errors could have severe consequences for users, the bank’s reputation and ability to meet regulation. The results also provide an objective and quantifiable measurement of the model’s functionality. This enhances security, and confidence from users and shareholders.   正式な検証プロセスによる徹底的な精査により、潜在的なリスクやエラーがシステムが使用される前に特定される。これは、エラーが利用者、銀行の評判、規制を満たす能力に深刻な影響を及ぼす可能性がある金融サービスにおいて特に重要である。結果はまた、モデルの機能を客観的かつ定量的に測定することもできる。これにより、安全性が高まり、利用者や株主からの信頼が高まる。 
6. Key actions for organisations   6. 組織のための主要なアクション  
6.1 Steps to build AI assurance   6.1 AI保証を構築するためのステップ  
AI assurance is not a silver bullet for responsible and ethical AI, and whilst the ecosystem is still developing there remain limitations to, and challenges for, successfully assuring AI systems. However, early engagement and proactive consideration of likely future governance needs, skills and/or technical requirements can help to build your organisation’s assurance capabilities.   AI保証は、責任ある倫理的なAIのための特効薬ではなく、エコシステムがまだ発展途上である一方で、AIシステムの保証を成功させるための限界や課題も残っている。しかし、早期の関与と、将来必要と思われるガバナンス、スキル、技術的要件を積極的に検討することで、組織の保証能力を構築することができる。 
If you are an organisation interested in further developing your AI assurance understanding and capability, you may want to consider the following steps:   AI保証に関する理解と能力をさらに向上させたいと考えている組織は、以下のステップを検討するとよいだろう:  
1. Consider existing regulations: While there is not currently statutory AI regulation in the UK, there are existing regulations that are relevant for AI systems. For example, systems must adhere to existing regulation such as UK GDPR, the Equality Act 2010 and other industry-specific regulation.   1. 既存の規制を検討する: 英国では現在、AIの法的規制はないが、AIシステムに関連する既存の規制は存在する。例えば、英国GDPR、2010年平等法、その他業界特有の規制など、既存の規制を遵守する必要がある。 
2. Upskill within your organisation: Even whilst the ecosystem is still developing, organisations should be looking to develop their understanding of AI assurance and anticipating likely future requirements. The Alan Turing Institute has produced several training workbooks focused on the application of AI governance in practice, and the UK AI Standards Hub has a training platform, with e-learning modules on AI Assurance.   2. 組織内のスキルアップ エコシステムがまだ発展途上であっても、組織はAI保証に関する理解を深め、将来起こりうる要件を予測する必要がある。アラン・チューリング研究所は、AIガバナンスの実際の適用に焦点を当てたトレーニング・ワークブックをいくつか作成しており、英国のAI標準ハブは、AI保証に関するeラーニング・モジュールを備えたトレーニング・プラットフォームを提供している。 
3. Review internal governance and risk management: Effective AI assurance is always underpinned by effective internal governance processes. It’s crucial to consider how your internal governance processes ensure risks and issues can be quickly escalated, and effective decision-making can be taken at an appropriate level. The US’s National Institute for Science and Technology (NIST) has developed an in-depth Risk Management Framework (RMF) that can support the management of organisational risk.   3. 内部ガバナンスとリスクマネジメントを見直す: 効果的なAI保証は、常に効果的な内部ガバナンス・プロセスに支えられている。リスクや問題が迅速にエスカレーションされ、適切なレベルで効果的な意思決定が行えるよう、内部ガバナンスプロセスを検討することが極めて重要である。米国の国立科学技術研究所(NIST)は、組織のリスクマネジメントを支援する詳細なリスクマネジメントフレームワーク(RMF)を開発した。 
4. Look out for new regulatory guidance: Over the coming years, regulators will be developing sector-specific guidance setting out how to operationalise and implement the proposed regulatory principles in each regulatory domain.  For example, the ICO has developed guidance on AI and data protection for those in compliance-focused roles. The UK government has also published initial guidance to regulators as part of its response to the AI regulatory white paper consultation.   4. 新たな規制ガイダンスに注目する: 今後数年にわたり、規制当局は、各規制領域において提案されている規制原則をどのように運用し、実施するかを定めた分野別ガイダンスを策定する予定である。 例えば、ICOは、コンプライアンスに重点を置いた職務に従事する人々のために、AIとデータ保護に関するガイダンスを策定した。英国政府も、AI規制白書のコンサルテーションへの対応の一環として、規制当局向けの初期ガイダンスを公表している。 
5. Consider involvement in AI standardisation: Private sector engagement with SDOs is crucial for ensuring the development of robust and universally accepted standards protocols, particularly from SMEs who are currently underrepresented. Consider engaging with standards bodies such as BSI. Visit the AI Standards Hub for information and support for implementing AI standards .   5. AI標準化への関与を検討する: SDO への民間セクターの参画は、堅牢で普遍的に受け入れられる標準プロトコルの開発を確実にするために極めて重要である。BSI のような標準団体との連携を検討する。AI 標準を導入するための情報とサポートについては、AI 標準ハブを参照のこと。 
If you’d like more information about AI assurance and how it can be applied to your own organisation, don’t hesitate to get in contact with the AI assurance team at: [mail] AI保証の詳細と、それをどのように組織に適用できるかについては、遠慮なくAI保証・チーム[mail] までお問い合わせいただきたい。
7. Additional resources   7. 追加リソース  
Additional resources for those interested in understanding more about AI assurance   AI保証について理解を深めるための追加リソース  
Department for Science, Innovation and Technology (2023): A pro-innovation approach to AI regulation   科学技術革新省(2023年): AI規制へのイノベーション促進アプローチ  
Department for Science, Innovation and Technology (2023): Accreditation and Certification: Six Lessons for an AI Assurance Profession from Other Domains   科学技術革新省(2023): 認定と認証: 他分野からAI保証の専門家への6つの教訓を得る  
Department for Science, Innovation and Technology (2022): Industry Temperature Check: Barriers and Enablers to AI Assurance   科学技術革新省(2022年) 業界の温度チェック: AI保証の障壁と実現要因  
Department for Science, Innovation and Technology (2023): Portfolio of Assurance Techniques   科学技術革新省(2023年) 保証技術のポートフォリオ  
UK AI Standards Hub: Upcoming Events   英国AI標準ハブ 今後のイベント  
UK AI Standards Hub: AI Standards Database   英国AI標準ハブ AI標準データベース  
Burr, C., & Leslie, D. (2022). Ethical assurance: A practical approach to the responsible design, development, and deployment of data-driven technologies   Burr, C., & Leslie, D. (2022). 倫理的保証: データ駆動型テクノロジーの責任ある設計、開発、展開のための実践的アプローチ  
National Institute of Science and Technology (NIST):  AI Risk Management Framework   米国国立科学技術研究所(NIST):  AIリスクマネジメントフレームワーク  
National Cyber Security Centre (NCSC): Cyber Essentials 米国サイバーセキュリティセンター(NCSC): サイバーエッセンシャル

 

 

|

« 米国 AI安全研究所を設立 | Main | ドイツ BSI TR-03179-1 中央銀行デジタル通貨-第1部:バックエンドシステムに関する要求事項 (2023.02.08) »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



« 米国 AI安全研究所を設立 | Main | ドイツ BSI TR-03179-1 中央銀行デジタル通貨-第1部:バックエンドシステムに関する要求事項 (2023.02.08) »