英国科学技術省データ倫理・イノベーションセンターブログ AI保証の専門家が他の領域から学ぶべき6つの教訓 (2023.07.12): まるちゃんの情報セキュリティ気まぐれ日記

March 2025
Sun	Mon	Tue	Wed	Thu	Fri	Sat
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30	31

2023.07.18

英国科学技術省データ倫理・イノベーションセンターブログ AI保証の専門家が他の領域から学ぶべき6つの教訓 (2023.07.12)

こんにちは、丸山満彦です。

英国の科学技術省データ倫理・イノベーションセンターが「AI保証の専門家が他の領域から学ぶべき6つの教訓」というブログ記事を3回にわけて公開していまして、参考になります。

品質、環境、情報セキュリティ等につづいて、AIの認証制度を考えているのですが、何が成功要因となるのか、、、ということですね・・・

こういう検討は英国っぽいですね。。。

米国国家規格協会(ANSI) が事務局をしているISO/IEC SC42で開発中のISO/IEC 42001 AIマネジメントシステム, ISO/IEC 42005 AIインパクトアセスメントにも触れられていますね。。。

1_20230718115501

● Gov.UK - Department for Science, Innovation and Technology - Centre for Data Ethics and Innovation; CDEI ・Centre for Data Ethics and Innovation Blog

Six lessons for an AI assurance profession to learn from other domains	他領域から学ぶAI保証専門職のための6つの教訓
・part one: how can certification support trustworthy AI?	・第1部：認証はどのように信頼できるAIを支援できるか？
Lesson one: Context is key	教訓1：文脈が鍵である
・part two: conditions for effective certification	・第2部：効果的な認証の条件
Lesson two: Broad community building is crucial	教訓2：幅広いコミュニティ形成が重要である
Lesson three: In a changing environment, balance between flexibility and robustness is essential	教訓3：変化する環境では、柔軟性と堅牢性のバランスが不可欠である。
・part three: features of effective certification schemes	・第3部：効果的な認証スキームの特徴
Lesson four: Existing effective certification schemes are transparent, adaptable, and interoperable	教訓4：既存の効果的な認証制度は、透明性が高く、適応性があり、相互運用が可能である。
Lesson five: Meaningful impact requires a broad range of stakeholder views	教訓5：意味のあるインパクトには、幅広いステークホルダーの意見が必要である。
Lesson six: Continual monitoring and evaluation can manage complexity	教訓6：継続的なモニタリングと評価で複雑性を管理する

Six lessons for an AI assurance profession to learn from other domains - part one: how can certification support trustworthy AI?	AI保証専門職が他領域から学ぶべき6つの教訓 - その1：認証はどのように信頼できるAIを支援できるか？
The UK government's recently published approach to AI regulation sets out a proportionate and adaptable framework that manages risk and enhances trust while also allowing innovation to flourish. The framework also highlights the critical role of tools for trustworthy AI, including assurance techniques and technical standards, in enabling the responsible adoption of AI. The CDEI’s AI assurance programme is championing the use and development of these tools to enable the development of an AI assurance ecosystem that is ethical, trustworthy, and effective. As part of this the CDEI is beginning work to promote dialogue on potential paths to an accountable AI assurance profession.	英国政府が最近発表したAI規制のアプローチは、リスクをマネジメントし、信頼を高めると同時に、イノベーションの繁栄を可能にする、比例的で適応可能な枠組みを定めている。この枠組みはまた、責任あるAIの導入を可能にする上で、保証技術や技術標準を含む、信頼できるAIのためのツールの重要な役割を強調している。CDEIのAI保証プログラムは、倫理的で、信頼でき、効果的なAI保証エコシステムの開発を可能にするために、これらのツールの使用と開発を支持している。その一環として、CDEIは、説明責任のあるAI保証の専門家への潜在的な道筋に関する対話を促進するための作業を開始している。
Certification holds promise as one of a wider set of tools for trustworthy AI. In building an accountable AI assurance profession, assurance providers (both the organisations as a whole and the individual professionals themselves) could be certified to evidence their expertise and therefore their trustworthiness. As the AI assurance ecosystem and certification develop, we will need to borrow from experience in other sectors, comparing common features of certification and building on existing knowledge to learn lessons from more mature certification models.	認証は、信頼できるAIのための幅広いツールの一つとして有望である。説明責任を果たせるAI保証のプロフェッショナルを構築する上で、保証プロバイダ（組織全体と個々の専門家自身の両方）は、その専門性、ひいては信頼性を証明するために認証される可能性がある。AI保証のエコシステムと認証が発展するにつれて、認証の共通点を比較したり、既存の知識を基に、より成熟した認証モデルから教訓を学んだりしながら、他分野の経験を参考にする必要があるだろう。
Early in 2023 we spoke to experts across a broad range of sectors to understand what works and doesn’t work in other certification models. We sought views to reflect the varied subject matter and unique challenges of different domains, including cybersecurity, aerospace, sustainability, nuclear safety, bioethics, and medical devices. We covered topics like comparative maturity, conditions for success, and failure modes.	2023年初頭、我々は他の認証モデルで何がうまくいき、何がうまくいかないかを理解するため、幅広い分野の専門家に話を聞いた。サイバーセキュリティ、航空宇宙、持続可能性、原子力安全、生命倫理、医療機器など、さまざまな分野の多様な主題や固有の課題を反映した意見を求めた。成熟度の比較、成功の条件、失敗モードなどのトピックを取り上げた。
Main takeaways	主な要点
Context is key: drivers like regulation and market forces, and governance elements like assurance standards and techniques, will influence the role of certification and how it matures over time.	コンテクストが重要である：規制や市場原理のような原動力や、保証標準や技術のようなガバナンス要素は、認証の役割や、それが時間とともにどのように成熟していくかに影響を与える。
Broad community building is crucial for reliable, accountable certification.	信頼性が高く、説明責任のある認証には、幅広いコミュニティの構築が不可欠である。
In a changing environment, balance between flexibility and robustness is essential.	変化する環境においては、柔軟性と堅牢性のバランスが不可欠である。
Therefore, existing effective certification schemes are adaptable, managing this balance appropriately. They are also transparent and interoperable.	したがって、既存の効果的な認証制度は適応性があり、このバランスを適切に管理している。また、透明性と相互運用性を備えている。
To be effective, certification schemes require a broad range of stakeholder views.	効果的であるためには、認証制度は幅広い利害関係者の意見を必要とする。
Continual monitoring and evaluation can manage complexity.	継続的なモニタリングと評価により、複雑性を管理することができる。
We will cover these six “lessons learned” in three separate blog posts. This first post looks at the governance context for certification. The second post builds on this, exploring the wider factors needed for certification schemes to be effective—the enabling conditions— taking into account the role of community, and how to balance robustness and flexibility. The third post looks at similarities between effective certification schemes, including specific common characteristics, the range of stakeholders and incentives, and managing complexity through monitoring and evaluation.	これら6つの "教訓 "を、3回に分けてブログで紹介する。この最初の投稿では、認証のガバナンスの背景について考察する。2つ目の投稿では、これを踏まえ、認証制度が効果的であるために必要な広範な要因、すなわち、コミュニティの役割や、堅牢性と柔軟性のバランスの取り方を考慮した「実現条件」を探る。3つ目の投稿では、効果的な認証制度に共通する特徴、さまざまな利害関係者やインセンティブ、モニタリングと評価による複雑性の管理などについて考察する。
Across all six lessons, it is important to keep in mind that the process of maturity for certification schemes is continuous. In other sectors—for example sustainability and cybersecurity—certification has continued to mature over time with existing schemes being adjusted, new ones introduced, and others discontinued.	6つの教訓すべてにおいて、認証制度の成熟プロセスは継続的であることを念頭に置くことが重要である。他の分野、例えば持続可能性やサイバーセキュリティなどでは、認証制度は、既存の制度を調整したり、新しい制度を導入したり、廃止したりしながら、時間をかけて成熟し続けている。
Lesson one: Context is key	教訓1：文脈が鍵である
Certification is one of many governance tools, so it is important to consider it within its broader context. The wider governance landscape, including principles, standards, and conformity assessment techniques, must develop before certification can be effective. Across the range of sectors and schemes we considered, certification was consistently one of the final governance elements to mature.	認証は多くのガバナンス手段の一つであるため、より広い文脈の中で考えることが重要である。認証が効果を発揮するためには、原則、標準、適合性評価技術など、より広範なガバナンスの状況が整備されなければならない。われわれが検討したさまざまなセクターやスキームにおいて、認証は一貫して、成熟すべき最終的なガバナンス要素のひとつであった。
However, that is not to say we should wait and watch these developments passively. Instead, by starting the dialogue about certification early, there is more time to explore with diverse stakeholders which model will work best for an effective future AI assurance profession. By starting now, dialogue will take place in parallel with the development of the wider landscape, rather than afterwards, helping to ensure alignment between emerging assurance techniques and technical standards, and the most promising certification model.	しかし、だからといって、こうした発展を受動的に待って見ていろというわけではない。むしろ、認証に関する対話を早期に開始することで、将来の効果的なAI保証プロフェッショナルのためにどのモデルが最も効果的かを、多様なステークホルダーとともに検討する時間が増える。今始めることで、対話は後回しにするのではなく、より広範な状況の進展と並行して行われ、新たな保証技術や技術標準と、最も有望な認証モデルとの整合性を確保するのに役立つ。
The development and adoption of certification may be driven by a combination of factors. In some sectors like aerospace, nuclear safety, food safety, and medical devices, “hard requirements” are imposed by top-down regulation, creating a need for certification schemes that organisations and individuals can use to demonstrate compliance with rules. However, other factors can drive development of certification either as an alternative to, or alongside, regulation. In particular, market forces can encourage certification, as differentiation and brand recognition create competitive advantages and incentives for voluntary certification to demonstrate compliance with good practice, norms or standards, positively affecting consumers’ trust.	認証の開発と採用は、さまざまな要因の組み合わせによって推進される可能性がある。航空宇宙、原子力安全、食品安全、医療機器など一部のセクターでは、トップダウン規制によって「厳しい要件」が課されるため、組織や個人が規則への準拠を実証するために利用できる認証スキームの必要性が生じる。しかし、規制に代わるものとして、あるいは規制と並行して、認証の発展を促す要因もある。特に、差別化とブランド認知が競争上の優位性を生み出すとともに、自主的な認証が優れた慣行、規範、標準への準拠を実証するインセンティブとなり、消費者の信頼にプラスの影響を与えるため、市場原理が認証を後押しする可能性がある。
There are some important questions about what role voluntary certification schemes should play in both the long and short term. Certification evaluates whether something meets a certain standard. However many standards for AI are still being developed and agreed upon. For example ISO/IEC 42001 (AI Management System) is in approval stage, ISO/IEC 42005 (AI Impact Assessment) is in committee stage, and ISO/IEC AWI TS 6254 (Objectives and approaches for explainability of ML models and AI systems) is in pre-draft stage. As such for the time being "soft" voluntary certification schemes may not be sufficiently developed for establishing and communicating trust.	自主的な認証制度が長期的にも短期的にもどのような役割を果たすべきかについては、いくつかの重要な疑問がある。認証は、何かがある標準を満たしているかどうかを評価するものである。しかし、AIの標準の多くはまだ開発中であり、合意もされていない。例えば、ISO/IEC 42001（AIマネジメントシステム）は承認段階であり、ISO/IEC 42005（AIインパクトアセスメント）は委員会段階であり、ISO/IEC AWI TS 6254（MLモデルおよびAIシステムの説明可能性に関する目的とアプローチ）はドラフト前の段階である。このように、当面は「ソフトな」自主的認証制度は、信頼を確立し、コミュニケーションするために十分に開発されていない可能性がある。
In the longer term, clearer requirements might help make certification more effective. In fields like aerospace and nuclear power, where safety considerations have driven top-down rules, accidents are extremely rare. However, safety is just one part of AI that needs to be assured. Other elements of AI assurance might be better addressed through different types of certification. For instance, voluntary certification focused on elements like fairness and explainability could work alongside top-down rules based on safety and robustness. Top-down regulatory rules on specific principles could also co-exist with voluntary schemes that focus on the same principles and go beyond the baseline set by the regulatory rule.	長期的には、より明確な要求事項が認証をより効果的なものにするかもしれない。航空宇宙や原子力のような分野では、安全への配慮がトップダウンの規則を推進してきたため、事故は極めてまれである。しかし、安全性は保証されるべきAIの一部分に過ぎない。AI保証の他の要素については、さまざまなタイプの認証を通じて対応するのがよいだろう。例えば、公平性や説明可能性といった要素に焦点を当てた自主的な認証は、安全性や堅牢性に基づくトップダウン・ルールと並行して機能する可能性がある。また、特定の原則に基づくトップダウンの規制ルールと、同じ原則に焦点を当て、規制ルールによって設定されたベースラインを超える自主的なスキームとが共存する可能性もある。
The broader context for certification will continue to emerge and develop further over time. However, in the immediate term we should consider and seek consensus on whether encouraging voluntary certification now can help create and mature effective schemes that can be used in the future—taking an iterative approach to certification, aligned with the UK government's adaptable approach to AI regulation.	認証のより広範な背景は、時間の経過とともに現れ、さらに発展していくだろう。しかし、当面は、今、自主的な認証を奨励することが、将来的に利用できる効果的なスキームの構築と成熟に役立つかどうかを検討し、コンセンサスを求めるべきである。
Six lessons for an AI assurance profession to learn from other domains - part two: conditions for effective certification	AI保証の専門家が他の領域から学ぶべき6つの教訓 - パート2：効果的な認証の条件
Lesson two: Broad community building is crucial	教訓2：幅広いコミュニティ形成が重要である
Community building that emphasises skills, communication, and diversity is crucial for ensuring that certification is reliable and accountable. Other sectors, like cybersecurity and healthcare, as well as cross-sector communities organised around ESG and sustainability principles, provide models for how this can work.	スキル、コミュニケーション、多様性を重視したコミュニティ形成は、認証の信頼性と説明責任を確保するために極めて重要である。サイバーセキュリティやヘルスケアのような他のセクターや、ESGや持続可能性の原則を中心に組織されたセクター横断的なコミュニティは、これがどのように機能するかのモデルを提供している。
A wider community of organisations and individuals within a sector can help address demand for the skills needed to assure AI systems, and feed a burgeoning profession of certification experts. These skills should not be limited to assurance professionals but must be embedded throughout the wider sector; challenges can surface when assurance knowledge is not available or accessible to those building the systems subject to assurance, for example the engineering community in cybersecurity. With a basic knowledge of assurance embedded throughout a sector, individuals and organisations can more effectively work with assurance professionals to build, test, and deploy trustworthy systems.	セクター内の組織や個人からなるより広範なコミュニティは、AIシステムの認証に必要なスキルの需要に対応し、認証専門家という急成長する職業を育成するのに役立つ。このようなスキルは、保証の専門家に限定されるべきでなく、より広範なセクター全体に組み込まれなければならない。保証の知識が、保証の対象となるシステムを構築する人々、例えばサイバーセキュリティのエンジニアリング・コミュニティに利用できない、またはアクセスできない場合、課題が表面化する可能性がある。分野全体に保証の基本的な知識が浸透していれば、個人や組織は、保証の専門家と協力して、信頼できるシステムの構築、テスト、配備をより効果的に行うことができる。
Technical skills for assurance must be accompanied by effective communication and knowledge exchange. Translating technical jargon into findings understandable to organisations and individuals, and listening to feedback from users, are both critical to the success of certification systems. Public engagement to explore the language consumers are using could help organisations to understand what enables different groups to have confidence in trustworthy systems.	保証のための技術的スキルは、効果的なコミュニケーションと知識交換を伴わなければならない。技術的な専門用語を組織や個人が理解できる知見に変換することと、利用者からのフィードバックに耳を傾けることは、いずれも認証制度の成功に不可欠である。消費者が使用している言語を調査するための一般市民参加は、さまざまなグループが信頼できる制度に確信を持つことができるのは何なのかを組織が理解するのに役立つだろう。
Strong community structures can also help mitigate major systemic risks, and reduce the likelihood of harms occurring. The risk of loss or isolation of institutional knowledge in engineering systems, for example in the aerospace industry, may contribute to serious accidents and even fatalities, but can be mitigated by providing mechanisms and promoting norms for knowledge exchange and sharing.	強力なコミュニティ構造は、主要なシステミック・リスクを軽減し、危害が発生する可能性を低減するのにも役立つ。例えば航空宇宙産業のような工学システムにおいて、制度的知識が失われたり孤立したりするリスクは、重大事故や死亡事故さえも引き起こす可能性があるが、知識交換と共有のための機構をプロバイダとして提供し、規範を促進することによって低減することができる。
The need for skills, effective communication, and knowledge exchange and retention, can begin to be addressed through a diverse and collaborative community. We think that the best approach is to form this community early on, drawing together a wide range of stakeholders. A critical next step will therefore be to convene and actively seek the views of organisations, executives and procurement professionals, technical and subject matter experts, developers, consumer groups and civil society, and affected users, bringing these groups together to explore and reach consensus on the most promising path forward.	スキル、効果的なコミュニケーション、知識の交換と保持の必要性は、多様で協力的なコミュニティを通じて対処し始めることができる。私たちは、このコミュニティを早期に形成し、幅広いステークホルダーを集めることが最善のアプローチだと考える。したがって、重要な次のステップは、組織、経営者、調達の専門家、技術および主題の専門家、開発者、消費者団体、市民社会、影響を受けるユーザーの意見を積極的に求め、これらのグループを集めて、最も有望な前進の道を探り、コンセンサスを得ることである。
Lesson three: In a changing environment, balance between flexibility and robustness is essential	教訓3：変化する環境では、柔軟性と堅牢性のバランスが不可欠である。
Certification systems often operate in dynamic, rapidly changing environments and must be resilient to substantial and continual change to remain effective. This process of change brings both challenge and opportunity. If managed appropriately, change can play a positive role, sustaining and promoting justified trust, and increasing adoption of trustworthy systems over time. One common theme to emerge from a range of sectors was a tension between robustness and flexibility: certification must be resilient to changes that could undermine its effectiveness, but also be capable of modification and improvement when needed. Getting the balance right between these can be tricky, but is essential to mitigating the significant challenges posed by the process of change.	認証制度は、ダイナミックで急速に変化する環境で運用されることが多く、実効性を維持するためには、実質的かつ継続的な変化に対するレジリエンスが求められる。この変化のプロセスは、課題と機会の両方をもたらす。適切に管理されれば、変化は積極的な役割を果たし、正当な信頼を維持・促進し、長期的に信頼できる制度の採用を増加させることができる。認証は、その有効性を損ないかねない変化に対してレジリエンスでなければならないが、同時に、必要なときには修正と改善が可能でなければならない。このバランスをうまくとることは難しいが、変化のプロセスがもたらす重大な課題を軽減するためには不可欠である。
Certification must be robust, especially in light of the risks of failure or poor performance in safety-critical contexts like aerospace and nuclear safety. Effective governance, including grievance mechanisms and claims management like those in sustainability certification schemes, is seen as essential to ensure quality of certification and minimise the potential for false positives (e.g. a certificate granted in the absence of compliance with requirements). This is especially important in the case of a “race to the bottom” dynamic, which could enable low-quality or unfounded certification, not only risking unjustified trust in untrustworthy systems, but also undermining trust in trustworthy certification.	認証は、特に航空宇宙や原子力安全のようなセーフティ・クリティカルな状況における失敗やパフォーマンス低下のリスクを考慮すると、強固なものでなければならない。持続可能性認証制度に見られるような苦情処理メカニズムやクレーム管理を含む効果的なガバナンスは、認証の質を確保し、偽陽性の可能性（要求事項への適合がないにもかかわらず認証が与えられるなど）を最小限に抑えるために不可欠であると考えられている。これは、低品質または根拠のない認証を可能にし、信頼できない制度への不当な信頼をリスクにさらすだけでなく、信頼できる認証への信頼を損なう可能性のある「底辺への競争」力学の場合に特に重要である。
However, certification that is highly robust alone is not likely to succeed in the real world. With rapid technological and social change, flexibility is also critical for ensuring that certification is effective. If done right, flexibility can bolster certification and contribute to continued robustness. Learning from results in order to improve the overall system is crucial, for example removing a poor-performing certification body from the wider system. In the sustainability sector, factors such as scandals and reputational risk factors have also played a role in catalysing wider structural change. We must not wait for these factors to arise, but must instead take proactive measures to avoid them in the governance of AI.	しかし、堅牢性の高い認証だけでは、実社会で成功する可能性は低い。技術や社会が急速に変化する中、認証の実効性を確保するには柔軟性も不可欠である。適切に行われれば、柔軟性は認証を強化し、継続的な堅牢性に貢献する。システム全体を改善するために結果から学ぶことは極めて重要であり、例えば、パフォーマンスの悪い認証団体をより広範なシステムから排除することが挙げられる。持続可能性セクターでは、不祥事や風評リスクといった要因も、より広範な構造改革を促す役割を果たしてきた。私たちは、こうした要因が発生するのを待つのではなく、AIのガバナンスにおいてこうした要因を回避するための積極的な対策を講じなければならない。
Another related question is how competition, and in particular new entrants, will be handled, and how high the bar is set for organisations offering certification services to become accredited. New entrants (e.g. AI assurance startups) could drive the use of more effective AI assurance techniques, and help ensure the AI assurance market keeps pace with continual technological change. The bar for accreditation should therefore be set appropriately to avoid stifling innovation and competition, while ensuring the quality, impartiality and competence of certification services.	もう一つの関連する問題は、競争、特に新規参入がどのように扱われるのか、また、認証サービスを提供する組織が認定を受けるためのハードルをどの程度高く設定するのかということである。新規参入者（AI保証の新興企業など）は、より効果的なAI保証手法の利用を促進し、AI保証市場が絶え間ない技術革新に確実に対応するのに役立つ可能性がある。したがって、認証サービスの品質、公平性、能力を確保しつつ、イノベーションと競争を阻害しないよう、認証のハードルは適切に設定されるべきである。
From influencing enabling conditions to building effective certification schemes	条件整備から効果的な認証制度構築へ
From these three lessons, we have learned that certain key enabling conditions are necessary for certification to succeed: wider governance structures and mechanisms like principles, standards, and conformity assessment techniques, a diverse stakeholder community, and appropriate management of change over time will all be needed for certification to be effective.	これら3つの教訓から、認証を成功させるためには、特定の重要な実現条件が必要であることを学んだ：認証が効果的であるためには、原則、標準、適合性評価手法のような、より広範なガバナンス構造とメカニズム、多様な利害関係者コミュニティ、および長期にわたる変化の適切な管理がすべて必要である。
Enabling conditions are the starting point, but certification schemes themselves must also be designed and operated appropriately in order to succeed. We will consider some common features of successful certification schemes in part three.	実現可能な条件は出発点であるが、認証制度自体も、成功するためには適切に設計され、運用されなければならない。第3部では、成功する認証制度に共通する特徴について考察する。
Six lessons for an AI assurance profession to learn from other domains - part three: features of effective certification schemes	AI保証専門職が他の領域から学ぶべき6つの教訓 - パート3：効果的な認証制度の特徴
We are looking at professionalisation and certification as part of our programme of work to support the vision laid out in our roadmap to an effective AI assurance ecosystem. As discussed in part one, it will be helpful to learn lessons from more mature certification models in other sectors.	我々は、効果的なAI保証エコシステムへのロードマップで示されたビジョンを支援するための作業プログラムの一環として、専門化と認証に注目している。パート1で議論したように、他のセクターにおけるより成熟した認証モデルから教訓を学ぶことは有益であろう。
Part one and two explored the wider factors needed for certification schemes to be effective, taking into account context, community, and how to balance robustness and flexibility in a changing environment. While these conditions are an important starting point, certification schemes themselves must also be designed and operated appropriately in order to succeed. This blog explores similarities between effective certification schemes, including the range of stakeholders and incentives, managing complexity, and specific common characteristics.	第1部と第2部では、コンテキスト、コミュニティ、変化する環境における堅牢性と柔軟性のバランスの取り方などを考慮しながら、認証制度が効果的であるために必要な広範な要因について検討した。これらの条件は重要な出発点であるが、認証制度そのものも、成功するためには適切に設計され、運用されなければならない。このブログでは、ステークホルダーの範囲やインセンティブ、複雑性の管理、特定の共通点など、効果的な認証制度の共通点を探る。
Lesson four: Existing effective certification schemes are transparent, adaptable, and interoperable	教訓4：既存の効果的な認証制度は、透明性が高く、適応性があり、相互運用が可能である。
The previous lessons raise significant challenges that certification must address in order to be effective. We identified some common principles which could help. In the range of sectors we explored, three common characteristics of effective certification schemes were: transparency, adaptability, and interoperability.	これまでの教訓は、認証が効果的であるために取り組むべき重要な課題を提起している。我々は、その一助となり得るいくつかの共通原則を特定した。我々が調査したさまざまなセクターにおいて、効果的な認証制度に共通する3つの特徴は、透明性、適応性、相互運用性であった。
Credible schemes are transparent. The AI sector can learn from other sectors about how transparency can help to empower diverse groups of stakeholders to participate in, improve, and hold systems to account.	信頼できるスキームは透明性が高い。AI部門は、透明性が多様な利害関係者の参加、改善、責任追及にどのように役立つかを他の部門から学ぶことができる。
Transparency is central in many schemes - in sustainability it is often considered a fundamental principle, underpinning the overall credibility of a certification scheme. Within safety management systems in the aviation sector, transparency is key to ensuring that pertinent information and experience is shared and exchanged between those who work to make flying safe.	透明性は多くの制度において中心的なものであり、持続可能性においては、認証制度の全体的な信頼性を支える基本原則とみなされることが多い。航空セクターの安全管理システムにおいても、透明性は、適切な情報と経験が、安全な飛行を実現するために働く人々の間で共有され、交換されることを確実にするための鍵となる。
However, transparency may not necessarily involve simply publishing all available information regardless of relevance. Instead, in the sustainability sector for example, schemes focus on providing important information in appropriate detail, and making this easily accessible to all stakeholders - including information about the goals of a scheme, definitions, how assessments are carried out, and open communication of results and significance. Transparency may also involve public scrutiny, for example, public transparency of adverse event reporting can help drive impact. In healthcare, transparency can include mechanisms for patients and members of the public to look up information about outcomes in order to make their own judgements about the care they receive.	しかし、透明性を確保するためには、関連性の有無にかかわらず、利用可能な情報をすべて公開することが必ずしも必要ではない。その代わり、例えば持続可能性の分野では、スキームは重要な情報を適切に詳細に提供し、すべての利害関係者が容易にアクセスできるようにすることに重点を置いている。その中には、スキームの目標、定義、評価の実施方法、結果と重要性のオープンなコミュニケーションに関する情報も含まれる。例えば、有害事象報告の透明性は、インパクトの推進に役立つ。医療においては、透明性には、患者や一般市民が、自分が受けるケアについて自分自身で判断するために、アウトカムに関する情報を調べることができる仕組みも含まれる。
We know from other sectors that there may be tensions and tradeoffs to consider with transparency. For example in the case of medical devices, tradeoffs between transparency and human autonomy, and, with sustainability schemes, between transparency and the desire to reduce costs for organisations to seek certification. These questions may begin to be addressed by considering another common characteristic of effective certification, adaptability.	私たちは、他のセクターから、透明性に関して考慮すべき緊張関係やトレードオフがあるかもしれないことを知っている。例えば、医療機器の場合、透明性と人間の自律性とのトレードオフ、持続可能性制度の場合、透明性と認証を求める組織のコスト削減願望とのトレードオフなどである。これらの疑問は、効果的な認証に共通するもう一つの特徴である「適応性」を考慮することで解決できるかもしれない。
Effective schemes are adaptable. This characteristic may help to manage tensions and tradeoffs appropriately to ensure the right balance is struck for challenges, especially as the landscape of AI develops over time.	効果的な制度は適応性がある。この特性は、特にAIの状況が時間の経過とともに発展していく中で、課題に対して適切なバランスが保たれるよう、緊張関係やトレードオフを適切に管理するのに役立つ可能性がある。
Certification can also provide opportunities for ongoing, iterative feedback and improvement. Adaptability can exist at different levels. Within the certification process, auditors might share results with audited parties to show them where improvements can be made. At the scheme level, metrics can be updated, increasing reliability and impact. At the level of the overall model for certification in a specific sector, new initiatives and schemes can be developed - including by new entrants - to respond to more fundamental changes in the assurance ecosystem or governance environment.	改善はまた、継続的なフィードバックと改善の機会を提供することもできる。適応性は様々なレベルで存在し得る。認証プロセスでは、審査員は結果を被審査当事者と共有し、改善点を示すことができる。スキームレベルでは、測定基準を更新し、信頼性と影響力を高めることができる。特定のセクターにおける認証モデル全体のレベルでは、保証エコシステムやガバナンス環境のより根本的な変化に対応するため、新規参入者を含め、新たなイニシアティブやスキームを開発することができる。
AI assurance can learn from other sectors here - for example one approach taken for cybersecurity in the UK takes into account adaptiveness as an important component of assuring technology, especially as that technology changes over time through innovation. In sustainability, a closely related concept of continual improvement is used as an explicit principle underpinning the credibility of certification schemes. Finally, performance-based requirements (stating the "what to do," but not "how to do it") in aviation place greater emphasis on adaptability and focus more on desired, measurable outcomes, than prescriptive approaches.	例えば、英国におけるサイバーセキュリティのアプローチでは、技術保証の重要な要素として適応性を考慮している。持続可能性においては、継続的改善という密接に関連する概念が、認証制度の信頼性を支える明確な原則として用いられている。最後に、航空業界におけるパフォーマンス・ベースの要求事項（「何をすべきか」は述べるが、「どのようにすべきか」は述べない）は、適応性をより重視し、規定的なアプローチよりも、望ましい、測定可能な結果に重点を置いている。
Later on, in lesson six, we will discuss how continuous monitoring and evaluation can help to embed this adaptability into certification systems.	この後の第6課では、継続的なモニタリングと評価が、この適応性を認証制度にどのように組み込むのに役立つかについて議論する。
Finally, schemes must be interoperable in order to promote adoption of certification across regional and international governance environments. Interoperability is necessary both for the success of individual schemes, and for the wider adoption of certification as a mechanism to establish and build trust.	最後に、地域的・国際的ガバナンス環境を超えて認証の採用を促進するためには、制度は相互運用可能でなければならない。相互運用性は、個々の制度が成功するためにも、信頼を確立し構築するメカニズムとして認証が広く採用されるためにも必要である。
Here too, other sectors provide examples of how this can work in practice. In engineering and transport sectors like aviation, international cooperation and harmonisation on safety standards has been a driver for safety improvements. Reaching agreement on standards can help to achieve harmonisation where it is more difficult to achieve regulatory consensus. Elsewhere, the sustainability sector gives examples of models where high-level international agreements are made (for example on biotrade), and different assurance models then operate in parallel.	ここでも、他のセクターが実際にどのように機能するかの例を示している。航空機のような工学や運輸の分野では、安全標準に関する国際協力と調和が安全改善の原動力となってきた。規制のコンセンサスを得ることが難しい分野では、標準に関する合意を得ることがハーモナイゼーションの実現に役立つ。また、持続可能性の分野では、高レベルの国際協定が結ばれ（バイオトレードなど）、異なる保証モデルが並行して運用されるモデルの例がある。
Lesson five: Meaningful impact requires a broad range of stakeholder views	教訓5：意味のあるインパクトには、幅広いステークホルダーの意見が必要である。
Certification systems must take into account a broad range of perspectives in order to be effective. Assurance service providers, professional bodies, organisations developing and deploying products or services, and affected users all have different needs and incentives. Sectors like healthcare, cybersecurity, and sustainability have recognised this, and have proactively sought to engage with diverse stakeholders to understand what these different groups need.	認証制度が効果的であるためには、幅広い視点を考慮しなければならない。保証サービスのプロバイダ、専門団体、製品やサービスを開発・展開する組織、影響を受けるユーザーは、それぞれ異なるニーズやインセンティブを持っている。ヘルスケア、サイバーセキュリティ、サステナビリティなどのセクターは、このことを認識し、多様なステークホルダーと積極的に関わり、これらの異なるグループが何を必要としているかを理解しようとしてきた。
Different parts of the market may respond to different incentives to seek certification. While some actors may be motivated to work within specific norms and seek certification due to values or brand differentiation, it can be more difficult to incentivise moderately-engaged actors (the “middle” of the market) to participate in a certification scheme. Appeals to self-interest, such as market incentives, or the ability to evidence performance against benchmarks, can prove effective in these cases. Lower-engagement stakeholders can present a distinct set of challenges, and may require specific interventions (for example through top-down rules) in order for trust to be built across all parts of the AI assurance market .	市場のさまざまな部分が、認証を求めるさまざまなインセンティブに反応する可能性がある。価値観やブランドの差別化により、特定の規範の範囲内で活動し、認証を求める動機付けを持つ行為者がいる一方で、適度に関与している行為者（市場の「中間層」）に認証スキームへの参加を促す動機付けを与えることは、より困難な場合がある。このような場合、市場インセンティブなどの自己利益へのアピールや、ベンチマークに照らしてパフォーマンスを実証する能力が効果的であることが証明される。より低関与度の利害関係者は、明確な一連の課題を提示する可能性があり、AI保証市場のすべての部分にわたって信頼を構築するためには、（例えばトップダウンのルールによる）特定の介入が必要になる場合がある。
Perhaps most importantly, consumers and affected users can make or break a certification scheme. On one hand, consumers can push adoption of standards, driving demand by using brands they trust. On the other hand, lack of user recognition can lead to a certification failing to achieve impact, as has happened previously with some sustainability schemes. It is therefore crucial that consumers and affected users are involved closely in the end-t0-end design, operation, and evolution of certification schemes. In cybersecurity, this has previously been achieved in practice by engaging closely with consumer representatives and advocacy groups on specific assurance projects, leveraging their expertise to gain valuable insights. In practice within the healthcare sector, this can mean getting patients involved in the governance of medical devices through direct outreach programmes.	おそらく最も重要なのは、消費者と影響を受けるユーザーが認証スキームを左右する可能性があることだ。一方では、消費者は信頼のおけるブランドを利用することで標準の採用を推進し、需要を喚起することができる。他方で、ユーザーからの認知度が低いと、以前いくつかの持続可能性スキームで起こったように、認証がインパクトを達成できない可能性がある。したがって、消費者と影響を受けるユーザーが、認証制度のエンドツーエンドの設計、運用、進化に密接に関与することが極めて重要である。サイバーセキュリティの分野では、消費者代表者やアドボカシー団体が特定の保証プロジェクトに密接に関与し、彼らの専門知識を活用して貴重な洞察を得ることで、このことが実際に達成されてきた。ヘルスケア分野では、患者を直接支援するプログラムを通じて、医療機器のガバナンスに関与させることができる。
The same principle of engaging widely and early on applies also to frontline practitioners and professionals, who can play a part in addressing some of the practical challenges and limitations of engaging directly with consumers and affected users. In some sectors, for example healthcare, consumers and affected users may turn to trusted third parties (i.e. medical professionals) to understand the trustworthiness of a service or product. So, through their consumer-facing work, professionals working within organisations to deliver services and products also have an important role to play in the development of successful and impactful certification regimes.	消費者や影響を受ける利用者と直接関わることの現実的な課題や限界のいくつかに対処する一翼を担うことができる。例えばヘルスケアなど一部の分野では、消費者や影響を受ける利用者は、サービスや製品のトラスト性を理解するために、信頼できるサードパーティ（医療専門家など）に頼ることがある。そのため、消費者と接する仕事を通じて、サービスや製品を提供する組織内で働く専門家も、成功し影響力のある認証制度の開発において重要な役割を担っている。
Broad stakeholder views will also contribute to the meaningful transparency that certification will require in order to be effective, discussed in the previous lesson.	また、幅広い利害関係者の見解は、前課で述べた、認証が効果的であるために必要とされる意味のある透明性にも寄与する。
Therefore, in the cases of consumers and affected users, and the individuals and organisations most closely connected with them, there could be significant opportunities to learn and apply existing knowledge in an AI assurance context to ensure these perspectives are heard.	したがって、消費者、影響を受けるユーザー、およびそれらに最も密接に関係する個人と組織の場合、これらの視点に確実に耳を傾けるために、AI保証の文脈で既存の知識を学び、適用する重要な機会があり得る。
Lesson six: Continual monitoring and evaluation can manage complexity	教訓6：継続的なモニタリングと評価で複雑性を管理する
Certification is inherently complex, and will be particularly so for AI and AI assurance. To be effective, certification schemes must ensure that complexities are managed appropriately. Fortunately, other sectors provide clues for how we may begin to manage these complexities in our own context, and show that continual monitoring and evaluation can help address and manage these challenges.	認証は本質的に複雑であり、AIとAI保証については特にそうであろう。認証制度が効果的であるためには、複雑性を適切に管理する必要がある。幸いなことに、他のセクターは、われわれが独自の文脈でこうした複雑性をどのように管理し始めるかについての手がかりを提供しており、継続的なモニタリングと評価がこうした課題への対処と管理に役立つことを示している。
Choices of what and how to measure are likely to have a significant impact on the overall trustworthiness and effectiveness of certification, and within these choices there is a need to balance complex considerations. However, in the case of AI, the overall degree of complexity will be heightened, so certification schemes must pay particularly careful attention to a wide range of challenges. For example, measurements need to be wide-ranging, accurate, precise, and relevant. Qualitative information as well as quantitative metrics are likely needed to provide sufficient relevant information. Measurements must also avoid the problem of “perverse incentives” —like rewarding actors for the wrong behaviour— producing unintended or undesirable results.	何をどのように測定するかという選択は、認証の全体的な信頼性と有効性に大きな影響を与える可能性が高く、こうした選択の中で複雑な考慮事項のバランスをとる必要がある。しかし、AIの場合、全体的な複雑さの度合いは高まるため、認証制度は幅広い課題に特に注意を払わなければならない。例えば、測定は広範囲で、正確で、精密で、適切でなければならない。十分な関連情報を提供するためには、定量的な測定基準だけでなく、定性的な情報も必要であろう。また、誤った行動に対して行為者に報酬を与えるような「逆インセンティブ」によって、意図しない結果や望ましくない結果がもたらされることも避けなければならない。
Taken together, these challenges may perhaps give the false impression that measurements must provide total and absolute coverage of all possible scenarios. However, other sectors provide strategies we can look to and potentially learn from, in order to manage these complexities in an AI context. If implemented successfully, these strategies will contribute towards the adaptability required for effective certification, discussed in lesson four above.	これらの課題を総合すると、測定はすべての可能なシナリオを完全かつ絶対的にカバーしなければならないという誤った印象を与えるかもしれない。しかし、AIの文脈でこれらの複雑性を管理するために、他のセクターが提供する戦略を参考にし、そこから学ぶことができる可能性がある。これらの戦略が成功裏に実施されれば、上記のレッスン4で述べた、効果的な認証に必要な適応性に貢献することになる。
Ongoing monitoring can help, allowing further metrics to be identified and added, and refinements made over time. Benchmarking can also promote consistency, and help recognise and drive improvements and impact, acting as an incentive to evidence performance improvement. These complexities can be addressed with strategies that are already in use in other sectors, and we can learn from existing examples of effective monitoring and evaluation across a range of domains including cybersecurity, sustainability, and safety-critical domains like medical devices, all of which benefit from continual monitoring and evaluation to manage complexity, thereby improving the trustworthiness of services and products.	継続的なモニタリングは、さらなる測定基準を特定・追加し、時間の経過とともに改良を加えることを可能にする。また、ベンチマーキングは一貫性を促進し、改善と影響を認識・促進するのに役立ち、パフォーマンス向上を証明するインセンティブとして機能する。サイバーセキュリティ、持続可能性、医療機器のようなセーフティ・クリティカルな領域など、さまざまな領域における効果的なモニタリングと評価の既存の事例から学ぶことができる。
In other sectors, like cybersecurity, there is a tension between certification being sufficiently detailed to be effective, and being long-lasting enough to remain relevant and useful. It is difficult to certify a product or service that is constantly changing, for example a complex system made up of many software components. One approach to manage this is to look at the system holistically, rather than focusing too much on individual metrics. Generally, the more detailed the certification, the more time-restricted it may be. Fortunately, this will not be a novel problem unique to AI assurance, and the approach taken in the cybersecurity domain could provide a valuable model for AI assurance to learn from.	サイバーセキュリティのような他の分野では、認証が効果的であるために十分に詳細であることと、関連性と有用性を維持するために十分に長続きすることの間に緊張関係がある。例えば、多くのソフトウェア・コンポーネントで構成される複雑なシステムのように、常に変化する製品やサービスを認証することは困難である。これを管理する1つのアプローチは、個々のメトリクスに焦点を当てすぎるのではなく、システムを全体的に見ることである。一般に、認証が詳細になればなるほど、時間的制約が大きくなる可能性がある。幸いなことに、これはAI保証特有の目新しい問題ではなく、サイバーセキュリティの領域で取られているアプローチは、AI保証が学ぶべき貴重なモデルを提供する可能性がある。
Finally, significant complexities are introduced by different use cases and contexts. In the biomedical sector, for example, different sets of tradeoffs can arise between transparency and other varying factors (like human autonomy), depending on the specific context in which a system is being deployed. Here, monitoring strategies can help decide which tradeoffs are appropriate, in each specific situation, for example what level of transparency is right for a particular patient.	最後に、ユースケースやコンテクストが異なると、非常に複雑な問題が生じる。例えば、バイオメディカル分野では、システムが導入される特定のコンテキストによって、透明性と他の様々な要素（人間の自律性など）の間で、異なるトレードオフが生じる可能性がある。ここで、モニタリング戦略は、例えば特定の患者にとってどの程度の透明性が適切かなど、それぞれの特定の状況において、どのトレードオフが適切かを決定するのに役立つ。
Easy or universal solutions to these complexities are unlikely. These challenges need to be addressed in detail and in reference to the specific domain, in harmony with the UK government's proportionate and context-based approach to AI regulation, guided by cross-sectoral principles to be implemented by existing UK regulators and complemented by tools for trustworthy AI, including technical standards. This work will also require a diverse community with skills and expertise, as discussed in the second post.	このような複雑な問題に対する安易で普遍的な解決策はありえない。これらの課題は、英国政府のAI規制に対する比例的かつ文脈に基づくアプローチと調和させながら、既存の英国規制当局によって実施される分野横断的な原則に導かれ、技術標準を含む信頼できるAIのためのツールによって補完されながら、特定の分野を参照して詳細に対処される必要がある。この作業には、2番目の投稿で議論したように、スキルと専門知識を持つ多様なコミュニティも必要となる。
Next steps	次のステップ
In these six lessons, we have identified key enabling conditions and common features across existing schemes that can help certification play an effective role in broader governance. These surface further questions and challenges in our own domain, including how to monitor and improve the enabling conditions for effective certification, how schemes might be designed with the necessary features to succeed, and, crucially, who should be involved in efforts to resolve these challenges.	これら6つの教訓の中で、我々は、認証がより広範なガバナンスにおいて効果的な役割を果たすのを助けることができる、主要な実現条件と既存の制度に共通する特徴を特定した。これらは、効果的な認証を可能にする条件をどのように監視し改善するか、成功するために必要な特徴を備えたスキームをどのように設計するか、そして極めつけは、これらの課題を解決するための取り組みに誰が関与すべきかなど、私たち自身の領域におけるさらなる疑問や課題を浮き彫りにするものである。
Such questions call for early dialogue involving diverse perspectives. The CDEI is now seeking out wider voices to engage in the community building discussed in these blog posts. Our immediate next step will be to convene diverse stakeholders to take forward the themes presented in these blog posts. We will start with an initial workshop to apply the lessons learned to AI assurance, and encourage anyone interested to reach out to us to express an interest. Our public attitudes team will also consider the potential for further public engagement to better understand consumer expectations for effective certification. These, together with future community building efforts, will help us to develop - in alliance with others - the most promising routes to an accountable AI assurance profession.	このような問題には、多様な視点からの早期の対話が必要である。CDEIは現在、これらのブログ記事で議論されているコミュニティ形成に参加するため、より幅広い声を求めている。私たちの当面の次のステップは、このブログ記事で紹介されたテーマを前進させるために、多様なステークホルダーを招集することである。私たちは、学んだことをAI保証に応用するための最初のワークショップから始める予定である。また、私たちの公共意識チームは、効果的な認証に対する消費者の期待をよりよく理解するために、さらなる一般参加の可能性を検討する。これらは、今後のコミュニティ形成の努力とともに、説明責任のあるAI保証の専門家への最も有望なルートを、他者と連携して開発するのに役立つだろう。