英国 データ倫理・イノベーションセンター「業界温度チェック：AI保証の障壁と実現要因」

こんにちは、丸山満彦です。

英国政府のデジタル・文化・メディア・スポーツ省にあるデータ倫理・イノベーションセンターが、「業界温度チェック：AI保証の障壁と実現要因」という報告書を公表しています。業界として選ばれたのは、「人事・採用」、「金融」、「コネクテッドカー・自動運転車 (CAV)」です。。。

「知識・スキルの不足」、「需要不足」というのが、共通して大きな障害という感じですかね。。。

● U.K. Government - Department for Digital, Culture, Media & Sport - Centre for Data Ethics and Innovation

・2022.12.08 Industry temperature check: barriers and enablers to AI assurance

目次...

1.Overview	1.概要
2.General findings: Key themes	2.一般的な調査結果 主要テーマ
3.General findings: Barriers to AI assurance	3.一般的な調査結果 AI保証の障壁
4.General findings: Interventions	4.主な調査結果 介入策
5.Sector-specific findings: Overview	5.分野別所見 概要
6.Summary view across sectors	6.部門別のまとめ
7.HR and recruitment: Overview	7.人事・採用：概要
8.HR and recruitment: Barriers to AI assurance	8.人事・採用：AI保証のための障壁
9.HR and recruitment: Interventions	9.人事・採用：介入
10.Finance: Overview	10.財務：概要
11.Finance: Barriers to AI assurance	11.財務：AI保証のための障壁
12.Finance: Interventions	12.財務：介入
13.Connected and automated vehicles (CAV): Overview	13.コネクテッドカー・自動運転車 (CAV)：概要
14.Connected and automated vehicles (CAV): Barriers to AI assurance	14.コネクテッドカー・自動運転車 (CAV)： AI保証のための障壁
15.Connected and Automated Vehicles (CAV): Interventions	15.コネクテッドカー・自動運転車 (CAV)： 介入
16.Looking towards the future	16.将来に向けて
17.Methodology	17.方法論

概要...

1. Overview	1. 概要
AI assurance - mechanisms to assess and communicate reliable evidence about the trustworthiness of AI systems - has an important role to play in helping to achieve the government’s ambitions for a risk based, pro-growth approach to AI governance, as set out in the National AI Strategy. Providing a toolbox of assurance mechanisms for use with AI - such as technical and governance standards, impact assessments, and possibly in the longer-term, certification - will enable greater adoption of AI and data-driven technologies, while supporting organisations to innovate responsibly. The Roadmap to an Effective AI Assurance Ecosystem, developed by the Centre for Data Ethics and Innovation (CDEI), sets out a path to building an effective and mature ecosystem of AI assurance services in the UK.	AI保証（AIシステムの信頼性に関する信頼できる証拠を評価し伝達するメカニズム）は、国家AI戦略で示されたように、AIガバナンスに対するリスクベースの成長促進アプローチという政府の野心の達成を支援する重要な役割を担っている。技術基準やガバナンス基準、影響評価、そして長期的には認証など、AIで使用するための保証メカニズムのツールボックスを提供することは、AIやデータ駆動型技術の採用を拡大し、同時に組織が責任を持ってイノベーションを行うことを支援することになる。 データ倫理・イノベーションセンター（CDEI）が開発した「効果的なAI保証エコシステムへのロードマップ」は、英国におけるAI保証サービスの効果的で成熟したエコシステムを構築するための道筋を示している。
To support delivery of the Roadmap, the CDEI launched its AI Assurance Programme. In its first year, the focus of the programme has been to gain a better understanding of current levels of industry engagement with AI assurance, to best focus our efforts on areas with the highest potential for impact.	このロードマップの実現を支援するため、CDEIはAI保証プログラムを立ち上げた。初年度のプログラムの焦点は、AI保証に対する業界の現在の取り組みレベルをより深く理解し、最も効果が期待できる分野に焦点を当てることにある。
Since the publication of the Roadmap, the CDEI has facilitated a series of events with stakeholders. Our Industry Temperature Check: Barriers and Enablers to AI Assurance summarises key findings from these activities, which included: a series of Ministerial roundtables, the CDEI x techUK AI assurance symposium, semi-structured interviews, and an online survey, reflecting the views of diverse stakeholders across sectors.	ロードマップの発表以来、CDEIはステークホルダーとの一連のイベントを開催してきた。私たちの業界温度チェック。本書は、一連の閣僚級円卓会議、CDEI x techUK AI assuranceシンポジウム、半構造化インタビュー、オンライン調査など、セクターを超えた多様なステークホルダーの意見を反映したこれらの活動から得られた主要な結果を要約している。
In addition to this, we have chosen to examine in more detail three sectors that face distinct challenges from increased AI adoption: HR and recruitment, finance, and connected and automated vehicles (CAV). This is to ensure that we capture a breadth of concerns and incentives for implementing AI assurance across the economy.	これに加えて、AI導入の拡大により明確な課題に直面する3つのセクターをより詳細に検討することにした。「人事・採用」「金融」「コネクテッドカー・自動運転車（CAV）」です。これは、経済全体でAI保証を実施するための懸念とインセンティブを幅広く捉えるためである。
This publication identifies industry barriers and enablers to engaging with AI assurance, to identify potential practical interventions to support increased uptake and adoption of AI assurance techniques and standards. The report is broken into four sections, the first focusing on cross-sectoral findings, with the following sections focusing on sector-specific findings from HR and recruitment, finance, and CAV.	本書は、AI保証に関与する業界の障壁と実現要因を特定し、AI保証の手法と標準の取り込みと採用の増加を支援するための実践的な介入の可能性を明らかにしている。本報告書は4つのセクションに分かれており、最初のセクションではセクター横断的な知見に焦点を当て、次のセクションでは人事・採用、金融、CAVのセクター固有の知見に焦点を当てている。
The findings illustrated in this paper will inform the continued development of the CDEI’s AI assurance Programme and inform our practical interventions to support the development of a thriving AI assurance ecosystem.	本論文で示された知見は、CDEIのAI保証プログラムの継続的な開発に情報を提供し、繁栄するAI保証エコシステムの開発を支援するための実践的な介入に情報を提供する。

一般的な発見事項：主要なテーマ

2. General findings: Key themes	2. 一般的な発見事項：主要なテーマ
Over the past year, the CDEI has engaged with AI developers, AI assurance service providers, and industry executives from startups, SMEs, and multinationals across a variety of sectors, to gauge familiarity and engagement with AI assurance and identify priority areas for supporting the development of a world-leading AI assurance ecosystem in the UK. This exercise has identified a number of key themes, outlined below:	CDEIは、過去1年間にわたり、AI開発者、AI保証サービスプロバイダ、さまざまな分野の新興企業、中小企業、多国籍企業の業界幹部と関わり、AI保証に対する親近感と関与を測定し、英国における世界有数のAI保証エコシステムの開発を支援するための優先領域を特定した。この調査により、以下のような重要なテーマが特定された。
AI assurance as part of wider risk management	より広範なリスクマネジメントの一環としてのAI保証
AI assurance was often contextualised by participants as an important element of a wider organisational risk management framework. Participants reported developing or expanding existing risk management frameworks to include AI-related risks. These include technical risks, which can be mitigated by modifications to model design or input data, and governance risks, which can be mitigated by changes to organisational policies or processes.	AI保証は、参加者によって、より広範な組織のリスクマネジメントの枠組みの重要な要素であるという文脈で語られることが多い。参加者は、AI関連のリスクを含む既存のリスクマネジメントのフレームワークを開発または拡張していると報告している。これには、モデル設計や入力データの修正によって軽減できる技術的リスクや、組織のポリシーやプロセスの変更によって軽減できるガバナンスリスクが含まれる。
Industry support for a proportionate approach to assurance	保証のための比例アプローチに対する業界の支持
Participants emphasised that selecting an assurance technique to evaluate a system is dependent on the context in which the system is deployed. They noted that the appropriate technique may be determined by a range of factors, including lifecycle stage, risk category, risk level, sector, use case, and legal/regulatory requirements. Typically, participants supported a proportionate approach to assurance, in which low-risk sectors/use cases utilise less formal assurance techniques (e.g. impact assessment), while high risk industries/use cases utilise a combination of assurance techniques (e.g. impact assessment, as well as performance testing, conformity assessment and/or validation).	参加者は、システムを評価するための保証手法の選択は、そのシステムが展開される状況に依存することを強調した。適切な手法は、ライフサイクルステージ、リスクカテゴリー、リスクレベル、セクター、ユースケース、法的／規制上の要件など、様々な要因によって決定される可能性があることを指摘した。一般的に、参加者は、低リスクの分野／ユースケースはあまり正式でない保証手法（例：影響評価）を利用し、高リスクの業界／ユースケースは保証手法（例：影響評価に加え、性能試験、適合性評価及び／又はバリデーション）を組み合わせて利用する、保証の比例アプローチを支持した。
Industry desire for third-party certification/accreditation	第三者認証/認定に対する業界の要望
Many participants felt the use of third-party tools and services - including cloud-based and software-as-a-service (SaaS) assurance platforms - was preferable to using internal services, as they provide an impartial perspective. However, there are concerns around the consistency and robustness of third-party assurance services. Participants expressed a desire for certification or accreditation schemes as a means of recognising and demonstrating the credibility and quality of third-party assurance service providers.	多くの参加者は、クラウドベースやSaaS（Software-as-a-Service）保証プラットフォームなど、第三者のツールやサービスの利用は、公平な視点を提供するため、内部サービスの利用よりも望ましいと考えている。しかし、第三者による保証サービスの一貫性や堅牢性については懸念がある。参加者からは、第三者保証サービス提供者の信頼性と品質を認識・実証する手段として、認証や認定の仕組みを望む声が聞かれた。
Standards to support AI assurance techniques	AIの保証技術をサポートする標準
Many participants referenced using standards developed by standards development organisations (SDOs) alongside other assurance techniques. Some adopted standards directly, while others used them as a point of reference for what they should be assuring for (e.g. explainability and robustness) and then developed their own methods for achieving these aims. Organisations which did not use technical standards reported that this is, in part, because the standards landscape is complex and difficult to navigate.	多くの参加者が、標準化団体（SDO）が開発した標準を他の保証手法と併用していることに言及している。標準を直接採用する場合もあれば、何を保証すべきかの基準（説明可能性や堅牢性など）として標準を使用し、その目的を達成するための独自の方法を開発する場合もありました。技術標準を使用しない組織は、標準の状況が複雑で進むのが困難であることが一因であると報告している。
Prevalence of impact assessments	影響評価の普及
The most frequently cited assurance techniques were impact assessments. Impact assessments pose questions to identify potential ethical and societal impacts of an AI system, and may focus on design and development processes, or wider organisational processes. Participants noted that impact assessments are often the initial stage of an assurance engagement, used to identify what additional measures may be required to assure the system.	最も頻繁に引用された保証手法は、影響評価であった。影響評価は、AIシステムの潜在的な倫理的・社会的影響を特定するための質問を投げかけ、設計・開発プロセスやより広範な組織的プロセスに焦点を当てることがある。参加者は、影響評価は保証業務の初期段階であることが多く、システムを保証するためにどのような追加措置が必要かを特定するために使用されると述べている。
Assurance creates competitive advantage	保証は競争優位を生み出す
There was a strongly held view among participants that AI assurance can provide organisations with ‘a competitive edge’, through building customer trust and managing reputational risk. On one hand, using assurance techniques to evaluate AI systems can build trust in consumer-facing AI systems by demonstrating adherence to ethical values (fairness, transparency etc.) and/or relevant regulation/legislation. On the other hand, using assurance techniques can also help identify and mitigate AI-related risks to manage reputational risks and avoid negative publicity. This helps to mitigate greater commercial risks, in which high-profile failures could lead to reduced customer trust and adoption of AI systems.	参加者の間では、AIによる保証は、顧客の信頼構築やレピュテーションリスクのマネジメントを通じて、企業に「競争優位性」をもたらすという意見が強く聞かれた。一方では、AIシステムの評価に保証技術を用いることで、倫理的価値（公平性、透明性など）や関連する規制・法律への準拠を実証し、消費者向けのAIシステムに対する信頼を構築することができる。一方、保証技術を使用することで、AI関連のリスクを特定・軽減し、レピュテーションリスクをマネジメントし、ネガティブな評判を回避することもできる。これは、知名度の高い失敗が顧客の信頼とAIシステムの採用の減少につながる可能性のある、より大きな商業的リスクを軽減するのに役立つ。
Regulatory compliance is a key driver of assurance	規制遵守は保証の重要な推進力
The need to comply with relevant existing and future regulation and legislation to demonstrate best practice and avoid penalties was identified by participants as a key driver of AI assurance, and is likely to drive both the adoption of existing assurance techniques as well as the development of new assurance techniques and standards. Organisations will need to comply with both existing legislation like the UK General Data Protection Regulation (UK GDPR) as well as anticipated future regulatory frameworks like the regime to be outlined in the UK’s forthcoming White Paper on AI Regulation.	ベストプラクティスを実証し、罰則を回避するために、関連する既存および将来の規制や法律に準拠する必要性は、参加者によってAI保証の主要な推進力として認識されており、既存の保証技術の採用と新しい保証技術や標準の開発の両方を推進すると思われる。組織は、英国一般データ保護規則（英国GDPR）のような既存の法律と、英国が近々発表するAI規制白書で概説される体制のような将来予想される規制枠組みの両方に準拠する必要がある。
Participants were eager to understand how different assurance techniques could help organisations to demonstrate implementation and integration of the proposed regulatory principles set out in the UK Government’s July 2022 Establishing a pro-innovation approach to regulating AI paper, highlighting how regulation can also drive requirements for AI assurance. Participants were also mindful of the EU AI Act, which they anticipated is likely to mandate certain assurance activities such as risk management frameworks and conformity assessments, acting as a direct driver of AI assurance.	参加者は、英国政府が2022年7月に発表した「Establishing a pro-innovation approach to regulating AI paper」で示された規制原則案の実施と統合を実証するために、さまざまな保証技術がどのように役立つかを理解しようとしており、規制がAI保証の要件を推進することもできると強調している。また、参加者は、リスクマネジメントの枠組みや適合性評価など、特定の保証活動を義務付ける可能性が高いと予想されるEUのAI法にも留意しており、AI保証の直接的な推進力として作用しているようだ。

障壁とその説明...

Barrier type : Description	障壁の種類 : 説明
Workforce barriers : Lack of knowledge/skills: In many organisations that design and develop AI systems, staff either don't know what unique risks AI poses, or can identify these risks but don't have the skills or knowledge to effectively mitigate them. Alternatively, in organisations that procure AI systems, teams are often unaware that they may be required to monitor, prove or assess the performance of these systems over time.	人材に関する障壁:知識・スキルの不足。 AIシステムを設計・開発する多くの組織では、スタッフがAIがもたらす固有のリスクを知らないか、リスクを特定できてもそれを効果的に軽減するスキルや知識を持ち合わせていないかのどちらかである。また、AIシステムを調達している組織では、これらのシステムのパフォーマンスを長期にわたって監視、証明、評価することが求められる可能性があることを知らない場合が多いようである。 :
Organisational barriers : Lack of buy-in from senior management teams: Many senior decision-makers (e.g. managing directors/partners) are often unaware of the concept of responsible AI, and as a result don't prioritise or fund measures to support the development of responsible systems. Participants noted the importance of making a strong business case for AI assurance, which can help senior leaders demonstrate return on investment (ROI) in responsible AI.	組織的な障壁:経営幹部からの支持の欠如。 多くの上級意思決定者（例：マネージング・ディレクターやパートナー）は、責任あるAIの概念を知らないことが多く、その結果、責任あるシステムの開発をサポートするための施策に優先順位をつけたり、資金を提供したりすることがない。参加者は、シニアリーダーが責任あるAIへの投資収益率（ROI）を実証するのに役立つ、AI保証のための強力なビジネスケースを作ることの重要性を指摘した。 :
Lack of resources: Lack of financial resources is a common barrier to AI assurance, specifically for the adoption of standards developed by standards development organisations (SDOs). Many SDO-developed standards are labour intensive and costly, requiring considerable time and effort to adopt. This is a particularly big barrier for small and medium-sized enterprises (SMEs), who typically have more limited resources to devote to responsible AI development.	リソースの不足：リソースの不足は、AI保証、特に標準開発組織（SDO）が開発した標準の採用に対する共通の障壁である。SDOが開発した標準の多くは、労働集約的でコストが高く、採用にはかなりの時間と労力を必要とします。これは、責任あるAI開発に割くことのできるリソースが通常より限られている中小企業（SME）にとって、特に大きな障壁となる。
Operational/ market barriers : Lack of standardised/unified approach: Due to the newness of the AI assurance market, there is fragmentation and a lack of consistency across AI assurance service providers. For example, each provider may use different metrics and/or measurement techniques for assessing an AI system. This multitude of approaches makes it difficult for organisations to determine which assurance service provider or technique is best suited to assess their AI systems.	運用／市場の障壁：標準化／統一されたアプローチの欠如。 AI保証市場の新しさにより、AI保証サービスプロバイダ間で断片化し、一貫性が欠けている。例えば、各プロバイダーは、AIシステムを評価するために、異なる測定基準や測定技術を使用することがあります。このような多様なアプローチにより、企業はどの保証サービスプロバイダや手法が自社のAIシステムの評価に最も適しているかを判断することが困難になっている。 :
Governance barriers : Regulatory uncertainty: There is considerable hesitancy to invest resources in adopting assurance techniques or standards that may be irrelevant or incompatible with future regulatory requirements. There is a need for more clarity around which standards/assurance techniques may support compliance with future regulatory requirements.	ガバナンスの障壁：規制の不確実性。 将来の規制要件と無関係または互換性がない可能性のある保証技術や標準を採用するためにリソースを投資することには、かなりのためらいがあります。将来の規制要件への準拠をサポートする規格や保証技術について、より明確にする必要がある。 :

セクターごとの優先度...

★★★:高影響度、★★：中影響度、★：低影響度、？：評価なし

障壁	人事・採用	金融	CAV
知識・スキルの不足	★★★	★★★	★★★
ガイダンスの不足	？	★★	★★
利用可能な保証手法の認識不足	★★	★★★	★
利用可能な規格の認識不足	？	★★★	★★
ベストプラクティスへの道しるべがない	？	★★★	★★★
需要（社内外）の不足	★★★	★★	★★★
適切な手法・規格を選択することが難しい	★	★★	★
標準にかかる金銭的コスト	？	？	★
国際的な相互運用性の欠如	★	★	★
規制の不確実性	？	★★★	★
保証のための努力を認める仕組みの欠如	？	★	★★★
標準化状況の複雑さ	？	★	★

・PDFなら。。。

・[PDF] Industry Temperature Check - Barriers and Enablers to AI Assurance