欧州 EDPB AI監査チェックリスト (2024.6.27)

こんにちは、丸山満彦です。

欧州の欧州データ保護委員会 (European Data Protection Board; EDPB) がAI監査について、チェックリスト等を公表していますね...

監査のチェックリストということは、想定されるControl Objectivesに関係するということですよね...

ちょっと読んでみましょっと...

● European Data Protection Board; EDPB

・2024.06.27 AI Auditing

AI Auditing	AI監査
The AI Auditing project aims to map, develop and pilot tools that help evaluate the GDPR compliance of AI systems and applications are GDPR compliant.	AI監査プロジェクトは、AIシステムやアプリケーションがGDPRに準拠しているかどうかを評価するのに役立つツールのマッピング、開発、試験運用を目的としている。
The EDPB launched this project in the framework of the Support Pool of Experts programme, at the initiative of the Spanish Data Protection Authority (DPA).	EDPBはスペインデータ保護庁（DPA）の認可を受け、専門家支援プログラム（Support Pool of Experts）の枠組みでこのプロジェクトを立ち上げた。
Project completed by the external expert Dr. Gemma Galdon Clavell in February 2023.	2023年2月、外部専門家ジェンマ・ガルドン・クラベル博士によりプロジェクト完了。
Objective	目的
This project helps all parties understand and assess data protection safeguards in the context of the AI Act. In particular, it may help DPAs to inspect AI systems by defining a methodology in the form of a check-list to perform an audit of an algorithm and proposing tools that would enhance transparency.	このプロジェクトは、すべての関係者がAI法の文脈におけるデータ保護セーフガードを理解し、評価するのに役立つ。特に、アルゴリズムの監査を実施するためのチェックリスト形式の方法論を定義し、透明性を高めるツールを提案することで、DPAがAIシステムを検査するのに役立つ可能性がある。

AI監査チェックリスト

・[PDF] Checklist for AI auditing

目次

1. Introduction	1. 序文
2. Scope of algorithmic auditing	2. アルゴリズム監査の範囲
3. Auditing process	3. 監査プロセス
3.1. Model card	3.1. モデルカード
3.2. System map	3.2. システムマップ
3.3. Moments and sources of bias	3.3. モーメントとバイアスの原因
3.4. Bias testing	3.4. バイアステスト
3.5. Adversarial audit (optional)	3.5. 敵対的監査（オプション）
4. The audit report	4. 監査報告書
Document submitted in January 2023	2023年1月に提出される書類

・[PDF] proposal for AI leaflets

・[PDF] Proposal for Algo-scores

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2023.12.31 OECD.AI AIアルゴリズム監査 (2023.12.19)

・2023.03.23 OECD AIにおけるアカウンタビリティの高度化 (2023.02.23)

・2022.07.31 スタンフォード大学 AI監査のアイデア募集 賞金総額は約1000万円 (^^) (2022.07.11)

・2021.04.21 英国政府 データ倫理とイノベーションセンターのブログ　AIの保証についての3つの記事

・2020.05.21 UK-ICO Explaining decisions made with AI / AIによる決定の説明

---

チェックリスト...

SUPPORT POOL OF EXPERTS PROGRAMME	専門家支援プログラム
AI Auditing Checklist for AI Auditing	AI監査用チェックリスト
by Dr. Gemma GALDON CLAVELL	ジェマ・ガルドン・クラベル博士著
As part of the SPE programme, the EDPB may commission contractors to provide reports and tools on specific topics.	SPEプログラムの一環として、EDPBは特定のトピックに関するレポートやツールの提供をプロバイダに委託することがある。
The views expressed in the deliverables are those of their authors and they do not necessarily reflect the official position of the EDPB. The EDPB does not guarantee the accuracy of the information included in the deliverables. Neither the EDPB nor any person acting on the EDPB’s behalf may be held responsible for any use that may be made of the information contained in the deliverables.	成果物において表明された見解はその認可者のものであり、必ずしもEDPBの公式見解を反映するものではない。EDPBは、成果物に含まれる情報の正確性を保証しない。EDPBおよびEDPBを代行する者は、成果物に含まれる情報のいかなる使用についても責任を負わない。
Some excerpts may be redacted or removed from the deliverables as their publication would undermine the protection of legitimate interests, including, inter alia, the privacy and integrity of an individual regarding the protection of personal data in accordance with Regulation (EU) 2018/1725 and/or the commercial interests of a natural or legal person.3	一部の抜粋は、その公表が、特に、規則（EU）2018/1725に従った個人データの保護に関する個人のプライバシー・完全性、および／または自然人もしくは法人の商業的利益を含む、正当な利益の保護を損なうことになるため、成果物から修正または削除される場合がある3。
Table of Contents	目次
1. Introduction	1. 序文
2. Scope of algorithmic auditing	2. アルゴリズム監査の範囲
3. Auditing process	3. 監査プロセス
3.1. Model card	3.1. モデルカード
3.2. System map	3.2. システムマップ
3.3. Moments and sources of bias	3.3. モーメントとバイアスの原因
3.4. Bias testing	3.4. バイアステスト
3.5. Adversarial audit (optional)	3.5. 敵対的監査（オプション）
4. The audit report	4. 監査報告書
Document submitted in January 2023	2023年1月に提出される書類
1. Introduction	1. 序文
Algorithmic auditing is a way to inspect AI systems in their specific contexts. It is an approach and methodology that allows for a dynamic appraisal of regulation, standards and impacts. If its results are public, it is also a tool for transparency and accountability.	アルゴリズム監査は、AIシステムを特定の文脈で検査する方法である。それは、規制、標準、影響をダイナミックに評価することを可能にするアプローチであり方法論である。その結果が公開されれば、透明性と説明責任のためのツールにもなる。
AI audits are key tools for regulators and society, who can use audit reports to assess how systems work and their impacts. But they are also useful for those developing and acquiring AI systems. An end-to-end, socio-technical approach like the one proposed here generates documentation that improves system accountability, organizational memory and compliance with AI and data regulations.	AI監査は規制当局や社会にとって重要なツールであり、監査報告書を用いてシステムの仕組みやその影響を評価することができる。しかし、AIシステムを開発・導入する側にとっても有用である。ここで提案されているようなエンド・ツー・エンドの社会技術的アプローチは、システムの説明責任、組織の記憶、AIやデータ規制の遵守を改善する文書を生成する。
For those acquiring and incorporating AI systems into their operations, audits provide crucial evidence that enable due diligence and proper assessment and comparison of the characteristics between different systems and vendors.	AIシステムを取得し、業務に取り入れる場合、監査は、デューデリジェンス、異なるシステムやベンダー間の特性の適切な評価と比較を可能にする重要な証拠を提供する。
The AI audit checklist proposed is specifically focused on AI impacts. This means that while it gathers information on compliance and trust and safety mechanisms both before and after an AI system is launched, the focus of the audit is to validate that AI developers and implementors have taken all necessary measures, at all different stages, to make sure that the impacts of their systems are in line with existing laws, trust and safety best practices and societal expectations.	提案されているAI監査チェックリストは、特にAIの影響に焦点を当てている。つまり、AIシステムが立ち上がる前と後の両方で、コンプライアンスと信頼と安全のメカニズムに関する情報を収集する一方で、監査の焦点は、AIの開発者と実装者が、そのシステムの影響が既存の法律、信頼と安全のベストプラクティス、社会の期待に沿ったものであることを確認するために、あらゆる異なる段階で必要な措置を講じていることを検証することにある。
It should be noted that an audit process in the framework of the controller implementation of the accountability principle and the inspection/investigation carried out by a Supervisory Authority could be different. Such differences rely, among others, in the final purpose of both activities (the SA could do the inspection to get evidence of an infringement), the scope (limited to the GDPR: applies on personal data processing activities but not on technologies) and the national regulations regarding inspection by control authorities.	アカウンタビリティ原則を実施するコントローラの枠組みにおける監査プロセスと、監督当局が実施する検査／調査は異なる可能性があることに留意すべきである。このような違いは、特に、両活動の最終目的（監督機関は、違反の証拠を得るために検査を行うことができる）、範囲（GDPRに限定：個人データ処理活動に適用されるが、技術には適用されない）、および管理当局による検査に関する国内規制に依存する。
This document includes a methodology in the form of a check-list to perform an audit of an AI system.	本書には、AIシステムの監査を実施するためのチェックリスト形式の方法論が含まれている。
We define an AI system as a logic with a specific outcome. An AI system may be composed of several algorithms, and an AI service or product may include several AI systems.	AIシステムとは、特定の結果を伴うロジックと定義する。AIシステムは複数のアルゴリズムから構成される可能性があり、AIサービスや製品には複数のAIシステムが含まれる可能性がある。
In addition, it should be noted that there are different techniques for developing artificial intelligence1 .	さらに、人工知能の開発には様々な手法があることに留意する必要がある1 。
This document is focused on auditing an algorithm for artificial intelligence based on machine learning, where its life cycle is divided in three totally independent stages from the point of view of data processing and these stages are: algorithm training (pre-processing), the operation of the algorithm implementing one (or more than one) operation in the framework of a personal data processing (in- processing – inference) and the decision making and impact of the same in the processing (post- processing – model deployment). It could be a fourth one, that is the algorithm evolution. All of those stages could be different processing activities and could involve different controllers.	本書は、機械学習に基づく人工知能のアルゴリズムの監査に焦点を当て、そのライフサイクルは、データ処理の観点から3つの完全に独立した段階に分けられ、これらの段階は、アルゴリズムの訓練（事前学習）、個人データ処理の枠組みの中で1つ（または複数）の操作を実装するアルゴリズムの操作（処理中-推論）、および処理中の意思決定とその影響（処理後-モデル展開）である。4つ目はアルゴリズムの進化である。これらの段階はすべて異なる処理活動であり、異なる管理者が関与する可能性がある。
2. Scope of algorithmic auditing	2. アルゴリズム監査の範囲
An end-to-end, socio-technical algorithmic audit (E2EST/AA) should inspect a system in the actual implementation, processing activity and running context, looking at the specific data used and the data subjects impacted. It is an end-to-end approach because it recognizes that algorithmic systems work with data produced by complex and imperfect individuals and societies, and operate and intervene in complex social and organizational contexts. Thus, AI systems are deeply socio-technical, and a focus on technical issues would fail to incorporate both problems and possibilities for system 1 There are different approaches to AI-based solutions: neural networks, rule-based systems, fuzzy logic, machine learning, expert systems, adaptive systems, genetic algorithms, multi-agent systems, etc. improvement and impact testing that go beyond in-processing. In fact, most of the E2EST/AA focuses on pre-processing and post-processing stages of that algorithmic life-cycle. Models and systems that have optimal performance and accuracy rates in-processing may perform in inefficient or harmful ways when audited end-to-end and using social and technical means.	エンド・ツー・エンドで社会技術的なアルゴリズム監査（E2EST/AA）は、実際の実装、処理活動、実行状況においてシステムを検査し、使用される特定のデータと影響を受けるデータ主体を調べる必要がある。E2EST/AAがエンドツーエンドのアプローチであるのは、アルゴリズムシステムが、複雑で不完全な個人や社会によって生成されたデータを扱い、複雑な社会的・組織的コンテクストで動作し、介入していることを認識しているからである。このように、AIシステムは深く社会技術的なものであり、技術的な問題に焦点を当てると、システムの問題点と可能性の両方を取り入れることができない。1 AIベースのソリューションには、ニューラルネットワーク、ルールベースシステム、ファジーロジック、機械学習、エキスパートシステム、適応システム、遺伝的アルゴリズム、マルチエージェントシステムなど、さまざまなアプローチがある。実際、E2EST/AAのほとんどは、アルゴリズムのライフサイクルの前処理と後処理の段階に焦点を当てている。インプロセスでは最適なパフォーマンスと精度を持つモデルやシステムも、エンド・ツー・エンドで、社会的・技術的手段を用いて監査されると、非効率的あるいは有害なパフォーマンスを示すことがある。
The E2EST/AA process is designed to inspect algorithmic systems used in ranking, image recognition and natural language processing. It works with systems that make decisions on individuals or groups based on known data sources, regardless of whether they use machine learning or classic computing.	E2EST/AAプロセスは、ランキング、画像認識、自然言語処理に使用されるアルゴリズムシステムを検査するために設計されている。機械学習や古典的なコンピューティングを使用しているかどうかにかかわらず、既知のデータソースに基づいて個人やグループに関する決定を下すシステムを対象とする。
This definition includes most systems used by the public and private sectors to make decisions on resource allocation, categorization and identification/verification in sectors such as health, education, security, finance and for applications like fraud detection, hiring, operations management, or prediction/risk assessment.	この定義には、医療、教育、セキュリティ、金融などの分野において、また、不正検知、雇用、オペレーションマネジメント、予測／リスクアセスメントなどの用途において、リソースの割り当て、分類、識別／検証に関する意思決定を行うために公共部門や民間部門で使用されるほとんどのシステムが含まれる。
The E2EST/AA is focused on bias assessment, but not limited to it. The methodology to carry out an E2EST/AA incorporates questions related to broader social impact and desirability, as well as the incorporation of end-users in the design process and the existence of recourse mechanisms for those impacted by algorithmic systems. For a system to pass an algorithmic audit, issues of impact, proportionality, participation and resource must be tackled.	E2EST/AAはバイアス・アセスメントに重点を置いているが、これに限定されるものではない。E2EST/AAを実施するための方法論には、より広範な社会的影響や望ましさに関連する質問、設計プロセスにおけるエンドユーザーの取り込み、アルゴリズムシステムによって影響を受ける人々のための救済メカニズムの存在などが盛り込まれている。システムがアルゴリズム監査に合格するためには、影響、比例性、参加、リソースの問題に取り組まなければならない。
A clear limitation of any audit process is that it is based in an existing system. This means that an audit methodology does not prompt a reflection on whether a system should exist in the first place.	監査プロセスの明確な限界は、それが既存のシステムに基づいているということである。つまり、監査の方法論は、そもそもシステムが存在すべきかどうかについての考察を促すものではない。
3. Auditing process	3. 監査プロセス
An E2EST/AA is an iterative process of interaction between the auditor/s and the development team/s.	E2EST/AA は、審査員と開発チームとの相互作用の反復プロセスである。
The method provides templates and instructions to guide such interaction, specifying the data inputs that are necessary for auditors to complete the assessment and validate results.	本手法は、このような相互作用を導くためのテンプレートと指示を提供し、審査員がアセスメントを完了し、結果を検証するために必要なデータインプットを規定する。
3.1. Model card	3.1. モデルカード
Model cards are documents designed to compile information about the training and testing of AI models, as well as the features and the motivations of a given dataset or algorithmic model. A sample model card like the one proposed below can be used and slightly adapted to different systems or compliance concerns.	モデルカードは、AIモデルのトレーニングやテスト、与えられたデータセットやアルゴリズムモデルの特徴や動機に関する情報をまとめるために設計された文書である。以下に提案するようなモデルカードのサンプルを使用し、異なるシステムやコンプライアンス上の懸念に若干適合させることができる。
General information	一般情報
o System name/code and version (5.2 GDPR)	o システム名／コードとバージョン（5.2 GDPR）
o Leaflet version and version history (5.2 GDPR)	o リーフレットのバージョンとバージョン履歴（5.2 GDPR）
o System owner and suppliers data	o システム所有者および供給業者のデータ
o Suppliers’ role	o サプライヤーの役割
o Risk level (AI Act)	o リスクレベル（AI法）
o Governance roles (Chapter IV GDPR)	o ガバナンスの役割（第4章GDPR）
o Distribution date (5.2 GDPR)	o 配布日（5.2 GDPR）
o Existing documentation Information on process	o 既存の文書 プロセスに関する情報
o Description of intended purposes, uses, context and role/service provided (Article 5.1.b, 5.2 and 24.1 GDPR)	o 意図された目的、用途、文脈及び提供される役割／サービスの説明（GDPR第5.1.b条、第5.2条及び第24.1条）
o Stakeholder involvement	o 利害関係者の関与
o Organizational context	o 組織的背景
o Human role/s	o 人間の役割
Information on training/validation data	トレーニング／検証データに関する情報
o Data sources/collection methodology (Articles 5 and 9 GDPR)	o データソース／収集方法（GDPR第5条および第9条）
o Data types and characteristics (Article 5.1.a, b GDPR)	o データの種類と特徴（GDPR第5条1項a、b）
o Privacy by Design (Article 25 GDPR)	o プライバシー・バイ・デザイン（GDPR第25条）
o Datasets (Article 5.1.a, b GDPR)	o データセット（GDPR第5.1.a条、b条）
Information on the model	モデルに関する情報
o Method/s used and justification	o 使用された方法とその正当性
o Simplified output/s	o 簡略化された出力
o Decision variables	o 決定変数
o Objective function/s (Article 5.1.d GDPR)	o 目的関数（GDPR第5.1.d条）
Information on bias and impacts (in lab/operational settings)	バイアスおよび影響に関する情報（実験室/運用環境において）
o Metrics (Articles 5.1.a and 5.1.b GDPR)	o メトリクス（GDPR第5.1.a条及び第5.1.b条）
o Protected categories (Articles 13.1.e, 14.1.e and 35.9 GDPR)	o 保護カテゴリー（GDPR第13.1.e条、第14.1.e条、第35.9条）
o Impact rates per category and profile (Article 5.1.d GDPR)	o カテゴリーおよびプロファイルごとの影響率（GDPR第5.1.d条）
o Auditability (Articles 5 and 22 GDPR)	o 監査可能性（GDPR第5条および第22条）
Information on redress:	救済に関する情報
o Explainability profiling (Recital 71 GDPR)	o 説明可能性プロファイリング（GDPR71条）
o Redress or review (Articles 13.2.f, 14.2.g and 15 GDPR)	o 償還またはレビュー（GDPR第13.2.f条、第14.2.g条、第15条）
o Redress metrics, if applicable	o 該当する場合、救済の指標
The Model Card allows the auditor to have an initial picture of the system, as well as of the available information, and so it is crucial to determine what issues need to be further explored and inquire system developers on how some of the information provided was determined. It is also a useful way to gather all existing documentation on the system.	モデルカードにより、監査人は利用可能な情報と同様にシステムの初期像を把握することができるため、どのような問題をさらに調査する必要があるかを決定し、提供された情報の一部がどのように決定されたかをシステム開発者に問い合わせることが極めて重要である。また、システムに関する既存の文書をすべて収集することも有効な方法である。
Specifically, the inspector should record the existence of:	具体的には、検査官は以下のものの存在を記録しておくべきである：
Table	表
3.2. System map	3.2. システムマップ
The system map puts the algorithm in context, establishing the relationships and interactions between an algorithmic model, a technical system and a decision-making process. A first version can be designed by the auditor/s following the information provided in the MC, to be completed and validated by the development team/s.	システムマップは、アルゴリズムを文脈の中に置き、アルゴリズムモデル、技術システム、意思決定プロ セス間の関係と相互作用を確立する。最初のバージョンは、MCで提供された情報に従って審査員／Sが設計し、開発チーム／Sが完成させ、検証することができる。
Model: The model is the trained algorithm, that is, the rules adapted to a particular domain, which constitute the foundation of the technology we audit. Models are subject to performance evaluation, test, and can be compared to each other via benchmark datasets. The model is the core of an AI system, but it usually relies upon other elements (e.g. data pipelines, visualization platforms,...) for it to work.	モデル： モデルとは、訓練されたアルゴリズムであり、すなわち、特定の領域に適合したルールであり、監査する技術の基礎を構成する。モデルは性能評価やテストの対象となり、ベンチマークデータセットを通じて相互に比較することができる。モデルはAIシステムの中核であるが、通常は他の要素（データパイプライン、可視化プラットフォームなど）に依存して動作する。
System: The system in this case refers to the entire technology. For a mobility service it could be the app that integrates a Machine Learning (ML) model to predict demand and adjust pricing, including the UI, including for example the data pipelines and protocols.	システム： この場合のシステムとは、テクノロジー全体を指す。モビリティ・サービスの場合、例えばデータ・パイプラインやプロトコルを含むUIを含め、需要を予測し価格設定を調整する機械学習（ML）モデルを統合したアプリがそれにあたる。
Process: By process we define the entire lifecycle of any unit of work, from the moment it enters into the workflow all the way to the decision and, if part of the process, the actual way the decision is utilized.	プロセス： プロセスとは、ワークフローに入った瞬間から意思決定まで、そしてプロセスの一部であれば、意思決定が実際に利用される方法まで、あらゆる作業単位のライフサイクル全体を定義する。
Specifically, in the framework of an investigation carried out by a Supervisory Authority should record the existence of:	具体的には、監督当局が実施する調査の枠組みにおいて、以下の存在を記録しなければならない：
IDENTIFICATION AND TRANSPARENCY OF THE AI-BASED COMPONENT	AIベースのコンポーネントの識別と透明性
• Inventory of the audited AI-based component [Article 5.2]	- 監査されたAIベースのコンポーネントのインベントリ[第5.2条]。
Look for evidence to check, at least, the following questions:	少なくとも以下の質問をチェックするための証拠を探す：
o Is the AI-based component identified in the documentation by means of a name or code, identification of version and date of creation?	o AI ベースのコンポーネントは、名称又はコード、バージョンの識別及び作成日付によって、 文書の中で識別されているか。
o Do the code and any additional files defined by the version include a digital signature over the entire package to guarantee its integrity?	o コードとバージョンによって定義された追加ファイルには、その完全性を保証するために、パッケージ全体に対するデジタル署名が含まれているか？
o Is a version history of the evolution of the AI component available?	o AI コンポーネントの進化のバージョン履歴が利用できるか。
o Does every version recorded include the parameters used in the training of the component and everything that ensures the traceability of the evolution/changes in the component?	o 記録されたすべてのバージョンには、コンポーネントのトレーニングで使用されたパラメータと、コンポーネントの進化／変更のトレーサビリティを保証するすべてのものが含まれているか？
• Identification of responsibilities [Chapter IV]	・責任の特定【第IV章
Look for evidence to check, at least, the following questions:	少なくとも以下の質問をチェックするための証拠を探す：
o Is there an identification about the person(s) or institution(s) who manage the life cycle stages of the AI-based component?	o AIに基づくコンポーネントのライフサイクルステージを管理する個人または機構が特定されているか。
o Is there an identification about the associate managers, and the representatives of the controller and of the processor of every life cycle stage?8	o 各ライフサイクル段階の準管理者、管理者及び処理者の代表者が特定されているか8。
o Does every contract associated to each processing stage specify the distribution of responsibilities with regard to personal data protection?	o 各処理段階に関連するすべての契約で、個人データ保護に関する責任の分担が明記されているか。
o Has every contract associated to each processing stage been audited?	o 各処理段階に関連するすべての契約は監査されているか？
o Is there a registration in the Records of Processing Activities of the corresponding controllers and processors?	o 該当する管理者と処理者の「処理活動記録」に登録されているか。
o Is a Data Protection Officer appointed? If not, why?	o データ保護責任者が任命されているか。任命されていない場合、その理由は？
o Has the Data Protection Officer been identified and communicated his/her identity to the relevant Supervisory Authority?	o データ保護責任者が特定され、その身元が監督機関に報告されているか。
• Transparency [Article 5.1.a and Chapter III - Section 1, Articles 13.2.f and 14.2.g of Chapter III - Section 2].	・透明性 [第 5.1.a 条及び第 III 章第 1 節、第 III 章第 2 節の第 13.2.f 条及び第 14.2.g 条]。
Look for evidence to check, at least, the following questions:	少なくとも以下の質問をチェックするための証拠を探す：
o Are data sources documented?	o データソースは文書化されているか？
o Has an information mechanism been implemented?	o 情報の仕組みが導入されているか。
o Are the characteristics of data used to train the AI component identified, documented and duly justified?	o AIコンポーネントを訓練するために使用されるデータの特性が特定され、文書化され、正当に正当化されているか。
o Is the model chosen for the AI-based component appropriate in terms of simplicity and intelligibility, considering efficiency, quality and accuracy?	o AIに基づくコンポーネントのために選択されたモデルは、効率、品質、精度を考慮し、単純さとわかりやすさの点で適切か？
o Is the algorithm code explainability documented in order to facilitate its readability, logic comprehension and internal consistency?	o 読みやすさ、論理の理解、内部一貫性を促進するために、アルゴリズムコードの説明可能性が文書化されているか。
o Does the algorithm code documentation include information regarding metadata of the AI-based component, its logic and the consequences that may arise from its use are accessible to data subjects together with the means or mechanisms available to exercise their rights in case of objections to the results?	o アルゴリズム・コードの文書化には、AIベース・コンポーネントのメタデータ、そのロジッ ク、及びその使用から生じる可能性のある結果に関する情報が、データ主体がアクセス可 能であり、その結果に対して異議がある場合にその権利を行使するために利用可能な手段又はメ カニズムとともに含まれているか。
o Does the algorithm code documentation include information about its behaviour regarding input data sets, data use, intermediate data and output data?	o アルゴリズムのコード文書には、入力データセット、データ使用、中間データ、 出力データに関する挙動についての情報が含まれているか？
o Can input data sets, data use, intermediate data and output data be traced?	o 入力データセット、データ使用、中間データ、出力データを追跡できるか。
o In case of an erroneous behaviour of the AI-based component that could cause harm to data subjects, have mechanisms been established to minimise such damage?, are communication channels provided to facilitate communication among all stakeholders involved in the process?	o  データ主体に損害を与える可能性のある AI ベースのコンポーネントの誤った動作が発生した場合、そのよう な損害を最小限に抑えるためのメカニズムが確立されているか、プロセスに関与するすべての利害 関係者間のコミュニケーションを促進するためのコミュニケーションチャネルが提供されて いるか。
PURPOSE OF THE AI-BASED COMPONENT	AIベースのコンポーネントの目的
• Identification of intended purposes and uses [Article 5.1.b].	・意図された目的及び用途の特定［第 5.1.b 条］。
Look for evidence to check, at least, the following questions:	少なくとも以下の質問をチェックするための証拠を探す：
o Is the intended purpose of the AI-based component documented both in quantitative and qualitative terms?	o AIに基づく構成要素の意図された目的は、量的及び質的の両面で文書化されているか。
o Is there a relation between the use of the AI component with the ultimate purpose of the processing and the conditions guaranteeing the lawfulness of such processing?	o AIコンポーネントの利用と、処理の最終目的及び当該処理の合法性を保証する条件との間に関連性はあるか。
o Are the different dynamics, activities and/or processes within the organization in which the life cycle stage of the audited AI component is integrated are identified, delimiting the context of use as much as possible?	o 監査対象の AI コンポーネントのライフサイクル段階が統合される組織内の様々な動 態、活動、及び／又はプロセスが識別されているか。
o Are potential users of the AI-based component categorized?	o AI ベースのコンポーネントの潜在的なユーザが分類されているか。
o Are other possible uses and secondary users for the AI component? Have been described together with the legal grounds for its use?	o AI コンポーネントのその他の利用可能な用途や二次的な利用者は特定されているか。その使用の法的根拠とともに説明されているか。
• Definition of the intended context of the AI-based component [Article 24.1]	・AIコンポーネントの意図された文脈の定義【第24.1条
Look for evidence to check, at least, the following questions:	少なくとも以下の質問をチェックするための証拠を探す：
o Are there any legal, social, economic, organizational, technical, scientific or other contexts identified related to the inclusion of the AI-based component in the processing? Are they documented?	o AIベースのコンポーネントを処理に含めることに関連する、法的、社会的、経済的、組織的、技術的、科学的、その他の文脈が特定されているか。それらは文書化されているか。
o Is the organisational and/or contractual structure between the parties defined?	o 当事者間の組織構造および／または契約構造は定義されているか？
o Are the tasks and responsibilities distributed through the structure?	o 業務と責任は、その構造を通じて分散されているか？
o Are the determining factors of the efficacy of the AI component described (including legal guarantees, applicable laws and regulations, organizational and technical resources, available data and internal dynamics that personal data processing needs to implement the audited AI-based component with the appropriate guarantees)?	o AI コンポーネントの有効性を決定する要因（法的保証、適用法及び規制、組織的及び技術的資源、利用可能なデータ、並びに個人データ処理が適切な保証を伴って監査された AI ベースコンポーネントを実装するために必要な内部力学を含む）が記述されているか。
o Are the requirements applicable to human operators in charge of supervising and interpreting the operation of the AI-based component defined?	o AI ベースのコンポーネントの運用の監督及び解釈を担当する人間のオペレータに適用される要件が定義されているか。
o Is there any interaction between the AI-based component with other own or third- party components, systems or applications? Are responsibilities for maintenance, updating and minimising system privacy issues distributed and documented?	o AIベースのコンポーネントと、他の自社またはサードパーティのコンポーネント、システム、アプリケーションとの間に相互作用があるか。保守、更新、システムプライバシー問題の最小化の責任は分散され、文書化されているか？
o Are levels or thresholds defined for interpreting and using the inference results?	o 推論結果を解釈し使用するためのレベルや閾値が定義されているか？
o Are defined those contexts for a processing where the AI-based component is not recommended (in terms of its purpose or characteristics, or when it represents an inadequate level of reliability and/or accuracy with regard to the other processing)?	o AIベースのコンポーネントが推奨されない（その目的や特性、あるいは他の処理に関して不十分なレベルの信頼性及び／又は正確性を示す）処理の文脈が定義されているか。
• Analysis of proportionality and necessity [Article 35.7.b] Look for evidence to check, at least, the following questions:	- 比例性と必要性の分析［第35.7.b条］ 少なくとも以下の質問をチェックするための証拠を探す：
o Has the use of the AI component been assessed against other possible options from an approach focusing on the rights and freedoms of data subjects?	o AI コンポーネントの使用は、データ主体の権利と自由に焦点を当てたアプローチから、 他の可能な選択肢と比較して評価されたか？
o In case of new developments, has a comparative efficiency analysis and adequateness of results of the AI-based component been carried out against other, more thoroughly tested components, which use stricter minimisation criteria or which involve less risks for the rights and freedoms of persons, most especially those that make less intensive use of special data categories?	o 新しい開発の場合、AI ベースのコンポーネントの効率分析と結果の妥当性は、より厳し い最小化基準を使用する、または人の権利と自由に対するリスクがより少ない、特に特 殊なデータカテゴリーをあまり集中的に使用しない、より十分にテストされた他のコンポーネントと 比較して実施されたか？
o In case of addressing a new issue, have the motivations and grounds for addressing this issue by using an AI-based component been documented?	o 新しい問題に対処する場合、AIベースのコンポーネントを使用してその問題に対処する動機と根拠が文書化されているか。
o When addressing a well-known problem, have the grounds for changing the previous operation system that have led to a change in the previous mode of operation been documented including the description of the new control objectives intended by using the AI component in the framework of the procedure?	o 既知の問題に対処する場合、その手順の枠組みの中でAIコンポーネントを使用することによって意図される新たな管理目的の記述を含め、従来の運用方式を変更するに至った根拠が文書化されているか。
o Has the risk to the rights and freedoms of data subjects introduced by using an AI- based component in data processing been analysed and managed?	o データ処理に AI ベースのコンポーネントを使用することによってもたらされるデータ 主体の権利及び自由に対するリスクが分析され、マネジメントされているか。
• Definition of the potential recipients of data [Chapter III; specially Articles 13.1.e and 14.1.e] Look for evidence to check, at least, the following questions:	- データの潜在的取得者の定義 [第III章; 特に第13.1.e条及び第14.1.e条] 少なくとも以下の質問をチェックする証拠を探す：
o Is the information obligation to data subjects identified regarding data processing arising from the inclusion of the AI-based component?	o AI ベースのコンポーネントを含むことによって生じるデータ処理について、データ主体 に対する情報提供義務が特定されているか。
o Are such obligations identified both for data directly obtained from data subjects and for data obtained from other sources of information?	o そのような義務は、データ主体から直接入手したデータ及び他の情報源から入手 したデータの両方について識別されるか。
o When determining such obligations:	o そのような義務を決定する場合
− are the recipients or categories of recipients to whom the personal data processed by the AI-based component were or are to be communicated identified (including those who are in third countries or are international organizations)?	ーAIベースのコンポーネントによって処理された個人データが伝達された、または伝達される予定の取得者または取得者のカテゴリーが識別されているか（第三国にいる者または国際機関にいる者を含む）。
− are the intentions of the controller of transferring personal data to a recipient in a third country or international organization and the existence or absence of a Commission decision on adequacy identified?	ー個人データを第三国または国際機関にある取得者に移転するというデータ管理者の意図,および十分性認定に関する欧州委員会の決定の有無が特定されているか。
o Are data recipients –including those from third countries or international organizations– identified under the activity or activities recorded in the Records of Processing Activities in which the relevant AI-based component is included?	o データ取得者（第三国または国際機関のものを含む）は、関連するAIベースのコンポーネントが含まれる処理活動記録に記録された活動または活動の下で識別されているか。
• Limitation of data storage [Article 5.1.e, exceptions Article 89.1] Look for evidence to check, at least, the following questions:	- データ保存の制限 [5.1.e条、例外89.1条] 少なくとも以下の疑問点をチェックする証拠を探す：
o Are the legal grounds to store personal data used by the AI-based component for a period of time that exceeds the period established for processing purposes identified (especially when it is related with compatible purposes or included in any of the exceptions provided in the regulations)?	o AI ベースのコンポーネントが使用する個人データを、識別された処理目的（特に互換性のある目的に関連する場合、または規則に規定された例外のいずれかに含まれる場合）のために設定された期間を超える期間保存する法的根拠はあるか。
o Is it justified to store personal data once it is processed in any life cycle stages of the AI-based component?	o 個人データがAIベースのコンポーネントのあらゆるライフサイクル段階で処理された後、保管することは正当化されるか。
o Have appropriate technical and organizational measures and criteria been defined to storage personal data?	o 個人データを保管するための適切な技術的、組織的措置及び基準が定められているか。
o Are the time limits for erasure of stored personal data defined?	o 保存された個人データの消去期限は定められているか？
o Has a conservation policy been defined to keep a sample of training data for the purpose of auditing the AI component? Does it consider the minimum or assumable risks for the data subjects?	o AIコンポーネントを監査するために訓練データのサンプルを保管するための保存方針が定義されているか。それはデータ主体にとっての最小限のリスクまたは想定可能なリスクを考慮しているか。
o Are there procedures to verify storage periods, criteria and implemented measures?	o 保存期間、基準、実施された措置を検証する手順があるか。
o For those cases where an excessive pattern of data storage has been detected, either in terms of time or quantity, has a procedure for reviewing the analysis of the need and the proportionality of data storage been defined?	o 時間的または量的に過剰なデータ保存パターンが検知された場合、データ保存の必要 性と比例性の分析を見直す手順が定められているか。
o Has a storage policy for personal data included in the activity records of the AI-based component and privacy strategies (minimisation, hiding, separation or abstraction) been defined? Has it been implemented for operation purposes?	o AIベースのコンポーネントの活動記録に含まれる個人データの保存方針とプライバシー戦略（最小化、隠蔽、分離、抽象化）が定義されているか。運用目的で実施されているか。
• Analysis of categories of data subjects [Article 35.9] Look for evidence to check, at least, the following questions:	- データ主体カテゴリーの分析 [第35.9条] 少なくとも以下の質問をチェックする証拠を探す：
o Are the categories of data subjects affected by the development of the AI component and its use in the framework of the intended processing identified?	o AI コンポーネントの開発及び意図された処理の枠組みにおけるその使用によって影響を受けるデータ主体 のカテゴリーが識別されているか。
o Are the short- and long-term consequences that the implementation of the AI component may have on the categories of data subjects identified?	o AI コンポーネントの実装がデータ主体に及ぼす可能性のある短期的及び長期的な結 果は特定されているか。
o Is there any procedure that analyses the social context in which the AI component is used, collecting information from people, groups or organizations affected by such AI component for the purposes of knowing their levels of satisfaction, position, concerns and uncertainties regarding the application of this technique for processing their data? BASES OF THE AI COMPONENT	o AI コンポーネントが使用される社会的状況を分析し、当該 AI コンポーネントの影響を 受ける人々、グループ又は組織から、彼らのデータ処理に対する当該技術の適用に関 する彼らの満足度、立場、懸念及び不確実性を知る目的で情報を収集する手順はあるか。AIコンポーネントの基盤
• Identification of the AI-based component development policy [Article 24.1]	・AIコンポーネントの開発方針の特定【第24条1項
Look for evidence to check, at least, the following questions:	少なくとも以下の疑問点を確認するための証拠を探す：
o Do the documents with development policies of products and systems consider the data protection policy?	o 製品やシステムの開発方針が記載された文書は、データ保護方針を考慮しているか。
o Are the policies reviewed and version controlled?	o ポリシーはレビューされ、バージョン管理されているか。
• Involvement of the Data Protection Officer (DPO) [Section 4 of Chapter IV] Look for evidence to check, at least, the following questions:11	・データ保護責任者（DPO）の関与 [第Ⅳ章第4節] 少なくとも以下の質問11 をチェックする証拠を探す。
o Does the DPO have the necessary professional qualifications and, particularly, the legal and technical expertise, as well as data protection practice appropriate to the project?	o DPOは必要な専門的資格、特に法的・技術的専門知識、およびプロジェクトに適し たデータ保護実務を有しているか。
o Is the DPO assisted and advised by experts on specific matters relating to the AI component?	o DPO は、AI コンポーネントに関する特定の事項について専門家の支援・助言を受け ているか。
o Are there internal procedures defined within the organisation for correct communication between the DPOs and the people in charge of those projects that may have an impact in data processing, in order to obtain assistance, particularly when developing the data protection impact assessment for those processing activities which include AI-based components?	o DPO と、データ処理に影響を及ぼす可能性のあるプロジェクトの担当者との間で、特に AI ベースのコンポーネントを含む処理活動のデータ保護影響アセスメントを作成する際に、支援を得るための正しいコ ミュニケーションのための内部手順が組織内に定められているか。
o Has the DPO played an active role in the stages being audited? Has his or her independence of judgment within the organisation and his or her obligations to cooperate with the supervisory agencies been respected and his or her opinions, remarks and considerations taken into account?	o DPOは監査対象の段階で積極的な役割を果たしたか。組織内における判断の独立性、監督機関との協力義務が尊重され、DPO の意見、指摘、配慮が考慮されているか。
• Adjustment of basic theoretical models [Article 5.1.a] Look for evidence to check, at least, the following questions:	・基本的な理論モデルの調整 [第5.1.a条] 少なくとも以下の疑問点をチェックするための証拠を探す：
o Has an analysis been carried out regarding the theoretical framework and previous similar experience on which the development of the AI component is based?	o AI要素の開発の基礎となる理論的枠組みや過去の類似の経験について分析が行われたか。
o Have the basic hypotheses and premises considered in order to create and develop the relevant model been accurately described, justified and documented?	o 関連モデルを作成・開発するために検討された基本的な仮説と前提は、正確に記述され、正当化され、文書化されているか。
o Is a critical and verified procedural revision defined for the reasoning arising from acceptance of important hypotheses for the development of the AI-based component (i.e. examining which are the arguments for a causal relationship that models an algorithm, such as the selection of variables defining a certain phenomenon)?	o AIベースのコンポーネントを開発するために重要な仮説を受け入れることから生じる推論（すなわち、ある現象を定義する変数の選択など、アルゴリズムをモデル化する因果関係の論拠となるものを検討する）について、批判的かつ検証された手続き上の改訂が定義されているか。
o Have appropriate premises been established regarding the potential proxy variables intervening in the AI-based components after carrying out a careful analysis?	o AIベースのコンポーネントに介入する可能性のある代理変数について、慎重な分析を行った上で、適切な前提が確立されているか。
• Appropriateness of the methodological framework [Article 5.1.a] Look for evidence to check, at least, the following questions:	・方法論的枠組みの適切性 [第5.1.a条] 少なくとも以下の疑問をチェックする証拠を探す：
o Is there proper documentation that include the methodological framework for defining the model and creating the AI component in the audited stages, such as the methods for selecting, collecting and preparing component’s training data, labelling, model building, using intermediate data, selecting the test/validation data subset or measuring deviations for improvement purposes?	o コンポーネントの訓練データの選択、収集、準備、ラベリング、モデル構築、中間データの使用、テスト/検証データサブセットの選択、改善目的の偏差の測定方法など、監査される段階でモデルを定義しAIコンポーネントを作成するための方法論的枠組みを含む適切な文書があるか。
o Is the development model to be used properly determined depending on the results of the analysis of the problem to be solved and in a justified way (i.e. supervised, unsupervised or others)? In case of supervised models, does it specify the procedure for supervising the learning process of the algorithm, the degree of supervision and the basis for such supervision?	o 使用する開発モデルは、解決すべき問題の分析結果に応じて、正当な方法（教師あり、教師なし、その他）で適切に決定されているか。教師ありモデルの場合、アルゴリズムの学習プロセスを監督する手順、監督の程度、監督の根拠が明記されているか。
o Are the metrics for measuring the behaviour of the AI component duly selected and measured?	o AIコンポーネントの挙動を測定するための指標は適切に選択され、測定されているか。
o Has a procedure been implemented for recording and monitoring the deviations in the behaviour of the AI component with respect to the defined metrics that allows to identify the circumstances which may arise in an erroneous or biased behaviour?	o 誤動作やバイアスが生じる可能性のある状況を特定できるような、定義された測定基準に対するAIコンポーネントの動作の逸脱を記録し監視するための手順が実装されているか。
• Identification of the basic architecture of the AI-based component [Article 5.2] Look for evidence to check, at least, the following questions:	・AIベースのコンポーネントの基本アーキテクチャの特定 [第5.2条] 少なくとも以下の質問をチェックするための証拠を探す：
o Does the project analysis phase of the AI-based component include, as part of the requirement catalogue, a series of specific requirements too guarantee privacy and personal data protection?12	o AI ベースのコンポーネントのプロジェクト分析段階には、要件カタログの一部として、プライバシ ー及び個人データ保護を保証するための一連の具体的要件が含まれているか12。
o Is there documentation which assure that, when programming AI-based components, the coding principles, codes and coding, best practices applied are followed in order to guarantee that the code is readable, secure, low-maintenance and robust?	o AIベースのコンポーネントをプログラミングする際、コードの可読性、安全性、低メンテナンス性、堅牢性を保証するために、コーディング原則、コード、コーディング、適用されるベストプラクティスが遵守されていることを保証する文書があるか。
o Is the basic architecture of the AI component identified and documented? It must include information on the chosen machine learning technique, the type(s) of tested and, when appropriate, dismissed algorithms at the learning and training stages, and other data on the functioning of the relevant component, such as the model loss function or cost function.	o AIコンポーネントの基本アーキテクチャが識別され、文書化されているか。これには、選択された機械学習技法、テストされたアルゴリズムの種類、適切な場合には、学習・訓練段階における棄却されたアルゴリズム、モデルの損失関数やコスト関数など、関連するコンポーネントの機能に関するその他のデータに関する情報が含まれていなければならない。
o Does a systematic procedure for documenting the component implementation procedure exist? Is it implemented? It is necessary to guarantee registration and subsequent acquisition of all necessary information to identify such component, its elements and its environment, understanding what it does and why it does it, and enables to verify code quality and legibility for auditing purposes: description of the programming language(s) used, most recent code version, commented-out code, necessary packages and libraries, and interfaces with other components, when appropriate, used APIs and useful documents such as requirements specifications, functional and organic analyses, guidelines, etc.	o コンポーネントの実装手順を文書化する体系的な手順は存在するか？実施されているか。そのようなコンポーネント、その要素、その環境を識別し、そのコンポーネントが何をし、なぜそうするのかを理解するために、登録とそれに続くすべての必要な情報の取得を保証することが必要である。すなわち、使用されているプログラミング言語の記述、最新のコードバージョン、コメントアウトされたコード、必要なパッケージとライブラリ、他のコンポーネントとのインタフェース、必要に応じて使用されるAPI、要求仕様書、機能分析、有機的分析、ガイドラインなどの有用な文書などである。
o Is the AI component code impossible to access? If yes, is a reverse-engineering process or other alternative method used (i.e., a zero-knowledge proof (ZKP))? A reverse- engineering process enables to know more about the component function and to establish the logic of rules applied in order to detect inconsistencies, direct manipulations and underestimation or overestimation of the variables used in the original component.	o AIコンポーネントのコードにアクセスすることは不可能か？はい」の場合、リバースエンジニアリングプロセスまたは他の代替方法（ゼロ知識証明（ZKP）など）が使用されているか？リバース・エンジニアリング・プロセスは、コンポーネントの機能をより詳しく知り、適用されたルールの論理を確立することで、元のコンポーネントで使用された変数の矛盾、直接的な操作、過小評価または過大評価を検知することを可能にする。
3.3. Moments and sources of bias	3.3. バイアスのモーメントと発生源
Bias refers to a deviation from the standard. As such, and in technical terms, bias may be needed and desirable. In the context of AI accountability, however, “bias” has become an hypernym or umbrella term for lack of fairness and discrimination in data processes which result in individual and/or collective harms. By identifying and mitigating bias, we can ensure or protect fairness in AI systems.	バイアスとは、標準からの偏差のことである。そのため、専門用語では、バイアスは必要であり、望ましいものである。しかし、AIの説明責任の文脈では、「バイアス」は、個人的・集団的被害をもたらすデータ処理における公正さの欠如や識別的な用語の上位語または包括語となっている。バイアスを特定し低減することで、AIシステムにおける公平性を確保・保護することができる。
Bias is the result of many factors, social and technical: from systematic errors introduced by algorithmic design choices, dirty data, sampling procedures, reporting protocols, or wrong assumptions that cause a mismatch between the input features and the target outputs. To date, most studies on bias have focused on historical and aggregation bias, that is, the need to identify protected groups and calculate disparate treatment and impact. This is at the heart of the E2EST/AA methodology. However, bias and inefficiencies can emerge at other times, and a focus on historical and aggregation bias alone will lead to incomplete and therefore harmful assessments of bias. This will result in rights violations, stereotyping, bad or inefficient decisions, discrimination of individuals and groups, and the reproduction of processes of inequality and dispossession. Partial or wrongful identification of bias sources and inadequate mitigation measures will lead to unacceptable societal harms and compliance risks.	バイアスは、社会的、技術的な多くの要因の結果である。アルゴリズム設計の選択、汚れたデータ、サンプリング手順、報告プロトコル、または入力特徴とターゲット出力のミスマッチを引き起こす間違った仮定によってもたらされる系統的エラーから生じる。現在までのところ、バイアスに関する研究のほとんどは、歴史的バイアスと集計バイアス、つまり、保護グループを特定し、格差待遇と影響を計算する必要性に焦点を当てている。これはE2EST/AAの方法論の核心である。しかし、バイアスと非効率性は他のタイミングでも出現しうるものであり、歴史的バイアスと集計バイアスのみに焦点を当てることは、不完全で、それゆえに有害なバイアスのアセスメントにつながる。その結果、権利侵害、ステレオタイプ化、誤った、あるいは非効率的な決定、個人や集団の識別的差別、不平等や権利剥奪のプロセスの再生産を招くことになる。バイアスの原因の部分的または誤った特定と不十分な低減措置は、容認できない社会的危害とコンプライアンス・リスクにつながる。
The E2EST/AA distinguishing between moments and sources of bias. This provides the auditor with an overview of the possible causes of a given disparate impact, understood not only as an individual function of accuracy or performance but also as a general measure of (lack of) fairness in an algorithmic process. The E2EST/AA method defines and identifies moments and sources of bias, establishes the documents and tests needed to assess compliance with legal and social requirements, provides an opportunity to address and mitigate inefficiencies and harms, and provides a measure for overall system fairness and impact.13	E2EST/AAでは、バイアスの瞬間と発生源を区別している。これにより、監査人は、精度やパフォーマンスの個々の機能としてだけでなく、アルゴリズムプロセスにおける（公平性の欠如の）一般的な尺度としても理解される、ある格差の影響の可能性のある原因の概要を知ることができる。E2EST/AA方式は、バイアスの瞬間と原因を定義・特定し、法的・社会的要件への準拠を評価するために必要な文書とテストを確立し、非効率と弊害に対処・緩和する機会を提供し、システム全体の公平性と影響の尺度を提供する13。
Table	表
Specifically, in the framework of an investigation carried out by a Supervisory Authority should record the existence of:	具体的には、監督当局が実施する調査の枠組みにおいて、以下の存在を記録すべきである：
DATA MANAGEMENT	データ管理
• Data quality assurance [Article 5.1] Look for evidence to check, at least, the following questions:	・データ品質保証 [第5.1条] 少なくとも以下の疑問点をチェックする証拠を探す：
o Is there a documented procedure to manage and ensure proper data governance, which allows to verify and provide guarantees of the accuracy, integrity, accuracy, veracity, update and adequacy of the datasets used for training, testing and operation?	o 訓練、試験、運用に使用されるデータセットの正確性、完全性、正確性、真実性、更新性、妥当性を検証し、ガ バナンスを提供できるような、適切なデータガバナンスを管理・確保するための文書化された手順があるか。
o Are there supervisory mechanisms for data collection, processing, storage and use processes?	o データの収集、処理、保存、使用プロセスに対する監督メカニズムがあるか。
o Has a previous analysis been carried out together with a measurement of the sample used for training the relevant model? Has the sample size been verified as adequate? Has the frequency and distribution of each feature been verified, their intersection or the relevant groups for the study are appropriate regarding defined parameters or to reality?	o 当該モデルのトレーニングに使用するサンプルの測定とともに、過去の分析が実施されているか。サンプルサイズが適切であることが検証されているか。各特徴の頻度や分布が検証され、それらの交点や研究に関連するグループが、定義されたパラメータや現実に照らして適切であるか。
o Has the learning process been analysed, both at the beginning and in each iteration of the global learning process, and on the sample used to train the model? Has it been verified that the final dataset is representative with respect to the population of the context to which the AI-based component is oriented and that the groups defined by said AI component are appropriate?	o 学習プロセスは、グローバル学習プロセスの開始時、各反復時、およびモデルの学習に使用されたサンプルの両方で分析されたか？最終的なデータセットが、AIベースのコンポーネントが対象とするコンテキストの母集団に関して代表者であり、当該AIコンポーネントによって定義されたグループが適切であることが検証されているか？
o Is the feature distribution appropriate and make de IA component not especially sensitive or ignores any of them?14	o 特徴の分布は適切であり、IAコンポーネントが特に敏感であったり、無視したりしないか14。
o Are there procedures to analyse, measure and detect any possible imbalances between the amount of data that the component collects on a certain feature with respect to another and which may lead to behaviour deviations?	o IA コンポーネントが収集するデータ量の不均衡を分析、測定、検知する手順があるか。
o Has an accurate compensation analysis been carried out in order to establish the relationship between the amount and type of data to be collected/discarded and those who are necessary to guarantee the that the AI component is effective and efficient?	o AI コンポーネントが効果的かつ効率的であることを保証するために必要な、収集／破棄されるデータの量と種類との関係を確立するために、正確な補償分析が実施されているか。
o Has a sample size analysis has been carried out regarding data storage for audit purposes?	o 監査目的のデータ保存について、サンプルサイズの分析が実施されているか。
• Definition of the origin of the data sources [Articles 5 and 9] Look for evidence to check, at least, the following questions:	・データソースの出所の定義 [第5条及び第9条] 少なくとも以下の質問をチェックするための証拠を探す：
o Has the origin and the data sources context used for training and validating the model been identified?	o モデルの訓練と検証に使用されたデータソースの出所とコンテキストが特定されているか。
o Is there documentation that justify the selection process of data sources used to train the relevant AI-based component?	o 関連するAIベースのコンポーネントを訓練するために使用されたデータソースの選択プロセスを正当化する文書があるか。
o Are legal grounds to used personal data in the different stages of the AI-based component life cycle identified?	o AIベースのコンポーネントのライフサイクルの様々な段階で個人データを使用する法的根拠が特定されているか。
o Is there a justification to collect and use personal data when such data are not necessary in the training stage, in order to test the model behaviour in the subsequent stages of component verification and validation?	o 個人データが訓練段階で必要でない場合、その後のコンポーネントの検証及び妥当性確認 の段階でモデルの挙動をテストするために、個人データを収集し使用する検証はあるか。
o If sensitive personal data are processed, has the need for their use been assessed and certain circumstances justify to lift the general prohibition to process such data?	o 機微な個人データが処理される場合、その使用の必要性がアセスメントされ、そのような データを処理する一般的な禁止を解除することが正当化される状況があるか。
• Preprocessing of personal data [Article 5] Look for evidence to check, at least, the following questions:	・個人データの前処理 [第 5 条] 少なくとも以下の質問をチェックする証拠を探す：
o Is the criteria to carry out previous cleansing of original data sets and any other tasks needed throughout the different iterations of the AI-based training process duly identified and documented?	o 元のデータセットのクレンジングを実施するための基準、およびAIによる訓練プロセスの様々な反復を通じて必要とされるその他の作業が、適切に特定され文書化されているか。
o Are data cleaning techniques and best practices used in the data cleansing process properly selected and documented?	o データクレンジングプロセスで使用されるデータクレンジング技術とベストプラクティスは適切に選択され、文書化されているか？
o Do classifying features define clearly distinguishable and identifiable types?	o 分類機能は明確に区別され識別可能なタイプを定義しているか？
o Is the structure and properties of the processed data set documented, including the number of data subjects and the extension of used data?	o 処理されたデータセットの構造と特性は、データ主体数と使用データの拡張を含めて文書化されているか。
o Have data been previously classified into categories, organizing them in non personal and personal data, and, for the latter, identifying which fields constitute identifiers, quasi-identifiers and special data categories?	o データは事前にカテゴリーに分類され、非個人データと個人データに整理され、後者 については、どのフィールドが識別子を構成するか、準識別子を構成するか、特別な データ・カテゴリーを構成するかを特定しているか？
o Have the relevant model features for the model been determined (identifying the those associated with special data categories and proxy variables, including the necessary information for their interpretation)?	o モデルに関連するモデルの特徴を決定したか（特別なデータカテゴリー及び代理変数に関連するも のを特定し、それらの解釈に必要な情報を含む）。
o Has data minimisation criteria been 14determined and applied to the different stages of the AI component, using strategies such as data hiding, separation, abstraction, anonymisation and pseudonymisation that might apply for the purposes of maximising privacy in the operation of the relevant AI-based component?	o 関連するAIベースのコンポーネントの運用においてプライバシーを最大化する目的で適用される可能性のあるデータ隠蔽、分離、抽象化、匿名化、仮名化などの戦略を用いて、データの最小化基準が決定され、AIコンポーネントの異なる段階に適用されているか。
o Do databases have an associated data-dictionary for the analysis and understanding?	o データベースには、分析と理解のための関連データ辞書があるか？
o Have segregation and de-identification strategies been implemented on additional information that is not required for training purposes but shall be required in the verification and validation processes of the model’s behaviour? It is needed to analyse correlations between variables, measure the degree of accuracy of the AI component with regard to certain attributes and ensure that no biases are introduced.15	o 訓練目的には必要ないが、モデルの動作の検証・妥当性確認プロセスでは必要とされる追加情報について、分離・非特定化戦略が実施されているか？変数間の相関関係を分析し、特定の属性に関するAIコンポーネントの精度の程度を測定し、バイアスが導入されていないことを確認する必要がある15。
o Have data selection and assessment been carried out with the involvement of an expert in modelling techniques and data science?	o データの選択とアセスメントは、モデリング技術とデータサイエンスの専門家の関与のもとで行われたか？
o Have training and validating data been previously pre-processed and cleaned in order to detect any possible abnormality which may require previous processing (i.e., boundary values, incomplete records, etc.) and to convert any heterogeneous data sources to a homogeneous format?	o 学習データと検証データは、事前学習とクリーニングが行われ、事前学習とクリーニングが必要な異常（境界値、不完全な記録など）を検知し、異種データソースを同種のフォーマットに変換したか。
o In case of input data are not appropriate with regard to the functioning of the AI component or because it is not representative of the reality it intends to reflect, have the necessary modifications been introduced in the format of these data?	o AI コンポーネントの機能上、あるいは AI コンポーネントが反映しようとする現実の代表者でないために、入力データが適切でない場合、これらのデータのフォーマットに必要な修正が導入されているか。
o When necessary, has a data anonymisation analysis, including the possible risk of re- identification, been carried out?	o 必要な場合、再識別のリスクを含むデータの匿名化分析が実施されたか。
o When necessary, if data imputation techniques have been used to complete the information of the data set, have the procedures and algorithms used for such imputation been documented?	o 必要な場合、データセットの情報を補完するためにデータインピュテーション技 術が使用された場合、そのようなインピュテーションに使用された手順とアルゴリズ ムが文書化されているか。
• Bias control [Article 5.1.d] Look for evidence to check, at least, the following questions:	・バイアス管理 [第5.1.d条] 少なくとも以下の疑問点をチェックする証拠を探す：
o Have appropriate procedures been defined in order to identify and remove, or at least limit, any bias in the data used to train the relevant model?	o 該当するモデルの訓練に使用されたデータのバイアスを特定し、除去する、ある いは少なくとも制限するために、適切な手順が定義されているか。
o Has it been verified that in training data did not have previous biases?	o 訓練データに過去のバイアスがないことが検証されているか。
o Is there a procedure to assess the need to have additional data for improving precision or removing any possible bias?	o 精度を改善したり、バイアスの可能性を除去するための追加データの必要性を評価する手順があるか？
o Are there human supervision mechanisms implemented in order to control and ensure that results are bias-free?	o 結果にバイアスがないことを管理し保証するために、人間による監督メカニズムが導入されているか？
o Are mechanisms implemented to enable data subjects to request human intervention, provide feedback or refute the results obtained by means of automated decision- making algorithms? VERIFICATION AND VALIDATION	o 自動化された意思決定アルゴリズムによって得られた結果について、データ主体が人による介入を要求したり、フィードバックを提供したり、反論したりできるような仕組みが導入されているか。検証と妥当性確認
• Adapting the verification and validation process of the AI based component [Articles 5.1.b and 5.2] Look for evidence to check, at least, the following questions:	・AIに基づく構成要素の検証・妥当性確認プロセスを適応する［第5.1.b条及び第5.2条］ 少なくとも、以下の質問を確認するための証拠を探す：
o Is there documentation that duly describe the verification and validation process, the techniques used, the verification and test assembly carried out, the results obtained, and the proposed actions?	o 検証・妥当性確認プロセス、使用された技術、実施された検証・試験アセンブリ、得られた結果、及び提案された措置を適切に記述した文書があるか。
o Have there been established or followed guidelines, standards or regulations in order to carry out a systematic procedure to verify and validate the AI-based component and its behaviour once integrated in the processing activities it supports?	o AIベースのコンポーネントと、それがサポートする処理活動に統合された後のその挙動を検証・妥当性確認する体系的な手順を実施するために、ガイドライン、標準、または規則が確立されているか、またはそれに従っているか。
o Are control and supervision mechanisms in place to ensure that the AI-based component efficiently complies with its intended goals and purposes?	o AIベースのコンポーネントが、その意図された目標や目的に効率的に準拠していることを保証するための管理・監督メカニズムが整備されているか。
o Are metrics and criteria, on which verifications within the verification and validation process shall be carried out, defined and justified?	o 検証・妥当性確認プロセスにおける検証を実施するための指標や基準が定義され、正当化されているか。
o Is a testing strategy defined? Related to this strategy, is there a testing plan to assess the correction of the AI component both from structural and functional terms?	o テスト戦略は定義されているか。この戦略に関連して、AIコンポーネントの修正点を構造的・機能的観点からアセスメントするためのテスト計画があるか。
o Are the personnel involved in AI-component verification and validation tasks qualified to carry out the necessary checks in order to ensure that the component has been correctly built and behaves as expected?	o AIコンポーネントの検証・妥当性確認作業に携わる要員は、コンポーネントが正しく構築され、期待通りに動作することを保証するために必要な検証を実施する資格を持っているか。
• Verification and validation of the AI-based component [Articles 5.1.a and 5.1.b] Look for evidence to check, at least, the following questions:16	・AIベースのコンポーネントの検証及び妥当性確認 [第5.1.a条及び第5.1.b条] 少なくとも以下の質問をチェックするための証拠を探す16。
o Does the testing plan include reviews and, when appropriate, inspections for the purposes of early identification and remedy of defects in requirements or design, incorrect specifications or deviations from applicable criteria during development?	o テスト計画には、要求事項や設計の欠陥、不正確な仕様、開発中に適用される基準からの逸脱を早期に特定し、是正することを目的としたレビューや、適切な場合には検査が含まれているか。
o Is white-box testing of the network design or the AI component considered as part of the testing plan?	o ネットワーク設計またはAIコンポーネントのホワイトボックステストは、テスト計画の一部として考慮されているか。
o Is white-box testing at code and implementation levels included in the testing plan?	o コードレベル及び実装レベルのホワイトボックステストがテスト計画に含まれているか。
o Is black-box testing considered as part of the testing plan in order to ensure that functionality of AI-based component is guaranteed, it behaves as expected and the information integrity is preserved?	o AIベースのコンポーネントの機能が保証され、期待通りに動作し、情報の完全性が保たれることを保証するために、ブラックボックステストがテスト計画の一部として考慮されているか？
o Are security check tests provided as part of the test plan in relation to the protection of rights and freedoms, in its holistic definition (physical and IT) in the case of AI components implemented in robotic systems, industry 4.0, or the Internet of Things?	o ロボットシステム、インダストリー4.0、モノのインターネットで実装されるAIコンポーネントの場合、権利と自由の保護に関連して、全体的な定義（物理的及びIT的）において、セキュリティチェックテストがテスト計画の一部としてプロバイダされているか？
o Does the validation test plan include verification of boundary values and extreme test cases which might make the component functioning in an unexpected manner?	o 検証テスト計画には、コンポーネントを予期せぬ方法で機能させる可能性のある境界値や極端なテストケースの検証が含まれているか。
o Is there a cleaning procedure to correct any errors, shortcomings or inconsistencies detected during the verification and validation process?	o 検証・妥当性確認プロセス中に検出されたエラー、欠点、不整合を修正するための洗浄手順があるか。
• Performance [Article 5.1.d] Look for evidence to check, at least, the following questions:	・性能 [第 5.1.d 条]少なくとも以下の質問をチェックする証拠を探す：
o Are metrics or sets of aggregated metrics used to determine the precision, accuracy, sensitivity or other performance parameters of the relevant component in consideration of the principle of data accuracy established?	o 確立されたデータ精度の原則を考慮し、関連するコンポーネントの精度、正確さ、感度、 その他の性能パラメータを決定するために、測定基準または測定基準の集合が使用されて いるか。
o Are the rate values of false positives and false negatives yielded by the AI component known and analysed and interpreted in order to establish their accuracy, specificity and sensitivity of the component behaviour?	o AI コンポーネントがもたらす偽陽性及び偽陰性の割合値は、コンポーネント動作の正確性、特異性及び感度を確定するために把握され、分析され、解釈されているか。
o Has the level and definition of the performance parameters required for the AI-based component in the framework of the processing been assessed?	o 処理の枠組みにおいてAIベースのコンポーネントに要求される性能パラメータのレベルと定義がアセスメントされたか？
o Have the performance values between different options of AI components been compared in the context of a process of selection of the most appropriate component for a specific processing?	o 特定の処理に最も適したコンポーネントを選択するプロセスの中で、AIコンポーネントの異なるオプション間の性能値が比較されたか？
o Are output variables defined and determined with special consideration to those that constitute special data categories?	o 出力変数は、特殊なデータカテゴリーを構成するものを特に考慮して定義され、決定されているか？
o Have measures, which ensure that data used are exhaustive and updated, adopted?	o 使用されるデータが網羅的で更新されていることを保証する措置が採用されているか。
o Have relevant parameters and their cut-off values been determined (so the model considers certain variables in order to obtain significant results)?	o 関連するパラメータとそのカットオフ値が決定されているか（有意な結果を得るためにモデルが特定の変数を考慮するように）。
o Are there procedures to detect whether the response of the AI-based component to input data is erroneous or exceeds a predetermined error threshold, or whether there are different error thresholds associated with different categories of data subjects in the data set?	o 入力データに対するAIベースのコンポーネントの応答が誤っているか、所定のエラーしきい値を超えているか、あるいはデータセット内のデータ主体のカテゴリーごとに異なるエラーしきい値があるかどうかを検知する手順があるか。
o Has a dimension reduction been carried out in order to achieve a balance between complexity and generalization?	o 複雑さと汎化のバランスをとるために、次元削減が実施されているか。
• Consistency [Article 5.1.d] Look for evidence to check, at least, the following questions:	・一貫性 [第5.1.d条] 少なくとも以下の質問をチェックする証拠を探す：
o Is there a procedure to verify whether the obtained results present significant changes with respect to the results expected, and to act accordingly?	o 得られた結果が期待された結果に対して有意な変化を示しているかどうかを検証し、それ に応じて行動する手順があるか。
o Has a threshold been established to determine when an obtained result deviates from the expected result based on identical or similar data inputs (significant deviations)?17	o 得られた結果が、同一または類似のデータインプットに基づく期待される結 果から乖離する場合（有意な乖離）を判断するための閾値が設定されているか17。
o Has it been analysed whether the AI-based component behaves differently when processing data from individuals who differ in their personal characteristic associated to special data categories or in the values of the proxy variables?	o 特殊なデータカテゴリーに関連する個人特性や代理変数の値が異なる個人からのデータを処理する際に、AIベースのコンポーネントが異なる挙動を示すかどうかが分析されているか。
o Has the effect of changes in low prevalence variables within the training dataset in output results of the AI-based component been assessed?	o AIベースのコンポーネントの出力結果における、訓練データセット内の低有病率の変数の変化の影響はアセスメントされているか？
o Are there measures adopted to ensure component independence?	o コンポーネントの独立性を確保するための手段が採用されているか？
o Is it verified that there is no correlation between the results and the additional variables associated to data subjects that are not a part of the process variables and which may evidence the existence of biases?	o 結果と、プロセス変数の一部ではなく、バイアスの存在を示す可能性のあるデータ主体 に関連する追加変数との間に相関がないことが検証されているか？
• Stability and robustness [Article 5.2] Look for evidence to check, at least, the following questions:	・安定性及び頑健性 [第5.2条] 少なくとも以下の疑問点をチェックする証拠を探す：
o Within the possible or actual context of function of the relevant component, are the factors, whose variation may impact the properties of the AI component and may establish the need to manage its readjustment, identified?	o 関連するコンポーネントの機能の可能な文脈または実際の文脈の中で、その変動が AI コンポーネントの特性に影響を与える可能性があり、その再調整を管理する必要性を確立する可能性がある要因は特定されているか。
o Has the AI component behaviour in unexpected environments been assessed?	o 想定外の環境におけるAIコンポーネントの挙動は評価されているか？
o Has a time estimation for reassessment, readjustment or reboot of the component in order to have it adjusted to input data deviation or changes in decision-making criteria is required been analysed?	o 入力データの逸脱や意思決定基準の変更に適応させるために、コンポーネントの再評価、再調整、再起動が必要となる時間の見積もりは分析されているか？
o Is there any documentation that show whether the AI component has been built with a static approach, a dynamic approach or a continuous learning approach by design?	o AIコンポーネントが、静的アプローチ、動的アプローチ、あるいは設計による継続的学習アプローチのどれで構築されたかを示す文書があるか？
o In case of continuous learning AI component, has the degree of adaptability to new input data or types of data been assessed? have monitoring procedures and mechanisms been defined in order to verify that conclusions obtained remain valid, that the AI component is capable of acquiring new knowledge and/or previous associations learned have not been lost?	o 継続的に学習するAIコンポーネントの場合、新しい入力データまたはデータの種類に対する適応性の程度が評価されているか。得られた結論が引き続き有効であること、AIコンポーネントが新しい知識を習得する能力があること、および／または学習した以前の関連付けが失われていないことを検証するための監視手順およびメカニズムが定義されているか。
• Traceability [Articles 5 and 22] Look for evidence to check, at least, the following questions:	・トレーサビリティ [第5条と第22条] 少なくとも以下の質問をチェックする証拠を探す：
o Is there a version control system in place for all elements of the AI-based component: used datasets, AI-based component code, libraries used and any other element associated with the component?	o AIベースのコンポーネントのすべての要素（使用されるデータセット、AIベースのコンポーネントコード、使用されるライブラリ、コンポーネントに関連するその他の要素）について、バージョン管理システムが導入されているか。
o Is there a formal and documented procedure, subject to reassessment as appropriate, of risk assessment depending on such changes that may occur on the implementation of the AI-based component throughout its life cycle?	o AIベース・コンポーネントのライフサイクルを通じて、AIベース・コンポーネントの実装に発生する可能性のある変更に応じたリスクアセスメントについて、適宜アセスメントの対象となる、正式かつ文書化された手順があるか。
o Have monitoring and supervision mechanisms (such as log files and results records) been implemented to properly assess the behaviour of the component in interaction with environment, to measure that the relevant outputs are adjusted to the responses of real-life processes that they model and to any potential inconsistency between expected behaviour and the automated one?	o 環境との相互作用におけるコンポーネントの挙動を適切に評価し、関連する出力がモデル化した現実のプロセスの反応に調整されていることを測定し、期待される挙動と自動化された挙動との間に潜在的な不整合があることを測定するための監視・監督メカニズム（ログファイルや結果の記録など）が実装されているか？
o Is there a record of incidences and previous abnormal behaviours detected and remedied?	o インシデントや過去に検知され、改善された異常動作の記録があるか？
o Are there monitoring mechanisms available for human operators for monitoring and verification purposes?	o モニタリングと検証のために、人間のオペレータが利用できるモニタリングの仕組みがあるか？
o Has a procedure been implemented and documented to ensure human intervention in decision-making, either on its own initiative, when results deviate from expected behaviour, or on request of data subjects affected by the AI-based component’s output?	o 予期される挙動から結果が逸脱した場合、あるいはAIベースのコンポーネントの出力によって影響を受けるデータ主体からの要請があった場合、自らの意思決定への人間の介入を確保するための手順が実施され、文書化されているか。
o Are mechanisms adopted within the framework of the processing so that the results and decisions taken may be entirely the responsibility of human operators?18	o 処理の枠組みの中で、結果及び決定がすべて人間の操作者の責任となるような仕組みが採用されているか18。
• Security [Articles 5.1.f, 25 and 32] Look for evidence to check, at least, the following questions:	・セキュリティ [第5.1.f条、第25条、第32条] 少なくとも以下の質問をチェックする証拠を探す：
o Has a risk analysis developed with regard to the risks for rights and freedoms of persons? Have the results of this risk analysis been used to determine the security and privacy requirements of the AI-based component in the framework of the processing?	o 人の権利と自由に対するリスクについて、リスク分析が行われたか。このリスク分析の結果は、処理の枠組みにおけるAIベースのコンポーネントのセキュリティ及びプライバシー要件の決定に使用されたか？
o Are data protection and security requirements related defined at the origin and together with any other requirements, regardless of whether they are to be applied to the design of a new AI-based component or to the modification of an existing one?	o 新しいAIベースのコンポーネントの設計に適用されるか、既存のコンポーネントの変更に適用されるかにかかわらず、データ保護とセキュリティの要件は、原点で、他の要件とともに定義されているか？
o Have standards and best practices been taken in consideration for secure configuration and development of the AI relevant component?	o AIに関連するコンポーネントの安全な構成と開発のために、標準とベストプラクティスが考慮されているか。
o Are measures to ensure protection of the processed data implemented? particularly those oriented to guarantee confidentiality by means of data anonymisation or pseudonymisation, and integrity to protect component implementation from accidental or intentional manipulation.	o 処理されたデータの保護を保証するための対策が実施されているか。特に、データの匿名化または仮名化による機密性の保証、およびコンポーネントの実装を偶発的または意図的な操作から保護するための完全性を保証するための対策が実施されているか。
o Are measures to guarantee component resilience and its capacity to withstand an attack implemented?	o コンポーネントのレジリエンスと攻撃に耐える能力を保証する措置が実施されているか。
o Have procedures implemented in order to properly monitor the functioning of the component and early detect any potential data leak, unauthorised access or other security breaches?	o コンポーネントの機能を適切に監視し、潜在的なデータ漏えい、不正アクセス、 その他のセキュリティ侵害を早期に検知するための手順が実装されているか。
o Do component users and operators have sufficient information and are able to be aware of their security duties and responsibilities regarding data protection and safeguarding data subjects’ rights and freedoms?	o コンポーネントの利用者及びオペレータは、データ保護及びデータ主体 の権利と自由の保護に関するセキュリティ上の義務と責任について十分な情 報を持ち、それを認識することができるか。
3.4. Bias testing	3.4. バイアステスト
Based on the documentation provided and access to team developers and the data available, different types of tests can be designed to determine whether different types of bias are impacting systems in ways that may cause harm to individuals, groups, society or the efficient functioning of an AI system.	提供された文書、チーム開発者へのアクセス、および利用可能なデータに基づいて、さまざまなタイプのバイアスが、個人、グループ、社会、またはAIシステムの効率的な機能に害を及ぼす可能性のある形でシステムに影響を与えているかどうかを判断するために、さまざまなタイプのテストを設計することができる。
In all cases, bias testing involves a documentation and literature review, interviews with developers/implementors and a good understanding on who is impacted by AI systems and how. Bias testing involves statistical analysis and checking, and auditors have a choice of fairness definitions and metrics to choose from. Statistical notions of fairness such as those described by Verma & Rubin (2018) are a good starting point and can be the basis for more advanced approaches such as similarity-based measures and causal reasoning. In some cases, bias testing requires reaching out to end users or those impacted by systems.	どのような場合でも、バイアステストには、文書や文献のレビュー、開発者／実装者へのインタビュー、AIシステムによって誰がどのように影響を受けるかについての十分な理解が含まれる。バイアステストには統計的分析とチェックが含まれ、監査人は公平性の定義と測定基準を選択することができる。Verma & Rubin (2018)が説明するような統計的な公平性の概念は、良い出発点であり、類似性に基づく尺度や因果推論などのより高度なアプローチの基礎となり得る。場合によっては、バイアステストは、エンドユーザーやシステムの影響を受ける人々に働きかける必要がある。
As it may not be feasible for an inspector to go through all moments and sources of bias, the main step of the inspection exercise must include:	検査員がすべての瞬間やバイアスの原因を調査することは不可能かもしれないため、検査の主なステップには以下が含まれなければならない：
a) Definition of protected groups: in the context of artificial intelligence, a protected group is a group of people who are historically disadvantaged or marginalized, and who may be at risk of discrimination or negative impacts from the development and deployment of AI. Protected groups may be defined by characteristics such as race, ethnicity, gender, sexual orientation, religion, age, ability, and socio-economic status.	a) 保護される集団の定義：人工知能の文脈では、保護される集団とは、歴史的に不利な立場に置かれていたり、社会から疎外されていたりする人々の集団であり、AIの開発・配備によって識別的なリスクや否定的な影響を受ける可能性のある人々を指す。保護される集団は、人種、民族、性別、性的指向、宗教、年齢、能力、社会経済的地位などの特徴によって定義することができる。
b) Testing the output of the AI system: one way to measure bias is to test the output of the AI system and compare it to a benchmark or ground truth. For example, if an AI system is intended to classify objects in images, the inspector could test its performance on a dataset that includes a diverse range of objects and see how accurately it classifies them.	b) AIシステムの出力のテスト：バイアスを測定する一つの方法は、AIシステムの出力をテストし、ベンチマークやグランドトゥルースと比較することである。例えば、AIシステムが画像中の物体を分類することを目的としている場合、検査官は多様な物体を含むデータセットでその性能をテストし、どれだけ正確に分類できるかを見ることができる。
c) Examining the training data: another way to measure bias is to examine the training data that was used to develop the AI system. If the training data is not representative of the population19 that the AI system will be used on, or if it contains biased examples, then the AI system may also be biased.	c) 訓練データの検査：バイアスを測定するもう一つの方法は、AIシステムの開発に使用された訓練データを検査することである。学習データがAIシステムが使用される母集団19を代表するものでなかったり、偏った例が含まれていたりする場合、AIシステムにもバイアスがかかっている可能性がある。
d) Using fairness metrics: fairness metrics are used to determine whether a protected group has sufficient presence, receives consistent treatment and is properly represented in the system.	d) 公平性の測定基準の使用： 公平性の測定基準は、保護される集団が十分な存在感を持ち、一貫した扱いを受け、システムの中で適切に代表者を表しているかどうかを判断するために使用される。
A good place to start is calculating the Risk Difference, where RD is p1-p2 and the Risk Ratio (where p1/p2). The inspector can also measure demographic parity, equal opportunity, equalized odds, and seek to measure both direct and indirect bias through different means.	手始めに、リスク差（RDはp1-p2）とリスク比（p1/p2）を計算するのがよい。検査官はまた、人口統計学的平等、機会均等、オッズの均等化などを測定し、さまざまな手段で直接的・間接的バイアスを測定しようとすることもできる。
The best means to utilize will be determined by the system’s transparence, complexity and the inspection point (pre-processing, in-processing or post-processing). Any inconsistency detected will point to issues that need to be discussed with the development team and further explored to ensure that all necessary precautions and measures to ensure a fair functioning of the system have been taken and documented.	利用する最良の手段は、システムの透明性、複雑性、検査ポイント（前処理、処理中、処理後）によって決定される。検知された矛盾機能は、開発チームと協議し、システムの公正な機能を確保するために必要な予防措置と対策がすべて講じられ、文書化されていることを確認するために、さらに調査する必要がある問題を指摘する。
3.5. Adversarial audit (optional)	3.5. 敵対的監査（オプション）
The most thorough auditing methodology can still miss things. Omitted variables or proxies that only become visible once an algorithmic system is functioning in real-life production settings will result in unfair treatment and harmful impacts. For unsupervised ML models, reverse-engineering may be the only way to trace back model attributes. For high-risk and unsupervised ML systems, performing an adversarial audit once a system is implemented is highly recommended. Adversarial audits are also useful to verify that the information provided during the auditing process is complete and accurate.	どんなに徹底した監査手法でも、見落としはある。省略された変数やプロキシは、アルゴリズムシステムが現実の実稼働環境で機能するようになって初めて見えてくるものであり、不公正な扱いや有害な影響をもたらす。教師なしMLモデルの場合、リバースエンジニアリングがモデル属性を遡る唯一の方法かもしれない。リスクの高い教師なしMLシステムでは、システムが実装された時点で敵対的監査を行うことが強く推奨される。敵対的監査は、監査プロセス中にプロバイダから提供された情報が完全かつ正確であることを検証するためにも有用である。
Adversarial auditing can reveal the existence of the moments of bias listed above, but also additional sources of bias such as learning bias, which occurs when an unsupervised ML system incorporates new variables and labels that emerge from the training data without human intervention or control, leading to potential harms that are only identified when the auditor can access impact data at scale.	敵対的監査は、上記のバイアスの瞬間だけでなく、教師なしMLシステムが人間の介入や制御なしに学習データから生まれた新しい変数やラベルを取り込むときに発生する学習バイアスのような追加のバイアスの源の存在を明らかにすることができる。
To conduct an adversarial audit, the auditor needs to gather impact data at scale. This can be done through scrapping web sources (in the case of web-based systems), by interviewing end users, by crowdsourcing end-user data or by sockpuppeting a system (creating fake profiles or input data with specific characteristics to trigger mode outcomes and analyze them).	敵対的監査を実施するためには、監査人は影響データを大規模に収集する必要がある。これは、（ウェブベースのシステムの場合）ウェブソースのスクラップ、エンドユーザーへのインタビュー、エンドユーザーデータのクラウドソーシング、またはシステムのソックパペット（偽のプロファイルを作成したり、特定の特徴を持つ入力データを作成したりして、モード結果をトリガーし、それを分析する）によって行うことができる。
Adversarial audits can complement a E2EST/AA or be conducted as a stand-alone when impacted communities or regulators do not have access to an algorithmic system.	敵対的監査は、E2EST/AAを補完することもできるし、影響を受けるコミュ ニティや規制当局がアルゴリズムシステムにアクセスできない場合に、単独で実施することも できる。
4. The audit report	4. 監査報告書
Audits should always result in a public document. However, this is not the only report that will be produced during the audit process. A crucial part of auditing is documentation, and so all interactions and documents exchanged must be compiled and either kept on file by system owners (and, if both parties agree, by auditors). There are three main audit reports:	監査は、常に公開文書に帰結すべきである。しかし、監査過程で作成される報告書はこれだけではない。監査において重要なのは文書化であり、やり取りされたすべてのやり取りと文書は、システム所有者（そして両者が合意すれば監査人）によってまとめられ、ファイルに保管されなければならない。監査報告書には主に 3 種類ある：
a) Internal E2EST/AA report with mitigation measures and annexes This document captures the process followed, the issues identified and the mitigation measures that have been applied or can be applied. Contrary to financial auditors, algorithmic auditors do engage in proposing solutions, monitoring their implementation and reporting on the final results. The internal audit report need not be published.20	a) 緩和策および附属書を含む内部 E2EST/AA 報告書 この文書には、実施したプロセス、識別した問題点、適用したまたは適用可能な緩和策が記載される。財務監査人とは異なり、アルゴリズミック監査人は、解決策の提案、実施状況の監視、最終結果の報告に従事する。内部監査報告書を公表する必要はない20。
b) Public E2EST/AA report Final version of the audit process, where auditors describe the system, the auditing methodology, the mitigation and improvement measures implemented and further recommendations, if any. The public audit report must also include a proposal for the periodicity and methodology/metrics to be used in follow-up audits.	b) 公開 E2EST/AA 報告書 監査人が、システム、監査方法、実施された低減・改善策、さらなる推奨事項（もしあれば） を説明する、監査プロセスの最終版。また、公開監査報告書には、フォローアップ監査で使用される定期的な監査と方法論・測定基準に関する提案も含まれなければならない。
c) Periodic E2EST/AA reports Follow-up audit reports. These must always refer and provide access to the initial audit report, if it is still relevant, and provide guarantees that the system developers have continued to test for bias, implement mitigation measures and control for impact. Depending on the complexity of the system/s, both parties may agree to produce an internal and a public version of each periodic audit.	c) 定期的な E2EST/AA 報告書 フォローアップ監査報告書。これらの報告書は、初回監査報告書がまだ関連性を有している場合には、常にそ れに言及し、アクセスを提供しなければならず、また、システム開発者がバイアスのテスト、 緩和措置の実施、影響管理の実施を継続していることの保証を提供しなければならない。システムの複雑さにもよるが、両当事者は、各定期監査の内部版と公開版を作成することに合意してもよい。