（人工知能 AI）ブラックボックスの検証：アルゴリズムシステムを評価するためのツール - アルゴリズムの監査・影響評価のための共通言語の特定

こんにちは、丸山満彦です。

データとAIが人々と社会のために機能することを保証することを使命としている
Ada Lovelace Institute が、AIアルゴリズムを評価するための方法論についての整理をしていますね。。。参考になると思います。。。

● Ada Lovelace Institute - Library - Reports

・2020.04.29 Examining the Black Box: Tools for assessing algorithmic systems

Identifying common language for algorithm audits and impact assessments

・[PDF] 

AIが社会に実装されるに従い、AIのアルゴリズムについての保証の必要性について言及されることが増えてきているが、その内容が少しずつ違うことがあり、一旦全体像を整理して、議論ができる共通基盤を作ろうということなのだと思います。。。

この報告書では、アルゴリズムを評価するための4つのアプローチを提唱しています。

• Algorithm audit（アルゴリズム監査）
  
  • Bias audit（バイアス監査）
  • Regulatory inspection（規制検査）

• Algorithmic impact assessment（アルゴリズムの影響アセスメント）
  
  • Algorithmic risk assessment（アルゴリズムのリスクアセスメント）
  • Algorithmic impact evaluation（アルゴリズムの影響評価）

	アルゴリズム監査		アルゴリズム影響アセスメント
	バイアス監査	規制検査	アルゴリズムのリスクアセスメント	アルゴリズムの影響評価
何か?	アルゴリズムシステムの偏りを評価することに焦点を当てたアプローチ	アルゴリズムシステムが規制や規範に準拠しているかどうかに焦点を当てた幅広いアプローチで、さまざまなツールや手法を必要とする。	システムが使用される前に、アルゴリズムシステムが社会に与える可能性のある影響を評価する（継続的なモニタリングが必要）。	アルゴリズムシステムが使用された後に、そのシステムが影響を与える利用者や集団に与えうる社会的影響を評価すること。
いつか?	デプロイ後	デプロイ後、継続することもある	デプロイ前、継続することもある	デプロイ後
誰によって?	研究者、調査ジャーナリスト、データサイエンティスト	規制当局、監査・コンプライアンス担当者	アルゴリズムシステムの作成者または委託者	研究者、政策立案者
本質	社会科学的な監査研究	他分野での規制監査（例：財務監査）	環境影響度評価、データ保護影響度評価	事後的に評価されることが多い政策影響評価
ケーススタディ	顔認識APIによる分類の偏りに関する「ジェンダーシェード」研究	英国情報保護局のAI監査フレームワークのドラフトガイダンス	カナダ政府のアルゴリズムによる影響評価	スタンフォード大学の「Allegheny CountyのChild Welfare Officeのための予測的リスクモデリングツールのインパクト評価
状況	アルゴリズムの文脈ではより確立された方法論であるが、範囲は限定的	規制当局に求められる新たな手法、スキル、キャパシティ、技術部門のコンプライアンスチームに求められるより確立されたアプローチ	他の分野で確立された方法論もあるが、アルゴリズムの文脈では新しいものであり、その適用可能性とベストプラクティスについての証拠が必要である。	確立された方法論がアルゴリズムの文脈では新しいものであり、その適用性とベストプラクティスについての証拠が必要である。

・[DOC] 仮訳