オランダ 会計検査院 政府はAIのリスクアセスメントをほとんど実施していない...

こんにちは、丸山満彦です。

オランダの会計検査院の報告書です...

政府のAIの利用状況やAI法への対応についての考察があり、参考になると思います。（ChatGPTの利用や、防衛・安全保証関係については調査をしていない）

業務で利用しているAIがAI法のどの分類に該当し、その要件を満たしているのか、把握し、管理することは重要ですよね。。。

● Netherlands Court of Audit

・2024.10.16 Central government often does not assess risks of AI

Central government often does not assess risks of AI	中央政府はAIのリスクアセスメントをほとんど実施していない
AI deployed chiefly to increase efficiency of internal processes	AIは主に内部プロセスの効率化のために導入されている
The Dutch government does not know if many of its artificial intelligence (AI) systems work as intended. Government organisations say they have not weighed up the opportunities of more than half their AI systems against the risks. A focus investigation by the Netherlands Court of Audit of 70 government organisations, furthermore, concludes that there is an incentive for the organisations to classify their systems as low risk.	オランダ政府は、多くの人工知能（AI）システムが意図した通りに機能しているかどうかを把握していない。政府機関は、AIシステムの半分以上について、リスクと機会を比較検討したことはないと述べている。さらに、オランダ会計検査院が70の政府機関を対象に実施した重点調査では、各機関がシステムを低リスクと分類するインセンティブがあるという結論に達している。
Together, the 70 organisations said they were using or had used 433 AI systems. AI is not yet widely deployed in central government. Most systems (167) are still experimental and a clear majority of the organisations (88%) use no more than 3 systems. Only 5% of the systems have been published in the Algorithm Register. The organisations that use AI the most are the police and the Employee Insurance Agency (UWV), with 23 and 10 systems respectively. The Court of Audit’s investigation provides a first insight into the use and purpose of AI in central government.	70の組織を合わせると、433のAIシステムを使用中または使用したことがあると回答している。AIは中央政府ではまだ広く展開されていない。大半のシステム（167）は依然として実験段階であり、組織の大多数（88%）は3つ以下のシステムしか使用していない。アルゴリズム・レジスターで公開されているシステムは全体のわずか5%である。AIを最も多く使用しているのは警察と雇用保険庁（UWV）で、それぞれ23システムと10システムを使用している。会計検査院の調査は、中央政府におけるAIの利用と目的に関する初めての洞察を提供している。
Deployed chiefly to improve internal processes	主に内部プロセスの改善を目的として導入されている
About two-thirds of the systems are deployed chiefly to improve internal processes and do not have a direct impact on citizens and businesses. They are used to analyse and process large volumes of information in order to optimise workflows. AI that automatically converts speech to text or instantly anonymises documents can save the government a lot of time and money. Analysing internal documents also costs far less effort when performed automatically by an AI system rather than manually by a civil servant.	約3分の2のシステムは主に内部プロセスの改善を目的として導入されており、市民や企業に直接的な影響を与えるものではない。それらはワークフローの最適化を目的として、大量の情報の分析や処理に使用されている。音声の自動テキスト変換や文書の即時匿名化を行うAIは、政府に多くの時間とコストの削減をもたらす可能性がある。内部文書の分析も、公務員が手動で行うよりもAIシステムが自動的に行う方がはるかに少ない労力で済む。
AI often used for inspection and enforcement, and knowledge processing	AIは検査や施行に頻繁に使用され、知識処理にも使用される
Performance unknown	性能不明
Remarkably, the organisations often do not know whether their AI systems are working correctly. It is not known whether 35% of the systems in use are living up to expectations. This can be because goals were not set in advance. Conversely, it might not be known if the systems are working successfully. Interestingly, the organisations are often enthusiastic about AI systems they no longer use. 82 of the 141 terminated systems (58%), according to the organisations, performed as expected or even better. Nevertheless, they were terminated owing, for instance, to lack of capacity for further development.	驚くべきことに、組織は自社のAIシステムが正しく機能しているかどうかを把握していないことが多い。使用中のシステムの35%が期待通りに機能しているかどうかは不明である。これは、事前に目標が設定されていなかったことが原因である可能性がある。逆に、システムが正常に機能しているかどうかは不明である可能性もある。興味深いことに、組織は使用しなくなったAIシステムに対して熱心であることが多い。141の終了したシステムのうち82（58%）は、組織によると、期待通りに、あるいは期待以上の成果を上げていた。しかし、それらは、例えばさらなる開発のための能力不足などの理由で終了した。
Risks differ per system	リスクはシステムごとに異なる
The use of AI offers opportunities but is not without risk. Risks will be mitigated in part by a new EU AI regulation. Under the new rules, all AI systems must be risk assessed. A system that administers benefits for vulnerable households, for instance, poses more risks than one that summarises internal documents. AI systems with an unacceptable risk will be prohibited and high-risk systems must meet additional conditions in the future. The organisations classify most of their AI systems as ‘minimal risk’. However, this does not mean they are risk free. There may still be a risk of privacy violations, weak information security or harm to citizens and businesses through unfair disadvantage.	AIの利用にはチャンスがあるが、リスクがないわけではない。EUの新しいAI規制により、リスクは一部低減される。新しい規則では、すべてのAIシステムはリスクアセスメントを行う必要がある。例えば、脆弱な世帯に給付金を支給するシステムは、内部文書を要約するシステムよりもリスクが高い。許容できないリスクのあるAIシステムは禁止され、リスクの高いシステムは将来的に追加条件を満たす必要がある。これらの組織は、AIシステムのほとんどを「最小限のリスク」に分類している。しかし、これはリスクがないことを意味するものではない。プライバシー侵害や情報セキュリティの脆弱性、不公平な不利益による市民や企業への被害などのリスクが依然として存在する可能性がある。
Ewout Irrgang, the Court of Audit’s vice-president, believes there are generally benefits to the use of AI in central government, ‘Many systems used for operational management have few risks and are already making the government more efficient. Use is still limited but our impression is that government processes are faster, cheaper and more effective. But we also see risks. One problem is that the government itself must assess the risks. There’s an incentive to classify an AI system as minimal risk so that it doesn’t have to satisfy all the requirements. A form of oversight and control is needed so that the House and government can be confident enough safeguards are in place for AI systems with a higher risk.’	会計検査院の副院長であるEwout Irrgang氏は、中央政府におけるAIの使用には一般的にメリットがあると考える。「業務管理に使用される多くのシステムはリスクがほとんどなく、すでに政府の効率化に貢献している。利用はまだ限定的だが、政府のプロセスはより迅速かつ安価で効果的になっているという印象を持っている。しかし、リスクも認識している。問題のひとつは、政府自身がリスクアセスメントを行わなければならないことだ。AIシステムを最低限のリスクに分類し、すべての要件を満たす必要がないようにするインセンティブがある。よりリスクの高いAIシステムについては、議会と政府が十分な安全対策が講じられていると確信できるような、何らかの監督と管理が必要だ。

オランダ語...

・[PDF] 

英語...

・[PDF] 

・[DOCX][PDF] 仮訳