米国 GAO 人工知能：国土安全保障省がサイバーセキュリティのために責任ある利用を確保するには、重要な慣行を完全に実施することが役立つ

こんにちは、丸山満彦です。

GAOが国土安全保障省がサイバーセキュリティ対策のために利用しているAIの適切性についての検査をしたようですね。。。個人情報を自動検出する機能にAIを利用しているが、それが適切な管理がされていないということで、８つの勧告を出していますね。。。

● U.S. Government Accountability Office

・2024.02.07 Artificial Intelligence:Fully Implementing Key Practices Could Help DHS Ensure Responsible Use for Cybersecurity

Artificial Intelligence:Fully Implementing Key Practices Could Help DHS Ensure Responsible Use for Cybersecurity	人工知能：DHSがサイバーセキュリティのために責任ある利用を確保するには、重要な慣行を完全に実施することが役立つ
GAO-24-106246	GAO-24-106246
Fast Facts	速報
While responsible use of artificial intelligence can improve security, irresponsible use may pose risks. We looked at what the Department of Homeland Security is doing to ensure responsible use of its AI for cybersecurity.	人工知能の責任ある利用はセキュリティを向上させるが、無責任な利用はリスクをもたらす可能性がある。我々は、国土安全保障省がサイバーセキュリティのためのAIの責任ある利用を確保するために何をしているかを調べた。
DHS created a public inventory of "AI use cases"—how it uses AI. But DHS doesn't verify whether each case is correctly characterized as AI. Of the 2 cybersecurity cases in the inventory, we found 1 isn't AI.	DHSは「AIユースケース」（AIをどのように使用しているか）の公開目録を作成した。しかし、DHSは各ケースがAIとして正しく分類されているかどうかを検証していない。インベントリにある2つのサイバーセキュリティ事例のうち、1つはAIではないことがわかった。
DHS also hasn't ensured that the data used to develop the AI use case we assessed is reliable—which is an accountability practice in our AI framework.	DHSはまた、われわれが評価したAIユースケースの開発に使用されたデータが信頼できるものであることを保証していない。
Our recommendations address these and other issues.	われわれの勧告は、これらとその他の問題に対処するものである。
Highlights	ハイライト
What GAO Found	GAOが発見したこと
To promote transparency and inform the public about how artificial intelligence (AI) is being used, federal agencies are required by Executive Order No. 13960 to maintain an inventory of AI use cases. The Department of Homeland Security (DHS) has established such an inventory, which is posted on the Department's website.	透明性を促進し、人工知能（AI）がどのように利用されているかを国民に知らせるため、連邦政府機関は大統領令第13960号により、AIユースケースのインベントリーを維持することが義務付けられている。国土安全保障省（DHS）はこのような目録を作成し、同省のウェブサイトに掲載している。
However, DHS's inventory of AI systems for cybersecurity is not accurate. Specifically, the inventory identified two AI cybersecurity use cases, but officials told us one of these two was incorrectly characterized as AI. Although DHS has a process to review use cases before they are added to the AI inventory, the agency acknowledges that it does not confirm whether uses are correctly characterized as AI. Until it expands its process to include such determinations, DHS will be unable to ensure accurate use case reporting.	しかし、サイバーセキュリティに関するDHSのAIシステム目録は正確ではない。具体的には、この目録は2つのAIサイバーセキュリティのユースケースを識別しているが、関係者によると、この2つのうち1つはAIとして誤って分類されているとのことである。DHSには、AIインベントリーに追加する前にユースケースをレビューするプロセスがあるが、同省は、ユースケースがAIとして正しく分類されているかどうかを確認していないことを認めている。このような判定を含むようにプロセスを拡大するまでは、DHSは正確なユースケース報告を保証できないだろう。
DHS has implemented some but not all of the key practices from GAO's AI Accountability Framework for managing and overseeing its use of AI for cybersecurity. GAO assessed the one remaining cybersecurity use case known as Automated Personally Identifiable Information (PII) Detection—against 11 AI practices selected from the Framework (see figure).	DHSは、サイバーセキュリティのためのAI利用を管理・監督するために、GAOのAIアカウンタビリティ・フレームワークにある重要なプラクティスを一部実施しているが、すべてではない。GAOは、「個人を特定できる情報（PII）の自動検知」として知られる残る1つのサイバーセキュリティのユースケースを、フレームワークから選ばれた11のAIプラクティスに対して評価した（図参照）。
Status of the Department of Homeland Security's Implementation of Selected Key Practices to Manage and Oversee Artificial Intelligence for Cybersecurity	国土安全保障省による、サイバーセキュリティのための人工知能を管理・監督するための主要なプラクティスの実施状況
GAO found that DHS fully implemented four of the 11 key practices and implemented five others to varying degrees in the areas of governance, performance, and monitoring. It did not implement two practices: documenting the sources and origins of data used to develop the PII detection capabilities, and assessing the reliability of data, according to officials. GAO's AI Framework calls for management to provide reasonable assurance of the quality, reliability, and representativeness of the data used in the application, from its development through operation and maintenance. Addressing data sources and reliability is essential to model accuracy. Fully implementing the key practices can help DHS ensure accountable and responsible use of AI.	GAOは、国土安全保障省が11の主要プラクティスのうち4つを完全に実施し、他の5つはガバナンス、パフォーマンス、モニタリングの分野で程度の差こそあれ実施していることを明らかにした。DHSは2つのプラクティスを実施していなかった。関係者によると、PII検知機能の開発に使用されたデータのソースと出所を文書化することと、データの信頼性を評価することである。GAOのAIフレームワークでは、アプリケーションの開発から運用・保守に至るまで、アプリケーションで使用されるデータの品質、信頼性、代表者性について合理的な保証を提供することを管理者に求めている。データソースと信頼性への対応は、モデルの精度にとって不可欠である。重要なプラクティスを完全に実施することで、DHSは説明責任を果たし、責任あるAIの利用を確保することができる。
Why GAO Did This Study	GAOが本調査を実施した理由
Executive Order No. 14110, issued in October 2023, notes that while responsible AI use has the potential to help solve urgent challenges and make the world more secure, irresponsible use could exacerbate societal harms and pose risks to national security. Consistent with requirements of Executive Order No. 13960, issued in 2020, DHS has maintained an inventory of its AI use cases since 2022.	2023年10月に発布された大統領令第14110号は、責任あるAIの利用は緊急課題の解決や世界の安全性向上に役立つ可能性がある一方で、無責任な利用は社会的危害を悪化させ、国家安全保障にリスクをもたらす可能性があると指摘している。2020年に発令された大統領令第13960号の要件に従い、DHSは2022年以降、AIの使用事例の目録を整備してきた。
This report examines the extent to which DHS (1) verified the accuracy of its inventory of AI systems for cybersecurity and (2) incorporated selected practices from GAO's AI Accountability Framework to manage and oversee its use of AI for cybersecurity.	本報告書は、DHSが（1）サイバーセキュリティのためのAIシステムのインベントリの正確性を検証し、（2）サイバーセキュリティのためのAIの利用を管理・監督するために、GAOのAIアカウンタビリティ・フレームワークから選択したプラクティスを取り入れた程度を検証する。
GAO reviewed relevant laws, OMB guidance, and agency documents, and interviewed DHS officials. GAO applied 11 key practices from the Framework to DHS's AI cybersecurity use case—Automated PII Detection. DHS uses this tool to prevent unnecessary sharing of PII. GAO selected the 11 key practices to reflect all four Framework principles, align with early stages of AI adoption, and be highly relevant to the specific use case.	GAOは、関連する法律、OMBガイダンス、省庁の文書を検討し、DHS職員にインタビューを行った。GAOは、フレームワークの11の主要なプラクティスを、DHSのAIサイバーセキュリティのユースケースである自動PII検知に適用した。DHSはPIIの不必要な共有を防ぐためにこのツールを使用している。GAOは、フレームワークの4つの原則をすべて反映し、AI導入の初期段階に合致し、特定のユースケースに関連性が高い11の重要なプラクティスを選択した。
Recommendations	勧告
GAO is making eight recommendations to DHS, including that it (1) expand its review process to include steps to verify the accuracy of its AI inventory submissions, and (2) fully implement key AI Framework practices such as documenting sources and ensuring the reliability of the data used. DHS concurred with the eight recommendations.	GAOはDHSに対し、(1)AIインベントリ提出の正確性を検証するステップを含む審査プロセスを拡大すること、(2)情報源の文書化や使用データの信頼性の確保など、AIフレームワークの主要な慣行を完全に実施することなど、8つの勧告を行っている。DHSは8つの勧告に同意した。
Recommendations for Executive Action	行政措置に関する勧告
Agency Affected/Recommendation	影響を受ける省庁／勧告
Department of Homeland Security	国土安全保障省
The Chief Technology Officer should expand its review process to include steps to verify the accuracy of its AI inventory submissions. (Recommendation 1)	最高技術責任者（CTO）は、AIインベントリの提出の正確性を検証するステップを含むよう、レビュー・プロセスを拡大すべきである。(勧告1）
The Director of CISA should develop metrics to consistently measure progress toward all stated goals and objectives for Automated PII Detection. (Recommendation 2)	CISA長官は、自動PII検知に関するすべての目標と目的に対する進捗状況を一貫して測定するための指標を開発すべきである。(勧告2)
The Director of CISA should clearly define the roles and responsibilities and delegation of authority of all relevant stakeholders involved in managing and overseeing the implementation of the Automated PII Detection component to ensure effective operations and sustained oversight. (Recommendation 3)	CISA長官は、効果的な運用と持続的な監視を確保するため、自動PII検知コンポーネントの実施管理・監督に関与するすべての関係者の役割と責任および認可を明確に定義すべきである。(勧告3)
The Director of CISA should document the sources and origins of data used to develop the Automated PII Detection component. (Recommendation 4)	CISA長官は、自動PII検知コンポーネントの開発に使用されたデータの出所と起源を文書化すべきである。(勧告4)
The Director of CISA should take steps to assess and document the reliability of data used to enhance the representativeness, quality, and accuracy of the Automated PII Detection component. (Recommendation 5)	CISA長官は、自動PII検知コンポーネントの代表者、品質、精度を高めるために使用されるデータの信頼性を評価し、文書化するための措置を講じるべきである。(勧告5)
The Director of CISA should document its process for optimizing the elements used within the Automated PII Detection component. (Recommendation 6)	CISA長官は、自動PII検知コンポーネント内で使用される要素を最適化するプロセスを文書化すべきである。(勧告6)
The Director of CISA should document its methods for testing performance including limitations, and corrective actions taken to minimize undesired effects of the Automated PII Detection component to ensure transparency about the system's performance. (Recommendation 7)	CISA長官は、システムの性能に関する透明性を確保するため、自動PII検知コンポーネントの望ましくない影響を最小化するためにとられた制限および是正措置を含む性能のテスト方法を文書化すべきである。(勧告7)
The Director of CISA should establish specific procedures and frequencies to monitor the Automated PII Detection component to ensure it performs as intended. (Recommendation 8)	CISA長官は、自動PII検知コンポーネントが意図したとおりに動作することを保証するために、それを監視する具体的な手順と頻度を確立すべきである。(勧告8)

・[PDF] Full Report

・[DOCX] 仮訳

・[PDF] 仮訳

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2023.10.31 米国 人工知能の安全、安心、信頼できる開発と利用に関する大統領令