内部統制 / リスクマネジメント

2024.06.17

ドイツ 連邦情報セキュリティ局 ハードウェア・トロイの木馬: BSI 分散製造プロセスにおけるハードウェア操作の可能性に関する調査結果 (2024.06.04)

 こんにちは、丸山満彦です。

ドイツの連邦情報セキュリティ局 (Bundesamt für Sicherheit in der Informationstechnik;BSI) が、分散製造プロセスにおけるハードウェア操作の可能性に関する調査結果を発表していますね... (PDFにして101ページ...でも、英語です...)

製造過程でチップ基盤上に勝手に追加チップを埋め込まれてしまうような話で、現在のX線技術でもほとんど認識できない?という話のようです...

製造過程でチップを埋め込むのは簡単な割に発見は困難...

プロジェクト名はPanda...

 

Bundesamt für Sicherheit in der Informationstechnik;BSI

・2024.06.04 BSI veröffentlicht Studie zu Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen

Km_panda_240604

追加チップが隠された回路基板上の部品のX線画像(右拡大)。この追加チップは、現代のX線技術でもほとんど認識できない。ということのようです...(Quelle: BSI)

 

BSI veröffentlicht Studie zu Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen BSI、分散製造プロセスにおけるハードウェアの操作可能性に関する調査結果を発表
Die IHP GmbH hat im Auftrag des Bundesamts für Sicherheit in der Informationstechnik (BSI) die Studie „Prüfung von Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen (PANDA)“ erstellt. Diese Studie betrachtet die Einflussmöglichkeiten von Angreifern innerhalb der Fertigungskette von komplexen IT-Systemen. Die Veröffentlichung beschreibt die einzelnen Schritte von der initialen Idee bis zum fertigen Produkt. Darauf aufbauend werden mögliche Schwachstellen in der Kette aufgezeigt sowie ausgewählte Angriffsszenarien skizziert. Eine Bewertung von Präventions- und Detektionsmöglichkeiten erfolgt nicht nur auf Basis einer Literaturrecherche, sondern auch anhand eigens durchgeführter Experimente. Die Studienergebnisse zeigen, dass solche Manipulationen in jeder Phase der Fertigung mit teilweise relativ geringem Aufwand möglich sind. Die Detektion hingegen kann sehr anspruchsvoll sein. ドイツ連邦情報セキュリティー局(BSI)の委託を受け、IHP社は「分散製造プロセスにおけるハードウェアの操作可能性の調査(PANDA)」を作成した。この研究は、攻撃者が複雑なITシステムの生産チェーンの中で影響力を行使する可能性を分析するものである。本書では、最初のアイデアから完成品に至るまでの個々のステップを説明している。これに基づき、連鎖の弱点が特定され、選択された攻撃シナリオが概説されている。予防と検知のオプションは、文献調査だけでなく、社内で実施した実験に基づいて評価されている。研究の結果、このような操作は生産のあらゆる段階で、時には比較的少ない労力で可能であることが示された。一方、検出は非常に困難である。
Das Ziel der Studie ist, der IT-Fachcommunity bzw. IT-Herstellern und -Dienstleistern eine Einschätzung der Bedrohungslage durch sogenannte "Hardware-Trojaner" zu geben, welche z.B. nach Presseberichten von Bloomberg mutmaßlich in Server-Mainboards implantiert wurden. ブルームバーグの報道によれば、この研究の目的は、IT専門家コミュニティやITメーカー、サービス・プロバイダーに、例えばサーバーのメインボードに仕込まれたとされる、いわゆる「ハードウェア・トロイの木馬」がもたらす脅威の評価を提供することである。
Die Entwicklung und Fertigung komplexer IT-Systeme wird heutzutage oft nicht mehr von einem einzelnen Hersteller durchgeführt, der alle Design- und Produktionsschritte selbst umsetzt und kontrolliert. Diese Arbeitsteilung hat eindeutige Vorteile, wie etwa eine kürzere Zeit bis zur Markteinführung der Produkte, geringere Kosten sowie die Bündelung von Kompetenzen und Werkzeugen in speziellen Aufgabenbereichen. Allerdings birgt diese Aufteilung auch das Risiko von unerwünschten Änderungen an dem ursprünglichen Design, was bei sicherheitsrelevanten Produkten z. B. zum Verlust von vertraulichen Daten führen kann. 今日、複雑なITシステムの開発・製造は、もはや1つのメーカーで行われることは少なくなり、設計・製造の全工程を自社で実現・管理するようになっている。このような分業には、製品の市場投入までの時間の短縮、コストの削減、特定の作業分野におけるスキルやツールのプール化など、明確な利点がある。しかし、このような分業には、元の設計に望ましくない変更を加えるリスクも潜んでいる。例えば、セキュリティに関連する製品の場合、機密データの喪失につながりかねない。
Solche Manipulationen, auch als „Hardware-Trojaner“ bezeichnet, können in fast allen Entwicklungs- und Produktionsschritten implementiert werden. Die Studie analysiert das Risikopotential hierfür nicht nur mittels einer Literaturbetrachtung, sondern auch aufgrund praktischer Erfahrungen in der Chipherstellung. このような操作は、「ハードウェア・トロイの木馬」とも呼ばれ、ほとんどすべての開発・生産工程で実装される可能性がある。この研究では、文献調査だけでなく、チップ製造における実務経験に基づいて、このようなリスクの可能性を分析している。

 

Prüfung von Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen

Prüfung von Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen 分散型製造工程におけるハードウェアの操作可能性の検討
Die IHP GmbH hat im Auftrag des Bundesamts für Sicherheit in der Informationstechnik (BSI) eine Studie erstellt, welche die Einflussmöglichkeiten von Angreifern innerhalb der Fertigungskette komplexer IT-Systeme beschreibt, z.B. das Einbringen von Hardware-Trojanern. ドイツ連邦情報セキュリティー局(BSI)の委託を受け、IHP社は、複雑なITシステムの製造チェーンにおいて、攻撃者がハードウェア・トロイの木馬を持ち込むなどして影響力を行使する可能性についての研究を行った。
Die Veröffentlichung stellt die einzelnen Schritte vom initialen Design bis zum fertigen Produkt vor. Darauf aufbauend werden mögliche Schwachstellen aufgezeigt sowie ausgewählte Angriffsszenarien skizziert. Präventions- und Detektionsmöglichkeiten werden nicht nur auf Basis einer Literaturrecherche, sondern auch anhand eigens durchgeführter Experimente bewertet. この出版物では、初期設計から完成品までの個々のステップを紹介している。これに基づいて、考えられる脆弱性が特定され、選択された攻撃シナリオが概説されている。予防と検知のオプションは、文献調査だけでなく、特別に実施された実験に基づいて評価されている。
Die Entwicklung und Fertigung komplexer IT-Systeme wird heutzutage oft nicht mehr von einem einzelnen Hersteller durchgeführt, der alle Design- und Produktionsschritte selbst umsetzt und kontrolliert. Diese Arbeitsteilung hat zwar eindeutige Vorteile, allerdings birgt sie auch das Risiko von unerwünschten Änderungen an dem ursprünglichen Design, was bei sicherheitsrelevanten Produkten z. B. zum Verlust von vertraulichen Daten führen kann. Solche Manipulationen, auch als „Hardware-Trojaner“ bezeichnet, können in fast allen Entwicklung- und Herstellungsschritten implementiert werden. 今日、複雑なITシステムの開発・製造は、設計・製造の全工程を自社で行い、管理する単一の製造業者によって行われることは少なくなっている。このような分業制には明確な利点があるが、一方で、元の設計に望ましくない変更を加えるリスクもはらんでいる。例えば、セキュリティに関連する製品の場合、機密データの紛失につながりかねない。このような操作は、「ハードウェア・トロイの木馬」とも呼ばれ、ほとんどすべての開発・製造工程で実装される可能性がある。

 

・[PDF] Prüfung von Manipulationsmöglichkeiten von Hardware in verteilten Fertigungsprozessen

20240617-60353

 

目次...

1  Introduction 1 序文
2  WP2: Design and Manufacturing steps from the initial idea to the final product 2 WP2: 最初のアイデアから最終製品までの設計と製造のステップ
2.1  Selecting IP blocks 2.1 IPブロックの選択
2.1.1  Selection criteria 2.1.1 選択基準
2.1.2  Actors and responsibilities 2.1.2 アクターと責任
2.1.3  Tools 2.1.3 ツール
2.2  ASIC Design 2.2 ASIC設計
2.2.1  Actors and responsibilities 2.2.1 アクターと責任
2.2.2  Tools 2.2.2 ツール
2.3  Mask Production 2.3 マスク製造
2.3.1  Actors and responsibilities 2.3.1 アクターと責任
2.3.2  Tools 2.3.2 ツール
2.4  Manufacturing 2.4 製造事業者
2.4.1  Actors and responsibilities 2.4.1 役者と責任
2.4.2  Tools 2.4.2 ツール
2.4.3  Available Information 2.4.3 利用可能な情報
2.5  Test 2.5 試験
2.5.1  Actors and responsibilities 2.5.1 アクターと責任
2.5.2  Tools 2.5.2 ツール
2.5.3  Available Information 2.5.3 利用可能な情報
2.6  PCB Design 2.6 PCB設計
2.6.1  Actors and responsibilities 2.6.1 アクターと責任
2.6.2  Tools 2.6.2 ツール
2.6.3  Available Information 2.6.3 利用可能な情報
2.7  Production and assembly of PCBs 2.7 PCBの製造と組み立て
2.7.1  Actors and responsibilities 2.7.1 アクターと責任
2.7.2  Tools 2.7.2 ツール
2.7.3  Available Information 2.7.3 利用可能な情報
2.8  Software/firmware development or use of existing ones 2.8 ソフトウェア/ファームウェアの開発または既存のものの使用
2.8.1  Actors and responsibilities 2.8.1 アクターと責任
2.8.2  Tools 2.8.2 ツール
2.8.3  Available Information 2.8.3 利用可能な情報
2.9  Summary 2.9 まとめ
3  WP3: Identification of potential vulnerabilities and attack scenarios including a detailed elaboration of selected attack scenarios 3 WP3: 選択された攻撃シナリオの詳細な説明を含む、潜在的脆弱性と攻撃シナリオの特定
3.1 Introduction 3.1 序文
3.1.1  Motivating Example 3.1.1 動機となる例
 3.1.2  Structure of this chapter 3.1.2 本章の構成
 3.2  Supply Chain Attack Literature Review 3.2 サプライチェーン攻撃に関する文献レビュー
 3.2.1  Attack scenarios selected from the MITRE report 3.2.1 MITRE レポートから選択した攻撃シナリオ
 3.3  Evaluation of Attack Scenarios 3.3 攻撃シナリオの評価
 3.3.1  Determining the Attack Probability 3.3.1 攻撃確率の決定
 3.4  Attack costs 3.4 攻撃コスト
4 WP4: Prevention and detection options, risk assessment and recommendations 4 WP4: 防止と検知のオプション、リスクアセスメントと提言
4.1 Hardware Trojan Detection 4.1 ハードウェア・トロイの木馬検知
4.1.1 Trojan detection power analysis  4.1.1 トロイの木馬検知能力の分析
4.1.2 Timing-based analysis 4.1.2 タイミングベースの分析
4.1.3 Trojan activation  4.1.3 トロイの木馬の起動
4.1.4 Runtime monitoring  4.1.4 ランタイムの監視
4.2 Prevention  4.2 予防 
4.2.1 Split manufacturing 4.2.1 分割製造
4.3 Hardware Trojan Defense: A resume 4.3 ハードウェア・トロイの木馬防御: レジュメ
4.4 Implanting a Hardware Trojan into a cryptographic design 4.4 暗号設計へのハードウェア・トロイの木馬の埋め込み
4.4.1 Trojan implementation: Performed Controller modifications 4.4.1 トロイの木馬の実装: コントローラ改造の実施
4.4.2 Designs ported to FPGA Spartan-7 . 4.4.2 FPGA Spartan-7 に移植したデザイン
4.4.3 Investigation of the influence of the implanted Trojan on the design resistance to SCA 4.4.3 SCAに対するトロイの木馬の影響調査
4.5 PCB-Experiments 4.5 PCB 実験
4.5.1 Experiments with Coil 1: Hiding chips in the compound . 4.5.1 コイル 1 の実験:コンパウンドにチップを隠す .
4.5.2 Experiments with Coil 2: Hiding chips under the housing . 4.5.2 コイル2の実験:筐体の下にチップを隠す .
4.5.3 Cost Issues 4.5.3 コスト問題
5 Conclusion . 5 結論
Bibliography 参考文献
List of abbreviations 略語リスト
Appendix 1: Examples of selecting IP Cores (IHP experience) 附属書1:IPコアの選定例(IHPの経験)
Appendix 2: Examples of pins and pads . 附属書2:ピンとパッドの例 .
Appendix 3: Overview of MITRE hardware attack scenarios . 附属書3:MITREのハードウェア攻撃シナリオの概要 .
Appendix 4: Interview with IHP designers . 附属書4:IHP設計者へのインタビュー .
Appendix 5: Interview with IHP PCB experts . 附属書5:IHP PCBエキスパートへのインタビュー .
Appendix 6: Attack scenario evaluations . 附属書6:攻撃シナリオの評価 .
Appendix 7: Implemented Trojan code 附属書7:実装されたトロイの木馬コード.
Appendix 8: PCB experiment Additional details 附属書8:PCB 実験 追加詳細.

 

序文...

1 Introduction  1 序文 
Today, the development and implementation of complex IT systems is very often no longer carried out by a single manufacturer, who performs and controls all development and production steps completely himself. This division of labour has clear advantages such as shorter “time-to-market” and reduced costs. It also has the advantage that the necessary competences and tools/machines are focused on core areas. However, the clear disadvantage is that there are risks associated with the division of labour in terms of product quality (reliability/safety). This also holds true for all aspects of security, leading to the loss of confidentiality, privacy etc. Changes in the product can be made at almost all stages of development and production. The aim of this study is to analyse the potential risk in all the development steps from the initial design down to the final product.  今日、複雑なITシステムの開発・実装は、もはや製造事業者1社で行われることは少なくなりつつある。このようなディビジョンには、「市場投入までの時間」の短縮やコストの削減といった明確な利点がある。また、必要なコンピテンシーやツール/マシンをコア領域に集中させることができるという利点もある。しかし、明確なデメリットは、製品の品質(信頼性/安全性)の面で、分業に伴うリスクが存在することである。これはセキュリティのあらゆる面にも当てはまり、機密性やプライバシーなどの喪失につながる。製品の変更は、開発・生産のほぼすべての段階で行われる可能性がある。この研究の目的は、初期設計から最終製品に至るまでのすべての開発段階における潜在的リスクを分析することである。
In 2018 Bloomberg published an article that discussed potential manipulations of Supermicro motherboards that were “extended” by an additional Integrated Circuit (IC) during manufacturing [1]. Supermicro customers are amongst others companies like Amazon and Apple who use the mainboards e.g. in their cloud servers. According to Bloomberg the alleged manipulations were discovered during routine reviews during an acquisition of Elemental by Amazon (AWS) as well as by Apple in their data centres. The involved companies denied the reports. Bloomberg on the other hand insisted on the factual correctness of their reporting. They state that “investigators determined that the chips allowed the attackers to create a stealth doorway into any network that included the altered machines” and cite several independent anonymous sources from within the allegedly involved companies as well as from the U.S. government [1]. In addition, Bloomberg published another article in 2021, where a manipulation of software i.e. of the Basic Input/Output System (BIOS) of Supermicro motherboards was mentioned [2].  2018年、ブルームバーグは、製造中に追加集積回路(IC)によって「拡張」されたSupermicroマザーボードの潜在的な操作について論じた記事を掲載した[1]。Supermicroの顧客には、クラウドサーバーなどでメインボードを使用しているアマゾンやアップルなどの企業が名を連ねている。Bloombergによると、この不正操作の疑惑は、アマゾン(AWS)によるエレメンタルの買収時、およびアップルによるデータセンターでの定期的なレビュー時に発見されたという。関係各社はこの報道を否定している。一方、ブルームバーグは報道の事実の正しさを主張した。彼らは、「ガバナンスは、攻撃者が変更されたマシンを含む任意のネットワークへのステルス入り口を作成することができたチップを決定した」と述べ、米国政府だけでなく、関与したとされる企業内の複数の独立した匿名の情報源を引用している[1]。さらにBloombergは2021年に別の記事を発表しており、そこではSupermicroのマザーボードのBIOS(Basic Input/Output System:基本入出力システム)のソフトウェア操作が言及されている[2]。
Whether the reported attacks really happened or not is still an open discussion. Supermicro claims that such attacks did not happen and that they were not informed by any governmental agency. On the other hand, Bloomberg insists on the reports.  報告された攻撃が本当に起こったかどうかは、まだ未解決の議論である。Supermicro社は、そのような攻撃は起きておらず、政府機関からも知らされていないと主張している。一方、Bloombergは報道を主張している。
Even though it is not clear whether this attack really happened as described by Bloomberg, their reports clearly indicates that Information technology (IT) products compiled by many companies scattered all over the world are to a certain extent vulnerable to malicious manipulations run by one of these different suppliers.  この攻撃が本当にブルームバーグの言うとおりに起こったかどうかは定かでないにせよ、彼らの報道は、世界中に散らばる多くの企業がまとめた情報技術(IT)製品は、これらの異なるサプライヤーのいずれかによって実行される悪意ある操作に対してある程度脆弱であることを明確に示している。
Since there is little to no information available about the functionality of the aforementioned additional ICs and the changes in the BIOS, there is also no information about the goals of the attack and the attacker. In principle an attacker can pursue the following goals with hardware-related attacks:  前述の追加ICの機能やBIOSの変更に関する情報はほとんどないため、攻撃の目的や攻撃者に関する情報もない。原則として、攻撃者はハードウェア関連の攻撃で以下の目標を追求することができる: 
•      Damage to the reputation of a supplier by deliberately manufacturing low-quality Application-Specific Integrated Circuits (ASICs), this attack then targets a specific victim.   ・低品質の特定用途向け集積回路(ASIC)を意図的に製造することで、製造事業者の評判を落とす。 
•      Espionage to obtain know-how, company secrets and/or secret information such as cryptographic keys. This can be achieved, among other things, through the use of backdoors. Such attacks can target both the manufacturer and its customers, and can have a “broad” effect.   ・ノウハウ、企業秘密、暗号鍵などの秘密情報を入手するためのスパイ行為。これは、特にバックドアの使用によって達成される。このような攻撃は、製造事業者とその顧客の両方を標的にすることができ、「広範な」影響を及ぼす可能性がある。
•      “Kill switch”: Here, the attacker tries to manipulate the system in such a way that he can switch off its functionality. This attack also targets many rather than one specific victim, at least in preparation. If the “kill switch” is activated, this may be done very selectively.   ・キルスイッチ」: この攻撃では、攻撃者はシステムの機能を停止させるようにシステムを操作しようとする。この攻撃も、少なくとも準備段階では、特定の被害者一人ではなく、多数の被害者をターゲットにする。もし「キル・スイッチ」が作動すれば、これは非常に選択的に行われる可能性がある。
We focus on these attack scenarios, since they are widely discussed in the literature[1],[2]. Of course each scenario comes with certain risks for the attacker as well, e.g. damaging the reputation of a supplier by deliberately manufacturing low-quality ASICs[3] must be carried out respectively concealed in such a way that the reputation damage does not spread to the attacker, or that such reputation damage is willingly taken into account.  これらの攻撃シナリオは文献[1]、[2]で広く議論されているため、ここではこれらの攻撃シナリオに焦点を当てる。例えば、意図的に低品質の ASIC[3]を製造することでサプライヤの評判を落とすような場合、その評判へのダメージが攻撃者に波及しないように、あるいはそのような評判へのダメージが進んで考慮されるように、それぞれを隠蔽して実行しなければならない。
The type of attack and its complexity depend greatly on the target of the attacker. The possible points of attack in the value chain are discussed in this report. The analyses in this report are based on the assumption that the “system developer” i.e. the company that aims at implementing a certain functionality and that starts the development process has no malicious insiders. This is due to the fact that in the core of the design process all essential information are available. We are aware of the fact that also a team member of the “system development entity” might be malicious. But since the focus of this study is on the threats that arise from a global supply chain, we assume in this document that the “system development entity” is benign. A reflection of malicious insiders in the “system development entity” will be given in the conclusion to ensure that this threat is not overlooked.  攻撃の種類とその複雑さは、攻撃者のターゲットに大きく依存する。本レポートでは、バリュー・チェーンにおける攻撃の可能性について論じる。本レポートの分析は、「システム開発者」、すなわちある機能の実装を目的とし、開発プロセスを開始する企業には、悪意のある内部関係者がいないという前提に基づいている。これは、設計プロセスの中核において、すべての重要な情報が利用可能であるという事実によるものである。我々は、「システム開発事業体」のチームメンバーも悪意を持っている可能性があるという事実を認識している。しかし、この研究の焦点はグローバルなサプライチェーンから生じる脅威であるため、この文書では「システム開発事業体」は良性であると仮定する。システム開発事業体」における悪意のある内部者についての考察は、この脅威が見落とされないように、結論において行う。
The focus of the work packages is on development steps not executed by “system development entity”. So, mainly the “interfaces” between the manufacturing steps are considered potentially dangerous as information exchanged is the basis for a potential attacker to mount his attack. The external subcontractors are considered no trustworthy i.e. there may be malicious insiders or the whole company may be malicious.   作業パッケージの焦点は、「システム開発主体」が実行しない開発ステップにある。そのため、主に製造事業者間の「インターフェイス」は、潜在的な攻撃者が攻撃を仕掛けるための基礎となる情報交換が行われるため、潜在的に危険であると考えられる。外部の下請け業者は信用できないと考えられる。つまり、悪意のある内部関係者がいるかもしれないし、会社全体が悪意を持っているかもしれない。 
This report is structured corresponding to the work packages (WP) of the project PANDA, i.e. each chapter of this reports represents the results of one of the following work packages:   本報告書は、PANDAプロジェクトの作業パッケージ(WP)に対応した構成となっている。つまり、本報告書の各章は、以下の作業パッケージの1つの結果を表している:  
•      WP2: Design and Manufacturing steps from the initial idea to the final product  ・WP2:最初のアイデアから最終製品までの設計・製造ステップ
•      WP3: Identification of potential vulnerabilities and attack scenarios including a detailed elaboration of selected attack scenarios  ・WP3:潜在的脆弱性と攻撃シナリオの特定(選択した攻撃シナリオの詳細な推敲を含む 
•      WP4: Prevention and detection options, risk assessment and recommendations  ・WP4 : 防止と検知のオプション、リスクアセスメントと提言
We present conclusions and recommendations in Chapter 5.   第5章では、結論と提言を示す。 
This document includes in addition 8 appendixes which present details e.g. on the experiments and expert interviews etc.  本書には、実験や専門家へのインタビューなどの詳細を示す 8 つの附属書が追加されている。

[1] Cf. e.g. https://www.tandfonline.com/doi/full/10.1080/15228053.2020.1824878  

[2] Cf. e.g. https://www.amida.com/enabling-hardware-trojan-detection-and-prevention-through-emulation/   

[3] Cf. e.g. https://doi.org/10.1007/978-3-319-68511-3_3

----

[1] Robertson, Jordan. Riley, Michael. 2018. The Big Hack: How China Used a Tiny Chip to Infiltrate U.S.

Companies. In Bloomberg Businessweek, Feature. https://www.bloomberg.com/news/features/2018-1004/the-big-hack-how-china-used-a-tiny-chip-to-infiltrate-america-s-top-companies#xj4y7vzkg

[2] Robertson, Jordan. Riley, Michael. 2021. Supermicro Hack: How China Exploited a U.S. Tech Supplier Over Years. Bloomberg, https://www.bloomberg.com/features/2021supermicro/?leadSource=uverify%20wall.

 

 

結論...

5 Conclusion  5 結論 
In this project we analysed the different steps in the development of a complex IT system covering all steps from the initial idea via design and manufacturing of an ASIC to the design and production of the PCB with respect to the probability of a successful attack. This probability depends on the knowledge and capabilities of a certain attacker and the effort such an attacker has. In order to determine this information, we gathered data from a thorough literature review, expert interviews and own experiments.   このプロジェクトでは、複雑な IT システムの開発における様々なステップを分析した。最初の アイデアから、ASIC の設計と製造、PCB の設計と製造に至るすべてのステップを、攻撃が 成功する確率に関して分析した。この確率は、ある攻撃者の知識と能力、そしてそのような攻撃者が持つ努力に依存する。この情報を決定するために、徹底的な文献調査、専門家へのインタビュー、独自の実験からデータを収集した。 
The result is that in each of the development stages successful attacks are possible. In which of the stages an attacker targets the design under development highly depends on the intentions of the attacker. The more targeted the attack shall be the higher is the probability that a later stage will be attacked. In these stages a potential victim can be defined more exactly. If an attacker is willing to spend some effort in order to “reach” many victims without a clear picture who they are, earlier development stages are more likely to be attacked.  その結果、各開発段階において成功する攻撃が可能であることがわかった。攻撃者がどの段階で開発中の設計を狙うかは、攻撃者の意図に大きく依存する。攻撃対象が多ければ多いほど、後の段階が攻撃される確率は高くなる。これらの段階では、潜在的な犠牲者をより正確に定義することができる。攻撃者が、被害者が誰なのかはっきりしないまま、多くの被害者に「接触」するために労力を費やすことを厭わないのであれば、より早い発展段階が攻撃される可能性が高くなる。
The analysis of the literature as well as the expert interviews clearly showed that:  専門家へのインタビューだけでなく、文献の分析からも、以下のことが明らかになった: 
•      Means to detect hardware Trojans are not easy to apply, as they require normally a “golden” device or at least a “golden” simulation which usually are not available except in scientific settings. The fact that it is normally unclear how to activate the Trojan makes its detection even harder. So, relying on hardware Trojan detection alone seems not to be sufficient. Nevertheless, for selected cases with a limited scope (e.g. trust anchor chips), Trojan detection methods can give at least a hint about potential manipulations. Therefore, it is important to invest in and have advanced chip analysis and detection capabilities available.  ・ハードウェアのトロイの木馬を検知する手段は、通常「ゴールデン」デバイスまたは少なくとも「ゴールデン」シミュレーションを必要とするため、適用するのは容易ではない。トロイの木馬を起動させる方法が不明確であることが、トロイの木馬の検知をさらに難しくしている。そのため、ハードウェアのトロイの木馬検知に頼るだけでは十分ではないようだ。とはいえ、限定された範囲(例えばトラスト・アンカー・チップ)の場合、トロイの木馬検出方法は、少なくとも潜在的な操作についてのヒントを与えることができる。したがって、高度なチップ分析・検知能力に投資し、利用できるようにすることが重要である。
•      Means to prevent hardware Trojans are limited. On the one hand such means are not easy to apply and will lead to significant overhead in terms of area and power consumption. On the other hand they cannot be applied to the whole design so an attack may still be capable to integrate a hardware Trojan in the non-protected parts.   ・ハードウェアのトロイの木馬を防ぐ手段は限られている。一方では、そのような手段を適用するのは容易ではなく、面積や消費電力の面で大きなオーバーヘッドをもたらす。一方では、設計全体に適用することができないため、保護されていない部分にハードウェア・トロイの木馬を組み込む攻撃も可能である。
•      The most promising approach is split manufacturing as it limits the information available to a manufacturer about a certain design significantly. But the process of organising an appropriate manufacturing process including finding compatible manufacturers that are willing to support such a process is very complex.   ・最も有望なアプローチは、製造事業者が特定の設計について入手できる情報を大幅に制限できる分割製造である。しかし、そのようなプロセスをサポートしてくれる互換性のある製造事業者を見つけることを含め、適切な製造プロセスを組織するプロセスは非常に複雑である。
Our experiments showed that a hardware Trojan can be integrated with rather limited effort and confirmed that such a Trojan can hardly be detected. The additional area and energy consumption are negligible. Also the integration of an additional IC in a complex motherboard was researched. The effort to accomplish this is rather negligible. Also in this case, the experiments showed that detecting the implemented chip is extremely difficult. Even x-raying the PCB does not guarantee to detect such a manipulation.  我々の実験は、ハードウェアのトロイの木馬が、むしろ限られた労力で統合できることを示し、そのようなトロイの木馬はほとんど検知できないことを確認した。追加の面積とエネルギー消費はごくわずかである。また、複雑なマザーボードに追加ICを組み込むことも研究された。このための労力はごくわずかである。この場合も、実装されたチップを検出するのは極めて困難であることが実験で示された。PCBをX線検査しても、このような操作を検出できる保証はない。
So, the main take home messages are:  つまり、主な留意点は以下の通りである: 
•      Attacks such as the manipulation of a motherboard as described by Bloomberg in 2018 [1] are feasible and most probably will go undetected. However, whether Bloomberg’s claim is correct or not remains open.  ・2018年にブルームバーグが説明したようなマザーボードの操作のような攻撃は実現可能であり、おそらく発見されないだろう。ただし、ブルームバーグの主張が正しいかどうかは未解決である。
•      The insertion of hardware Trojans is also feasible and it is very difficult to detect such a manipulation. It is especially difficult if the manipulation is integrated in an open hardware core, or if the design house is malicious. This means that purchasing equipment from a manufacturer that is not considered fully trustworthy always comes with a certain risk, as it will never be 100% assured that there is no malicious manipulation present.  ・ハードウェアのトロイの木馬を挿入することも可能であり、そのような操作を検知するのは非常に困難である。オープンなハードウェア・コアに組み込まれている場合や、設計会社が悪意を持っている場合は特に難しい。つまり、完全に信頼できるとは言えない製造事業者から機器を購入することは、常に一定のリスクを伴うということである。
•      To limit scope and make this analysis feasible in terms of effort, we excluded insider attacks in our analysis. Yet, they need to be considered carefully. Bribing or blackmailing employees of a design house is a cost efficient way to get the expertise, knowledge and access to a certain design to mount a stealth attack.   ・分析範囲を限定し、労力的に実現可能な分析にするため、インサイダー攻撃は分析から除外した。しかし、これらは慎重に検討する必要がある。デザイン・ハウスの従業員に賄賂を贈ったり、脅迫したりすることは、ステルス攻撃を仕掛けるための専門知識、知識、特定のデザインへのアクセス権を得るためのコスト効率の良い方法である。
Based on the results of this project our main recommendations from a business administration point of view are:  このプロジェクトの結果に基づき、経営管理の観点から私たちが推奨する主な方法は以下の通りである: 
•      Trustworthy personnel: Invest in personnel to set-up a trust relationship and avoid that employees are turned into malicious agents of an opponent.  ・信頼できる人材を確保する: 信頼関係を構築し、従業員が敵の悪意あるエージェントと化すことを避けるために、人材に投資する。
•      Trustworthy IT infrastructure: In case a corporate network gets hacked, an external attacker has the same means to manipulate designs. State of the art IDS, appropriate site-audits etc. are a must, and must in particular take this attack vector into consideration.  ・信頼できるITインフラ: 企業ネットワークがハッキングされた場合、外部の攻撃者は同じ手段で設計を操作することができる。最新のIDS、適切なサイト監査などが必須であり、特にこの攻撃ベクトルを考慮しなければならない。
•      Trustworthy suppliers: Trusted relationships with suppliers, ideally along the complete supply chain, are the best means to avoid stealthy manipulations.  ・信頼できるサプライヤー: サプライヤーとの信頼関係、理想的には完全なサプライチェーンに沿った信頼関係が、ステルス的な操作を回避する最善の手段である。
•      Use Reliable suppliers - even if it means higher cost - instead of subcontracting new partners every now and then.  ・時々新しいパートナーと下請け契約を結ぶのではなく、たとえコストが高くなったとしても、信頼できるサプライヤーを利用すること。
But the results of this project are also of importance from a national economical point of view. The fact that attacks may be successful in different development steps means that:  しかし、このプロジェクトの結果は、国家経済の観点からも重要である。さまざまな開発ステップで攻撃が成功する可能性があるということは、次のようなことを意味する: 
•      Own Production Facilities: Providing own production facilities does not necessarily prevent manipulation of products; nevertheless it reduces certain risks and political dependencies while increasing availability in case of a global supply shortage. Ensuring design capabilities along the complete supply chain is essential to detect and prevent manipulations, despite this is not sufficient.   ・独自の生産設備: 自社生産施設:自社生産施設をプロバイダとして提供することは、必ずしも製品の不正操作を防ぐことにはならない。しかし、それにもかかわらず、一定のリスクと政治的依存を軽減し、同時に世界的な供給不足の場合の可用性を高めることになる。しかし、それだけでは十分ではなく、サプライチェーン全体における設計能力を確保することが、不正操作の検知と防止には不可欠である。
•      Advanced Detection Capabilities: Detection of manipulations can only be done on an individual case-by-case scenario for high-value circuits, e.g. trust anchors. Invest in advanced detection capabilities in order to handle such cases, to deter attackers in the first place, and in order to increase the cost and effort required for an attacker as trivial manipulations do not go undetected.  ・高度な検知能力: 操作の検知は、トラスト・アンカーなど高価値の回路については、個別のケース・バイ・ケースでしか行えない。このようなケースに対応し、攻撃者を抑止するため、また、些細な操作では検知されないため、攻撃者に必要なコストと労力を増加させるために、高度な検知能力に投資する。
•      R&D in the field of detecting manipulations. Several approaches seem to be promising and may increase the abilities of a user to detect manipulations significantly.  ・操作の検知分野における研究開発。いくつかのアプローチは有望であり、ユーザーの検知能力を大幅に向上させる可能性がある。
In any case the complete supply chain needs a thorough and individual assessment for all sensitive developments or products.   いずれにせよ、サプライチェーン全体において、すべての機密性の高い開発品や製品について、徹底的かつ個別的なアセスメントが必要である。 

 

 

| | Comments (0)

2024.06.13

世界経済フォーラム (WEF) 製造事業者がサイバーレジリエンス文化を構築する3つの方法

こんにちは、丸山満彦です。

世界経済フォーラム (WEF) が、製造事業者がサイバーレジリエンス文化を構築する3つの方法という記事を載せていますね。。。

1. Make cyber resilience a business priority.  1. サイバーレジリエンスをビジネスの優先事項とする。
2. Drive cyber resilience by design.  2. 設計によってサイバーレジリエンスを推進する。
3. Engage and manage the ecosystem. 3. エコシステムを関与させ、管理する。

 

企業文化をつくる、変えるという意味では、経営者が率先して言葉にして、行動しないといけませんよね...

COSOの内部統制の報告書では、Tone the Top [wikipedia] という表現を使っていますね。。。

 

・2024.06.07 3 ways manufacturers can build a culture of cyber resilience

3 ways manufacturers can build a culture of cyber resilience 製造事業者がサイバーレジリエンス文化を構築する3つの方法
This article is part of: Centre for Advanced Manufacturing and Supply Chains この記事は先進製造・サプライチェーンセンターの一部である。
・A cyberattack on a manufacturer can have significant knock-on effects that can even spread beyond the industry to other organisations along the supply chain. ・製造事業者がサイバー攻撃を受けると、その影響は大きく、業界を超えてサプライチェーン上の他の組織にまで波及する可能性がある。
・The expense and business impact of pausing production makes it difficult for manufacturers to make system changes or upgrades to address cybersecurity, but this also makes them a prime target for cyberattacks. ・製造事業者がサイバーセキュリティに対応するためにシステムの変更やアップグレードを行うことは、生産を一時停止することによる費用やビジネスへの影響を考えると難しい。
・By following three key principles, manufacturers can integrate cyber resilience into their organizational culture to help boost their own security – and that of the other organisations in their business networks. ・製造事業者は、3 つの主要原則に従うことで、サイバーレジリエンスを組織文化に統合し、自組織のセキュリ ティを高めることができる。
The manufacturing sector, an essential element of the global economy, encompasses diverse industries such as consumer goods, electronics, automotive, energy and healthcare. Due to its global reach and impact, it plays a significant role in exports, innovation and productivity growth, fuelling economic development worldwide. グローバル経済に不可欠な製造事業者は、消費財、エレクトロニクス、自動車、エネルギー、ヘルスケアなど多様な業界を包含している。その世界的な広がりと影響力により、製造業は輸出、技術革新、生産性向上において重要な役割を果たし、世界中の経済発展を促進している。
The global spread of manufacturing production facilities creates complex supply chains in which producers are also often consumers. Manufacturing is also inherently intertwined with other sectors such as logistics, energy and information technology. And so, any disruption to the manufacturing process can cascade throughout many other sectors – and around the world. 製造業の生産拠点が世界各地に広がることで、複雑なサプライチェーンが形成され、そこでは生産者が消費者でもあることが多い。製造事業者はまた、ロジスティクス、エネルギー、情報技術といった他のセクターとも本質的に絡み合っている。そのため、製造工程に何らかの混乱が生じると、他の多くの部門に、そして世界中に連鎖する可能性がある。
Over the past decade, the manufacturing sector has undergone rapid digital transformation, embracing innovations such as digital twins, robotics, artificial intelligence, cloud computing and the industrial internet of things (IIoT). While these advances drive growth and efficiency, they also expose the sector to cyber threats. 過去10年間、製造事業者は急速なデジタル変革を遂げ、デジタル・ツイン、ロボット工学、人工知能、クラウド・コンピューティング、モノの産業用インターネット(IIoT)などのイノベーションを取り入れてきた。こうした進歩は、成長と効率化を促進する一方で、製造業をサイバー脅威にさらしている。
 Fig1_20240612172301
The rise of cybersecurity attacks サイバーセキュリティ攻撃の増加
The transition from isolated systems to interconnected ones alongside the rise of the internet and then cloud computing has heightened cybersecurity challenges for industrial organisations – especially since different organisations don't always put the same emphasis on investing in cybersecurity. Increased data exchange throughout the entire supply chain only amplifies these risks. The result is that cyber risk is systemic, contagious and often beyond the understanding or control of any single entity. インターネット、そしてクラウド・コンピューティングの台頭とともに、孤立したシステムから相互接続されたシステムへの移行は、産業組織にとってのサイバーセキュリティの課題を高めている。サプライチェーン全体でのデータ交換の増加は、こうしたリスクを増幅させるだけである。その結果、サイバーリスクはシステム化され、伝染し、しばしば単一の事業体の理解や制御を超えることになる。
20240612-173103
In fact, heightened connectivity and data transparency has made manufacturing the most targeted sector for cyberattacks for three years in a row. It now accounts for 25.7% of attacks, with ransomware involved in 71% of these incidents. Manufacturing organizations are a particularly lucrative and accessible target for ransomware due to their low tolerance for downtime and relatively low level of cyber maturity compared to other sectors. 実際、接続性とデータの透明性が高まったことで、製造事業者は3年連続でサイバー攻撃の最も標的とされる部門となっている。現在、攻撃の25.7%を占めており、その71%にランサムウェアが関与している。製造事業者は、ダウンタイムに対する耐性が低く、サイバー成熟度が他のセクターと比べて比較的低いため、ランサムウェアにとって特に有利でアクセスしやすいターゲットとなっている。
Manufacturing companies also often lag behind when it comes to investment in cyber resilience because of their extended production cycles and the hefty investments needed to redesign manufacturing lines. In February 2024, for example, a German battery manufacturer had to halt production at 5 plants for over 2 weeks due to a cyberattack on its IT system. また、製造事業者は、生産サイクルが長く、製造ラインの再設計に多額の投資が必要なため、サイバーレジリエンスへの投資が遅れがちである。たとえば、2024 年 2 月には、ドイツの電池製造事業者が、IT システムへのサイバー攻撃により、5 つの工場で 2 週間以上にわたって生産を停止せざるを得なくなった。
With the costs of attacks on this sector increasing by 125% each year, cyber risk is now seen as the third biggest external risk to manufacturers. この分野への攻撃コストは毎年125%増加しており、サイバーリスクは現在、製造事業者にとって3番目に大きな外部リスクと見なされている。
Fig2_20240612172401
Building a cyber resilient culture サイバーレジリエンス文化の構築
The manufacturing sector faces challenges building cyber resilience across five dimensions. Chief among these is the cultural mindset gap between enterprise (or office-based) and industrial environments, with the latter often prioritizing physical safety over cyber safety. This gap poses a significant hurdle to cyber resilience efforts. 製造事業者は、5つの側面からサイバーレジリエンスを構築するという課題に直面している。その最たるものが、エンタープライズ環境(またはオフィス環境)と産業環境との間の文化的な考え方のギャップであり、後者ではサイバーセーフティよりも物理的な安全性が優先されることが多い。このギャップは、サイバーレジリエンスへの取り組みに大きな障害となっている。
Technical challenges are also a major barrier. Outdated legacy systems combined with the number of connected assets within industrial control systems has left many manufacturing organizations unprepared to fend off sophisticated cyber threats. 技術的な課題も大きな障壁である。時代遅れのレガシーシステムと、産業用制御システムに接続された資産の数とが相まって、多くの製造事業者は、高度なサイバー脅威を撃退する準備ができていない。
Manufacturers are also often reluctant to take factories offline to make upgrades in security or deal with cyberattacks. Along with the industry’s extended ecosystem dependencies, this also makes maintaining cyber resilience difficult. Additionally, strategic challenges arise from dynamic tensions between economic factors, market forces and geopolitical issues. For example, manufacturing is influenced by external forces such as the global inflation and rising energy costs. In a recent report, Rockwell highlighted cyber risks as the third biggest obstacle for manufacturers behind these other factors. 製造事業者はまた、セキュリティのアップグレードやサイバー攻撃への対処のために工場をオフラインにすることに消極的な場合が多い。エコシステムへの依存度が高いことも、サイバーレジリエンスを維持することを困難にしている。さらに、戦略的な課題は、経済的要因、市場の力、および地政学的問題の間の動的な緊張関係 から生じる。例えば、製造事業者は、世界的なインフレやエネルギーコストの上昇といった外的要因の影響を受けている。ロックウェル社は最近の報告書で、製造事業者にとってサイバーリスクは、こうした他の要因に次いで3番目に大きな障害であると強調している。
Another complication is that manufacturers must navigate various regulations and industry standards concerning human and product safety, data protection and cybersecurity. This is made even more difficult if companies have decentralized operations – most manufacturers have factories around the world, as well as working with subsidiaries that may have their own decision-making practices and priorities. Operating across diverse regulatory landscapes only adds more complexity. もうひとつ複雑なのは、製造事業者が人的安全や製品安全、データ保護、サイバーセキュリティに関するさまざまな規制や業界標準を乗り越えなければならないことだ。製造事業者の多くが世界中に工場を持ち、独自の意思決定や優先順位を持つ子会社と連携しているためだ。多様な規制環境にまたがって事業を行うことは、さらに複雑さを増すだけである。

3 ways to make manufacturing cyber resilient 製造業のサイバーレジリエンスを高める3つの方法
Regardless of these complexities, the manufacturing sector must deal with cyber challenges so it can explore new technologies in a secure manner. In this context, the World Economic Forum’s Centre for Cybersecurity and the Centre for Advanced Manufacturing and Supply Chains recently convened a community of cyber leaders across manufacturing to discuss the key challenges and identify best practices. このような複雑さにかかわらず、製造事業者は、安全な方法で新技術を探求できるよう、サイバー上の課題に対処しなければならない。このような背景から、世界経済フォーラムのサイバーセキュリティ・センターと先進製造業・サプライチェーン・センターは最近、製造業全体のサイバーリーダーたちのコミュニティを招集し、主要な課題について議論し、ベストプラクティスを特定した。
The resulting playbook, Building a Culture of Cyber Resilience in Manufacturing, outlines three cyber resilience principles: その結果作成されたプレイブック「製造業におけるサイバーレジリエンス文化の構築」では、3つのサイバーレジリエンス原則が概説されている:
1. Make cyber resilience a business priority. This principle emphasizes the need for cultural change and a comprehensive cybersecurity governance. It also covers the importance of securing budget and resources, while also creating incentives to ensure that cybersecurity is an objective embraced by all stakeholders. 1. サイバーレジリエンスをビジネスの優先事項とする。この原則は、企業文化の変革と包括的なサイバーセキュリティガバナンスの必要性を強調している。また、予算とリソースを確保することの重要性を取り上げると同時に、サイバーセキュリティがすべての利害関係者に受け入れ られる目標であることを確実にするためのインセンティブを生み出すことも示している。
2. Drive cyber resilience by design. This means integrating cyber resilience into every aspect of processes and systems. A risk-based approach must be used to incorporate cyber resilience into the development of new products, processes, systems and technologies. 2. 設計によってサイバーレジリエンスを推進する。これは、プロセスとシステムのあらゆる側面にサイバーレジリエンスを組み込むことを意味する。リスクベースのアプローチを用いて、新製品、プロセス、システム、および技術の開発にサイバーレジリエンスを組み込む必要がある。
3. Engage and manage the ecosystem. 3. エコシステムを関与させ、管理する。
This principle underlines the importance of fostering trusted partnerships and raising security awareness among stakeholders. Rather than having one organization exert control over a supply chain of other actors, an ecosystem approach involves encouraging all entities in a business network to collaborate to address issues like cybercrime. この原則は、信頼できるパートナーシップを醸成し、利害関係者のセキュリティ意識を高めることの重要性を強調するものである。エコシステム・アプローチでは、1つの組織が他の関係者のサプライチェーンを管理するのではなく、事業ネットワーク内のすべての事業体が協力してサイバー犯罪などの問題に対処することを奨励する。
This kind of increased connectivity should not mean more risk, in fact it can actually help to shift or even gradually improve the risk exposure of an organization. As such, connectivity can provide tremendous benefits to an organization’s cybersecurity programme. It means that systems that were once isolated, providing companies with little visibility, can be managed more effectively at a larger scale. このようなコネクティビティの向上は、リスクの増大を意味すべきではなく、むしろ組織のリスク・エクスポージャーをシフトさせたり、徐々に改善させたりするのに役立つ。このように、接続性は組織のサイバーセキュリティ・プログラムに多大なメリットをもたらす。それは、かつては孤立し、企業にほとんど可視性を提供しなかったシステムを、より大規模に、より効果的に管理できるようになることを意味する。
Fig3_20240612172501
These three principles are interlinked and mutually supportive. They are supported by 17 real-world manufacturing use cases and so are applicable across any manufacturing industry and location. And as digitalization progresses, organizations in the manufacturing sector must use these principles to prioritize building a robust cyber resilience culture. This will help the industry navigate the growing cyber threat landscape more effectively. これら3つの原則は相互にリンクしており、相互に支え合っている。これらの原則は、実際の製造事業者における 17 のユースケースによって裏付けられているため、どのような製造業 界や場所にも適用可能である。そして、デジタル化の進展に伴い、製造部門の組織は、これらの原則を活用して、強固なサイバーレジリエンス文化を構築することを優先しなければならない。そうすることで、拡大するサイバー脅威の状況をより効果的に乗り切ることができるようになる。

 


 

| | Comments (0)

2024.06.11

OECD 「人工知能、データ、競争」

こんにちは、丸山満彦です。

OECDが、「人工知能、データ、競争」についての報告書を公表していますね...

 

OECD

・2024.06.12 Artificial Intelligence, Data and Competition

Artificial Intelligence, Data and Competition 人工知能、データ、競争
Recent developments in generative artificial intelligence (AI) have drawn widespread attention to the broader disruptive potential of AI as a technology. With its increasing capabilities, and the prospect of more in the future, AI has the potential to have a significant impact on economies, and humanity in general, across the globe. These developments have led to many speculating on the future prominent place AI will take in many, if not all, aspects of human lives in the coming years and decades. 生成的人工知能(AI)の最近の発展は、テクノロジーとしてのAIの広範な破壊的可能性に広く注目を集めている。AIはその能力を高めつつあり、将来的にはさらにその能力を高めることが予想されるため、世界中の経済や人類全般に大きな影響を与える可能性を秘めている。こうした動きから、今後数年、数十年の間に、人間の生活のすべてではないにせよ、多くの側面でAIが将来的に重要な位置を占めるようになるだろうと、多くの人が推測している。
Given the spotlight on its potential as a transformative technology, policy makers are already considering how to manage risks from AI, including those relating to privacy, ethics and disruption. Competition policy has not been immune from such considerations, with many commentators, and competition authorities themselves, already considering if there may be risks to the state of competition in the provision of AI services. Given the potential importance of continued innovation and equitable access to AI technology, and the potential time required for authorities to understand the relevant issues, now is an opportune time to discuss AI and competition. 変革的技術としてのAIの可能性が注目される中、政策立案者たちはすでに、プライバシー、倫理、混乱など、AIがもたらすリスクをどのようにマネジメントすべきかを検討している。競争政策もこのような検討から免れておらず、多くの論者や競争当局自身が、AIサービスの提供における競争状態にリスクがあるかどうかをすでに検討している。継続的なイノベーションとAI技術への公平なアクセスが潜在的に重要であり、関連する問題を当局が理解するのに時間がかかる可能性があることを考えると、今はAIと競争について議論する好機である。
In June 2024, the OECD will hold a discussion on Artificial Intelligence, Data and Competition to discuss the recent developments in AI, explore potential concerns about future competition and consider what actions are available for authorities to take. To understand such issues, an understanding of the key mechanics of AI technology is important, and a panel of invited experts will discuss the main aspects of emerging business models of the main players and the key parts of the production process. 2024年6月、OECDは「人工知能、データ、競争」に関するディスカッションを開催し、AIの最近の発展について議論し、将来の競争に関する潜在的な懸念を探り、当局がどのような行動を取ることが可能かを検討する。このような問題を理解するためには、AI技術の重要な仕組みを理解することが重要であり、招聘された専門家パネルが、主要プレイヤーの新興ビジネスモデルの主要な側面と、生産プロセスの主要な部分について議論する。
The discussion will try to address: 議論では、以下のような点を取り上げている:
・The emergence of AI and its business models: What is AI and the key parts of the valuechain? What is required to successfully develop AI models and deploy them? What are/willbe the business models underpinning the development of AI? ・AIの出現とそのビジネスモデル: AIとバリューチェーンの主要部分とは何か?AIモデルの開発を成功させ、それを展開するためには何が必要か?AIの発展を支えるビジネスモデルとは何か?
・Competition in the supply of AI: How do/will firms compete at different stages of the value chain? Are there risks to effective competition in the supply of AI, for example through the availability of key inputs? Are there parallels to be drawn with digital markets? ・AIの供給における競争:バリューチェーンの様々な段階において、企業はどのように競争するのか/するのか。例えば重要なインプットの入手可能性などを通じて、AIの供給における効果的な競争に対するリスクはあるか。デジタル市場との類似点はあるか。
・Competition policy and enforcement in AI: What could competition authorities do in the face of AI developments? What are the practical options for enforcement or advocacy of competition law from AI? ・AIにおける競争政策と執行:AIの発展に直面して競争当局は何ができるか?AIから競争法を執行または提唱するための実際的な選択肢は何か。

 

・20204.06.12 Artificial intelligence, data and competition



Artificial intelligence, data and competition< 人工知能、データ、競争
This paper discusses recent developments in Artificial Intelligence (AI), particularly generative AI, which could positively impact many markets. While it is important that markets remain competitive to ensure their benefits are widely felt, the lifecycle for generative AI is still developing. This paper focuses on three stages: training foundation models, fine-tuning and deployment. It is too early to say how competition will develop in generative AI, but there appear to be some risks to competition that warrant attention, such as linkages across the generative AI value chain, including from existing markets, and potential barriers to accessing key inputs such as quality data and computing power. Several competition authorities and policy makers are taking actions to monitor market developments and may need to use the various advocacy and enforcement tools at their disposal. Furthermore, co-operation could play an important role in allowing authorities to efficiently maintain their knowledge and expertise. 本稿では、人工知能(AI)、特に多くの市場にポジティブな影響を与える可能性のある生成的AIの最近の発展について論じる。その恩恵を広く享受するためには、市場が競争力を維持することが重要であるが、生成的AIのライフサイクルはまだ発展途上である。本稿では、基礎モデルの訓練、微調整、展開の3段階に焦点を当てる。生成的AIにおいて競争がどのように発展していくかを語るのは時期尚早であるが、既存市場も含めた生成的AIのバリューチェーン全体における連関や、質の高いデータやコンピューティング・パワーといった重要なインプットへのアクセスにおける潜在的な障壁など、注意を要する競争リスクがいくつか存在するように思われる。いくつかの競争当局と政策立案者は、市場の発展を監視するための行動をとっており、自由に使える様々な認可・執行手段を利用する必要があるかもしれない。さらに、当局がその知識と専門性を効率的に維持できるようにするためには、輸入事業者が重要な役割を果たす可能性がある。

 

・[PDF]

20240611-63218

 

目次...

Table of contents  目次 
Foreword  まえがき 
1 Introduction 1 序文
2 What is AI? 2 AIとは何か?
What is Artificial intelligence? 人工知能とは何か?
Generative AI 生成的AI
Potential economic impact of generative AI 生成的AIの潜在的経済効果
Generative AI lifecycle and value chain 生成的AIのライフサイクルとバリューチェーン
Generative AI lifecycle and different levels of the value chain 生成的AIのライフサイクルとバリューチェーンのさまざまなレベル
Foundation Models 基礎モデル
Data requirements データ要件
Computing power 計算能力
Other factors required to develop foundation models 基盤モデルの開発に必要なその他の要素
Fine-tuning / refining 微調整/精錬
Deployment of generative AI 生成的AIの展開
Overview 概要
3 Competition in the supply of AI 3 AI供給における競争
Why care about competition in the supply of AI? なぜAIの供給における競争を気にするのか?
What types of competition issues could emerge in the supply of generative AI? 生成的AIの供給においてどのような競争問題が生じうるか?
Structural factors 構造的要因
Economies of scale and first-mover advantages 規模の経済と先行者利益
Acquisitions and partnerships 買収と提携
Availability of data データの入手可能性
Access to data at the foundation level 基礎レベルでのデータへのアクセス
Access to data for fine-tuning and deployment 微調整と展開のためのデータへのアクセス
Access to compute コンピュートへのアクセス
Bundles, switching costs and ecosystems in the deployment of generative AI 生成的AIの展開におけるバンドル、スイッチングコスト、エコシステム
Access to individual consumers 個人消費者へのアクセス
Access to organisation customers 組織顧客へのアクセス
Access to other key factors その他の重要な要素へのアクセス
Access to foundation models 基盤モデルへのアクセス
Labour markets and entrepreneur entry 労働市場と起業家の参入
Access to other key factors その他の主要要因へのアクセス
Access to foundation models 基盤モデルへのアクセス
Labour markets and entrepreneur entry 労働市場と起業家参入
Summary and interrelation of factors 要因のまとめと相互関係
4 Tools available to competition authorities 4 競争当局が利用できるツール
Monitoring, advocacy and information gathering 監視、提言、情報収集
Market studies, Market Investigations or sectoral studies 市場調査、市場調査または分野別調査
Merger control 合併管理
Enforcement 強制執行
Remedial action 是正措置
Regulation 規制
Co-operation 協力
5 Future areas of interest for competition policy and AI 5 競争政策とAIの今後の関心分野
Effects of AI on competition in other markets AIが他市場の競争に及ぼす影響
Potential risks to competition across markets 市場全体の競争に対する潜在的リスク
Potential benefits for competition across markets 市場全体の競争にとっての潜在的利益
Use of AI for competition authorities 競争当局におけるAIの利用
Managing information and assessment 情報とアセスメントの管理
Improving intelligence and case selection 情報と案件選択の改善
6 Conclusion 6 まとめ
References 参考文献

 

 

| | Comments (0)

2024.06.10

内閣官房 サイバー安全保障分野での対応能力の向上に向けた有識者会議

こんにちは、丸山満彦です。

内閣官房で、サイバー安全保障分野での対応能力の向上に向けた有識者会議が開催され、資料が公表されていますね...

ここでいう(サイバー)対応能力というのは、何を示すのでしょうかね...資料3から見ると

脅威情報・脆弱性情報の共有

・ネット上の情報収集・分析

・攻撃元サーバ等の無害化

・これらを統括指揮する能力

という感じですかね...

大きくわけると、

・実行能力の問題(技術(製品、サービス、人材))

・実行環境の問題(法制度)

の2つがあると思います。実行能力の問題は、有識者会議で議論するというよりも、実際に対処するメンバー(実行部隊)で議論するのがよいと思います。もちろん、それがしやすくする前さばきとして、有識者会議で議論をしてもよいのですが...本質は実行力なので、実行部隊が関係者と連携してする話だろうと思います。

で、有識者会議で議論すべきものは、実行環境の整備すなわち、法制度の問題だろうと思います。安全保障上の課題に対して想定される運用に対して、どのような法整備が必要なのか?

これは、国家の安全保障と個人の権利利益のバランスをどのように図るべきかという高度な問題が本質的にはあるはずです。通信の秘密についてもそうですし、プライバシー保護についてもそうですし...

国家の安全保障を確保するための政府の権限を強化する一方で、その濫用に制限をかけるための監視機関をどうするか? 国のあり方にも関わる問題だと思うんですよね...

なので、本質的には憲法学者が有識者にはいっているべきなのですが、そうはなっていないように感じるんですよね。。。インターネットの特質的な話は前提知識として必要ではあるので、参考人として有識者会議でインプットするのは重要とは思いますが、本質はインターネットではないですよね...本質は安全保障であり、それは、国民と政府の関係ですよね...

このあたりは、資料3のP11にまとめられている論点として議論されていくのでしょうね...(ただ、ここに個人情報保護法が関係法律にはいっていないのが、少し気になります...)

 

と、思いながら...

 

内閣官房

・2024.06.07 サイバー安全保障分野での対応能力の向上に向けた有識者会議

第1回

20240609-130219

 

原稿制度上の課題...

20240609-130331

 

どういう社会を目指す上での課題か???といことが重要かもですね...

 

 

 

 

| | Comments (0)

中国 インターネット政府アプリケーションセキュリティ管理規定 (2024.05.22)

こんにちは、丸山満彦です。

中国の国家サイバースペース管理局がインターネット政府アプリケーションセキュリティ管理規定を公表していました。。。

日本政府においても参考になる部分は多いと思います...ほんと...

 

● 中央网安全和信息化委公室 (Cyberspace Administration of China: CAC)

・2024.05.22 互联网政务应用安全管理规定

互联网政务应用安全管理规定 インターネット政府アプリケーションセキュリティ管理規定
(2024年2月19日中央网络安全和信息化委员会办公室、中央机构编制委员会办公室、工业和信息化部、公安部制定 2024年5月15日发布) (ネットワーク安全情報化中央委員会弁公室、制度準備中央委員会弁公室、工業情報化部、公安部が2024年2月19日に制定し、2024年5月15日に公布した。)
第一章 总则 第一章 総則
第一条 为保障互联网政务应用安全,根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《党委(党组)网络安全工作责任制实施办法》等,制定本规定。 第1条 本規定は、インターネット政府アプリケーションのセキュリティを保護するため、中華人民共和国ネットワークセキュリティ法、中華人民共和国データセキュリティ法、中華人民共和国個人情報保護法および党委員会(党組)ネットワークセキュリティ業務責任体制実施弁法に基づき制定する。
第二条 各级党政机关和事业单位(简称机关事业单位)建设运行互联网政务应用,应当遵守本规定。 第2条 各レベルの党・政府機関および機構(以下、機関および機構という)がインターネット政府アプリケーションを構築・運用する場合、本規定を遵守しなければならない。
本规定所称互联网政务应用,是指机关事业单位在互联网上设立的门户网站,通过互联网提供公共服务的移动应用程序(含小程序)、公众账号等,以及互联网电子邮件系统。 本規定でいうインターネット政府アプリケーションとは、各機関および機構がインターネット上に開設するポータルサイト、モバイルアプリケーション(アプレットを含む)、インターネットを通じて公共サービスを提供するためのパブリックアカウント、およびインターネット電子メールシステムを指す。
第三条 建设运行互联网政务应用应当依照有关法律、行政法规的规定以及国家标准的强制性要求,落实网络安全与互联网政务应用“同步规划、同步建设、同步使用”原则,采取技术措施和其他必要措施,防范内容篡改、攻击致瘫、数据窃取等风险,保障互联网政务应用安全稳定运行和数据安全。 第3条 インターネット政府アプリケーションの構築と運用は、関連法律と行政法規の規定および標準の必須要件に従い、ネットワークセキュリティとインターネット政府アプリケーションの「同時計画、同時構築、同時利用」の原則を実施し、コンテンツの改ざん、麻痺への攻撃、データの盗難などのリスクを防止し、インターネット政府アプリケーションを保護するための技術的措置およびその他の必要な措置を講じなければならない。 コンテンツの改ざん、麻痺を引き起こす攻撃、データの盗難、その他のリスクを防止し、インターネット政府アプリケーションの安全で安定した運用とデータセキュリティを保証するために、技術的措置およびその他の必要な措置を講じる。
第二章 开办和建设 第二章 公開と構築
第四条 机关事业单位开办网站应当按程序完成开办审核和备案工作。一个党政机关最多开设一个门户网站。 第4条 各機関がウェブサイトを開設する場合、手続きに従って開設監査と届出作業を行わなければならない。 党と政府機関は、最大1つのポータルサイトを開設しなければならない。
中央机构编制管理部门、国务院电信部门、国务院公安部门加强数据共享,优化工作流程,减少填报材料,缩短开办周期。 中央組織管理部門、国務院傘下の電信部門、国務院傘下の公安部門は、データの共有を強化し、ワークフローを最適化し、提出資料の数を減らし、開設サイクルを短縮しなければならない。
机关事业单位开办网站,应当将运维和安全保障经费纳入预算。 ウェブサイトを開設する機関や組織は、運用・保守資金を予算に計上しなければならない。
第五条 一个党政机关网站原则上只注册一个中文域名和一个英文域名,域名应当以“.gov.cn”或“.政务”为后缀。非党政机关网站不得注册使用“.gov.cn”或“.政务”的域名。 第5条 党と政府機関は、原則として中国語のドメイン名と英語のドメイン名のみを登録し、ドメイン名は「.gov.cn」または「. government」を接尾辞とする。 非党および政府機関は、「.gov.cn」または「.government」ドメイン名の使用を登録してはならない。 government "ドメイン名の使用を登録してはならない。
事业单位网站的域名应当以“.cn”或“.公益”为后缀。 機関は、ウェブサイトのドメイン名「.cn」または「. .公共福祉」を接尾辞とする。
机关事业单位不得将已注册的网站域名擅自转让给其他单位或个人使用。 組織および機構は、登録したウェブサイトのドメイン名を許可なく他の単位または個人に譲渡してはならない。
第六条 机关事业单位移动应用程序应当在已备案的应用程序分发平台或机关事业单位网站分发。 第6条 組織・機関のモバイルアプリケーションは、記録用アプリケーション配布プラットフォームまたは組織・機関のウェブサイトで配布しなければならない。
第七条 机构编制管理部门为机关事业单位制发专属电子证书或纸质证书。机关事业单位通过应用程序分发平台分发移动应用程序,应当向平台运营者提供电子证书或纸质证书用于身份核验;开办微博、公众号、视频号、直播号等公众账号,应当向平台运营者提供电子证书或纸质证书用于身份核验。 第7条 設立管理部門は、組織・機関専用の電子証明書または紙の証明書を発行する。 また、マイクロブログ、公開番号、動画番号、生放送番号およびその他の公開アカウントを開設する際には、本人確認のために電子証明書または紙の証明書をプラットフォーム運営者に提供しなければならない。
第八条 互联网政务应用的名称优先使用实体机构名称、规范简称,使用其他名称的,原则上采取区域名加职责名的命名方式,并在显著位置标明实体机构名称。具体命名规范由中央机构编制管理部门制定。 第8条 インターネット政府アプリケーションの名称は、原則として、実体のある機関の名称、標準化された略称、その他の名称の使用を優先し、地域の名称に命名方法の責任の名称を加え、実体のある機関の名称を目立つ位置に表示する。 具体的な命名仕様は、中央機関設立管理部門が策定した。
第九条 中央机构编制管理部门为机关事业单位设置专属网上标识,非机关事业单位不得使用。 第9条 機関や機関が排他的なオンラインロゴを設定するための中央組織管理部門は、非機関を使用してはならない。
机关事业单位网站应当在首页底部中间位置加注网上标识。中央网络安全和信息化委员会办公室会同中央机构编制管理部门协调应用程序分发平台以及公众账号信息服务平台,在移动应用程序下载页面、公众账号显著位置加注网上标识。 機関および機構のウェブサイトは、ホームページの中央下部にオンラインロゴを追加しなければならない。 ネットワーク安全情報化中央委員会弁公室は、機関設立中央管理局と連携し、アプリケーション配信プラットフォームや公的口座情報サービスプラットフォームと調整し、モバイルアプリケーションのダウンロードページや公的口座の目立つ位置にオンラインロゴを追加する。
第十条 各地区、各部门应当对本地区、本部门党政机关网站建设进行整体规划,推进集约化建设。 第10条 各地方・各部門は、各地方・各部門の党・政府機関のウェブサイト構築の全体的な計画を行い、集中的な構築を推進しなければならない。
县级党政机关各部门以及乡镇党政机关原则上不单独建设网站,可利用上级党政机关网站平台开设网页、栏目、发布信息。 原則として、県レベルの党・政府部門と郷鎮の党・政府機関は、それぞれ別のウェブサイトを構築するのではなく、上位の党・政府機関のウェブサイトのプラットフォームを利用して、ウェブページを開設し、コラムを掲載し、情報を公開することができる。
第十一条 互联网政务应用应当支持开放标准,充分考虑对用户端的兼容性,不得要求用户使用特定浏览器、办公软件等用户端软硬件系统访问。 第11条 インターネット政府アプリケーションは、オープン標準をサポートし、利用者側の互換性を十分に考慮すべきであり、利用者がアクセスするために特定のブラウザ、オフィスソフトウェア、その他の利用者側のハードウェアおよびソフトウェアシステムを使用することを義務付けてはならない。
机关事业单位通过互联网提供公共服务,不得绑定单一互联网平台,不得将用户下载安装、注册使用特定互联网平台作为获取服务的前提条件。 インターネットを通じて公共サービスを提供する機関は、単一のインターネットプラットフォームにバインドされてはならない、ユーザーがダウンロードしてインストールし、サービスへのアクセスの前提として、特定のインターネットプラットフォームを使用するように登録してはならない。
第十二条 互联网政务应用因机构调整等原因需变更开办主体的,应当及时变更域名或注册备案信息。不再使用的,应当及时关闭服务,完成数据归档和删除,注销域名和注册备案信息。 第12条 制度調整およびその他の理由のためのインターネット政府のアプリケーションは、起動の本体を変更する必要がある、タイムリーな方法でドメイン名または登録レコード情報を変更する必要がある。 もはや使用して、サービスは、タイムリーに、完全なデータのアーカイブと削除、ドメイン名と登録情報のキャンセルを閉じる必要がある。
第三章 信息安全 第三章 情報セキュリティ
第十三条 机关事业单位通过互联网政务应用发布信息,应当健全信息发布审核制度,明确审核程序,指定机构和在编人员负责审核工作,建立审核记录档案;应当确保发布信息内容的权威性、真实性、准确性、及时性和严肃性,严禁发布违法和不良信息。 第13条 機関および機構は、インターネット政府の申請を通じて情報を公開し、情報公開監査制度を整備し、監査手続きを明確にし、監査業務を担当する機関および職員を指定し、監査記録ファイルを設けなければならない。また、公開された情報の内容の権威性、真実性、正確性、適時性、重大性を確保しなければならず、違法で望ましくない情報を公開することを厳禁する。
第十四条 机关事业单位通过互联网政务应用转载信息,应当与政务等履行职能的活动相关,并评估内容的真实性和客观性。转载页面上要准确清晰标注转载来源网站、转载时间、转载链接等,充分考虑图片、内容等知识产权保护问题。 第14条 機関および機構がインターネット政府アプリケーションを通じて情報を複製するのは、政府の事務とその他の機能発揮のための活動に関連するものでなければならず、内容の信憑性と客観性をアセスメントしなければならない。 転載ページには、転載元サイト、転載時期、転載リンクなどを正確かつ明確に表示し、画像やコンテンツなどの知的財産権の保護に十分配慮しなければならない。
第十五条 机关事业单位发布信息内容需要链接非互联网政务应用的,应当确认链接的资源与政务等履行职能的活动相关,或属于便民服务的范围;应当定期检查链接的有效性和适用性,及时处置异常链接。党政机关门户网站应当采取技术措施,做到在用户点击链接跳转到非党政机关网站时,予以明确提示。 第15条 機関および機構は、インターネット政府アプリケーション以外へのリンクを必要とする情報コンテンツを公開する場合、リンク先の資源が行政などの機能遂行活動に関連するものであること、または人民サービスの範囲に属するものであることを確認し、定期的にリンクの有効性と適用性をチェックし、適時に異常なリンクを廃棄しなければならない。党・政府機関のポータルサイトは、利用者がリンクをクリックして党・政府機関以外のウェブサイトにジャンプする際、明確に促すよう技術的措置を講じなければならない。
第十六条 机关事业单位应当采取安全保密防控措施,严禁发布国家秘密、工作秘密,防范互联网政务应用数据汇聚、关联引发的泄密风险。应当加强对互联网政务应用存储、处理、传输工作秘密的保密管理。 第16条 機関および機構は、セキュリティおよび機密の予防・管理措置を採用し、国家機密および業務機密の漏洩を厳禁し、インターネット政府アプリケーションのデータ集計・相関に起因する機密漏洩リスクを防止しなければならない。 インターネット政府アプリケーションの業務秘密の保存、処理、伝送の秘密管理を強化する。
第四章 网络和数据安全 第四章 ネットワーク及びデータセキュリティ
第十七条 建设互联网政务应用应当落实网络安全等级保护制度和国家密码应用管理要求,按照有关标准规范开展定级备案、等级测评工作,落实安全建设整改加固措施,防范网络和数据安全风险。 第17条 インターネット政府アプリケーションの構築は、関連標準と規範に基づき、ネットワークセキュリティレベル保護システムと国家パスワードアプリケーション管理要求を実施し、分類申告、レベル評価作業、セキュリティ構築の是正と強化措置を実施し、ネットワークとデータのセキュリティリスクを防止しなければならない。
中央和国家机关、地市级以上地方党政机关门户网站,以及承载重要业务应用的机关事业单位网站、互联网电子邮件系统等,应当符合网络安全等级保护第三级安全保护要求。 中央・国家機関、都道府県・市町村レベル以上の地方党・政府機関のポータルサイト、重要な業務アプリケーションを提供する機関および機構のウェブサイト、インターネット電子メールシステムなどは、第三段階のネットワークセキュリティレベル保護の要求に従わなければならない。
第十八条 机关事业单位应当自行或者委托具有相应资质的第三方网络安全服务机构,对互联网政务应用网络和数据安全每年至少进行一次安全检测评估。 第18条 機関および機構は、自ら、または相応の資格を有する第三者のネットワークセキュリティサービス機関に委託して、インターネット政府アプリケーションのネットワークおよびデータセキュリティのセキュリティテストおよび評価を少なくとも年1回実施しなければならない。
互联网政务应用系统升级、新增功能以及引入新技术新应用,应当在上线前进行安全检测评估。 インターネット政府アプリケーションシステムのアップグレード、新機能の追加、新技術および新アプリケーションの導入は、セキュリティテストおよび評価の前にオンラインで行うべきである。
第十九条 互联网政务应用应当设置访问控制策略。对于面向机关事业单位工作人员使用的功能和互联网电子邮箱系统,应当对接入的IP地址段或设备实施访问限制,确需境外访问的,按照白名单方式开通特定时段、特定设备或账号的访问权限。 第19条 インターネット政府アプリケーションは、アクセス制御ポリシーを設定しなければならない。 機関や機関のスタッフの使用のための機能とインターネット電子メールシステムの使用については、アクセス制限を実装するためにIPアドレスのセグメントまたはデバイスにアクセスする必要があります、本当に特定の期間、特定のデバイスまたはアカウントのアクセス権を開くには、ホワイトリスト方式に従って、外にアクセスする必要がある。
第二十条 机关事业单位应当留存互联网政务应用相关的防火墙、主机等设备的运行日志,以及应用系统的访问日志、数据库的操作日志,留存时间不少于1年,并定期对日志进行备份,确保日志的完整性、可用性。 第20条 機関および機構は、ファイアウォール、ホスト及びインターネット政府アプリケーションに関連するその他の機器の操作ログ、アプリケーションシステムのアクセスログ及びデータベースの操作ログを、1年以上の期間保存し、その完全性及び有用性を確保するために、定期的にバックアップを取らなければならない。
第二十一条 机关事业单位应当按照国家、行业领域有关数据安全和个人信息保护的要求,对互联网政务应用数据进行分类分级管理,对重要数据、个人信息、商业秘密进行重点保护。 第21条 機関および機構は、国家および業界のデータセキュリティおよび個人情報保護に関する要求に従い、インターネット政府アプリケーションのデータを分類・管理し、重要データ、個人情報および商業秘密の保護に重点を置かなければならない。
第二十二条 机关事业单位通过互联网政务应用收集的个人信息、商业秘密和其他未公开资料,未经信息提供方同意不得向第三方提供或公开,不得用于履行法定职责以外的目的。 第22条 機関および機構がインターネット政府アプリケーションを通じて収集した個人情報、商業秘密およびその他の非公開情報は、情報提供者の同意なく第三者に提供または開示してはならず、法定義務の履行以外の目的に使用してはならない。
第二十三条 为互联网政务应用提供服务的数据中心、云计算服务平台等应当设在境内。 第23条 インターネット政府アプリケーションのサービスを提供するデータセンター及びクラウドコンピューティングサービスプラットフォームは、国内に設置しなければならない。
第二十四条 党政机关建设互联网政务应用采购云计算服务,应当选取通过国家云计算服务安全评估的云平台,并加强对所采购云计算服务的使用管理。 第24条 党と政府の機関は、インターネット政府アプリケーション構築のためにクラウドコンピューティングサービスを調達する場合、クラウドコンピューティングサービスの国家セキュリティ評価に合格したクラウドプラットフォームを選択し、調達したクラウドコンピューティングサービスの利用管理を強化しなければならない。
第二十五条 机关事业单位委托外包单位开展互联网政务应用开发和运维时,应当以合同等手段明确外包单位网络和数据安全责任,并加强日常监督管理和考核问责;督促外包单位严格按照约定使用、存储、处理数据。未经委托的机关事业单位同意,外包单位不得转包、分包合同任务,不得访问、修改、披露、利用、转让、销毁数据。 第25条 機関および機構は、インターネット政府アプリケーションの開発・運用・保守を外部委託先に委託する場合、契約書等により外部委託先のネットワーク・データセキュリティ責任を明確にし、日常的な監督・管理・説明責任評価を強化し、外部委託先が契約に厳格に従ってデータを使用・保存・処理するよう監督しなければならない。 委託部門は、委託を受けた機関・団体の同意がない限り、契約業務を外注・再委託してはならず、データへのアクセス、修正、開示、利用、譲渡、破棄をしてはならない。
机关事业单位应当建立严格的授权访问机制,操作系统、数据库、机房等最高管理员权限必须由本单位在编人员专人负责,不得擅自委托外包单位人员管理使用;应当按照最小必要原则对外包单位人员进行精细化授权,在授权期满后及时收回权限。 機関および機構は、厳格な権限アクセスメカニズムを構築しなければならず、オペレーティングシステム、データベースおよび機械室の最高管理者権限は、ユニット内の人員の責任とし、無権限で管理および使用するよう外部委託ユニットの人員に委託してはならず、必要最小限の原則に従い、外部委託ユニットの人員に対して精緻な権限付与を行い、権限付与期間の満了後、適時に権限を取り消さなければならない。
第二十六条 机关事业单位应当合理建设或利用社会化专业灾备设施,对互联网政务应用重要数据和信息系统等进行容灾备份。 第26条 機関および機構は、インターネット政府応用の重要なデータ及び情報システムの災害復旧及びバックアップのために、社会化された専門の災害復旧施設を合理的に建設し、または利用しなければならない。
第二十七条 机关事业单位应当加强互联网政务应用开发安全管理,使用外部代码应当经过安全检测。建立业务连续性计划,防范因供应商服务变更等对升级改造、运维保障等带来的风险。 第27条 機関および機構は、インターネット政府アプリケーションの開発におけるセキュリティ管理を強化し、外部コードの使用については、セキュリティテストを実施しなければならない。 第28条 インターネット政府アプリケーションの利用は、インターネット政府アプリケーションの開発、運用、保守に伴うリスクを防止するため、事業継続計画を策定する。
第二十八条 互联网政务应用使用内容分发网络(CDN)服务的,应当要求服务商将境内用户的域名解析地址指向其境内节点,不得指向境外节点。 第28条 インターネット政府アプリケーションのコンテンツ配信ネットワーク(CDN)サービスの使用は、サービスプロバイダは、その国内ノードの国内ユーザのドメイン名解決アドレスを指すように要求されるべきであるが、外国のノードを指すことはできない。
第二十九条 互联网政务应用应当使用安全连接方式访问,涉及的电子认证服务应当由依法设立的电子政务电子认证服务机构提供。 第29 条 インターネット政府アプリケーションは、安全な接続を使用してアクセスされるべきであり、関連する電子認証サービスは、法律に従って設立された電子政府電子認証サービス機関によって提供されるべきである。
第三十条 互联网政务应用应当对注册用户进行真实身份信息认证。国家鼓励互联网政务应用支持用户使用国家网络身份认证公共服务进行真实身份信息注册。 第30条 インターネット政府アプリケーションは、登録ユーザーの実際の身元情報を認証しなければならない。 国は、インターネット政府アプリケーションに対して、利用者が全国ネットワ ーク身元認証公共サービスを利用して身元情報を登録することを支援するよう奨励する。
对与人身财产安全、社会公共利益等相关的互联网政务应用和电子邮件系统,应当采取多因素鉴别提高安全性,采取超时退出、限制登录失败次数、账号与终端绑定等技术手段防范账号被盗用风险,鼓励采用电子证书等身份认证措施。 個人と財産の安全、社会と公共の利益などに関連するインターネット政府アプリケーショ ンおよび電子メールシステムは、セキュリティを向上させるために多要素識別を採用し、タイムアウトを採用し、ログイン失敗の回数を制限し、アカウントと端末の結合およびその他の 技術的手段を講じてアカウント盗難のリスクを防止し、電子証明書およびその他の身元認証手段の 使用を奨励する。
第五章 电子邮件安全 第五章 電子メールのセキュリティ
第三十一条 鼓励各地区、各部门通过统一建设、共享使用的模式,建设机关事业单位专用互联网电子邮件系统,作为工作邮箱,为本地区、本行业机关事业单位提供电子邮件服务。党政机关自建的互联网电子邮件系统的域名应当以“.gov.cn”或“.政务”为后缀,事业单位自建的互联网电子邮件系统的域名应当以“.cn”或“.公益”为后缀。 第31条 各地域と各部門に対し、統一的な構築と作業用メールボックスとしての共用という方式により、臓器・機関のための特別なインターネット電子メールシステムを構築し、地域と業界の臓器・機関に電子メールサービスを提供するよう奨励する。 党と政府機関が自主的に構築するインターネット電子メールシステムのドメイン名は「.gov.cn」または「.Government」とする。 .government "を接尾辞とし、各機関の自作インターネット電子メールシステムのドメイン名は".cn "または". .cn "または "公共福祉 "を接尾辞とする。
机关事业单位工作人员不得使用工作邮箱违规存储、处理、传输、转发国家秘密。 組織や機関の職員は、業務用の電子メールアドレスを、法律に違反して国家機密を保存、処理、送信、転送するために使用してはならない。
第三十二条 机关事业单位应当建立工作邮箱账号的申请、发放、变更、注销等流程,严格账号审批登记,定期开展账号清理。 第32条 機関および機構は、業務用電子メールアカウントの申請、発行、変更、抹消のプロセスを定め、厳格に承認、登録し、定期的にアカウントのクリーニングを行わなければならない。
第三十三条 机关事业单位互联网电子邮件系统应当关闭邮件自动转发、自动下载附件功能。 第33条 機関および機構のインターネット電子メールシステムは、電子メールの自動転送機能及び添付ファイルの自動ダウンロード機能を停止しなければならない。
第三十四条 机关事业单位互联网电子邮件系统应当具备恶意邮件(含本单位内部发送的邮件)检测拦截功能,对恶意邮箱账号、恶意邮件服务器IP以及恶意邮件主题、正文、链接、附件等进行检测和拦截。应当支持钓鱼邮件威胁情报共享,将发现的钓鱼邮件信息报送至主管部门和属地网信部门,按照有关部门下发的钓鱼邮件威胁情报,配置相应防护策略预置拦截钓鱼邮件。 第34条 機関および機構のインターネット電子メールシステムは、悪意のある電子メール(機関内で送信された電子メールを含む)を検知・遮断する機能を有し、悪意のあるメールボックスアカウント、悪意のあるメールサーバーIP、および悪意のある電子メールの件名、本文、リンク、添付ファイルなどを検知・遮断する。 システムはフィッシングメールの脅威情報の共有をサポートし、発見されたフィッシングメール情報を主管部門と現地のネット情報部門に報告し、関連部門が発表したフィッシングメールの脅威情報に従い、フィッシングメールをブロックするための対応する保護戦略を事前に設定しなければならない。
第三十五条 鼓励机关事业单位基于商用密码技术对电子邮件数据的存储进行安全保护。 第35条 各機関に対し、商業的な暗号技術に基づいて電子メールデータを安全に保管するよう奨励する。
第六章 监测预警和应急处置 第六章 監視、早期警報および緊急対応
第三十六条 中央网络安全和信息化委员会办公室会同国务院电信主管部门、公安部门和其他有关部门,组织对地市级以上党政机关互联网政务应用开展安全监测。 第36条 中央ネットワーク安全情報化委員会弁公室は、国務院通信部門、公安部門およびその他の関連部門と協力し、都道府県および市町村レベル以上の党・政府機関のインターネット政府アプリケーションの安全監視を組織する。
各地区、各部门应当对本地区、本行业机关事业单位互联网政务应用开展日常监测和安全检查。 地域と部門は、それぞれの地域と業界において、各機関および機構のインターネット政府アプリケーションの日常的な監視とセキュリティ検査を実施する。
机关事业单位应当建立完善互联网政务应用安全监测能力,实时监测互联网政务应用运行状态和网络安全事件情况。 機関および機構は、インターネット政府アプリケーションのセキュリティ監視能力を確立・向上させ、インターネット政府アプリケーションの運用状況およびネットワークセキュリティイベントをリアルタイムで監視しなければならない。
第三十七条 互联网政务应用发生网络安全事件时,机关事业单位应当按照有关规定向相关部门报告。 第37条 インターネット政府アプリケーションでサイバーセキュリティ事故が発生した場合、各機関および機構は関連規定に基づいて関連部門に報告しなければならない。
第三十八条 中央网络安全和信息化委员会办公室统筹协调重大网络安全事件的应急处置。 第38条 中央ネットワーク安全情報化委員会弁公室は、重大なネットワークセキュリティインシデントの緊急対応を調整する。
互联网政务应用发生或可能发生网络安全事件时,机关事业单位应当立即启动本单位网络安全应急预案,及时处置网络安全事件,消除安全隐患,防止危害扩大。 インターネット政府アプリケーションにおいてネットワークセキュリティインシデントが発生した場合、または発生する可能性がある場合、当該組織は直ちに自らのネットワークセキュリティ緊急対応計画を発動し、ネットワークセキュリティインシデントを適時に処理し、セキュリティリスクを排除し、被害の拡大を防止しなければならない。
第三十九条 机构编制管理部门会同网信部门开展针对假冒仿冒互联网政务应用的扫描监测,受理相关投诉举报。网信部门会同电信主管部门,及时对监测发现或网民举报的假冒仿冒互联网政务应用采取停止域名解析、阻断互联网连接和下线处理等措施。公安部门负责打击假冒仿冒互联网政务应用相关违法犯罪活动。 第39条 組織設置管理部門は、ネット信用部門と連携して、偽造・模倣インターネット政府アプリケーションのスキャンおよび監視を行い、関連する苦情および報告を受理する。 ネット信用部門は、主管電信部門と連携し、監視により発見された、またはネットユーザーから通報された偽造・模倣ネット行政申請に対し、速やかにドメイン名解決停止、インターネット接続遮断、オフライン処理などの措置を講じなければならない。 公安部門は、偽造・模倣インターネット政府申請に関する違法・犯罪行為を取り締まる責任を負う。
第七章 监督管理 第七章 監督管理
第四十条 中央网络安全和信息化委员会办公室负责统筹协调互联网政务应用安全管理工作。中央机构编制管理部门负责互联网政务应用开办主体身份核验、名称管理和标识管理工作。国务院电信主管部门负责互联网政务应用域名监督管理和互联网信息服务(ICP)备案工作。国务院公安部门负责监督检查指导互联网政务应用网络安全等级保护和相关安全管理工作。 第40条 中央ネットワーク安全情報化委員会事務局は、インターネット政府アプリケーションの安全管理を調整する責任を負う。 中央組織設立管理部門は、インターネット政府申請本体の身元確認、名称管理、ロゴ管理を担当する。 国務院傘下の電信部門は、インターネット政府申請ドメイン名の監督管理およびインターネット情報サービス(ICP)の申告を担当する。 国務院傘下の公安部門は、インターネット政府申請におけるネットワークセキュリティレベルの保護と関連セキュリティ管理を監督、検査、指導する責任を負う。
各地区、各部门承担本地区、本行业机关事业单位互联网政务应用安全管理责任,指定一名负责人分管相关工作,加强对互联网政务应用安全工作的组织领导。 各地域と各部門は、地域と業界内の機関および機構のインターネット政府アプリケーションのセキュリティ管理責任を負い、関連業務の責任者を指名し、インターネット政府アプリケーションのセキュリティ業務の組織的指導を強化する。
第四十一条 对违反或者未能正确履行本规定相关要求的,按照《党委(党组)网络安全工作责任制实施办法》等文件,依规依纪追究当事人和有关领导的责任。 第41条 本規定に違反し、または関連する要求事項を適切に履行しなかった場合、「党委員会(党グループ)ネットワークセキュリティ作業責任実施弁法」およびその他の文書に基づき、規則および規律に従って、当事者および関連指導者の責任を追及する。
第八章 附则 第八章附則
第四十二条 列入关键信息基础设施的互联网门户网站、移动应用程序、公众账号,以及电子邮件系统的安全管理工作,参照本规定有关内容执行。 第42条 重要情報インフラに含まれるインターネットポータル、モバイルアプリケーション、パブリックアカウント、電子メールシステムのセキュリティ管理は、本規定の関連内容を参考にして実施するものとする。
第四十三条 本规定由中央网络安全和信息化委员会办公室、中央机构编制委员会办公室、工业和信息化部、公安部负责解释。 第43条 本規定は、ネットワーク安全情報化中央委員会弁公室、制度準備中央委員会弁公室、工業情報化部、公安部が解釈する。
第四十四条 本规定自2024年7月1日起施行。 第44条 本規定は、2024年7月1日から施行する。

 

1_20210612030101

 

| | Comments (0)

2024.06.09

米国 国家情報長官室(ODNI)が、IC情報環境のビジョンとロードマップを発表 (2024.05.30)

こんにちは、丸山満彦です。

米国の国家情報長官室(ODNI)が、IC情報環境のビジョンとロードマップを発表していますね...

AIにも言及していますが、情報機関がどのようにITを活用しようとしているかというのは興味深いですね...

情報活動というと政府や軍のイメージが強いですが、競争という意味では企業でも同じで、企業でもさまざまな情報活動(スパイという意味ではなく...)に力をいれている会社も多くなってきていますね。そういう組織にとっても参考になる部分はあるかもですね...

5つの重点領域が取り上げられています。

Focus Area 1.0: Fortify the Mission with a Reliable and Resilient Digital Foundation 重点分野1.0:信頼性とレジリエンスを備えたデジタル基盤でミッションを強化する 
Focus Area 2.0: Assure the Mission with Robust Cybersecurity 重点分野2.0:強固なサイバーセキュリティでミッションを確実にする
Focus Area 3.0: Enable the Mission with Modern Practices and Partnerships 重点分野3.0:最新の実践とパートナーシップでミッションを果たす
Focus Area 4.0: Enhance the Mission with Data-Centricity 重点分野4.0:データタ中心主義でミッションを強化する
Focus Area 5.0: Accelerate the Mission with Advanced Technologies and Workforce Readiness 重点分野5.0:先端技術と労働力の準備でミッションを加速する

 

  1. サービス継続=>レジリエンス
  2. 守秘=>セキュリティ
  3. 実践力=>最新技術・パートナーシップ
  4. 客観性=>データ中心
  5. 将来=>先端技術・人材

って感じですかね...

 

Office of the Director of National Intelligence; ODNI

・2024.05.30 ODNI Releases IC Information Technology Roadmap

ODNI Releases IC Information Technology Roadmap ODNI が IC 情報技術ロードマップを発表
WASHINGTON, D.C. – The Office of the Director of National Intelligence (ODNI) today released its inaugural Vision for the IC Information Environment: An Information Technology Roadmap. ワシントンD.C.-国家情報長官室(ODNI)は本日、IC情報環境のビジョンを発表した: 情報技術ロードマップである。
The roadmap provides technological foresight to guide the Intelligence Community (IC) to make transformative decisions about the cloud environment, cybersecurity, advanced computing, data analysis, and artificial intelligence among an array of other information technology (IT) issues. More than 100 technical leaders across the IC developed the roadmap's recommendations, and all 18 intelligence elements unanimously endorsed this vision. このロードマップは、クラウド環境、サイバーセキュリティ、高度なコンピューティング、データ分析、人工知能など、情報技術(IT)に関するさまざまな問題の中で、インテリジェンス・コミュニティ(IC)が変革的な意思決定を行うための指針となる技術的な先見性を提供する。IC全体の100人以上の技術指導者がロードマップの提言を作成し、18の情報部門すべてが満場一致でこのビジョンを承認した。
"The roadmap presents a unified vision for investments the IC must make to continue to provide the United States with unmatched decision advantage at a time of unprecedented technological change," said IC Chief Information Officer Dr. Adele Merritt. "Adversaries are not standing still and neither are we. The time is now for strategic and substantial investment in the core IT infrastructure of the IC." 「ICの最高情報責任者であるアデル・メリット博士は、「このロードマップは、前例のない技術革新の時代に、米国に比類ない意思決定の優位性を提供し続けるために、ICが行うべき投資の統一的なビジョンを示している。「敵も我々も立ち止まってはいない。今こそ、ICの中核的なITインフラに戦略的かつ大規模な投資を行う時である。
ODNI will update this roadmap annually using a collaborative process with IC stakeholders and outside experts to position the IC to evolve with technological changes and stay ahead of threats. ODNIは、ICの関係者や外部の専門家との協力プロセスを用いて、このロードマップを毎年更新していく。

 

・[PDF] Vision for the IC Inofrmation Environment - An Information Technology Roadmap

20240609-115508

・[DOCX][PDF] 仮訳

 

目次...

Introduction 序文
Focus Area 1.0: Fortify the Mission with a Reliable and Resilient Digital Foundation 重点分野1.0:信頼性とレジリエンスを備えたデジタル基盤でミッションを強化する 
Key Initiatives 主な取り組み
1.1 Make More World-Class Capabilities Available to Mission by Optimizing the IC’s Cloud Environment 1.1 ICのクラウド環境を最適化し、より多くのワールドクラスの能力をミッションに提供する 
1.2 Meet the Demands of Tomorrow by Advancing and Scaling Compute, Storage, and Transport 1.2 コンピュート、ストレージ、トランスポートの進化と拡張し、明日の需要に応える 
1.3 Enable the Intelligence Mission Anywhere by Empowering the Edge 1.3エッジを強化し、どこでもインテリジェンス・ミッションを可能にする
Focus Area 2.0: Assure the Mission with Robust Cybersecurity 重点分野2.0:強固なサイバーセキュリティでミッションを確実にする
Key Initiatives 主な取り組み.
2.1 Protect Our Mission from the Inside Out by Achieving Zero Trust 2.1ゼロトラストを実現し、内部からミッションを守る
2.2 Deliver the Right IT at the Right Time through Modernized Enterprise Risk Management 2.2 エンタープライズ・リスクマネジメントの近代化し、適切なタイミングで適切なITを提供する
2.3 Strengthen the IC’s Collective Defenses by Maturing and Integrating Security Coordination 2.3 安全保障調整の成熟化と統合し、ICの集団的防衛力を強化する
2.4 Increase Security and Speed of Software Delivery through Development, Security, and Operations (DevSecOps) 2.4 開発・セキュリティ・運用(DevSecOps)により、ソフトウェアのセキュリティと提供スピードを向上させる
2.5 Keep Our Most Sensitive Intelligence Safe by Realizing Quantum Resistant (QR) Cryptography 2.5 耐量子暗号(QR)の実現により、最も機密性の高いインテリジェンスを安全に保つ 
2.6 Batten Down the Hatches by Securing/Hardening Cross Domain Solutions (CDS) 2.6 クロスドメイン・ソリューション(CDS)を確保/強化し、ハッチを閉める
Focus Area 3.0: Enable the Mission with Modern Practices and Partnerships 重点分野3.0:最新の実践とパートナーシップでミッションを果たす
Key Initiatives 主な取り組み
3.1 Connect Our People by Enhancing and Extending Collaboration 3.1コラボレーションを強化・拡大し、職員をつなげる
3.2 Enable Dynamic Information Sharing by Cultivating Agile and Non-Traditional Partnerships 3.2 アジャイルで非伝統的なパートナーシップの育成により、ダイナミックな情報共有を可能にする
3.3 Tap into the Full Power of the IC Talent Pool by Achieving Ubiquitous IT Accessibility 3.3ユビキタスITアクセシビリティの実現により、IC人材プールの力をフル活用する
3.4 Put the Multi-INT in Intelligence by Advancing Interoperability Among IC Elements 3.4 IC要素間の相互運用性を高めることにより、インテリジェンスにマルチインテリジェンスを導入する
Focus Area 4.0: Enhance the Mission with Data-Centricity 重点分野4.0:データタ中心主義でミッションを強化する
Key Initiatives 主な取り組み
4.1 Expedite Mission Outcomes by Realizing End-to-End Data Management 4.1 エンドツーエンドのデータ管理を実現し、ミッションの成果を促進する
4.2 Maximize Intelligence Value by Implementing a Data-Centric Architecture 4.2 データ中心のアーキテクチャを実装し、インテリジェンスの価値を最大化する
4.3 Empower the Analyst by Transitioning Sensitive Data Siloes to Data-Centric Enclaves 4.3 機密データのサイロ化からデータ中心のエンクレーブへ移行し、分析官に力を与える
Focus Area 5.0: Accelerate the Mission with Advanced Technologies and Workforce Readiness 重点分野5.0:先端技術と労働力の準備でミッションを加速する
Key Initiatives 主な取り組み
5.1 Unleash More, Better, Faster by Advancing AI at Scale 5.1 AI をスケールアップし、より多く、より良く、より速く解き放つ 
5.2 Meet the Future When It Arrives by Preparing Now for Over-the-Horizon Capabilities 5.2 オーバー・ザ・ホライズン能力に今から備えることで、到来する未来に対応する 
5.3 Capitalize on Tomorrow’s Capabilities by Priming the Future Workforce 5.3 将来の労働力を準備し、明日の能力を活かす
Appendix A: References 附属書A:参考文献 

 

 

 

 

 

| | Comments (0)

金融庁 コーポレートガバナンス改革の実践に向けたアクション・プログラム 2024

こんにちは、丸山満彦です。

金融庁の「スチュワードシップ・コード及びコーポレートガバナンス・コードのフォローアップ会議」が、コーポレートガバナンス改革の実践に向けたアクション・プログラム2024(「スチュワードシップ・コード及びコーポレートガバナンス・コードのフォローアップ会議」意見書(7))を公表していますね...

日本企業あるあるの形式的にやったことにしている、、、みたいなことはダメだよという感じですね。

企業がレジリエンスを意識することが重要という観点で、サイバーセキュリティリスクについても言及がありますね...

 

金融庁

・2024.06.07 コーポレートガバナンス改革の実践に向けたアクション・プログラム2024(「スチュワードシップ・コード及びコーポレートガバナンス・コードのフォローアップ会議」意見書(7))の公表について

 


本意見書においては、企業の持続的な成長と中長期的な企業価値向上という目的に立ち返り、具体的な取組みの検証や共有を通じた、企業と投資家の自律的な意識改革に基づくコーポレートガバナンス改革の「実践」に向け、フォローアップ会議としての提言が示されています。


 

・[PDF] コーポレートガバナンス改革の実践に向けたアクション・プログラム2024(「スチュワードシップ・コード及びコーポレートガバナンス・コードのフォローアップ会議」意見書(7))

20240608-43647

ちょっときになった点...

株主総会前に有価証券報告書を開示する...


情報開示については、タイムリーかつ効果的・効率的に提供されることが必要であり、有価証券報告書の開示が株主総会前のタイミングになるよう、環境整備について検討すべきである。


 

レジリエンスについての記載...


企業経営が、パンデミックやサイバーセキュリティリスク、地政学リスクなどの様々なリスクに、サプライチェーン全体を通じてさらされる中、有事における「復元力」の発揮など、「レジリエンス」を意識することが重要である。


 

そして、サステナビリティ関係の保証...


国際的な比較可能性を確保したサステナビリティ情報の開示・保証のあり方を検討するとともに、サステナビリティを意識した経営に関する具体的な事例を関係者間において共有すべきである。


 

 

・[PDF] (別添)アクション・プログラム2024概要

20240608-51817

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2024.06.03 金融庁 スチュワードシップ・コード及びコーポレートガバナンス・コードのフォローアップ会議(第29回)議事録

 

 

| | Comments (0)

2024.06.07

欧州委員会 安全で信頼できる人工知能におけるEUのリーダーシップを強化するため、AI事務局を設置 (2024.05.29)

こんにちは、丸山満彦です。

欧州委員会にAI事務局が作られていますね...

AI事務局は、5つのユニットからなっているようですね...

Unit ユニット Function 機能
Regulation and Compliance 規制・コンプライアンス Coordinates the regulatory approach to facilitate the uniform application and enforcement of the AI Act across the Union, working closely with Member States. The unit will contribute to investigations and possible infringements, administering sanctions; 加盟国と緊密に連携し、AI法の全加盟国における統一的な適用と執行を促進するための規制的アプローチを調整する。同部門は、調査や違反の可能性、制裁措置の管理に貢献する;
AI Safety AI安全性 Focusing on the identification of systemic risks of very capable general-purpose models, possible mitigation measures as well as evaluation and testing approaches; 非常に高性能な汎用モデルのシステミックリスクの特定、可能な低減措置、評価・テストアプローチに焦点を当てる;
Excellence in AI and Robotics AI・ロボティクス卓越性 Supports and funds research and development to foster an ecosystem of excellence. It coordinates the GenAI4EU initiative, stimulating the development of models and their integration into innovative applications; 卓越したエコシステムを育成するための研究開発を支援し、資金を提供する。GenAI4EUイニシアチブを調整し、モデルの開発と革新的なアプリケーションへの統合を促進する;
AI for Societal Good 社会的利益のためのAI Design and implement the international engagement of the AI Office in AI for good, such as weather modelling, cancer diagnoses and digital twins for reconstruction; 象モデリング、がん診断、デジタルツインによる復興など、AI事務局がAIを社会に役立てるための国際的な取り組みを設計・実施する;
AI Innovation and Policy Coordination AIイノベーション・政策調整 Oversees the execution of the EU AI strategy, monitoring trends and investment, stimulating the uptake of AI through a network of European Digital Innovation Hubs and the establishment of AI Factories, and fostering an innovative ecosystem by supporting regulatory sandboxes and real-world testing. EUのAI戦略の実行を監督し、動向と投資を監視し、欧州デジタル・イノベーション・ハブのネットワークとAIファクトリーの設立を通じてAIの普及を促進し、規制上のサンドボックスと実環境試験を支援することにより、革新的なエコシステムを育成する。

2_20240606234201

 

European Commission

プレス...

・2024.05.29 Commission establishes AI Office to strengthen EU leadership in safe and trustworthy Artificial Intelligence

Commission establishes AI Office to strengthen EU leadership in safe and trustworthy Artificial Intelligence 欧州委員会、安全で信頼できる人工知能におけるEUのリーダーシップを強化するため、AI事務局を設置する
Today the Commission has unveiled the AI Office, established within the Commission. The AI Office aims at enabling the future development, deployment and use of AI in a way that fosters societal and economic benefits and innovation, while mitigating risks. The Office will play a key role in the implementation of the AI Act, especially in relation to general-purpose AI models. It will also work to foster research and innovation in trustworthy AI and position the EU as a leader in international discussions. 欧州委員会は本日、欧州委員会内に設置した「AI事務局」を発表した。AI事務局は、リスクを低減しつつ、社会的・経済的利益とイノベーションを促進する形で、AIの将来の開発、配備、利用を可能にすることを目的としている。同事務局は、特に汎用AIモデルに関して、AI法の実施において重要な役割を果たす。また、信頼できるAIの研究と技術革新を促進し、EUを国際的な議論のリーダーとして位置づけることにも取り組む。
The AI office is composed of: AI事務局は以下の部署で構成される:
・Regulation and Compliance Unit that coordinates the regulatory approach to facilitate the uniform application and enforcement of the AI Act across the Union, working closely with Member States. The unit will contribute to investigations and possible infringements, administering sanctions; ・規制・コンプライアンスユニットは、加盟国と緊密に協力しながら、EU全域でAI法の統一的な適用と執行を促進するための規制的アプローチを調整する。このユニットは、調査や違反の可能性、制裁措置の実施に貢献する;
・Unit on AI safety focusing on the identification of systemic risks of very capable general-purpose models, possible mitigation measures as well as evaluation and testing approaches; ・AI安全性ユニットは、非常に高性能な汎用モデルのシステミックリスクの特定、可能な低減措置、評価・テストアプローチに焦点を当てる;
・Excellence in AI and Robotics Unit that supports and funds research and development to foster an ecosystem of excellence. It coordinates the GenAI4EU initiative, stimulating the development of models and their integration into innovative applications; ・AI・ロボティクス卓越性ユニットは、卓越したエコシステムを育成するための研究開発を支援し、資金を提供する。GenAI4EUイニシアチブを調整し、モデルの開発と革新的なアプリケーションへの統合を促進する;
・AI for Societal Good Unit to design and implement the international engagement of the AI Office in AI for good, such as weather modelling, cancer diagnoses and digital twins for reconstruction; ・社会的利益のためのAIユニットは、気象モデリング、がん診断、デジタルツインによる復興など、AI事務局が国際的に関与するAIを設計・実施する;
・AI Innovation and Policy Coordination Unit that oversees the execution of the EU AI strategy, monitoring trends and investment, stimulating the uptake of AI through a network of European Digital Innovation Hubs and the establishment of AI Factories, and fostering an innovative ecosystem by supporting regulatory sandboxes and real-world testing. ・AIイノベーション・政策調整ユニットは、EUのAI戦略の実行を監督し、動向と投資を監視し、欧州デジタル・イノベーション・ハブのネットワークとAIファクトリーの設立を通じてAIの普及を促進し、規制上のサンドボックスと実環境試験を支援することにより、革新的なエコシステムを育成する。
The AI Office will be led by the Head of the AI Office and will work under the guidance of a Lead Scientific Adviser to ensure scientific excellence in evaluation of models and innovative approaches, and an Adviser for international affairs to follow up on our commitment to work closely with international partners on trustworthy AI. AI事務局は、AI事務局長によって率いられ、モデルや革新的なアプローチの評価における科学的卓越性を確保するための主任科学アドバイザーと、信頼できるAIに関して国際的パートナーと緊密に協力するという我々のコミットメントをフォローアップするための国際問題担当アドバイザーの指導の下で活動する。
AI Office setup and tasks AI事務局の設立と任務
The AI Office will employ more than 140 staff to carry out its tasks. The staff will include technology specialists, administrative assistants, lawyers, policy specialists, and economists. AI事務局は140人以上のスタッフを雇用し、業務を遂行する。スタッフには、技術専門家、事務アシスタント、弁護士、政策専門家、エコノミストなどが含まれる。
The office will ensure the coherent implementation of the AI Act. It will do this by supporting the governance bodies in Member States. The AI Office will also directly enforce the rules for general-purpose AI models. In cooperation with AI developers, the scientific community and other stakeholders, the AI Office will coordinate the drawing up of state-of-the-art codes of practice, conduct testing and evaluation of general-purpose AI models, request information as well as apply sanctions, when necessary. 同事務局は、AI法の首尾一貫した実施を保証する。加盟国のガバナンス機関を支援することにより、これを実現する。AI事務局はまた、汎用AIモデルに関する規則を直接施行する。AI開発者、科学界、その他の利害関係者と協力し、AI事務局は最先端の実践規範の作成を調整し、汎用AIモデルのテストと評価を実施し、情報を要求し、必要に応じて制裁を適用する。
To ensure well-informed decision-making, the AI Office will collaborate with Member States and the wider expert community through dedicated fora and expert groups. At EU-level the AI Office will work closely with the European Artificial Intelligence Board composed of representatives of Member States. The Scientific Panel of independent experts will ensure a strong link with the scientific community and further expertise will be gathered in an Advisory Forum, representing a balanced selection of stakeholders, including industry, startups and SMEs, academia, think tanks and civil society. 十分な情報に基づいた意思決定を確実にするため、AI事務局は、専用のフォーラムや専門家グループを通じて、加盟国やより広範な専門家コミュニティと協力する。EUレベルでは、AI事務局は加盟国の代表者で構成される欧州人工知能委員会と緊密に連携する。独立した専門家で構成される科学パネルは、科学界との強力な連携を確保し、さらに、産業界、新興企業、中小企業、学界、シンクタンク、市民社会など、バランスの取れた利害関係者の代表者からなる諮問フォーラムに専門知識を集める。
The AI Office will promote an innovative EU ecosystem for trustworthy AI. It will contribute to this by providing advice on best practices and enabling access to AI sandboxes, real-world testing and other European support structures for AI uptake, such as the Testing and Experimentation Facilities in AI, the European Digital Innovation Hubs, and the AI Factories. It will support research and innovation activities in the field of AI and robotics and implements initiatives, such as GenAI4EU, to ensure that AI general-purpose models made in Europe and trained through EU supercomputers are finetuned and integrated into novel applications across the economy, stimulating investment. AI事務局は、信頼できるAIのための革新的なEUエコシステムを推進する。ベストプラクティスに関する助言を提供し、AIのサンドボックス、実環境でのテスト、およびAIの試験・実験施設、欧州デジタル・イノベーション・ハブ、AIファクトリーなど、AI導入のための欧州の支援体制へのアクセスを可能にすることで、これに貢献する。また、AIとロボティクスの分野における研究・革新活動を支援し、GenAI4EUなどのイニシアチブを実施することで、欧州で製造され、EUのスーパーコンピューターを通じて訓練されたAIの汎用モデルが、微調整され、経済全体の新しいアプリケーションに統合され、投資が促進されるようにする。
Finally, the AI Office will ensure a strategic, coherent and effective European approach on AI at the international level, becoming a global reference point. 最後に、AI事務局は、国際的なレベルにおいて、AIに関する欧州の戦略的、首尾一貫した効果的なアプローチを確保し、世界的な参照点となる。
Next Steps 次のステップ
The organisational changes outlined above will take effect on 16 June. The first meeting of the AI Board should take place by the end of June. The AI Office is preparing guidelines on the AI system definition and on the prohibitions, both due six months after the entry into force of the AI Act. The Office is also getting ready to coordinate the drawing up of codes of practice for the obligations for general-purpose AI models, due 9 months after entry into force. 上記の組織変更は6月16日に発効する。AI理事会の初会合は6月末までに開催される。AI事務局は、AIシステムの定義と禁止事項に関するガイドラインを準備している。また、発効から9ヵ月後に予定されている、汎用AIモデルの義務に関する実施規範の作成に向けた調整も進めている。
Background 背景
In April 2021, the Commission proposed the EU AI Act and a new Coordinated Plan with Member States, to guarantee the safety and fundamental rights of people and businesses, while strengthening investment and innovation across EU countries. The EU AI Act was provisionally agreed by co-legislators in December 2023 and is the world's first comprehensive law on Artificial Intelligence. The AI Act should enter into force by end July 2024 . 2021年4月、欧州委員会はEU AI法と加盟国との新たな協調計画を提案した。これは、人々と企業の安全と基本的権利を保証すると同時に、EU諸国間での投資と技術革新を強化することを目的としている。EU AI法は、2023年12月に共同立法者により暫定合意されたもので、人工知能に関する世界初の包括的な法律である。AI法は2024年7月末までに発効する予定である。
In January 2024 the Commission launched a package of measures to support European startups and SMEs in the development of trustworthy Artificial Intelligence (AI). As part of these measures, a Commission decision to establish the AI Office was adopted. 2024年1月、欧州委員会は、信頼できる人工知能(AI)の開発において欧州の新興企業や中小企業を支援するための措置パッケージを開始した。これらの措置の一環として、欧州委員会はAI事務局を設置することを決定した。
For More Information 詳細はこちら
AI Office AI事務局
A European Approach to Artificial Intelligence 人工知能に対する欧州のアプローチ
AI Act AI法
AI Innovation Package AIイノベーション・パッケージ
AI Pact AI協定
Quote(s) 引用
The AI-office unveiled today, will help us ensure a coherent implementation of the AI Act. Together with developers and a scientific community, the office will evaluate and test general purpose AI to ensure that AI serves us as humans and uphold our European values. 本日発表されたAI事務局は、AI法の首尾一貫した実施を保証するのに役立つだろう。開発者や科学コミュニティとともに、AI事務局は汎用AIの評価とテストを行い、AIが私たち人間の役に立ち、欧州の価値を維持することを確実にする。
Margrethe Vestager, Executive Vice-President for a Europe Fit for the Digital Age マルグレーテ・ヴェスタガー欧州デジタル時代対応担当副総裁
With the new AI Office and its 140 talented women and men, the Commission will have the necessary expertise to drive the implementation of the AI Act and to reinforce Europe's role as a global standard-setter in AI. The Office will foster a European AI ecosystem that is innovative, competitive and respectful of EU rules and values. 欧州委員会は、新しいAI事務局と140人の有能な人材を擁することで、AI法の実施を推進し、AIにおける世界標準セッターとしての欧州の役割を強化するために必要な専門知識を有することになる。同事務局は、革新的で競争力があり、EUの規則と価値観を尊重する欧州のAIエコシステムを育成する」と述べた。
Thierry Breton, Commissioner for Internal Market ティエリー・ブルトン欧州委員会域内市場担当委員

 

設立決定時...(2024.01.24)

・2024.01.24 Commission Decision Establishing the European AI Office

Commission Decision Establishing the European AI Office 欧州委員会、欧州AI事務局設立を決定
A European Artificial Intelligence Office will be established within the Commission as part of the administrative structure of the Directorate-General for Communication Networks, Content and Technology and subject to its annual management plan. 欧州委員会には、コミュニケーション・ネットワーク・コンテンツ・技術総局の管理組織の一部として、欧州人工知能事務所が設置され、その年次管理計画に従う。
The European Artificial Intelligence Office should operate in accordance with Commission internal processes and its establishment should not affect the powers and competences of national competent authorities, and bodies, offices and agencies of the Union in the supervision of AI systems, as provided for by the forthcoming Regulation laying down harmonised rules on artificial intelligence and other sectoral Union legislation. It is without prejudice to the functions of other Commission departments in their respective areas of responsibility, and of the European External Action Service in the area of Common, Foreign and Security policy. The European Artificial Intelligence Office should exercise its tasks, in particular to issue guidance, in a way that does not duplicate activities of relevant bodies, offices and agencies of the Union under sector specific legislation. 欧州人工知能事務局は、欧州委員会の内部プロセスに従って運営されるべきであり、その認可は、人工知能に関する調和規則を定めた近日中に発表される規則およびその他の分野別の欧州連合法が規定する、AIシステムの監督に関する各国のプロバイダ、および欧州連合の団体、事務所、機関の権限と能力に影響を及ぼすべきではない。これは、欧州委員会の他の部局がそれぞれの担当分野において有する機能、および欧州対外活動庁が共通外交・安全保障政策の分野において有する機能を損なうものではない。欧州人工知能事務局は、その任務、特にガイダンスの発行を、分野別法令に基づく欧州連合の関連団体、事務所、機関の活動と重複しない形で行うべきである。
Read more information about: さらに詳しい情報を読む
AI Office AI事務局
AI Act AI法
AI Pact AI協定

 

・[PDF] Commission Decision Establishing the European AI Office

20240606-234406

 

EUROPEAN  COMMISSION  欧州委員会 
Brussels, 24.1.2024   ブリュッセル、2024年1月24日  
C(2024) 390 final  C(2024) 390 
COMMISSION DECISION  欧州委員会決定 
of 24.1.2024  2024年1月24日付 
establishing the European Artificial Intelligence Office  欧州人工知能事務所の設立 
THE EUROPEAN COMMISSION,  欧州委員会は 
Having regard to the Treaty on the Functioning of the European Union, Whereas:  欧州連合の機能に関する条約を考慮し、以下のことを行う: 
(1) Artificial intelligence (AI) is a fast evolving family of technologies that can contribute to a wide array of economic and societal benefits across the entire spectrum of industries and social activities. At the same time, depending on the circumstances regarding its specific application and use, AI can generate risks and cause harm to public interests and fundamental rights that are protected by Union law.  (1) 人工知能(AI)は、急速に発展している技術群であり、産業および社会活動の全領域にわたって、さまざまな経済的および社会的利益に貢献することができる。同時に、AIは、その具体的な適用や使用に関する状況によっては、リスクを生み出し、連邦法によって保護されている公共の利益や基本的権利に害を及ぼす可能性がある。
(2) The Commission has proposed a Regulation laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts , aiming to foster the development, use and uptake of artificial intelligence in the internal market that, at the same time, meets a high level of protection of public interests, such as health and safety and the protection of fundamental rights, as recognised and protected by Union law. The proposed Regulation is one of several measures of the Commission aimed to deliver on the twin objective of promoting the uptake of AI and of addressing the risks associated with certain uses of such technology. Further measures include the ‘Coordinated Plan on Artificial Intelligence’ in its review of 2021 , initiatives of sectoral policies fostering the uptake of AI or Union funding programmes, such as those established by Regulations (EU) 2021/694  and (EU) 2021/695  of the European Parliament and of the Council.  (2) 欧州委員会は、域内市場における人工知能の開発、利用、普及を促進し、同時に、健康や安全、基本的権利の保護など、域内法で認められ、保護されている公共の利益を高水準で保護することを目的として、人工知能に関する調和された規則を定めた規則(人工知能法)を提案し、一部の域内立法法を改正した。提案されている規則は、AIの普及を促進することと、そのような技術の特定の使用に関連するリスクに対処するという2つの目的を達成することを目的とした、欧州委員会のいくつかの措置の1つである。その他の措置としては、2021年の見直しにおける「人工知能に関する調整計画」や、AIの導入を促進する分野別政策の取り組み、あるいは欧州議会および理事会の規則(EU)2021/694および(EU)2021/695によって制定されたような欧州連合の資金援助プログラムなどがある。
(3) The complexity and increasingly wide uptake of AI, especially when based on the most advanced models, and the necessity to accelerate progress towards the objectives and targets set in the Digital Decade policy programme established by Decision (EU) 2022/2481 of the European Parliament and of the Council , demonstrate the need for additional action to foster an understanding of capabilities, trends and potential risks and to support the safe development and use of AI technologies in the Union.  (3) AIの複雑さと、特に最先端のモデルに基づく場合には、その普及がますます進んでいること、また、欧州議会および理事会の決定(EU) 2022/2481によって策定された「デジタルの10年」政策プログラムにおいて設定された目的と目標に向けた進捗を加速させる必要性は、能力、傾向、潜在的リスクの理解を促進し、欧州連合におけるAI技術の安全な開発と利用を支援するための追加的な行動の必要性を示している。
(4) It is necessary to develop expertise and capabilities at Union level with a view to foster such understanding, to contribute to the implementation and enforcement of the forthcoming Regulation laying down harmonised rules on artificial intelligence, and to contribute to the implementation of  international rules and principles on AI, such as the G7 Code of Conduct and Guiding Principles for developers of advanced AI systems.  (4) このような理解を促進するため、また、人工知能に関する調和された規則を定める近日中の規則の実施と施行に貢献するため、さらに、高度なAIシステムの開発者のためのG7行動規範や指導原則など、AIに関する国際的な規則や原則の実施に貢献するため、EUレベルで専門知識と能力を開発することが必要である。
(5) Against this background, the foundations for a single governance system for AI in the Union should be laid down by establishing a structure, which should oversee the advancements in artificial intelligence models, including as regards general-purpose AI models, the interaction with the scientific community, and should play a key role in investigations and testing, enforcement and have a global vocation.  (5) このような背景の下、汎用AIモデルを含む人工知能モデルの進歩、科学コミュニティとの交流を監督し、調査・試験、執行において鍵確立の役割を果たし、世界的な使命を持つ組織を設立することにより、政府におけるAIに関する単一のガバナンス・システムの基礎を築くべきである。
(6) Therefore, a European Artificial Intelligence Office should be established within the Commission as part of the administrative structure of the Directorate-General for Communication Networks, Content and Technology and subject to its annual management plan.  (6) したがって、欧州委員会内に欧州人工知能事務局を設置し、コミュニケーション・ネットワーク・コンテンツ・技術総局の管理機構の一部として、その年次管理計画に従わせるべきである。
(7) The European Artificial Intelligence Office should operate in accordance with Commission internal processes  and its establishment should not affect the powers and competences of national competent authorities, and bodies, offices and agencies of the Union in the supervision of AI systems, as provided for by the forthcoming Regulation laying down harmonised rules on artificial intelligence and other sectoral Union legislation. It is without prejudice to the functions of other Commission departments in their respective areas of responsibility, and of the European External Action Service in the area of Common, Foreign and Security policy. The European Artificial Intelligence Office should exercise its tasks, in particular to issue guidance, in a way that does not duplicate activities of relevant bodies, offices and agencies of the Union under sector specific legislation.  (7) 欧州人工知能事務局は、欧州委員会の内部プロセスに従って運営されるべきであり、その認可は、人工知能に関する調和された規則を定めた近日中に発表される規則およびその他の分野別の欧州連合法が規定する、AIシステムの監督に関する各国の主務官庁、および欧州連合の団体、事務所、機関の権限および能力に影響を及ぼすべきではない。これは、欧州委員会の他の部局がそれぞれの担当分野において有する機能、および欧州対外活動庁が共通外交・安全保障政策の分野において有する機能を損なうものではない。欧州人工知能事務局は、その任務、特にガイダンスの発行を、分野別法令に基づく欧州連合の関連団体、事務所および機関の活動と重複しないように行うべきである。
(8) In order to allow for the preparation of the implementation of the forthcoming Regulation laying down harmonised rules on artificial intelligence to start as soon as possible, this Decision should enter into force as a matter of urgency, ahead of the adoption of that Regulation, following the political agreement of the co-legislators achieved on 8 December 2023. Once the Regulation is adopted, this decision may be revised.  (8) 人工知能に関する調和された規則を定めた来るべき規則の施行準備をできるだけ早く開始できるようにするため、本決定は、2023年12月8日に達成された共同立法者の政治的合意に基づき、同規則の採択に先駆けて緊急に発効すべきである。同規則が採択された後、本決定は修正される可能性がある。
HAS DECIDED AS FOLLOWS:   以下の通り決定した:  
Article 1  第1条 
Establishment  設立 
The European Artificial Intelligence Office (the ‘Office’) is established.   欧州人工知能事務局(European Artificial Intelligence Office、以下「事務局」)を設置する。 
The Office shall be part of the administrative structure of the Directorate-General for Communication Networks, Content and Technology (the ‘Directorate-General’).  事務局は、コミュニケーション・ネットワーク・コンテンツ・技術総局(以下「総局」)の管理組織の一部とする。
Article 2  第2条 
Mission and tasks  使命および任務 
1. The Office shall perform the tasks set out in Article 3 for the purposes of  implementing and enforcing the forthcoming Regulation laying down harmonised rules on artificial intelligence (the ‘forthcoming Regulation’).  1. 事務局は、人工知能に関する調和された規則を定める次期規則(「次期規則」)の実施および執行を目的として、第3条に定める任務を遂行する。
2. The Office shall have the following additional tasks:  2. 事務局は,以下の追加的な任務を有する: 
(a) contribute to the strategic, coherent and effective Union approach to international initiatives on AI pursuant to Article 7 in coordination with Member States and in line with Union positions and policies;  (a) 加盟国と協調し、欧州連合の立場および政策に沿って、第7条に従ったAIに関する国際的イニシアティブに対する欧州連合の戦略的、首尾一貫した、かつ効果的なアプローチに貢献する; 
(b) contribute to fostering actions and policies in the Commission that reap the societal and economic benefits of AI technologies pursuant to Article 5;  (b) 第5条に基づき、AI技術の社会的および経済的利益を享受するための行動および政策を欧州委員会内で促進することに貢献する; 
(c) support the accelerated development, roll-out and use of trustworthy AI systems and applications that bring societal and economic benefits and that contribute to the competitiveness and the economic growth of the Union. In particular, the Office shall promote innovation ecosystems by working with relevant public and private actors and the startup community;  (d) monitor the evolution of AI markets and technologies.  (c) 社会的および経済的利益をもたらし、欧州連合の競争力と経済成長に貢献する、信頼できるAIシステムおよびアプリケーションの開発、普及、利用の加速化を支援する。特に、同事務局は、官民の関係者及び新興企業コミュニティと協力することにより、イノベーション・エコシステムを促進する。
3. In the performance of the tasks referred to in paragraphs 1 and 2 of this Article, the Office shall:  3. 本条第1項及び第2項の任務の遂行において、事務局は以下を行う: 
(a) work together with stakeholders, in particular experts from the scientific community and AI developers, pursuant to Article 4;   (a) 第4条に基づき,利害関係者,特に科学界の専門家及びAI開発者と協力する;  
(b) collaborate with relevant Directorate-Generals and services of the Commission pursuant to Article 5;  (b) 第5条に基づき、欧州委員会の関係総局及び業務と協力する; 
(c) cooperate with all relevant bodies, offices and agencies of the Union, including the  European High Performance Computing Joint Undertaking (EuroHPC JU), pursuant to Article 6;   (c) 第6条に従い、欧州ハイパフォーマンス・コンピューティング共同事業体(EuroHPC JU)を含む、欧州連合のすべての関連団体、事務所、機関と協力する;  
(d) cooperate with authorities and bodies of the Member States  on behalf of the Commission.   (d) 欧州委員会に代わって加盟国の認可機関および団体と協力する。 
Article 3  第3条 
 Implementation of the forthcoming Regulation   次期規則の実施 
1. The Office shall perform the following tasks stemming from the forthcoming Regulation:  1. 事務局は、次期規則から派生する以下の業務を遂行する: 
(a) developing tools, methodologies and benchmarks for evaluating capabilities of general-purpose AI models, in particular for very large general purpose AI models with systemic risks;  (a) 汎用AIモデル、特にシステミック・リスクを有する超大型汎用AIモデルの能力を評価するためのツール、方法論およびベンチマークを開発する; 
(b) monitoring the implementation and application of rules on general-purpose AI models and systems, in particular where the model and the system are developed by the same provider;  (b) 特にモデルとシステムが同一のプロバイダによって開発されている場合、汎用AIモデルおよびシステムに関するルールの実施と適用を監視すること; 
(c) monitoring the emergence of unforeseen risks stemming from general-purpose AI models, including by responding to alerts from the scientific panel;  (c) 科学的委員会からの警告への対応を含め、汎用AIモデルに起因する不測のリスクの出現を監視すること; 
(d) investigating possible infringements of rules on general-purpose AI models and systems, including by collecting complaints and alerts, assisting in the preparation of decisions of the Commission and conducting evaluations pursuant to the forthcoming Regulation.;   (d) 苦情や警告を収集し、欧州委員会の決定の準備を支援し、来るべき規則に従って評価を実施することを含め、汎用AIモデルおよびシステムに関する規則違反の可能性を調査すること;  
(e) ensuring that when an AI system falls within the scope of relevant Union legislation for which the Commission has powers of supervision and enforcement, such as under Regulation (EU) 2022/2065 of the European Parliament and of the Council   or under Regulation (EU) 2022/1925 of the European Parliament and of the Council  , the supervision and enforcement of that legislation is fully coordinated with the supervision and enforcement of the forthcoming Regulation;   (e) AIシステムが、欧州議会および理事会規則(EU) 2022/2065や欧州議会および理事会規則(EU) 2022/1925のように、欧州委員会が監督および執行の権限を有する関連EU法の範囲内にある場合、当該法律の監督および執行が、次期規則の監督および執行と完全に調整されるようにする;  
(f) supporting the implementation of rules on prohibited AI practices and high-risk AI systems in coordination with relevant bodies responsible under sectoral legislation, including facilitating information exchange and collaboration between national authorities, collecting notifications and establishing information platforms and databases, in particular when a general-purpose AI model or system is integrated into a high-risk AI system.   (f) 特に汎用AIモデルやシステムが高リスクAIシステムに統合される場合には、各国当局間の情報交換や協力の促進、届出の収集、情報プラットフォームやデータベースの構築など、分野別法令の下で責任を負う関連団体と連携して、禁止されるAI慣行や高リスクAIシステムに関する規則の実施を支援する。 
2. Moreover, in order to contribute to the effective implementation of the forthcoming Regulation, the Office shall be tasked with:  2. さらに、来るべき規則の効果的な実施に貢献するため、事務局は以下を任務とする: 
(a) assisting the Commission in the preparation of relevant Commission Decisions, and of implementing and delegated acts;  (a) 関連する欧州委員会決定、施行規則および委任規則の作成において欧州委員会を支援する; 
(b) facilitating the uniform application of the forthcoming Regulation;  (b) 次回規則の統一的な適用を促進する; 
(c) assisting the Commission in the preparation of guidance and guidelines to support the practical implementation of the forthcoming Regulation, as well as developing supportive tools, such as standardised protocols and best practices, in consultation with relevant Commission services and bodies, offices and agencies of the Union;  (c) 欧州委員会の関連業務、団体、欧州連合の事務所および機関と協議の上、欧州委員会が次期規則の実質的な実施を支援するための指針およびガイドラインを作成するのを支援し、標準化されたプロトコルやベストプラクティスなどの支援手段を開発するのを支援する; 
(d) assisting the Commission in the preparation of standardisation requests, evaluation of existing standards and the preparation of common specifications for the implementation of the forthcoming Regulation;  (d) 欧州委員会に対し、標準化要求の作成、既存標準の評価、次期規則の実施に向けた共通仕様の作成を支援する; 
(e) contributing to the provision of technical support, advice and tools for the establishment and operation of AI regulatory sandboxes and coordination, as appropriate, with national competent authorities establishing such sandboxes;  (e) AI規制のサンドボックスの設置および運用のための技術的支援、助言、ツールの提供、ならびに、必要に応じて、そのようなサンドボックスを設置する各国の所管当局との調整に貢献する; 
(f) conducting evaluations and reviews on and preparing reports related to the forthcoming Regulation;  (f) 次回規則に関する評価及びレビューを実施し、報告書を作成する; 
(g) coordinating the establishment of an effective governance system, including by preparing the set-up of advisory bodies at Union level, as well as monitoring the establishment of relevant national authorities and other bodies at national level;  (g) 効果的なガバナンス・システムの確立を調整すること。これには、連合レベルでの諮問団体の設置を準備すること、ならびに、国内レベルにおける関連する国内当局およびその他の機関の設立を監視することが含まれる; 
(h) providing the Secretariat for the AI Board and its subgroups, and providing administrative support to the advisory forum and the scientific panel, where applicable, including by providing the administrative set-up, organising meetings and preparing relevant documents; and  (h) AI理事会およびそのサブグループの事務局をプロバイダとして提供し、諮問フォーラムおよび科学的パネル(該当する場合)に対し、事務的準備の提供、会議の開催、関連文書の作成など、事務的支援を提供する。
(i) encouraging and facilitating the drawing up of codes of practices and codes of conducts at Union level, taking into account international approaches, as well as monitoring the implementation and evaluation of codes of practices.  (i) 国際的なアプローチを考慮しつつ、ユニオンレベルでの実施規範および行動規範の作成を奨励し、促進するとともに、実施規範の実施および評価を監視すること。
Article 4  第4条 
Cooperation with stakeholders  利害関係者との協力 
1. In the performance of its tasks pursuant to Article 3, the Office shall cooperate with stakeholders, in line with applicable competition rules, by:  1. 事務局は,第3条に基づきその任務を遂行する際,適用される競争規則に従い,以下の方法により利害関係者と協力する: 
(a) establishing fora for cooperation of providers of AI models and systems to advance best practices and contribute to the development of codes of conduct and codes of practice;  (a) AIモデル及びシステムのプロバイダがベストプラクティスを前進させ,行動規範及び実施規範の策定に貢献するための協力の場を設ける; 
(b) conducting regular consultation of stakeholders, including experts from the scientific community and the educational sector, citizens, civil society and social partners, where relevant, to collect input for the performance of its tasks under Article 3(2);   (b) 第3条(2)に基づく任務遂行のためのインプットを収集するため,関連する場合には,科学界及び教育部門の専門家,市民,市民社会及び社会的パートナーを含む利害関係者の定期的な協議を実施すること;  
(c) establishing a forum for cooperation with the open-source community with a view to identify and develop best practices for the safe development and use of open-source AI models and systems.  (c) オープンソースのAIモデルおよびシステムを安全に開発・利用するためのベストプラクティスを特定・開発することを目的として、オープンソースコミュニティと協力するためのフォーラムを設置すること。
Article 5  第5条 
Cross-sectoral cooperation within the Commission  欧州委員会における分野横断的協力 
1. The Office shall contribute to fostering actions and policies that reap the societal and industrial benefit of AI technologies.   1. 事務局は、AI技術の社会的・産業的利益を享受するための行動と政策の促進に貢献する。 
2. In particular, the Office shall   2. 特に、事務局は以下のことを行う。 
(a) work with other relevant Directorate-Generals and services of the Commission in the performance of its tasks pursuant to Article 2, notably with the European Centre for Algorithmic Transparency as regards the evaluation and testing of general-purpose AI models and systems;   (a) 特に、汎用AIモデルおよびシステムの評価および試験に関しては、欧州アルゴリズム透明性センターと協力する;  
(b) support other relevant Directorate-Generals and services of the Commission with a view to facilitate the use of AI models and systems as transformative tools in the relevant domains of Union policies, as well as to raise awareness about emerging risks.  (b) 欧州連合(EU)の政策の関連領域において、変革のためのツールとしてAIモデルおよびシステムの利用を促進し、また、新たに生じつつあるリスクについての認識を高めることを目的として、欧州委員会の他の関連部局および業務を支援する。
Article 6  第6条 
Inter-institutional cooperation  機構間の協力 
In the performance of its tasks pursuant to Article 3, the Office shall establish the appropriate forms of cooperation with bodies, offices and agencies of the Union.  事務局は、第3条に基づく任務の遂行にあたり、欧州連合の団体、事務所および機関との適切な協力形態を確立するものとする。
Article 7  第7条 
International cooperation  国際協力 
1. The Office shall contribute to international cooperation on AI by the Commission, including innovation and excellence policy, with third countries and international organisations, in particular by:  1. 事務局は、技術革新及び卓越性政策を含む、欧州委員会によるAIに関する第三国及び国際機関との国際協力に、特に以下の方法により貢献するものとする: 
(a) advocating the responsible stewardship of AI and promoting the Union approach to trustworthy AI;  (a) AIの責任ある管理を提唱し、信頼できるAIに対する欧州連合のアプローチを促進する; 
(b) contributing to international cooperation related to AI regulation and governance;  (b)AIの規制とガバナンスに関する国際協力に貢献する; 
(c) contributing to the implementation of international agreements on rules on AI, including by providing support to Member States.  (c) 加盟国への支援を含め、AIに関する規則に関する国際協定の実施に貢献する。
Article 8  第8条 
Financing  資金調達 
1. For officials working in the Office, the human resources required shall be met by staff from the Directorate-General who are already assigned to management of the action or have been redeployed within the Directorate-General, in the light of budgetary constraints, without prejudice to the annual allocation procedure.   1. 事務局に勤務する職員については、必要な人的資源は、年次配分手続を害することなく、予算の制約に照らし、既に活動の管理に割り当てられているか、又は事務局内で再配置された事務総局の職員によって賄われるものとする。 
2. For external statutory staff working in the Office, the human resources costs shall be covered by a redeployment of budget appropriations from the administrative support expenditure from the Digital Europe Programme.   2. 事務局に勤務する外部の法定職員については、デジタル・ヨーロッパ・プログラムの事務支援支出から充当される予算の再配分により、人件費を賄うものとする。 
3. Operational expenditure of the Office shall be covered by  the financial resources allocated to Specific Objective 2 “Artificial Intelligence” of the Digital Europe Programme.  3. 事務局の運営費は、デジタル・ヨーロッパ・プログラムの特定目標2「人工知能」に割り当てられた財源で賄うものとする。
Article 9  第9条 
Entry into force  発効 
This Decision shall enter into force on 21 February 2024.    本決定は、2024年2月21日に発効する。  
Done at Brussels, 24.1.2024  2024年1月24日、ブリュッセルにて決定される。
  For the Commission    欧州委員会 
  Thierry BRETON    ティエリー・ブルトン 
  Member of the Commission   欧州委員会委員

 

欧州AI事務局

European AI Office

European AI Office 欧州AI事務局
The European AI Office will be the centre of AI expertise across the EU. It will play a key role in implementing the AI Act - especially for general-purpose AI - foster the development and use of trustworthy AI, and international cooperation. 欧州AI事務局は、EU全域におけるAIの専門知識の中心となる。欧州AI事務局は、特に汎用AIに関するAI法の実施、信頼できるAIの開発と利用の促進、国際協力において重要な役割を果たす。
The European AI Office will support the development and use of trustworthy AI, while protecting against AI risks. The AI Office was established within the European Commission as the centre of AI expertise and forms the foundation for a single European AI governance system. 欧州AI事務所は、AIのリスクから保護しつつ、信頼できるAIの開発と利用を支援する。AI事務局は、AIの専門知識の中心として欧州委員会内に設置され、欧州における単一のAIガバナンス・システムの基盤を形成する。
The EU aims to ensure that AI is safe and trustworthy. For this purpose, the AI Act is the first-ever comprehensive legal framework on AI worldwide, guaranteeing the health, safety and fundamental rights of people, and providing legal certainty to businesses across the 27 Member States. EUは、AIの安全性と信頼性を確保することを目指している。この目的のため、AI法は世界初のAIに関する包括的な法的枠組みであり、人々の健康、安全、基本的権利を保証し、加盟27カ国の企業に法的確実性を提供している。
The AI Office is uniquely equipped to support the EU’s approach to AI. It will play a key role in implementing the AI Act by supporting the governance bodies in Member States in their tasks. It will enforce the rules for general-purpose AI models. This is underpinned by the powers given to the Commission by the AI Act, including the ability to conduct evaluations of general-purpose AI models, request information and measures from model providers, and apply sanctions. The AI Office also promotes an innovative ecosystem of trustworthy AI, to reap the societal and economic benefits. It will ensure a strategic, coherent and effective European approach on AI at the international level, becoming a global reference point. AI事務局は、AIに対するEUのアプローチを支援する独自の機能を備えている。加盟国のガバナンス機関を支援することにより、AI法の実施において重要な役割を果たす。また、汎用AIモデルに関する規則を施行する。これは、AI法が欧州委員会に与えた権限(汎用AIモデルの評価、モデルプロバイダーへの情報提供や措置の要求、制裁措置の適用など)に裏打ちされている。AI事務局はまた、社会的・経済的利益を享受するため、信頼できるAIの革新的エコシステムを促進する。AI事務所は、AIに関する欧州の戦略的、首尾一貫した効果的なアプローチを国際レベルで確保し、世界的な参照点となる。
For a well-informed decision-making, the AI Office collaborates with Member States and the wider expert community through dedicated fora and expert groups. These combine knowledge from the scientific community, industry, think tanks, civil society, and the open-source ecosystem, ensuring that their views and expertise are taken into account. Grounded in comprehensive insights of the AI ecosystem, including advances in capabilities, deployment and other trends, the AI Office fosters a thorough understanding of potential benefits and risks. 十分な情報に基づいた意思決定を行うため、AI事務局は、専用のフォーラムや専門家グループを通じて、加盟国やより広範な専門家コミュニティと協力する。これらは、科学界、産業界、シンクタンク、市民社会、オープンソースのエコシステムからの知識を統合し、彼らの見解や専門知識が考慮されるようにしている。AI事務局は、AIエコシステムの包括的な洞察に基づき、能力、展開、その他のトレンドの進歩を含め、潜在的な利益とリスクに関する徹底的な理解を促進する。
GenAI4EU GenAI4EU
In January 2024, the Commission has launched an AI innovation package to support startups and SMEs in developing trustworthy AI that complies with EU values and rules. Both the ‘GenAI4EU' initiative and the AI office were part of this package. Together they will contribute to the development of novel use cases and emerging applications in Europe's 14 industrial ecosystems, as well as the public sector. Application areas include robotics, health, biotech, manufacturing, mobility, climate and virtual worlds. 2024年1月、欧州委員会は、EUの価値観と規則に準拠した信頼できるAIの開発において新興企業や中小企業を支援するためのAIイノベーションパッケージを開始した。GenAI4EU」イニシアチブもAI事務局もこのパッケージの一部である。両者は共に、欧州の14の産業エコシステムや公共部門における斬新なユースケースや新たなアプリケーションの開発に貢献する。応用分野には、ロボット工学、健康、バイオテクノロジー、製造事業者、モビリティ、気候、仮想世界が含まれる。
1_20240607000801
The Structure of the AI Office AI事務局の構成
DG CONNECT Directorate A is undergoing a reorganisation. From 16 June, the organisational set-up of the European AI office will consist of 5 units and 2 advisors, reflecting its mandate. These include: DG CONNECT Directorate Aは再編成中である。6月16日より、欧州AI事務局の組織構成は、その職務権限を反映し、5つのユニットと2人のアドバイザーで構成される。これらには以下が含まれる:
・The “Excellence in AI and Robotics” unit ・AIとロボティクスの卓越性」ユニット
・The “Regulation and Compliance” unit ・規制とコンプライアンス」ユニット
・The “AI Safety” unit ・AIの安全性」ユニット
・The “AI Innovation and Policy Coordination” unit ・AIイノベーションと政策調整」ユニット
・The “AI for Societal Good” unit ・社会善のためのAI」ユニット
・The Lead Scientific Advisor ・科学顧問
・The Advisor for International Affairs ・国際担当アドバイザー
2_20240607000901

The AI Office will employ over 140 staff, including Technology Specialists, Administrative Assistants, Lawyers, Policy Specialists, and Economists (find out more details below).  AI事務局には、技術スペシャリスト、事務アシスタント、弁護士、政策スペシャリスト、エコノミストを含む140名以上のスタッフが勤務する(詳細は下記を参照)。
Tasks of the AI Office AI事務局の任務
Supporting the AI Act and enforcing general-purpose AI rules AI法のサポートと汎用AIルールの施行
The AI Office makes use of its expertise to support the implementation of the AI Act by: AI事務局は、その専門性を活かし、以下のような形でAI法の実施をサポートしている:
・Contributing to the coherent application of the AI Act across the Member States, including the set-up of advisory bodies at EU level, facilitating support and information exchange ・EUレベルでの諮問団体の設置、支援や情報交換の促進など、加盟国間でのAI法の首尾一貫した適用に貢献する。
・Developing tools, methodologies and benchmarks for evaluating capabilities and reach of general-purpose AI models, and classifying models with systemic risks ・汎用AIモデルの能力と範囲を評価し、システミック・リスクを有するモデルを分類するためのツール、方法論、ベンチマークを開発する。
・Drawing up state-of-the-art codes of practice to detail out rules, in cooperation with leading AI developers, the scientific community and other experts ・主要なAI開発者、科学界、その他の専門家と協力して、ルールを詳細に規定する最先端の実践規範を作成する。
・Investigating possible infringements of rules, including evaluations to assess model capabilities, and requesting providers to take corrective action ・モデルの能力を評価するためのアセスメントを含め、ルール違反の可能性を調査し、プロバイダに是正措置を要請する。
・Preparing guidance and guidelines, implementing and delegated acts, and other tools to support effective implementation of the AI Act and monitor compliance with the regulation ・AI法の効果的な実施を支援し、規制遵守を監視するためのガイダンスやガイドライン、実施法や委任法、その他のツールの作成
Strengthening the development and use of trustworthy AI 信頼できるAIの開発と利用の強化
The Commission aims to foster trustworthy AI across the internal market. The AI Office, in collaboration with relevant public and private actors and the startup community, contributes to this by: 欧州委員会は、域内市場全体で信頼できるAIを育成することを目指している。AI事務局は、官民の関連団体や新興企業コミュニティーと協力して、以下のような形でこれに貢献する:
・Advancing actions and policies to reap the societal and economic benefits of AI across the EU ・EU全体でAIの社会的・経済的利益を享受するための行動や政策を推進する。
・Providing advice on best practices and enabling ready-access to AI sandboxes, real-world testing and other European support structures for AI uptake ・ベストプラクティスに関するアドバイスを提供し、AIサンドボックス、実環境試験、その他AI導入のための欧州の支援体制にすぐにアクセスできるようにする。
・Encouraging innovative ecosystems of trustworthy AI to enhance the EU’s competitiveness and economic growth ・EUの競争力と経済成長を強化するために、信頼できるAIの革新的エコシステムを奨励する。
・Aiding the Commission in leveraging the use of transformative AI tools and reinforcing AI literacy ・変革的なAIツールの活用とAIリテラシーの強化において欧州委員会を支援する。
Fostering international cooperation 国際協力の促進
At international level, the AI Office contributes to a strategic, coherent, and effective EU approach, by: 国際レベルでは、AI事務局は戦略的、首尾一貫した、効果的なEUのアプローチに貢献する:
・Promoting the EU’s approach to trustworthy AI, including collaboration with similar institutions worldwide ・世界の同様の機構との協力を含め、信頼できるAIに対するEUのアプローチを促進する。
・Fostering international cooperation and governance on AI, with the aim of contributing to a global approach to AI ・AIに対するグローバルなアプローチに貢献することを目的として、AIに関する国際協力とガバナンスを促進する。
・Supporting the development and implementation of international agreements on AI, including the support of Member States ・加盟国の支援を含め、AIに関する国際協定の策定と実施を支援する。
To effectively carry out all tasks based on evidence and foresight, the AI Office continuously monitors the AI ecosystem, technological and market developments, but also the emergence of systemic risks and any other relevant trends. エビデンスと先見性に基づいてすべての業務を効果的に遂行するため、AI事務局はAIのエコシステム、技術や市場の発展だけでなく、システミックリスクの出現やその他の関連する動向も継続的に監視している。
Cooperation with institutions, experts and stakeholders 機構、専門家、利害関係者との協力
Collaboration with a diverse range of institutions, experts and stakeholders is essential for the work of the AI Office. AI事務局の活動には、多様な機構、専門家、利害関係者との協力が不可欠である。
At an institutional level, the AI Office works closely with the European Artificial Intelligence Board formed by Member State representatives and the European Centre for Algorithmic Transparency (ECAT) of the Commission. 機構レベルでは、AI事務局は加盟国の代表者で構成される欧州人工知能委員会や欧州委員会の欧州アルゴリズム透明性センター(ECAT)と緊密に連携している。
The Scientific Panel of independent experts ensures a strong link with the scientific community. Further technical expertise is gathered in an Advisory Forum, representing a balanced selection of stakeholders, including industry, startups and SMEs, academia, think tanks and civil society. The AI Office may also partner up with individual experts and organisations. It will also create fora for cooperation of providers of AI models and systems, including general-purpose AI, and similarly for the open-source community, to share best practices and contribute to the development of codes of conduct and codes of practice. 独立した専門家で構成される科学委員会は、科学界との強固な連携を確保している。さらに、産業界、新興企業、中小企業、学界、シンクタンク、市民社会など、バランスの取れた利害関係者の代表者からなるアドバイザリー・フォーラムに、技術的な専門知識が集められている。AI事務局は、個々の専門家や組織と提携することもできる。また、汎用AIを含むAIモデルやシステムのプロバイダ、同様にオープンソースコミュニティの協力の場を設け、ベストプラクティスを共有し、行動規範や実践規範の策定に貢献する。
The AI Office will also oversee the AI Pact, which allows businesses to engage with the Commission and other stakeholders such as sharing best practices and joining activities. This engagement will start before the AI Act becomes applicable and will allow businesses to plan ahead and prepare for the implementation of the AI Act. All this will be part of the European AI Alliance, a Commission initiative, to establish an open policy dialogue on AI
.
AI事務局はまた、企業が欧州委員会や他の利害関係者とベストプラクティスの共有や活動への参加などの関わりを持つことを可能にするAI Pactを監督する。このエンゲージメントは、AI法が適用される前に開始され、企業はAI法の実施に向けて計画を立て、準備することができるようになる。これらはすべて、欧州委員会が主導する「欧州AI同盟(European AI Alliance)」の一環であり、AIに関する開かれた政策対話を確立するためのものである。
Further initiatives to foster trustworthy AI development and uptake within the EU are mapped on the Coordinated Plan on AI. EU域内で信頼に足るAIの開発と導入を促進するためのさらなる取り組みは、AIに関する調整計画(Coordinated Plan on AI)にマッピングされている。
Job opportunities and collaboration 雇用機会と協力
The AI Office will recruit talents with a variety of backgrounds for policy, technical and legal work and administrative assistance.  AI事務局では、政策、技術、法務、事務補助など、さまざまなバックグラウンドを持つ人材を募集する。
You can also sign up to receive updates from the AI Office. また、AI事務局からの最新情報を受け取るために登録することもできる。
You can get in touch with the European AI Office through the following contact details: [mail] for general inquiries and [mail] for inquiries related to job opportunities. 欧州AI事務局との連絡は、以下の連絡先から行うことができる: 一般的なお問い合わせは[mail] 、求人に関するお問い合わせは[mail]
Events イベント
1st European AI Office webinar  第1回欧州AI事務局・ウェビナー 
The 1st webinar on Risk management logic of the AI Act and related standards took place on 30 May. AI法および関連標準のリスクマネジメントロジックに関する第1回ウェビナーが5月30日に開催された。
View the recording 録画を見る
Download the slides スライドのダウンロード

 

スライド...

20240607-01745

 

 

 

 

| | Comments (0)

2024.06.06

米国 NSA 可視性と分析のピラーを通じてゼロトラストの成熟度を進める (2024.05.30)

こんにちは、丸山満彦です。

米国の国家安全保障局が、可視化と分析のピラーを通してゼロトラストの成熟度を高めるためのガイドを公表していますね...

(前回はアプリケーションとワークロード...)

ゼロトラストアーキテクチャには、7つのピラー、

USER ユーザー
DEVICE デバイス
APPLICATION & WORKLOAD アプリケーションとワークロード
DATA データ
NETWORK & ENVIRONMENT ネットワークと環境
AUTOMATION & ORCHESTRATION 自動化とオーケストレーション
VISIBLITY & ANALITICS 可視性と分析

が、ありますが、

今回のテーマは、VISIBLITY & ANALITICS です...

 

主要な機能は...

Logging all relevant activity  関連するすべての活動の記録
Centralized security information and event management  セキュリティ情報とイベントの一元管理 
Security and risk analytics  セキュリティとリスク分析 
User and entity behavior analytics  ユーザーと事業体の行動分析 
Threat intelligence integration  脅威インテリジェンスの統合 
Automated dynamic policies   自動化された動的ポリシー  

 

 

組織でSOCとか運用されているメンバーの方は読んだ方が良いかもですね...わりと完結に書かれていて、他の人に説明をする際にも参考になると思います。

 

 

National Security Agency/Central Security Service

・2024.05.30 [PDF] CSI: Advancing Zero Trust Maturity Throughout the Visibility and Analytics Pillar

20240606-61344

・[DOCX][PDF] 仮訳

 

エグゼクティブサマリー...

Executive summary  エグゼクティブサマリー 
In the ever-expanding landscape of cybersecurity, threats manifest in various forms and often infiltrate systems discreetly. The constant risk of intrusion underscores the critical importance of swift detection and mitigation.  拡大し続けるサイバーセキュリティの世界では、脅威はさまざまな形で現れ、しばしば目立たないようにシステムに侵入する。侵入のリスクは常に存在するため、迅速な検知と軽減が極めて重要である。 
This cybersecurity information sheet (CSI) centers on the visibility and analytics aspect of the Zero Trust (ZT) model, emphasizing the significance of comprehensively observing data characteristics and events within an enterprise-wide environment. Prioritizing cyber-related data analysis aids in informing policy decisions, facilitating response actions, and constructing a risk profile to proactively fortify security measures.  このサイバーセキュリティ・インフォメーション・シート(CSI)は、ゼロトラスト(ZT)モデルの可視性と分析の側面を中心に、エンタープライズ全体の環境におけるデータの特性とイベントを包括的に観察することの重要性を強調している。サイバー関連のデータ分析に優先順位をつけることで、政策決定への情報提供、対応措置の促進、セキュリティ対策を積極的に強化するためのリスクプロファイルの構築に役立つ。 
Visibility and analytics form the cornerstone of any ZT strategy, empowering organizations to harness infrastructure, tools, data, and techniques for proactively mitigating risks and for rapid identification, detection, and response to emerging cyber threats. Evolving from traditional signature-based approaches, detection (visibility and analytics) and response capabilities are increasingly adopting behavior-based methodologies to combat the sophistication of modern cyber threats. This pillar highlights the benefits of continuous monitoring and provides insights essential for identifying and mitigating potential security risks to assure that only authorized users and devices access sensitive resources.  可視化と分析は、あらゆるZT戦略の礎石を形成し、組織がインフラ、ツール、データ、テクニックを活用してリスクを事前に低減し、新たなサイバー脅威を迅速に特定、検知、対応できるようにする。従来のシグネチャベースのアプローチから進化し、検知(可視化と分析)および対応機能は、現代のサイバー脅威の高度化に対抗するために、行動ベースの手法を採用するようになってきている。このピラーは、継続的なモニタリングの利点を強調し、潜在的なセキュリティリスクを特定して低減し、認可されたユーザーとデバイスのみが機密リソースにアクセスできるようにするために不可欠な洞察を提供する。 
This CSI offers recommendations for advancing visibility and analytics within the ZT framework. It explains how these capabilities seamlessly integrate into a comprehensive ZT framework as detailed in the NSA publication, Embracing a Zero Trust Security Model. [1] National Security System (NSS), Department of Defense (DoD), and Defense Industrial Base (DIB) stakeholders can leverage this guidance in conjunction with complementary resources to enhance visibility and analytics through the implementation of outlined capabilities.  この CSI は、ZT フレームワークの中で可視化と分析を進めるための推奨事項を提示している。この CSI は、NSA の出版物「Embracing a Zero Trust Security Model」[1] に詳述されているように、これらの機能がどのように包括的な ZT フレームワークにシームレスに統合されるかを説明している。[国家安全保障システム(NSS)、国防総省(DoD)、防衛産業基盤(DIB)の関係者は、このガイダンスを補完的なリソースと併せて活用することで、概略の機能を実装することで可視性と分析を強化することができる。 

 

1_20240525034101

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2024.05.25 米国 NSA アプリケーションとワークロードのピラーを通してゼロトラストの成熟度を進める

・2024.04.15 米国 NSA データ・ピラー全体でゼロトラストの成熟度を進める (2024.04.09)

・2024.03.08 米国 NSA ネットワークと環境のピラーでゼロトラストの成熟度を進める (2024.03.05)

 

| | Comments (0)

2024.06.05

欧州データ保護監察機関 (EDPS) 生成的AIを使用するEU組織のための最初のEDPSオリエンテーション

こんにちは、丸山満彦です。

欧州データ保護監察機関 (EDPS)が、EU組織が生成的AIを利用することに関する最初の方向性を示す文書を公表していますね...

つまり、生成的AIと個人データ保護に関する最初のオリエンテーションというわけですね...

EUは動きが早いねぇ...

これを第一歩にして、さらに詳細な検討が進められていくんでしょうね...

 

EUROPEAN DATA PROTECTION SUPERVISOR

プレス...

・2024.06.04 EDPS Guidelines on generative AI: embracing opportunities, protecting people

EDPS Guidelines on generative AI: embracing opportunities, protecting people 生成的AIに関するEDPSガイドライン:機会を受け入れ、人々を保護する
The EDPS has published today its guidelines on generative Artificial Intelligence and personal data for EU institutions, bodies, offices and agencies (EUIs). The guidelines aim to help EUIs comply with the data protection obligations set out in Regulation (EU) 2018/1725, when using or developing generative AI tools. EDPSは本日、EUの機関・団体・事務所・機関(EUI)のための生成的人工知能と個人データに関するガイドラインを発表した。本ガイドラインは、EUIが生成的AIツールを使用または開発する際に、規則(EU)2018/1725に定められたデータ保護義務を遵守することを支援することを目的としている。
Wojciech Wiewiórowski, EDPS, said: “The guidelines that I have issued today on generative AI are a first step towards more extensive recommendations in response to the evolving landscape of generative AI tools, which my team and I continue to monitor and analyse closely. Our advice published today is drafted with the aim of covering as many possible scenarios involving the use of generative AI, to provide enduring advice to EUIs so that they can protect individuals’ personal information and privacy.” EDPSのWojciech Wiewiórowski氏は次のように述べた: 「本日発表した生成的AIに関するガイドラインは、進化する生成的AIツールの状況に対応するため、より広範な勧告に向けた第一歩であり、私のチームと私は注意深く監視と分析を続けている。本日発表した我々の助言は、生成的AIの使用に関わる可能性のあるシナリオをできるだけ多くカバーし、EUIが個人の個人情報とプライバシーを保護できるよう、永続的な助言を提供することを目的としてドラフトされたものである」。
To ensure their practical application by EUIs, the guidelines emphasise on data protection’s core principles, combined with concrete examples, as an aid to anticipate risks, challenges and opportunities of generative AI systems and tools. EUIによる実践的な適用を確実にするため、ガイドラインは、生成的AIシステムやツールのリスク、課題、機会を予測するための一助として、具体例と組み合わせたデータ保護の基本原則に重点を置いている。
As such, the guidelines focus on a series of important topics, including advice on how EUIs can distinguish whether the use of such tools involves the processing of individuals’ data; when to conduct a data protection impact assessment; and other essential recommendations. そのため、本ガイドラインは、EUIがそのようなツールの使用が個人のデータ処理に関わるかどうかを区別する方法、データ保護影響評価を実施するタイミング、その他の重要な勧告に関するアドバイスなど、一連の重要なトピックに焦点を当てている。
The EDPS issues these guidelines within its role as independent data protection authority of the EUIs, so that they comply with the EU’s data protection law applicable to them, in particular Regulation (EU) 2018/1725. The EDPS has not issued these guidelines within its role as AI Supervisor of the EUIs under the EU’s Artificial Intelligence Act for which a separate strategy is being prepared.  EDPSは、EUIに適用されるEUのデータ保護法、特に規則(EU)2018/1725を遵守するよう、EUIの独立したデータ保護認可機関としての役割の中で、これらのガイドラインを発行している。EDPSは、別個の戦略が準備されているEUの人工知能法に基づくEUIのAI監督機関としての役割の範囲内では、本ガイドラインを発行していない。

 

で、報告書...

・[PDF]  [HTMLGenerative AI and the EUDPR. First EDPS Orientations for ensuring data protection compliance when using Generative AI systems.

20240605-14357

 

First EDPS Orientations for EUIs using Generative AI 生成的AIを使用するEUIのための最初のEDPSオリエンテーション
These EDPS Orientations on generative Artificial Intelligence (generative AI) and personal data protection intend to provide practical advice and instructions to EU institutions, bodies, offices and agencies (EUIs) on the processing of personal data when using generative AI systems, to facilitate their compliance with their data protection obligations as set out, in particular, in Regulation (EU) 2018/1725. These orientations have been drafted to cover as many scenarios and applications as possible and do not prescribe specific technical measures. Instead, they put an emphasis on the general principles of data protection that should help EUIs comply with the data protection requirements according to Regulation (EU) 2018/1725. 生成的人工知能(生成的AI)と個人データ保護に関するこのEDPSオリエンテーションは、EU機構、団体、事務所、機関(EUI)が生成的AIシステムを使用する際の個人データ処理について、特に規則(EU)2018/1725に規定されているデータ保護義務への準拠を促進するための実践的な助言と指示を提供することを意図している。これらの方向性は、できるだけ多くのシナリオとアプリケーションをカバーするようにドラフトされており、特定の技術仕様を規定するものではない。その代わりに、EUIが規則(EU)2018/1725によるデータ保護要件を遵守するのに役立つデータ保護の一般原則に重点を置いている。
These orientations are a first step towards more detailed guidance that will take into account the evolution of Generative AI systems and technologies, their use by EUIs, and the results of the EDPS’ monitoring and oversight activities. これらの方向性は、生成的AIシステムや技術の進化、EUIによる利用、EDPSの監視・監督活動の結果を考慮した、より詳細なガイダンスに向けた第一歩である。
The EDPS issues these orientations in its role as a data protection supervisory authority and not in its new role as AI supervisory authority under the AI Act. EDPSは、AI法に基づくAI監督当局としての新たな役割ではなく、データ保護監督当局としての役割において、これらの指針を発行する。
These orientations are without prejudice to the Artificial Intelligence Act. これらのオリエンテーションは、人工知能法を妨げるものではない。
Introduction and scope. 序文と範囲
1. What is generative AI? 1. 生成的AIとは何か?
2. Can EUIs use generative AI? 2. EUIは生成的AIを使えるのか?
3. How to know if the use of a generative AI system involves personal data processing? 3. 生成的AIシステムの使用が個人データ処理に関わるかどうかを知る方法は?
4. What is the role of DPOs in the process of development or deployment of generative AI systems? 4. 生成的AIシステムの開発・導入プロセスにおけるDPOの役割は何か?
5. An EUI wants to develop or implement generative AI systems. When should a DPIA be carried out? 5. EUIが生成的AIシステムの開発または導入を望んでいる。いつDPIAを実施すべきか?
6. When is the processing of personal data during the design, development and validation of generative AI systems lawful? 6. 生成的AIシステムの設計、開発、検証における個人データの処理はいつ合法となるか?
7. How can the principle of data minimisation be guaranteed when using generative AI systems? 7. 生成的AIシステムを使用する場合、データ最小化の原則はどのように保証されるか?
8. Are generative AI systems respectful of the data accuracy principle? 8. 生成的AIシステムはデータの正確性の原則を尊重しているか?
9. How to inform individuals about the processing of personal data when EUIs use generative AI systems? 9. EUIが生成的AIシステムを使用する場合、個人データの処理についてどのように個人に知らせるか?
10. What about automated decisions within the meaning of Article 24 of the Regulation? 10. 規則第24条にいう自動化された決定についてはどうか。
11. How can fair processing be ensured and avoid bias when using generative AI systems? 11. 生成的AIシステムを使用する場合、どのようにして公正な処理を確保し、バイアスを避けることができるか?
12. What about the exercise of individual rights? 12. 個人の権利行使についてはどうか。
13. What about data security? 13. データセキュリティについてはどうか。
14. Do you want to know more? 14. もっと知りたいか?
Introduction and scope 序文と範囲
These orientations are intended to provide some practical advice to the EU institutions, bodies, offices and agencies (EUIs) on the processing of personal data in their use of generative AI systems, to ensure that they comply with their data protection obligations in particular as set out in the Regulation (EU) 2018/1725[1] (‘the Regulation’, or EUDPR). Even if the Regulation does not explicitly mention the concept of Artificial Intelligence (AI), the right interpretation and application of the data protection principles is essential to achieve a beneficial use of these systems that does not harm individuals’ fundamental rights and freedoms. これらのオリエンテーションは、EUの機構、団体、事務所、機関(EUI)が生成的AIシステムを利用する際の個人データの取り扱いについて、特に規則(EU)2018/1725[1](「規則」、またはEUDPR)で規定されているデータ保護義務を遵守するための実践的なアドバイスを提供することを目的としている。たとえ同規則が人工知能(AI)の概念に明確に言及していないとしても、個人の基本的権利と自由を害することのないこれらのシステムの有益な利用を実現するためには、データ保護原則の正しい解釈と適用が不可欠である。
The EDPS issues these orientations in his role as a data protection supervisory authority and not in his new role as AI supervisory authority under the AI Act. EDPSは、データ保護監督当局としての役割において、またAI法に基づくAI監督当局としての新たな役割においてではなく、これらのオリエンテーションを発行する。
These orientations do not aim to cover in full detail all the relevant questions related to the processing of personal data in the use of generative AI systems that are subject to analysis by data protection authorities. Some of these questions are still open, and additional ones are likely to arise as the use of these systems increases and the technology evolves in a way that allows a better understanding on how generative AI works. これらの防御方針は、データ保護当局の分析主体である生成的AIシステムの使用における個人データ処理に関連するすべての問題を詳細に網羅することを目的としているわけではない。これらの疑問点のいくつかはまだ未解決であり、これらのシステムの使用が増加し、生成的AIがどのように機能するかについてよりよく理解できるように技術が進化するにつれて、さらなる疑問点が生じる可能性がある。
Because artificial intelligence technology evolves quickly, the specific tools and means used to provide these types of services are diverse and they may change very quickly. Therefore, these orientations have been drafted as technologically neutral as possible. 人工知能技術は急速に進化するため、この種のサービスを提供するために使用される具体的なツールや手段は多様であり、それらは急速に変化する可能性がある。そのため、これらのオリエンテーションは、可能な限り技術的に中立な立場でドラフトされた。
These orientations are structured as follows: key questions, followed by initial responses along with some preliminary conclusions, and further clarifications or examples. これらのオリエンテーションは次のような構成になっている。すなわち、主要な質問、それに続く予備的な結論に沿った初期的な回答、そしてさらなる説明や例である。
These initial orientations serve as a preliminary step towards the development of more comprehensive guidance. Over time, these orientations will be updated, refined and expanded to address further elements needed to support EUIs in the development and implementation of these systems. Such an update should take place no later than twelve months after the publication of this document. これらの初期オリエンテーションは、より包括的なガイダンスの策定に向けた予備的なステップとしての役割を果たす。時間の経過とともに、これらのオリエンテーションは更新され、洗練され、拡大され、EUIがこれらのシステムを開発・実施するのを支援するために必要な要素をさらに取り上げることになる。このような更新は、遅くとも本文書の発行から12ヶ月以内に行われるべきである。
1. What is generative AI? 1. 生成的AIとは何か?
Generative AI is a subset of AI that uses specialised machine learning models designed to produce a wide and general variety of outputs, capable of a range of tasks and applications, such as generating text, image or audio. Concretely, it relies on the use of the so-called foundation models, which serve as baseline models for other generative AI systems that will be ‘fine-tuned’ from them. 生成的AIはAIのサブセットであり、テキスト、画像、音声の生成など、さまざまなタスクやアプリケーションに対応し、幅広く一般的な出力を生成するように設計された特殊な機械学習モデルを使用する。具体的には、いわゆる基礎モデルの使用に依存している。基礎モデルは、そこから「微調整」される他の生成的AIシステムのベースライン・モデルとして機能する。
A foundation model serves as the core architecture or base upon which other, more specialised models, are built. These models are trained on the basis of diverse and extensive datasets, including those containing publicly available information. They can represent complex structures like images, audio, video or language and can be fine-tuned for specific tasks or applications. 基礎モデルは、他の、より専門化されたモデルが構築される際の中核となるアーキテクチャやベースとして機能する。これらのモデルは、一般に公開されている情報を含む、多様で広範なデータセットに基づいて訓練される。これらのモデルは、画像、音声、映像、言語などの複雑な構造を表現することができ、特定のタスクや用途に合わせて微調整することができる。
Large language models are a specific type of foundation model trained on massive amounts of text data (from millions to billions of words)that can generate natural language responses to a wide range of inputs based on patterns and relationships between words and phrases. This vast amount of text used to train the model may be taken from the Internet, books, and other available sources. Some applications already in use are code generation systems, virtual assistants, content creation tools, language translation engines, automated speech recognition, medical diagnosis systems, scientific research tools, etc. 大規模言語モデルは、膨大な量のテキストデータ(数百万語から数十億語)に対して学習される特定のタイプの基礎モデルであり、単語やフレーズ間のパターンや関係に基づいて、幅広い入力に対する自然言語応答を生成することができる。モデルの学習に使用される膨大なテキストは、インターネット、書籍、その他の利用可能なソースから取得することができる。すでに使われているアプリケーションとしては、コード生成システム、バーチャルアシスタント、コンテンツ作成ツール、言語翻訳エンジン、自動音声認識、医療診断システム、科学研究ツールなどがある。
The relationship between these concepts is hierarchical. Generative AI is the broad category encompassing models designed to create content. A foundation model, such as a large language model, acts as the foundational architecture upon which more specialized models are built. Specialised models, built upon the foundation model, cater to specific tasks or applications, using the knowledge and capabilities of the foundational architecture. これらの概念の関係は階層的である。生成的AIは、コンテンツを作成するために設計されたモデルを包含する広範なカテゴリーである。大規模な言語モデルのような基礎モデルは、より専門化されたモデルが構築される基礎アーキテクチャとして機能する。基礎モデルの上に構築される専門化されたモデルは、基礎アーキテクチャの知識と能力を使用して、特定のタスクやアプリケーションに対応する。
The life cycle of a generative AI model covers different phases, starting by the definition of the use case and scope of the model. In some cases, it might be possible to identify a suitable foundation model to start with, in other cases a new model may be built from scratch. The following phase involves training the model with relevant datasets for the purpose of the future system, including fine-tuning of the system with specific, custom datasets required to meet the use case of the model. To finalise the training, specific techniques requiring human agency are used to ensure more accurate information and controlled behaviour. The following phase aims at evaluating the model and establishing metrics to regularly assess factors, such as accuracy, and the alignment of the model with the use case. Finally, models are deployed and implemented, including continuous monitoring and regular assessment using the metrics established in previous phases. 生成的AIモデルのライフサイクルは、ユースケースとモデルのスコープの定義から始まり、さまざまなフェーズにわたる。適切な基礎モデルを特定できる場合もあれば、ゼロから新しいモデルを構築する場合もある。次の段階では、モデルのユースケースを満たすために必要な特定のカスタムデータセットによるシステムの微調整を含め、将来のシステムの目的に関連するデータセットを使ってモデルをトレーニングする。トレーニングの最終段階として、より正確な情報と制御された動作を保証するために、人間の介在を必要とする特定の技術が使用される。次の段階では、モデルを評価し、精度やユースケースとモデルの整合性などの要素を定期的に評価するためのメトリクスを確立する。最後に、モデルは実装され、実装される。これには、前のフェーズで確立されたメトリクスを使用した継続的なモニタリングと定期的な評価が含まれる。
Relevant use cases in generative AI are general consumer-oriented applications (such as ChatGPT and similar systems that can be already found in different versions and sizes[2], including those that can be executed in a mobile phone). There are also business applications in specific areas, pre-trained models, applications based on pre-trained models that are tuned for specific use in an area of activity, and, finally, models in which the entire development, including the training process, is carried out by the responsible entity. 生成的AIに関連するユースケースは、一般的な消費者向けアプリケーション(ChatGPTや、携帯電話で実行可能なものを含め、すでにさまざまなバージョンやサイズ[2]で見つけることができる同様のシステムなど)である。また、特定の分野でのビジネスアプリケーション、事前学習モデル、活動分野での特定の用途のために調整された事前学習モデルに基づくアプリケーション、そして最後に、学習プロセスを含む開発全体が担当事業体によって実施されるモデルもある。
Generative AI, like other new technologies, offers solutions in several fields meant to support and enhance human capabilities. However, it also creates challenges with potential impact on fundamental rights and freedoms that risk being unnoticed, overlooked, not properly considered and assessed. 生成的AIは、他の新技術と同様に、人間の能力をサポートし、強化することを目的としたいくつかの分野でソリューションを提供している。しかし、基本的な権利や自由に影響を及ぼす可能性のある課題も生じており、それが気づかれず、見過ごされ、適切に考慮されず、アセスメントされないリスクもある。
The training of a Large Language Model (LLM) (and generally of any machine-learning model) is an iterative, complex and resource intensive process that involves several stages and techniques aiming at creating a model capable of generating human-like text in reaction to commands (or prompts) provided by users. The process starts with the model being trained on massive datasets, most of it normally unlabelled and obtained from public sources using web-scraping technologies (- data protection authorities already have expressed concern and outline the key privacy and data protection risks associated with the use of publicly accessible personal data). After that, LLMs are - not in all cases - fine-tuned using supervised learning or through techniques involving human agency (such as the Reinforcement Learning with Human Feedback (RLHF) or Adversarial Testing via Domain experts ) to help the system better recognize and process information and context, as well as to determine preferred responses, whether to limit output in reply to sensitive questions and to align it with the values of the developers (e.g. avoid producing harmful or toxic output). Once in production, some systems use the input data obtained through the interaction with users as a new training dataset to refine the model. 大規模言語モデル(LLM)(そして一般的にあらゆる機械学習モデル)の訓練は、反復的かつ複雑で、リソースを大量に消費するプロセスであり、ユーザーから提供されたコマンド(またはプロンプト)に反応して人間のようなテキストを生成できるモデルを作成することを目的とした、いくつかの段階とテクニックを含む。このプロセスは、膨大なデータセットでモデルを学習させることから始まるが、そのほとんどは通常ラベル付けされておらず、ウェブスクレイピング技術を使って公開ソースから取得される(データ保護当局はすでに懸念を表明しており、一般にアクセス可能な個人データの使用に関連する主要なプライバシー・データ保護リスクを概説している)。その後、LLMは、教師あり学習や、人間が関与する技術(人間のフィードバックによる強化学習(RLHF)やドメイン専門家による敵対的テストなど)を使って微調整され、システムが情報やコンテキストをよりよく認識・処理できるようにする。また、好ましい応答を決定したり、微妙な質問に対する出力を制限したり、開発者の価値観に沿うようにする(有害・有毒な出力を避けるなど)。本番稼動後は、ユーザーとの対話を通じて得られた入力データを、モデルを改良するための新しいトレーニングデータセットとして使用するシステムもある。
2. Can EUIs use generative AI? 2. EUIは生成的AIを使えるか?
As an EUI, there is no obstacle in principle to develop, deploy and use generative AI systems in the provision of public services, providing that the EUI's rules allow it, and that all applicable legal requirements are met, especially considering the special responsibility of the public sector to ensure full respect for fundamental rights and freedoms of individuals when making use of new technologies. EUIとして、公共サービスの提供において生成的AIシステムを開発、配備、使用することは、EUIの規則がそれを許可し、適用されるすべての法的要件が満たされていれば、特に、新しい技術を利用する際に個人の基本的権利と自由の完全な尊重を保証する公共部門の特別な責任を考慮すれば、原則として支障はない。
In any case, if the use of generative AI systems involves the processing of personal data, the Regulation applies in full. The Regulation is technologically neutral, and applies to all personal data processing activities, regardless of the technologies used and without prejudice to other legal frameworks, in particular the AI Act. The principle of accountability requires responsibilities to be clearly identified and respected amongst the various actors involved in the generative AI model supply chain. いずれにせよ、生成的AIシステムの使用が個人データの処理を伴う場合、同規則は全面的に適用される。同規則は技術的に中立であり、使用される技術にかかわらず、また他の法的枠組み、特にAI法を損なうことなく、すべての個人データ処理活動に適用される。説明責任の原則は、生成的AIモデルのサプライチェーンに関わる様々な関係者の間で責任を明確に特定し、尊重することを求めている。
EUIs can develop and deploy their own generative AI solutions or can alternatively deploy for their own use solutions available on the market. In both cases, EUIs may use providers to obtain all or some of the elements that are part of the generative AI system. In this context, EUIs must clearly determine the specific roles - controller, processor, joint controllership - for the specific processing operations carried out and their implications in terms of obligations and responsibilities under the Regulation. EUIは、生成的AIソリューションを独自に開発・実装することも、市場で入手可能なソリューションを独自に使用することもできる。いずれの場合も、EUIはプロバイダを利用して、生成的AIシステムの一部である要素のすべてまたは一部を入手することができる。このような状況において、EUIは、実施される特定の処理操作と、規則上の義務および責任の観点からのその意味について、管理者、処理者、共同管理者といった特定の役割を明確に決定しなければならない。
As AI technologies advance rapidly, EUIs must consider carefully when and how to use generative AI responsibly and beneficially for public good. All stages of a generative AI solution life cycle should operate in accordance with the applicable legal frameworks, including the Regulation, when the system involves the processing of personal data. AI技術が急速に進歩する中、EUIは生成的AIをいつ、どのように責任を持って、公益のために有益に利用するかを慎重に検討しなければならない。生成的AIソリューションのライフサイクルのすべての段階は、システムが個人データの処理を伴う場合、規則を含む適用される法的枠組みに従って運用されるべきである。
The terms trustworthy or responsible AI refer to the need to ensure that AI systems are developed in an ethical and legal way. It entails considering the unintended consequences of the use of AI technology and the need to follow a risk-based approach covering all the stages of the life cycle of the system. It also implies transparency regarding the use of training data and its sources, on how algorithms are designed and implemented, what kind of biases might be present in the system and how are tackled possible impacts on individual’s fundamental rights and freedoms. In this context, generative AI systems must be transparent, explainable, consistent, auditable and accessible, as a way to ensure fair processing of personal data. 信頼できるAIや責任あるAIという用語は、AIシステムが倫理的かつ合法的な方法で開発されることを保証する必要性を指す。そのためには、AI技術の使用が意図しない結果をもたらすことを考慮し、システムのライフサイクルの全段階を網羅するリスクベースのアプローチに従う必要がある。また、学習データの使用とその出典、アルゴリズムの設計と実装方法、システムにどのようなバイアスが存在する可能性があるか、個人の基本的権利と自由への影響の可能性にどのように対処するかについて、透明性を確保する必要がある。この観点から、生成的AIシステムは、個人データの公正な処理を保証する方法として、透明性があり、説明可能で、一貫性があり、監査可能で、アクセス可能でなければならない。
3. How to know if the use of a generative AI system involves personal data processing? 3. 生成的AIシステムの使用が個人データ処理を伴うかどうかを知るには?
Personal data processing in a generative AI system can occur on various levels and stages of its lifecycle, without necessarily being obvious at first sight. This includes when creating the training datasets, at the training stage itself, by infering new or additional information once the model is created and in use, or simply through the inputs and outputs of the system once it is running. 生成的AIシステムにおける個人データ処理は、そのライフサイクルの様々なレベルや段階で発生する可能性があり、必ずしも一見して明らかである必要はない。これには、訓練データセットの作成時、訓練段階そのもの、モデルが作成され使用されるようになってからの新たな情報や追加情報の推論、あるいはシステムが稼働してからの単純な入出力などが含まれる。
When a developer or a provider of a generative AI system claims that their system does not process personal data (for reasons such as the alleged use of anonymised datasets or synthetic data during its design, development and testing), it is crucial to ask about the specific controls that have been put in place to guarantee this. Essentially, EUIs may want to know what steps or procedures the provider uses to ensure that personal data is not being processed by the model. 生成的AIシステムの開発者やプロバイダが、そのシステムは個人データを処理していないと主張する場合(設計、開発、テスト時に匿名化されたデータセットや合成データを使用していると主張するなどの理由で)、これを保証するために実施されている具体的な制御について質問することは極めて重要である。基本的にEUIは、個人データがモデルによって処理されていないことを保証するためにプロバイダがどのような手順や手続きを用いているかを知りたいと考えるだろう。
The EDPS has already cautioned[3] against the use of web scraping techniques to collect personal data, through which individuals may lose control of their personal information when these are collected without their knowledge, against their expectations, and for purposes that are different from those of the original collection. The EDPS has also stressed that the processing of personal data that is publicly available remains subject to EU data protection legislation. In that regard, the use of web scraping techniques to collect data from websites and their use for training purposes might not comply with relevant data protection principles, including data minimisation and the principle of accuracy, insofar as there is no assessment on the reliability of the sources. EDPSはすでに[3]、個人データを収集するためにウェブスクレイピング技術を使用することに警告を発している。このような技術を使用すると、個人が知らないうちに、期待に反して、当初の収集目的とは異なる目的で個人情報が収集され、個人情報の管理者を失う可能性がある。EDPSはまた、一般に公開されている個人データの処理は、依然としてEUデータ保護法の主体であると強調している。この点で、Webスクレイピング技術を使用してWebサイトからデータを収集し、それをトレーニング目的に使用することは、情報源の信頼性に関するアセスメントがない限り、データの最小化や正確性の原則を含む関連するデータ保護の原則に準拠しない可能性がある。
Regular monitoring and the implementation of controls at all stages can help verify that there is no personal data processing, in cases where the model is not intended for it. 定期的な監視とすべての段階での制御の実施は、モデルが意図していない場合に、個人データ処理がないことを確認するのに役立つ。
EUI-X, a fictional EU institution, is considering the acquisition of a product for automatic speech recognition and transcription. After studying the available options, it has focused on the possibility of using a generative AI system to facilitate this function. In this particular case, it is a system that offers a pre-trained model for speech recognition and translation. Since this model will be used for the transcription of meetings using recorded voice files, it has been determined that the use of this model requires the processing of personal data and therefore it must ensure compliance with the Regulation. EUの架空の機関であるEUI-Xは、自動音声認識と文字起こしのための製品の購入を検討している。利用可能な選択肢を検討した結果、この機能を促進するために生成的AIシステムを使用する可能性に注目した。この特別なケースでは、音声認識と翻訳のための事前学習モデルを提供するシステムである。このモデルは、録音された音声ファイルを使用した会議の文字起こしに使用されるため、このモデルの使用には個人データの処理が必要であり、したがって規則の遵守を保証する必要があると判断された。
4. What is the role of DPOs in the process of development or deployment of generative AI systems? 4. 生成的AIシステムの開発または実装プロセスにおけるDPOの役割は何か?
Article 45 of the Regulation establishes the tasks of the data protection officer. DPOs inform and advise on the relevant data protection obligations, assist controllers to monitor internal compliance, provide advice where requested regarding DPIAs, and act as the contact point for data subjects and the EDPS. 規則第45条は、データ保護責任者の業務を定めている。DPOは、関連するデータ保護義務について通知・助言し、データ管理者が内部コンプライアンスを監視するのを支援し、DPIAに関して要請があれば助言を提供し、データ主体およびEDPSの窓口となる。
In the context of the implementation by EUIs of generative AI systems that process personal data it is important to ensure that DPOs, within their role, advise and assist in an independent manner on the application of the Regulation, have a proper understanding of the lifecycle of the generative AI system that the EUI is considering to procure, design or implement and how it works. This means, obtaining information on when and how these systems process personal data, and how the input and output mechanisms work, as well as the decision-making processes implemented through the model. It is important, as the Regulation points out[4], to provide advice to controllers when conducting data protection impact assessments. Controllers must ensure that all processes are properly documented and that transparency is guaranteed, including updating records of processing and, as a best practice, carrying out a specific inventory on generative AI - driven systems and applications. Finally, the DPO should be involved in the review of compliance issues in the context of data sharing agreements signed with model providers. EUIが個人データを処理する生成的AIシステムを導入する場合、DPOがその役割の中で、規則の適用について独立した立場で助言・支援し、EUIが調達・設計・導入を検討している生成的AIシステムのライフサイクルとその仕組みを適切に理解することが重要である。つまり、これらのシステムがいつ、どのように個人データを処理するのか、インプットとアウトプットのメカニズムがどのように機能するのか、モデルを通じて実行される意思決定プロセスに関する情報を入手することである。規則が指摘しているように[4]、データ保護影響アセスメントを実施する際に、輸入事業者に助言を提供することが重要である。管理者は、すべてのプロセスが適切に文書化され、処理記録の更新や、ベストプラクティスとして生成的AI主導のシステムやアプリケーションに関する特定のインベントリーの実施など、透明性が保証されていることを保証しなければならない。最後に、DPOは、モデルプロバイダーと締結したデータ共有契約におけるコンプライアンス問題の検討に関与すべきである。
From the organisational perspective, the implementation of generative AI systems in compliance with the Regulation should not be a one-person effort. There should be a continuous dialogue among all the stakeholders involved across the lifecycle of the product. Therefore, controllers should liaise with all relevant functions within the organisation, notably the DPO, Legal Service, the IT Service and the Local Informatics Security Officer (LISO) in order to ensure that the EUI works within the parameters of trustworthy generative AI, good data governance and complies with the Regulation. The creation of an AI task force, including the DPO, and the preparation of an action plan, including awareness raising actions at all levels of the organisation and the preparation of internal guidance may contribute to the achievement of these objectives. 組織的な観点からは、規則に準拠した生成的AIシステムの導入は、一人だけの取り組みであってはならない。製品のライフサイクルを通じて、関係するすべての利害関係者の間で継続的な対話が必要である。したがって、管理者は、EUIが信頼できる生成的AI、優れたデータガバナンスのパラメーターの範囲内で機能し、規則を遵守することを確実にするために、組織内のすべての関連機能、特にDPO、法務サービス、ITサービス、地域情報セキュリティ担当者(LISO)と連携すべきである。DPOを含むAIタスクフォースの設置、組織の全レベルにおける意識向上活動や内部ガイダンスの作成を含む行動計画の作成は、これらの目的の達成に貢献する可能性がある。
As an example of contractual clauses, the European Commission, through the “Procurement of AI Community” initiative, has brought together relevant stakeholders in procuring AI-solutions to develop wide model contractual clauses for the procurement of Artificial Intelligence by public organisations. It is also relevant to consider the standard contractual clauses between controllers and processors under the Regulation. 契約条項の一例として、欧州委員会は「インテリジェンス・コミュニティの調達」イニシアティブを通じて、AIソリューションの調達に関わる関係者を集め、公的機関による人工知能調達のための幅広いモデル契約条項を策定した。また、同規則に基づく管理者と処理者間の標準契約条項を検討することも適切である。
5. An EUI wants to develop or implement generative AI systems. When should a DPIA be carried out? 5. EUIが生成的AIシステムの開発または実装を望んでいる。DPIAはいつ実施されるべきか?
The principles of data protection by design and by default[5] aim to protect personal data throughout the entire life cycle of data processing, starting from the inception stage. By complying with this principle of the Regulation, based on a risk-oriented approach, the threats and risks that generative AI may entail can be considered and be mitigated sufficiently in advance. Developers and deployers may need to carry out their own risk assessments and document any mitigation action taken. 設計およびデフォルトによるデータ保護の原則[5]は、データ処理のライフサイクル全体を通じて個人データを保護することを目的としており、データ処理の開始段階から始まる。リスク指向のアプローチに基づき、規則のこの原則を遵守することで、生成的AIが伴いうる脅威とリスクを事前に考慮し、十分に軽減することができる。開発者や導入者は、独自のリスクアセスメントを実施し、講じた緩和措置を文書化する必要があるかもしれない。
The Regulation requires that a DPIA[6] must be carriedout before any processing operation that is likely to implicate a high risk[7] to fundamental rights and freedoms of individuals.. The Regulation points out the importance of carrying out such assessment, where new technologies are to be used or are of a new kind in relation to which no assessment has been carried out before by the controller, in the case of generative AI systems for example. 同規則は、個人の基本的権利と自由に対して高いリスク[7]を伴う可能性のある処理操作の前に、DPIA[6]を実施しなければならないとしている。同規則は、新技術が使用される場合、または、生成的AIシステムなどのように、これまで輸入事業者によってアセスメントが実施されていなかった新しい種類の技術が使用される場合、このようなアセスメントを実施することの重要性を指摘している。
The controller is obliged to seek the advice of the data protection officer (DPO) when carrying out a DPIA. Because of the assessment, appropriate technical and organisational measures must be taken to mitigate the identified risks given the responsibilities the context and the available state-of-the-art measures. 管理者はDPIAを実施する際、データ保護責任者(DPO)の助言を求める義務がある。アセスメントにより、識別されたリスクを軽減するために、その状況および利用可能な最新手段の責任を考慮した上で、適切な技術的および組織的措置を講じなければならない。
It may be appropriate, in the context of the use of generative AI to seek the views of those affected by the system, either the data subject themselves or their representatives in the area of intended processing. In addition to the reviews to assess whether the DPIA is rightly implemented, regular monitoring and reviews of the risk assessments need to be carried out, since the functioning of the model may exacerbate identified risks or create new ones. Those risks are related to personal data protection, but are also related to other fundamental rights and freedoms. 生成的AIの使用という文脈では、システムの影響を受けるデータ主体本人またはその代表者の意見を、意図された処理領域で求めることが適切な場合がある。DPIAが適切に実施されているかどうかを評価するためのレビューに加えて、モデルの 機能が特定されたリスクを悪化させたり、新たなリスクを生み出す可能性があるため、定期的 なモニタリングとリスクアセスメントのレビューも実施する必要がある。これらのリスクは個人データ保護に関連するものであるが、その他の基本的権利や自由にも関連するものである。
All the actors involved in the DPIA must ensure that any decision and action is properly documented, covering the entire generative AI system lifecycle, including, actions taken to manage risks and the subsequent reviews to be carried out. DPIAに関与するすべての関係者は、生成的AIシステムのライフサイクル全体を網羅し、リスクマネジメントのために取られた措置や、その後に実施されるレビューを含め、あらゆる決定と措置が適切に文書化されることを保証しなければならない。
It is EUI´s responsibility to appropriately manage the risks connected to the use of generative AI systems. Data protection risks must be identified and addressed throughout the entire life cycle of the generative AI system. This includes regular and systematic monitoring to determine, as the system evolves, whether risks already identified are worsening or whether new risks are appearing. The understanding of risks linked to the use of generative AI is still ongoing so there is a need to keep a vigilant approach towards non-identified, emerging risks. If risks that cannot be mitigated by reasonable means are identified, it is time to consult the EDPS. 生成的AIシステムの使用に関連するリスクを適切に管理することはEUIの責任である。データ保護リスクは、生成的AIシステムのライフサイクル全体を通じて特定され、対処されなければならない。これには、システムの進化に伴い、すでに識別されたリスクが悪化していないか、あるいは新たなリスクが出現していないかを判断するための定期的かつ体系的なモニタリングが含まれる。生成的AIの使用に関連するリスクの理解はまだ進行中であるため、識別されていない新たなリスクに対する警戒を怠らない必要がある。合理的な手段で低減できないリスクが識別された場合は、EDPSに相談する時である。
The EDPS has established a template allowing controllers to assess whether they have to carry out a DPIA [annex six to Part I of the accountability toolkit]. In addition, the EDPS has established an open list of processing operations subject to the requirement for a DPIA. Where necessary, the controller shall carry out a review to assess if the data processing is being performed in accordance with the data protection impact assessment, at least when there is a change to the risks represented by processing operations. If following the DPIA, controllers are not sure whether risks are appropriately mitigated, they should proceed to a prior consultation with the EDPS. EDPSは、管理者がDPIAを実施する必要があるかどうかを評価するためのテンプレートを策定している[アカウンタビリティ・ツールキットのパートIの附属書6]。さらに、EDPSはDPIAの要求対象となる処理業務のオープンリストを策定した。必要な場合、データ管理者は、少なくとも処理業務に代表されるリスクに変更があった場合に、データ処理がデータ保護影響アセスメントに従って行われているかどうかを評価するためのレビューを実施しなければならない。DPIA 後、管理者がリスクを適切に低減できているかどうか確信が持てない場合は、 EDPS との事前協議に進むべきである。
6. When is the processing of personal data during the design, development and validation of generative AI systems lawful? 6. 生成的AIシステムの設計、開発、検証における個人データの処理はいつ合法か?
The processing of personal data in generative AI systems may cover the entire lifecycle of the system, encompassing all processing activities related to the collection of data, training, interaction with the system and systems’ content generation. Collection and training-related processing activities include obtaining data from publicly available sources on the Internet, directly, from third parties, or from the EUIs’ own files. Personal data can also be obtained by the generative AI model directly from the users, via the inputs to the system or through inference of new information. In the context of generative AI systems, the training and use of the systems relies normally on systematic and large scale processing of personal data, in many cases without the awareness of the individuals whose data are processed. 生成的AIシステムにおける個人データの処理は、データの収集、訓練、システムとの相互作用、システムのコンテンツ生成に関連するすべての処理活動を包含し、システムのライフサイクル全体をカバーすることができる。収集と訓練に関連する処理活動には、インターネット上の一般に利用可能なソースから、直接、サードパーティから、またはEUI自身のファイルからデータを取得することが含まれる。個人データは、生成的AIモデルによって、システムへの入力を通じて、あるいは新しい情報の推論を通じて、ユーザーから直接取得することもできる。生成的AIシステムの文脈では、システムのトレーニングおよび使用は通常、個人データの体系的かつ大規模な処理に依存しており、多くの場合、そのデータが処理される個人の意識向上および使用はない。
The processing of any personal data by EUIs is lawful if at least one of the grounds for lawfulness[8] listed in the Regulation is applicable. In addition, for the processing of special categories of personal data to be lawful, one of the exceptions[9] listed in the Regulation must apply. When the processing is carried out for the performance of task carried out in the public interest[10] or is necessary for the compliance with a legal obligation[11] to which the controller is subject to, the legal ground for the processing must be laid down in EU law. In addition, the referred EU Law should be clear and precise and its application should be foreseeable to individuals subject to it, in accordance with the requirements set out in the Charter of Fundamental Rights of the European Union and the European Convention for the Protection of Human Rights and Fundamental Freedoms. EUIによる個人データの処理は、規則[8]に列挙された適法性の根拠[9]の少なくとも1つが適用されれば適法である。さらに、特別カテゴリーの個人データの処理が合法的であるためには、規則に列挙された例外[9]のいずれかが適用されなければならない。処理が公益[10]のために実施される場合、または管理者が従う法的義務[11]の遵守のために必要な場合、処理の法的根拠はEU法に定められていなければならない。さらに、参照されるEU法は、欧州連合基本権憲章および人権および基本的自由の保護に関する欧州条約に定める要件に従い、明確かつ正確でなければならず、その適用が対象となる個人にとって予見可能でなければならない。
Moreover, where a legal basis gives rise to a serious interference with fundamental rights to data protection and privacy, there is a greater need for clear and precise rules governing the scope and the application of the measure as well as the accompanying safeguards. Therefore, the greater the interference, the more robust and detailed the rules and safeguards should be. When relying on internal rules, these internal rules should precisely define the scope of the interference with the right to the protection of personal data, through identification of the purpose of processing, categories of data subjects, categories of personal data that would be processed, controller and processors, and storage periods, together with a description of the concrete minimum safeguards and measures for the protection of the rights of individuals. さらに、法的根拠がデータ保護とプライバシーに対する基本的権利への重大な干渉をもたらす場合、その措置の範囲と適用、および付随するセーフガードを規定する明確かつ正確なルールの必要性が高まる。したがって、干渉が大きければ大きいほど、規則と保護措置はより強固で詳細なものでなければならない。内部規則に依拠する場合、その内部規則は、個人の権利保護のための具体的な最低保障措置と措置の説明とともに、処理の目的、データ主体、処理される個人データのカテゴリー、管理者、処理者、保存期間の特定を通じて、個人データ保護の権利に対する干渉の範囲を正確に定義すべきである。
The use of consent[12] as a legal basis may apply in some circumstances in the context of the use of generative AI systems. Obtaining consent[13] under the Regulation, and for that consent to be valid, it needs to meet all the legal requirements, including the need for a clear affirmative action by the individual, be freely given, specific, informed and unambiguous. Given the way in which generative AI systems are trained, and the sources of training data, including publicly available information, the use of consent as such must be carefully considered, also in the context of its use by public bodies, such as EUIs. In addition, if consent is withdrawn, all data processing operations that were based on such consent and took place before the withdrawal - and in accordance with the Regulation - remain lawful. However, in this case, the controller must stop the processing operations concerned. If there is no other lawful basis justifying the processing of data, the relevant data must be deleted by the controller. 法的根拠としての同意[12]の使用は、生成的AIシステムの使用という文脈において、状況によっては適用される可能性がある。同規則に基づく同意[13]を取得し、その同意が有効であるためには、個人による明確な肯定的行為の必要性、自由に与えられ、具体的で、十分な情報を提供され、かつ曖昧でないことなど、すべての法的要件を満たす必要がある。生成的AIシステムの学習方法や、一般に入手可能な情報を含む学習データの情報源を考えると、EUIなどの公的団体による使用という文脈においても、同意の使用は慎重に検討されなければならない。さらに、同意が撤回された場合、そのような同意に基づき、撤回前に行われた、規則に従って行われたすべてのデータ処理業務は、引き続き合法である。ただし、この場合、管理者は当該処理業務を停止しなければならない。データ処理を正当化する合法的根拠が他にない場合、データ管理者は該当するデータを削除しなければならない。
Service providers of generative AI models may use legitimate interest under the EU General Data Protection Regulation[14] (GDPR) as a legal basis for data processing, particularly with regard to the collection of data used to develop the system, including the training and validations processes. The Court of Justice of the European Union (CJEU) has held[15] that the use of legitimate interest lays down three cumulative conditions so that the processing of personal data covered by that legal basis is lawful. First, the pursuit of a legitimate interest by the data controller or by a third party; second, the need to process personal data for the purposes of the legitimate interests pursued; and third, that the interests or fundamental freedoms and rights of the person concerned by the data protection do not take precedence over the legitimate interest of the controller or of a third party In the case of data processing by generative AI systems, many circumstances can influence the balancing process inherent in the provision, leading to effects such as unpredictability for the data subjects, as well as legal uncertainty for controllers. In that regard, EUIs have a specific responsibility to verify that providers of generative AI systems have complied with the conditions of application of this legal basis, taking into account the specific conditions of processing carried out by these systems. 生成的AIモデルのサービスプロバイダは、データ処理の法的根拠として、EU一般データ保護規則[14](GDPR)に基づく正当な利益を使用することができる。欧州連合司法裁判所(CJEU)[15]は、正当な利益の使用は、その法的根拠によってカバーされる個人データの処理が合法的であるように、3つの累積的条件を定めている。第1に、データ管理者または第三者による正当な利益の追求、第2に、追求される正当な利益の目的のために個人データを処理する必要性、第3に、データ保護に関係する人の利益または基本的自由および権利が、データ管理者または第三者の正当な利益に優先しないことである。生成的AIシステムによるデータ処理の場合、多くの状況がこの規定に内在するバランス・プロセスに影響を及ぼし、データ主体にとって予測不可能であると同時に、管理者にとっても法的不確実性が生じる。この点で、EUIは、生成的AIシステムのプロバイダが、これらのシステムによって実行される処理の特定の条件を考慮に入れて、この法的根拠の適用条件を遵守していることを検証する特別な責任を負っている。
As controllers for the processing of personal data, EUIs are accountable for the transfers of personal data that they initiate and for those that are carried out on their behalf within and outside the European Economic Area. These transfers can only occur if the EUI in question has instructed them or allowed them, or if such transfers are required under EU law or under EU Member States' Law. Transfers can occur at different levels in the context of the development or use of generative AI systems, including when EUIs make use of systems based on cloud services or when they have to provide, in certain cases, personal data to be used to train, test or validate a model. In either case, these data transfers must comply with the provisions laid down in Chapter V[16] of the Regulation, while also subject to the other provisions of the Regulation, and be consistent with the original purpose of the data processing. 個人データ処理の管理者として、EUIは、EUIが開始した個人データの移転、およびEUIに代わって欧州経済領域内外で実施される個人データの移転について責任を負う。これらの移転は、当該EUIが指示または許可した場合、あるいはEU法またはEU加盟国の法律の下でそのような移転が義務付けられている場合にのみ発生する。EUIがクラウドサービスに基づくシステムを利用する場合や、モデルの訓練、テスト、検証に使用する個人データを提供しなければならない場合など、生成的AIシステムの開発または使用の文脈では、さまざまなレベルで移転が発生する可能性がある。いずれの場合においても、これらのデータ移転は、同規則の第V章[16]に規定された規定を遵守するとともに、同規則の他の規定にも準拠し、データ処理の本来の目的に合致したものでなければならない。
Personal data processing in the context of generative AI systems requires a legal basis in line with the Regulation. If the data processing is based on a legal obligation or in the exercise of public authority, that legal basis must be clearly and precisely set out in EU law. The use of consent as a legal basis requires careful consideration to ensure that it meets the requirements of the Regulation, in order to be valid. 生成的AIシステムの文脈における個人データ処理には、規則に沿った法的根拠が必要である。データ処理が法的認可または公権力の行使に基づくものである場合、その法的根拠はEU法に明確かつ正確に規定されていなければならない。同意を法的根拠として使用する場合、それが有効であるためには、同規則の要件を満たしているかどうかを慎重に検討する必要がある。
For example, the GPA Resolution on Generative Artificial Intelligence Systems states that, where required under relevant legislation, developers, providers and deployers of generative AI systems must identify at the outset the legal basis for the processing of personal data related to: a) collection of data used to develop generative AI systems; b) training, validation and testing datasets used to develop or improve generative AI systems; c) individuals’ interactions with generative AI systems; d) content generated by generative AI systems. 例えば、「生成的人工知能システムに関するGPA決議」では、関連法に基づいて要求される場合、生成的AIシステムの開発者、プロバイダ、導入者は、a) 生成的AIシステムの開発に使用されるデータの収集、b) 生成的AIシステムの開発または改善に使用されるトレーニング、検証、テストのデータセット、c) 生成的AIシステムと個人の相互作用、d) 生成的AIシステムによって生成されるコンテンツ、に関連する個人データ処理の法的根拠を当初に特定しなければならないとしている。
7. How can the principle of data minimisation be guaranteed when using generative AI systems? 7. 生成的AIシステムを使用する際、データ最小化の原則はどのように保証されるのか?
The principle of data minimisation means that controllers shall ensure that personal data undergoing processing are adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed. There is a misconception that the principle of data minimisation[17]has no place in the context of artificial intelligence. However, data controllers have an obligation to limit the collection and otherwise processing of personal data to what is necessary for the purposes of the processing, avoiding indiscriminate processing of personal data. This obligation covers the entire lifecycle of the system, including testing, acceptance and release into production phases. Personal data should not be collected and processed indiscriminately. EUIs must ensure that staff involved in the development of generative AI models are aware of the different technical procedures available to minimise the use of personal data and that those are duly taken into account in all stages of the development. データ最小化の原則とは、管理者は、処理中の個人データが適切で、関連性があり、処理目的との関連で必要なものに限定されることを保証しなければならないことを意味する。データ最小化の原則[17]は人工知能の文脈では適用されないという誤解がある。しかし、データ管理者には、個人データの収集およびその他の処理を、処理の目的に必要なものに限定し、個人データの無差別な処理を避ける義務がある。この義務は、テスト、受け入れ、本番段階へのリリースを含む、システムのライフサイクル全体をカバーする。個人データを無差別に収集し、処理してはならない。EUIは、生成的AIモデルの開発に携わる職員が、個人データの使用を最小限に抑えるために利用可能なさまざまな技術的手順を認識し、それらが開発の全段階において正当に考慮されていることを確認しなければならない。
EUIs should develop and use models trained with high quality datasets limited to the personal data necessary to fulfil the purpose of the processing. In this way, these datasets should be well labelled and curated, within the framework of appropriate data governance procedures, including periodic and systematic review of the content. Datasets and models must be accompanied by documentation on their structure, maintenance and intended use. When using systems designed or operated by third-party service providers, EUIs should include in their assessments considerations related to the principle of data minimisation. EUIは、処理の目的を達成するために必要な個人データに限定した高品質のデータセットを用いて学習させたモデルを開発し、使用すべきである。このように、これらのデータセットは、内容の定期的かつ体系的なレビューを含む、適切なデータガバナンス手続きの枠組みの中で、適切にラベル付けされ、管理されなければならない。データセットとモデルには、その構造、保守、使用目的に関する文書を添付しなけれ ばならない。サードパーティが設計または運用するシステムを使用する場合、EUIはアセスメントにおいて、データ最小化の原則に関連する考慮事項を含めるべきである。
The use of large amounts of data to train a generative AI system does not necessarily imply greater effectiveness or better results. The careful design of well-structured datasets, to be used in systems that prioritise quality over quantity, following a properly supervised training process, and subject to regular monitoring, is essential to achieve the expected results, not only in terms of data minimisation, but also when it concerns quality of the output and data security. 生成的AIシステムを訓練するために大量のデータを使用することは、必ずしも効果や結果の向上を意味しない。量よりも質を優先するシステムで使用され、適切に監視された学習プロセスを経て、定期的に監視される、十分に構造化されたデータセットの慎重な設計は、データの最小化という点だけでなく、出力の質やデータセキュリティに関しても、期待される結果を達成するために不可欠である。
EUI-X intends to train an AI system to be able to assist with tasks related to software development and programming. For this, they would like to use a content generation tool that will be available through the individual IT staff members’ accounts. The EUI-X needs to reflect before training the algorithm to make sure they will not be processing personal data that would not be useful for the intended purpose. For example, they may carry out a statistical analysis to demonstrate that a minimum amount of data is necessary to achieve the result. Furthermore, they will need to check and justify whether they will be processing special categories of personal data. Additionally, they will need to examine the typology of data (i.e. synthesised, anonymised or pseudonymised). Finally, they will need to verify all relevant technical and legal elements of the data sources used, including their lawfulness, transparency and accuracy. EUI-Xは、ソフトウェア開発とプログラミングに関連する作業を支援できるAIシステムを訓練することを意図している。そのためには、個々のITスタッフのアカウントから利用できるコンテンツ生成的ツールを使いたいと考えている。EUI-Xは、アルゴリズムを訓練する前に、意図した目的に役立たない個人データを処理しないように注意する必要がある。例えば、統計分析を実施し、結果を達成するために必要最小限のデータ量であることを証明することができる。さらに、特別カテゴリーの個人データを処理するかどうかを確認し、正当化する必要がある。さらに、データの類型(合成、匿名化、仮名化など)を検討する必要がある。最後に、使用するデータソースの合法性、透明性、正確性など、関連する技術的・法的要素をすべて検証する必要がある。
8. Are generative AI systems respectful of the data accuracy principle? 8. 生成的AIシステムはデータの正確性の原則を尊重しているか?
Generative AI systems may use in all stages of their lifecycle, notably during the training phase, huge amounts of information, including personal data. 生成的AIシステムは、そのライフサイクルのあらゆる段階、特に訓練段階において、個人データを含む膨大な量の情報を使用する可能性がある。
The principle of data accuracy[18] requires data to be accurate, up to date, while the data controller is required to update or delete data that is inaccurate. Data controllers must ensure data accuracy at all stages of the development and use of an artificial intelligence system. Indeed, they must implement the necessary measures to integrate data protection by design that will help to increase data accuracy in all the stages. データ正確性の原則[18]は、データが正確で最新であることを要求し、データ管理者は不正確なデータを更新または削除することを要求する。データ管理者は、人工知能システムの開発と利用のすべての段階で、データの正確性を確保しなければならない。実際、データ管理者は、すべての段階においてデータの正確性を高めるのに役立つ、設計によるデータ保護を統合するために必要な措置を実施しなければならない。
This implies verifying the structure and content of the datasets used for training models, including those sourced or obtained from third parties. It is equally important to have control over the output data, including the inferences made by the model, which requires regular monitoring of that information, including human oversight. Developers should use validation sets[19] during training and separate testing sets for final evaluation to obtain an estimation on how the system will perform. Although generally not data protection oriented, metrics on statistical accuracy (the ability of models to produce correct outputs or predictions based on the data they have been trained on), when available, can offer an indicator for the accuracy of the data the model uses as well as on the expected performance. これには、サードパーティから入手したものも含め、モデルの学習に使用するデータセットの構造と内容を検証することが含まれる。モデルによる推論を含む出力データを制御することも同様に重要であり、これには人間の監視を含む情報の定期的な監視が必要である。開発者は、トレーニング中に検証セット[19]を使用し、最終評価には別のテストセットを使用して、シ ステムがどのように機能するかの推定を得るべきである。一般にデータ防御は重視されないが、統計的精度(学習させたデータに基づいて正しい出力や予測を行うモデルの能力)に関する指標が利用可能であれば、モデルが使用するデータの精度や期待される性能に関する指標を提供することができる。
When EUIs use a generative AI system or training, testing or validation datasets provided by a third party, contractual assurances and documentation must be obtained on the procedures used to ensure the accuracy of the data used for the development of the system. This includes data collection procedures, preparation procedures, such as annotation, labelling, cleaning, enrichment and aggregation, as well as the identification of possible gaps and issues that can affect accuracy. The technical and user documentation of the system, including model cards, should enable the controller of the system to carry out appropriate checks and actions regularly to ensure the accuracy principle. This is even more important since models, even when trained with representative high quality data, may generate output containing inaccurate or false information, including personal data, the so-called “hallucinations.” EUIが生成的AIシステム、またはサードパーティから提供されたトレーニング、テスト、検証データセットを使用する場合、システムの開発に使用されたデータの正確性を確保するために使用された手順について、契約上の保証と文書を取得しなければならない。これには、データ収集手順、注釈、ラベリング、洗浄、濃縮、集計などの準備手順、正確性に影響を及ぼす可能性のあるギャップや問題の特定などが含まれる。モデルカードを含むシステムの技術文書と利用者文書によって、システムの管理者は、精度の原則を確保するために、適切なチェックと処置を定期的に実施できるようにしなければならない。代表的な高品質データで学習させたモデルであっても、個人データ、いわゆる "幻覚 "を含む不正確な情報や虚偽の情報を含む出力を生成する可能性があるため、このことはさらに重要である。
Despite the efforts to ensure data accuracy, generative AI systems are still prone to inaccurate results that can have an impact on individuals´ fundamental rights and freedoms. データの正確性を確保する努力にもかかわらず、生成的AIシステムは、個人の基本的権利と自由に影響を及ぼしうる不正確な結果を生み出しやすい。
While providers are implementing advanced training systems to ensure that models use and generate accurate data, EUIs should carefully assess data accuracy throughout the whole lifecycle of the generative AI systems and consider the use of such systems if the accuracy cannot be maintained. プロバイダは、モデルが正確なデータを使用し、生成することを保証するために高度なトレーニングシステムを導入しているが、EUIは生成的AIシステムのライフサイクル全体を通してデータの正確性を慎重にアセスメントし、正確性が維持できない場合はそのようなシステムの使用を検討すべきである。
EUI-X, following the advice of the DPO, has decided that the results of the ASR model, when used for the transcription of official meetings and hearings, will be subject to validation by qualified staff of the EUI. In cases where the model is used for other less sensitive meetings, the transcription will always be accompanied by a clear indication that it is a document generated by an AI system. EUI-X has prepared and approved at top-management level a policy for the use of the model as well as data protection notices compliant with the Regulation requesting the consent of individuals, both for the recording of their voice during meetings and for its processing by the transcription system. A DPIA has also been carried prior to the deployment of the AI system by the EUI. EUI-Xは、DPOの助言に従い、ASRモデルの結果を公式の会議やヒアリングのテープ起こしに使用する場合は、EUIの有資格スタッフによる検証を受けることを決定した。ASRモデルを機密性の低いその他の会議に使用する場合、文字起こしには必ず、それが生成的AIシステムによって作成された文書であることを明示する。EUI-Xは、このモデルの使用に関する方針と、会議中の音声の録音と文字起こしシステムによる処理の両方について、個人の同意を求める規則に準拠したデータ保護通知を作成し、トップマネジメントレベルで承認している。また、EUIによるAIシステムの導入に先立ち、DPIAも実施されている。
9. How to inform individuals about the processing of personal data when EUIs use generative AI systems? 9. EUIが生成的AIシステムを使用する際、個人データの処理についてどのように個人に知らせるか?
Appropriate information and transparency policies can help mitigate risks to individuals and ensure compliance with the requirements of the Regulation, in particular, by providing detailed information on how, when and why EUIs process personal data in generative AI systems. This implies having comprehensive information - that must be provided by developers or suppliers as the case may be - about the processing activities carried out at different stages of development, including the origin of the datasets, the curation/tagging procedure, as well as any associated processing. In particular, EUIs should ensure that they obtain adequate and relevant information on those datasets used by their providers or suppliers and that such information is reliable and regularly updated. Certain systems (i.e. chatbots) may require specific transparency requirements, including informing individuals that they are interacting with an AI system without human intervention. 適切な情報と透明性方針は、特に、EUIが生成的AIシステムで個人データをいつ、どのように、なぜ処理するかについての詳細な情報を提供することによって、個人に対するリスクを軽減し、規則の要求事項の遵守を確保するのに役立つ。これは、データセットの出所、キュレーション/タグ付けの手順、関連する処理など、開発のさまざまな段階で行われる処理活動に関する包括的な情報(場合によっては開発者またはサプライヤーによって提供されなければならない)を持つことを意味する。特に、EUIは、プロバイダやサプライヤーが使用するデータセットについて、適切かつ関連性のある情報を入手し、そのような情報が信頼できるもので、定期的に更新されるようにしなければならない。特定のシステム(チャットボットなど)は、人間の介入なしにAIシステムとやりとりしていることを個人に知らせるなど、特定の透明性要件が必要となる場合がある。
As the right to information[20] includes the obligation to provide individuals, in cases of profiling and automated decisions, meaningful information about the logic of such decisions, as well as their meaning and possible consequences on the individuals, it is important for the EUI to maintain updated information, not only about the functioning of the algorithms used, but also about the processing datasets. This obligation should generally be extended to cases where, although the decision procedure is not entirely automated, it includes preparatory acts based on automated processing. 情報への権利[20]には、プロファイリングや自動化された意思決定の場合、そのような意思決定の論理や、その意味、個人に起こりうる結果について、意味のある情報を個人に提供する義務が含まれているため、EUIは、使用されているアルゴリズムの機能だけでなく、処理データセットについても、更新された情報を維持することが重要である。この義務は一般的に、決定手続きが完全に自動化されているわけではないが、自動処理に基づく準備行為が含まれている場合にも適用されるべきである。
EUIs must provide to individuals all the information required in the Regulation when using generative AI systems that process personal data. The information provided to individuals must be updated when necessary to keep them properly informed and in control of their own data. EUIは、個人データを処理する生成的AIシステムを使用する場合、規則で要求されるすべての情報を個人に提供しなければならない。個人に提供される情報は、適切な情報を提供し、自己のデータを管理するために、必要に応じて更新されなければならない。
EU-X is preparing a chatbot that will assist individuals when accessing certain areas of its website. The controllers affected, with the advice of the DPO, have prepared a data protection notice, available in the EU-X website. The notice includes information on the purpose of the processing, the legal basis, the identification of the controller and the contact details of the DPO, the recipients of the data, the categories of personal data collected, the retention of the data as well on how to exercise individual rights. The notice also includes information on how the system works and on the possible use of the user´s input to refine the chat function. EU-X uses consent as a legal basis, but users can withdraw their consent at any moment. The notice also clarifies that minors are not permitted to use the chatbot. Before using the EUI’s chatbot, individuals can provide consent after reading the data protection notice. EU-Xは、ウェブサイトの特定のエリアにアクセスする際に個人を支援するチャットボットを準備している。影響を受けるデータ管理者は、DPOの助言を得て、EU-Xのウェブサイトで入手可能なデータ保護通知を作成した。この通知には、処理の目的、法的根拠、管理者の特定とDPOの連絡先、データの取得者、収集された個人データのカテゴリー、データの保持、個人の権利行使方法に関する情報が含まれている。また、この通知には、システムの機能、およびチャット機能を改良するためのユーザー入力の使用可能性に関する情報も含まれる。EU-Xは同意を法的根拠としているが、ユーザーはいつでも同意を撤回することができる。また、未成年者がチャットボットを使用することは許可されていない。EUIのチャットボットを使用する前に、個人はデータ保護通知を読んだ上で同意を提供することができる。
10. What about automated decisions within the meaning of Article 24 of the Regulation? 10. 規則第24条にいう自動化された決定についてはどうか。
The use of a generative AI system does not necessarily imply automated decision-making[21] within the meaning of the Regulation. However, there are generative AI systems that provide decision-making information obtained by automated means involving profiling and /or individual assessments. Depending on the use of such information in making the final decision by a public service, EUIs may fall within the scope of application of Article 24 of the Regulation, so they need to ensure that individual safeguards are guaranteed, including at least the right to obtain human intervention on the part of the controller, to express his or her point of view and to contest the decision. 生成的AIシステムの使用は、必ずしも規則の意味における自動意思決定[21]を意味しない。しかし、プロファイリングやアセスメントを含む自動化された手段によって得られた意思決定情報を提供する生成的AIシステムは存在する。公共サービスによる最終的な意思決定におけるそのような情報の使用によっては、EUIは規則第24条の適用範囲に入る可能性があるため、少なくとも管理者側の人的介入を得る権利、自己の見解を表明する権利、意思決定に異議を申し立てる権利など、個人の保護措置が保証されていることを保証する必要がある。
In managing AI decision-making tools, EUIs must consider carefully how to ensure that the right to obtain human intervention is properly implemented. This is of paramount importance in case EUIs deploy autonomous AI agents that can perform tasks and make decisions without human intervention or guidance. AIの意思決定ツールを管理するにあたり、EUIは、人間の介入を得る権利が適切に実施されるようにする方法を慎重に検討しなければならない。これは、EUIが人間の介入や指導なしにタスクを実行し、意思決定を行うことができる自律型AIエージェントを導入する場合に、最も重要なことである。
EUIs must be very attentive to the weight that the information provided by the system has in the final steps of the decision-making procedure, and whether it has a decisive influence on the final decision taken by the controller. It is important to recognise the unique risks and potential harms of generative AI systems in the context of automated decision-making, particularly on vulnerable populations and children[22]. EUIは、意思決定手順の最終段階においてシステムから提供される情報がどのような重みを持つか、また、その情報がコントローラーが下す最終的な意思決定に決定的な影響を与えるかどうかに細心の注意を払わなければならない。自動化された意思決定の文脈において、特に脆弱な集団や子どもに対する生成的AIシステム特有のリスクと潜在的な危害を認識することが重要である[22]。
Where generative AI systems are planned to support decision-making procedures, EUIs must consider carefully whether to put them into operation if their use raises questions about their lawfulness or their potential of being unfair, unethical or discriminatory decisions. 生成的AIシステムが意思決定手続を支援するために計画されている場合、EUIは、その使用が適法性に疑問を抱かせるものであったり、不公正、非倫理的、差別的な意思決定となる可能性がある場合には、運用を開始するかどうかを慎重に検討しなければならない。
EUI-X is considering using an AI system for the initial screening and filtering of job applications. Service provider C has offered a generative AI system that performs an analysis of the formal requirements and an automated assessment of the applications, providing scores and suggestions on which candidates to interview in the next phase. Having consulted the documentation on the model, including the available measures on statistical accuracy (measures on precision and sensitivity of the model) and in view of the possible presence of bias in the model, EUI-X has decided that it will not use the system at least until there are clear indications that the risk of bias has been eliminated and the measures on precision improve, to the analysis of formal requirements. EUI-Xは、求人応募の初期スクリーニングとフィルタリングにAIシステムの利用を検討している。サービスプロバイダーCは、正式な要件の分析と応募書類の自動評価を行い、次の段階で面接すべき候補者のスコアと提案を提供する生成的AIシステムを提供した。EUI-Xは、利用可能な統計的精度に関する指標(モデルの精度と感度に関する指標)を含むモデルに関する文書を参照し、モデルにバイアスが存在する可能性があることを考慮し、少なくとも、バイアスのリスクが排除され、形式的要求事項の分析に対する精度の指標が改善されることが明確に示されるまでは、このシステムを使用しないことを決定した。
In any case, if such system is considered as ‘fit for purpose’ (i.e. candidates’ screening) and compliant with all regulations applicable to the EUI, the EUI should be able to demonstrate that it can validly rely on one of the exceptions under Article 24(2) of the Regulation; that the EUI has implemented suitable measures to safeguard individuals’ rights, including the right to obtain human intervention by the EUI, to express her or his point of view and to contest the decision (e.g., non-eligibility). いずれにせよ、そのようなシステムが「目的に適合」(すなわち候補者のスクリーニング)し、EUIに適用されるすべての規制に準拠していると考えられる場合、EUIは、規則第24条2項に基づく例外のひとつに有効に依拠できること、EUIによる人的介入を受ける権利、自分の意見を表明する権利、決定に異議を唱える権利(例えば不適格)など、個人の権利を保護するための適切な措置をEUIが実施していることを証明できなければならない。
Information must be provided by the EUI, in accordance with Article 15(2)(f) of the Regulation, if the data is collected from the individual, about the logic involved by the AI system, as well as on the envisaged consequences of such processing for the individual. A DPIA must also be carried out prior to the deployment of the AI system by the EUI. EUIは、個人からデータを収集する場合、規則第15条2項(f)に従い、AIシステムが関与するロジックと、そのような処理が個人に及ぼすと想定される結果について、情報をプロバイダから提供されなければならない。DPIAは、EUIがAIシステムを導入する前にも実施されなければならない。
The EUI-X may decide to use, instead of a generative AI system, a ‘simpler’ online automated tool for the screening of job applications (for instance, an IT tool checking automatically the number of years of professional experience or of education). EUI-Xは、生成的AIシステムの代わりに、「より単純な」オンライン自動化ツール(例えば、職業経験年数や学歴を自動的にチェックするITツール)を採用審査に使用することを決定することができる。
11. How can fair processing be ensured and avoid bias when using generative AI systems? 11. 生成的AIシステムを使用する場合、どのようにして公正な処理を保証し、バイアスを回避することができるのか?
In general, artificial intelligence solutions tend to magnify existing human biases and possibly incorporate new ones, which can create new ethical challenges and legal compliance risks. Biases can arise at any stage of the development of a generative AI system through the training of datasets, the algorithms or through the people who develop or use the system. Biases in generative AI systems can lead to significant adverse consequences for individuals’ fundamental rights and freedoms, including unfair processing and discrimination, particularly in areas such as human resource management, public health medical care and provision of social services, scientific and engineering practices, political and cultural processes, the financial sector, environment and ecosystems as well as public administration. 一般的に、人工知能ソリューションは、既存の人間のバイアスを拡大する傾向があり、場合によっては新たなバイアスを取り込む可能性があるため、新たな倫理的課題や法令遵守のリスクが生じる可能性がある。バイアスは、データセットの訓練、アルゴリズム、あるいはシステムを開発したり使用したりする人々を通じて、生成的AIシステムの開発のどの段階でも生じる可能性がある。生成的AIシステムにおけるバイアスは、特に人的資源管理、公衆衛生医療や社会サービスの提供、科学的・工学的実践、政治的・文化的プロセス、金融分野、環境・生態系、行政などの分野において、不公正な処理や差別など、個人の基本的権利と自由に重大な悪影響を及ぼす可能性がある。
Main sources of bias can come, among others, from existing patterns in the training data, lack of information (total or partial) on the affected population, inclusion or omission of variables and data that should not or should be part of the datasets, methodological errors or even bias that are introduced through monitoring. バイアスの主な原因は、特に、訓練データにおける既存のパターン、影響を受ける人々に関する情報(全体的または部分的)の欠如、データセットに含まれるべきでない変数やデータの包含または省略、方法論の誤り、あるいはモニタリングによってもたらされるバイアスなどである。
It is essential that the datasets used to create and train models ensure an adequate and fair representation of the real world - without bias that can increase the potential harm for individuals or collectives not well represented in the training datasets - while also implementing accountability and oversight mechanisms that allow for continuous monitoring to prevent the occurrence of biases that have an effect on individuals, as well as to correct those behaviours. This includes ensuring that processing activities are traceable and auditable[23] and that EUIs keep supportive documentation. In that regard, it is important that EUIs adopt and implement technical documentation models, which can be of particular importance when the models use several datasets and / or combine different data sources. モデルの作成と訓練に使われるデータセットは、実世界を適切かつ公正に代表するものであることが不可欠であり、訓練用データセットに十分に反映されていない個人や集団の潜在的な被害を増大させるようなバイアスを排除する必要がある。これには、処理活動が追跡可能で監査可能であること[23]、EUIが裏付けとなる文書を保管することが含まれる。この点で、EUIが技術的な文書化モデルを採用し、実施することは重要であり、モデルが複数のデータセットを使用し、/あるいは異なるデータ・ソースを組み合わせる場合には、特に重要である。
Generative AI systems providers try to detect and mitigate bias in their systems. However, EUIs know best their business case and should test and regularly monitor if the system output is biased by using input data tailored to their business needs. 生成的AIシステムのプロバイダは、システムのバイアスを検出し、軽減しようとする。しかし、EUIは自分たちのビジネスケースを最もよく知っており、自分たちのビジネスニーズに合わせた入力データを使用することで、システムの出力にバイアスがかかっていないかどうかをテストし、定期的に監視すべきである。
EUIs, as public authorities, should put in place safeguards to avoid overreliance on the results provided by the systems that can lead to automation and confirmation biases. EUIは認可機関として、自動化や確認バイアスにつながる可能性のある、システムから提供される結果への過度の依存を避けるためのセーフガードを設けるべきである。
The application of procedures and best practices for bias minimisation and mitigation should be a priority in all stages of the lifecycle of generative AI systems, to ensure fair processing and to avoid discriminatory practices. For this, there is a need for oversight and understanding of how the algorithms work and the data used for training the model. 生成的AIシステムのライフサイクルのすべての段階において、バイアスの最小化と低減のための手順とベストプラクティスの適用を優先し、公正な処理を確保し、差別的慣行を避けるべきである。そのためには、アルゴリズムがどのように機能し、モデルのトレーニングに使用されるデータを監視し、理解する必要がある。
EU-X is assessing the existence of sampling bias on the automated speech recognition system. Translation services have reported significantly higher word error rates for some speakers than for others. It seems that the system has difficulties to cope with some English accents. After consulting with the developer, it has concluded that there is a deficit in the training data for certain accents, notably when the speakers are not native. Because it is systematic, EU-X is considering refining the model using its own-generated datasets. EU-Xは、自動音声認識システムのサンプリングバイアスの存在をアセスメントしている。翻訳サービスでは、ある話者の単語誤り率が他の話者よりも著しく高いことが報告されている。 システムは英語のアクセントに対応するのが難しいようだ。開発元と協議した結果、特定のアクセント、特にネイティブスピーカーでない場合のトレーニングデータに不足があるとの結論に達した。これはシステマティックなものであるため、EU-Xは独自に生成したデータセットを使ってモデルを改良することを検討している。
12. What about the exercise of individual rights? 12. 個人の権利の行使についてはどうか?
The particular characteristics of the generative AI systems mean that the exercise of individual rights[24] can present particular challenges, not only in the area of the right of access, but also in relation to the rights of rectification, erasure and objection to data processing. For example, one of the most relevant elements is the difficulty in identifying and gaining access to the personal data stored by the system. In large language models, for example, individual words like "cat" or "dog" are not stored as strings of text. Instead, they are represented as numerical vectors through a process called word embedding. These vectors derive from the model's training on vast amounts of text data. The consequence is that accessing, updating or deleting the data stored in these models, if possible, is very difficult. In this sense, proper management of the datasets can facilitate access to information, which is difficult in the case of unsupervised training based on publicly available sources incorporating personal data. It is equally complex to manage the production of personal data obtained through inference. Finally, the exercise of certain rights, such as the right to erasure, may have an impact on the effectiveness of the model. 生成的AIシステムの特殊な特性は、個人の権利の行使[24]が、アクセス権の分野だけでなく、データ処理に対する是正、消去、異議申し立ての権利との関係でも、特別な困難をもたらす可能性があることを意味する。例えば、最も関連する要素の一つは、システムに保存された個人データを特定し、アクセスすることが困難であることである。例えば、大規模な言語モデルでは、「cat」や「dog」のような個々の単語はテキストの文字列としては保存されない。その代わりに、単語埋め込みと呼ばれるプロセスを通じて、数値ベクトルとして代表者が表現される。これらのベクトルは、膨大な量のテキストデータに対するモデルのトレーニングに由来する。その結果、これらのモデルに保存されているデータへのアクセス、更新、削除は、可能であるとしても非常に困難である。この意味で、データセットを適切に管理することで、情報へのアクセスを容易にすることができるが、これは個人データを組み込んだ一般に入手可能なソースに基づく教師なしトレーニングの場合には困難である。推論によって得られた個人データの作成管理も同様に複雑である。最後に、消去権など特定の権利の行使は、モデルの有効性に影響を及ぼす可能性がある。
Keeping a traceable record of the processing of personal data, as well as managing datasets in a way that allows traceability of their use, may support the exercise of individual rights. Data minimisation techniques can also help to mitigate the risks related to not being able to ensure the proper exercise of individual rights in accordance with the Regulation. 個人データの処理について追跡可能な記録を残すこと、およびその使用について追跡可能な方法でデータセットを管理することは、個人の権利行使を支援する可能性がある。また、データ最小化の技術は、規則に従って個人の権利を適切に行使できないことに関連するリスクを軽減するのに役立つ。
EUIs, as data controllers, are responsible for and accountable for implementing appropriate technical, organisational and procedural measures to ensure the effective exercise of individual rights. Those measures should be designed and implemented from the early stages of the lifecycle of the system, allowing for detailed recording and traceability of processing activities. EUIは、データ管理者として、個人の権利の効果的な行使を確保するための適切な技術的、組織的、手続き的措置を実施する責任があり、その責任を負う。これらの措置は、システムのライフサイクルの初期段階から設計・実施され、処理活動の詳細な記録とトレーサビリティを可能にするものでなければならない。
EU-X has included in the data protection notice for the chatbot a reference to the exercise of individual rights, including access, rectification, erasure, objection and restriction of processing in accordance with the EUDPR. The notice includes contact details of the controller and EU-X DPO, as well as a reference to the possibility of lodging a complaint with the EDPS. Following a request of access from an individual concerning the content of his conversations with the chatbot, EU-X replied, after carrying out the relevant checks, that no content is preserved from the said conversations beyond the established retention period, 30 days. The conversations, as indicated to the individual, has not been used to train the chatbot model. EU-Xは、チャットボットのデータ保護通知に、EUDPRに基づくアクセス、修正、消去、異議、処理制限を含む個人の権利行使に関する言及を盛り込んだ。この通知には、管理者とEU-X DPOの連絡先の詳細、およびEDPSへの苦情申し立ての可能性に関する言及が含まれている。EU-Xは、チャットボットとの会話内容に関する個人からのアクセス要求に対し、関連するチェックを行った後、当該会話内容については、定められた保存期間である30日を超えて保存されていないと回答した。また、この会話は、チャットボットモデルのトレーニングには使用されていない。
13. What about data security? 13. データセキュリティはどうなのか?
The use of generative AI systems can amplify existing security risks or create new ones, including bringing about new sources and transmission channels of systemic risks in the case of widely used models. Compared to traditional systems, generative AI specific security risks may derive from unreliable training data, the complexity of the systems, opacity, problems to carry out proper testing, vulnerabilities in the system safeguards etc. The limited offer of models in critical sectors for the provision of public services such as health can amplify the impact of vulnerabilities in these systems. The Regulation requires EUIs to implement appropriate technical and organisational measures to ensure a level of security[25] appropriate to the risk for the rights and freedoms of natural persons. 生成的AIシステムの使用は、既存のセキュリティリスクを増幅させたり、広く使用されているモデルの場合、システムリスクの新たな発生源や伝達経路をもたらすなど、新たなリスクを生み出す可能性がある。従来のシステムと比較して、生成的AI特有のセキュリティ・リスクは、信頼性の低い学習データ、システムの複雑性、不透明性、適切なテストの実施に関する問題、システムのセーフガードにおける脆弱性などに由来する可能性がある。健康などの公共サービスを提供する重要な分野では、モデルの提供が限られているため、これらのシステムの脆弱性の影響が増幅される可能性がある。同規則は、EUIに対し、自然人の権利と自由に対するリスクに見合ったセキュリティレベル[25]を確保するための適切な技術的・組織的措置を実施することを求めている。
Controllers should, in addition to the traditional security controls for IT systems, integrate specific controls tailored to the already known vulnerabilities of these systems - model inversion attacks[26], prompt injection[27], jailbreaks[28] - in a way that facilitates continuous monitoring and assessment of their effectiveness. Controllers are advised to only use datasets provided by trusted sources and carry out regularly verification and validation procedures, including for in-house datasets. EUIs should train their staff on how to identify and deal with security risks linked to the use of generative AI systems. As risks evolve quickly, regular monitoring and updates of the risk assessment are needed. In the same way, as the modalities of attacks can change, proper access to advanced knowledge and expertise must be ensured. A possible way to deal with unknown risks is to use “red teaming[29]” techniques to try to find and expose vulnerabilities. 管理者は、ITシステムに対する従来のセキュリティ制御に加えて、これらのシステムの既に知られている脆弱性(モデル反転攻撃[26]、プロンプト・インジェクション[27]、脱獄[28])に合わせた特定の制御を、その有効性の継続的なモニタリングと評価を容易にする方法で統合すべきである。管理者は、信頼できる情報源から提供されたデータセットのみを使用し、社内のデータセットを含め、定期的に検証・妥当性確認手順を実施するよう助言される。EUIは、生成的AIシステムの使用に関連するセキュリティリスクを特定し、対処する方法について職員を訓練すべきである。リスクは急速に進化するため、定期的なモニタリングとリスクアセスメントの更新が必要である。同様に、攻撃の手口も変化する可能性があるため、高度な知識と専門知識への適切なアクセスを確保しなければならない。未知のリスクに対処する方法として考えられるのは、「レッドチーム[29]」技法を使用して脆弱性を発見し、暴露しようとすることである。
When using Retrieval Augmented Generation[30] with generative AI systems, it is necessary to test that the generative AI system is not leaking personal data that might be present in the system’s knowledge base. 生成的AIシステムで検索拡張生成[30]を使用する場合、生成的AIシステムがシステムの知識ベースに存在する可能性のある個人データを漏洩していないことをテストする必要がある。
The lack of information on the security risks linked to the use of generative AI systems and how they may evolve requires EUIs to exercise extreme caution and carry out detailed planning of all aspects related to IT security, including continuous monitoring and specialised technical support. EUIs must be aware of the risks derived from attacks by malicious third parties and the available tools to mitigate them. 生成的AIシステムの使用に関連するセキュリティ・リスクや、それらがどのように進化する可能性があるかについての情報が不足しているため、EUIは細心の注意を払い、継続的なモニタリングや専門的な技術サポートを含め、ITセキュリティに関連するあらゆる側面について詳細な計画を実施する必要がある。EUIは、悪意のあるサードパーティによる攻撃から派生するリスクと、それを低減するための可用性攻撃ツールを認識していなければならない。
EU-X, following a security assessment, has decided to implement the ASR system on premises, instead of using the API services provided for the developer of the model. EU-X will train its IT staff on the use and further development of the system, in close cooperation with the provider. This may include training on how to refine the model. In addition, EU-X will get the services of an external auditor to verify the proper implementation of the system, including on security. EU-Xは、セキュリティアセスメントの結果、モデルの開発者に提供されるAPIサービスを利用する代わりに、ASRシステムを構内に実装することを決定した。EU-Xは、プロバイダとの緊密な協力のもと、システムの使用とさらなる開発についてITスタッフのトレーニングを行う。これには、モデルの改良方法に関するトレーニングも含まれる。さらに、EU-Xは外部監査人のサービスを受け、セキュリティ面を含め、システムの適切な実装を検証する。
14. Do you want to know more? 14. もっと知りたい?
EDPS work on AI AIに関するEDPSの取り組み
45th Closed Session of the Global Privacy Assembly - Resolution on Generative Artificial Intelligence Systems - 20 October 2023 第45回グローバルプライバシー総会 - 生成的人工知能システムに関する決議 - 2023年10月20日
EDPS TechDispatch #2/2023 - Explainable Artificial Intelligence EDPS TechDispatch #2/2023 - 説明可能な人工知能
EDPS at work: data protection and AI (includes links to several documents published by the EDPS alone or in cooperation with other authorities) EDPSの活動:データ保護とAI(EDPSが単独で、または他の当局と協力して発表したいくつかの文書へのリンクを含む)
EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) EDPB-EDPS Joint Opinion 5/2021 - 人工知能(Artificial Intelligence Act)に関する調和された規則を定めた欧州議会及び理事会規則の提案に関する意見書
EDPS Opinion 44/2023 on the Proposal for Artificial Intelligence Act in the light of legislative developments 人工知能法の提案に関するEDPS意見書44/2023(法整備を踏まえて
Large Language Models (EDPS website, part of the EDPS “TechSonar” report 2023-2024) 大規模言語モデル(EDPSウェブサイト、EDPS "TechSonar" レポート2023-2024の一部)
Other relevant documents その他の関連文書
Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (wp251rev.01) 規則2016/679の目的のための自動化された個人の意思決定とプロファイリングに関するガイドライン(wp251rev.01)
CNIL: AI how-to-sheets
CNIL AIハウツーシート
Spanish Data Protection Authority: Artificial Intelligence: accuracy principle in the processing activity スペインデータ保護局: 人工知能:処理活動における正確性の原則
Italian Data Protection Authority: Decalogo per la realizzazione di servizi sanitari nazionali attraverso sistemi di Intelligenza Artificiale – September 2023 (Italian) イタリアデータ保護局:人工知能:処理活動における正確性の原則 人工知能システムによる国家衛生サービスの実現に関する指針 - 2023年9月(イタリア語)
The Hamburg Commissioner for Data Protection and Freedom of Information - Checklist for the use of LLM-based chatbots - 15/11/2023 ハンブルグ情報保護・自由委員会 - LLMベースのチャットボット使用に関するチェックリスト - 2023年11月15日(英語
AI Security Concerns in a nutshell (DE Federal Office for Information Security, March 2023) AIセキュリティの懸念を一言で(DE連邦情報セキュリティ局、2023年3月)
Multilayer Framework for Good Cybersecurity Practices for AI (ENISA, June 2023) AIのための優れたサイバーセキュリティ実践のための多層フレームワーク(ENISA、2023年6月)
Ethics Guidelines for Trustworthy AI (EC High-Level Expert Group on AI, 2019) 信頼できるAIのための倫理ガイドライン(AIに関するECハイレベル専門家グループ、2019年)
Living Guidelines on the responsible use of Generative AI in research (ERA Forum Stakeholders’ document, March 2024) 研究における生成的AIの責任ある使用に関する生活ガイドライン(ERAフォーラム利害関係者文書、2024年3月)
OECD AI Incidents Monitor (AIM) OECD AIインシデントモニター(AIM)
OECD Catalogue or tools and metrics for trustworthy AI OECDは、信頼できるAIのためのツールや測定基準をカタログ化している。
Footnotes 脚注
[1] Regulation (EU) 2018/1725 [1] 規則(EU)2018/1725
[2] The size of a Large Language Model is usually measured as the number of parameters (tokens it contains. The size of a LLM model is important since some capabilities only appear when the model grows beyond certain limits. [2] 大規模言語モデルのサイズは、通常、パラメータ(トークン)の数として測定される。LLMモデルのサイズは、モデルがある限界を超えて大きくなって初めて現れる機能もあるため、重要である。
[3] Opinion 41/2023, of 25 September 2023 , on the Proposal for a Regulation on European Union labour market statistics on businesses [3] 2023年9月25日付意見書41/2023、企業に関する欧州連合の労働市場統計に関する規則案について
[4] Article 39(2) of the Regulation [4] 規則第39条2項
[5] Article 27 of the Regulation [5] 規則第27条
[6] Articles 39 and 89 of the Regulation. [6] 規則第39条および第89条。
[7] The classification of an AI system as posing “high-risk” due to its impact on fundamental rights according to the AI Act, does trigger a presumption of “high-risk” under the GDPR, the EUDPR and the LED to the extent that personal data is processed. [7] AI法が定める基本的権利への影響により、AIシステムが「高リスク」に分類された場合、個人データが処理される限り、GDPR、EUDPR、LEDの下で「高リスク」であると推定される。
[8] Article 5 of the Regulation. [8] 規則第5条。
[9] Article 10(2) of the Regulation. [9] 規則第10条第2項。
[10] Article 5(1)(a) of the Regulation. [10] 規則第5条(1)(a)。
[11] Article 5(1)(b) of the Regulation [11] 規則第5条(1)(b)
[12] Articles 5(1)(d) and 7 of the Regulation. [12] 規則第5条(1)(d)及び第7条
[13] EDPB Guidelines 05/2020 on consent under Regulation 2016/679, available at [web [13] EDPB Guidelines 05/2020 on consent under Regulation 2016/679, available at [web]  
[14] Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation) [14] 個人データの処理に関する自然人の保護及び当該データの自由な移動に関する2016年4月27日付欧州議会及び理事会規則(EU)2016/679、並びに指令95/46/EC(一般データ保護規則)の廃止。
[15] Judgment of 4 July 2023, Meta Platforms and Others (General terms of use of a social network), C‑252/21, EU:C:2023:537, paragraph 106 and the case-law cited [15] 2023年7月4日判決、Meta Platforms and Others (General terms of use of a social network), C-252/21, EU:C:2023:537, paragraph 106 and the case-law cited.
[16] Articles 46 to 51 of the Regulation [16] 規則第46条から第51条まで
[17]In accordance with Article 4(1)(c) of the Regulation, personal data undergoing processing shall be adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed. [17]規則第4条1項(c)に従い、処理中の個人データは、適切かつ関連性があり、処理目的との関係で必要なものに限定されなければならない。
[18] Article 4(1)(d) of the Regulation. [18]規則第4条1項(d)に従う。
[19] Validation sets are used to fine-tune the parameters of a model and to assess its performance. [19] 検証セットは、モデルのパラメータを微調整し、その性能をアセスメントするために使用される。
[20] Article 14 of the Regulation. [20] 規則第14条。
[21] Article 24 of the Regulation. [21] 規則第24条。
[22] Global Privacy Assembly (GPA) (2023). Resolution on Generative Artificial Intelligence Systems. [22] Global Privacy Assembly(GPA)(2023年)。生成的人工知能システムに関する決議。
[23] The audit of training data can help to detect bias and other problematic issues by studying how the training data is collected, labelled, curated and annotated. The quality of the audit and its results depends on the access to the relevant information, including the training datasets, documentation and implementation details. [23] 訓練データの検知は、訓練データがどのように収集され、ラベル付けされ、キュレーションされ、アノテーションされているかを調査することで、バイアスやその他の問題点の検知に役立つ。監査の質とその結果は、訓練データセット、文書、実装の詳細を含む関連情報へのアクセスに依存する。
[24] Chapter III of the Regulation. [24]規則第III章。
[25] Article 33 of the Regulation. [25] 規則第33条。
[26] A Model inversion attacks takes place when an attacker extracts information from it through reverse-engineering. [26] モデル逆引き攻撃は、攻撃者がリバース・エンジニアリングによってモデルから情報を抽出する際に行われる。
[27] Malicious actors use prompt injection attacks to introduce malicious instructions as if they were harmless. [27] 悪意のある行為者はプロンプト・インジェクション攻撃を使い、あたかも無害であるかのように悪意のある命令を導入する。
[28] Malicious actors use jailbreaking techniques to disregard the model safeguards. [28] 悪意のある行為者は脱獄のテクニックを使ってモデルのセーフガードを無視する。
[29] A red team uses attacking techniques aiming at finding vulnerabilities in the system. [29] レッドチームはシステムの脆弱性を発見することを目的とした攻撃技術を使用する。
[30] AI systems in which a Large Language Model bases its answers in a knowledge base prepared by the generative AI system owner (e.g. an EUI) with internal sources and not in the knowledge stored by the LLM itself. [30] 生成的AIシステムにおいて、大規模言語モデルが、LLM自身が記憶している知識ではなく、生成的AIシステムの所有者(例えばEUI)が内部ソースを用いて準備した知識ベースに基づいて回答を行う。

 

 


 

日本の検討状況については、

まるちゃんの情報セキュリティ気まぐれ日記

・2024.06.04 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中... (2)

・2024.04.25 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中...

・2024.01.06 個人情報保護委員会 個人情報保護法の3年ごとの見直しに関する意見をヒアリング中...

 

 

 

| | Comments (0)

より以前の記事一覧