AI/Deep Learning

2025.02.10

フランス CNIL AIについてガイダンス(データ主体への通知、データ主体の権利行使の尊重と促進)(2025.02.07)

こんにちは、丸山満彦です。

フランスのCNILが、AIについての新しいガイダンス?を2つ公表していますね...

 

CNIL

プレス

・2025.02.07 AI and GDPR: the CNIL publishes new recommendations to support responsible innovation

AI and GDPR: the CNIL publishes new recommendations to support responsible innovation AIとGDPR:CNILが責任あるイノベーションを支援する新たな勧告を発表
The GDPR enables the development of innovative and responsible AI in Europe. The CNIL’s new recommendations illustrate this by providing concrete solutions to inform individuals whose data is used and to facilitate the exercise of their rights. GDPRは欧州における革新的で責任あるAIの開発を可能にする。CNILの新しい勧告は、データが使用される個人に情報を提供し、その権利の行使を促進するための具体的なソリューションを提供することで、これを示している。
GDPR enables innovative AI while respecting personal data GDPRは個人データを尊重しつつ革新的なAIを可能にする
The AI Action Summit, organized by France from February 6th to 11th, 2025, will host numerous events highlighting AI’s potential for innovation and competitiveness in the coming years. 2025年2月6日から11日までフランスが主催するAIアクションサミットでは、今後数年間のイノベーションと競争力におけるAIの可能性を強調する数多くのイベントが開催される。
Since 1978, France has established regulations to govern the use of personal data by digital technologies. In Europe, these rules were harmonized through the General data protection regulation (GDPR), whose principles have inspired regulations in many countries around the world. 1978年以来、フランスはデジタル技術による個人データの利用を統制するための規制を設けてきた。欧州では、これらの規則は一般データ保護規則(GDPR)によって調和され、その原則は世界各国の規制に影響を与えている。
Recognizing the need to clarify the legal framework, the CNIL actively works to provide security for stakeholders, fostering AI innovation while ensuring the protection of fundamental rights. Since launching its AI Action Plan in May 2023, the CNIL has issued a series of recommendations for AI system development. With those clarifications, GDPR compliance will build trust among individuals and provides legal certainty for businesses. 法的枠組みを明確にする必要性を認識しているCNILは、基本的権利の保護を確保しつつ、関係者に安全性を提供し、AIイノベーションを促進するために積極的に取り組んでいる。2023年5月にAI行動計画を発表して以来、CNILはAIシステム開発に関する一連の勧告を発表している。これらの明確化により、GDPRの遵守は個人の信頼を築き、企業に法的確実性を提供する。
Adapting GDPR principles to the specificities of AI GDPRの原則をAIの特殊性に適応させる
Some AI models are anonymous and thus not subject to the GDPR. However, other models—such as a large language model (LLM)—may contain personal data. The European data protection board (EDPB) recently provided relevant criteria on the application of the GDPR to AI models. 一部のAIモデルは匿名であるため、GDPRの対象とはならない。しかし、大規模言語モデル(LLM)のような他のモデルには個人データが含まれる可能性がある。欧州データ保護委員会(EDPB)は最近、AIモデルへのGDPR適用に関する関連規準を示した。
When the GDPR applies, individuals’ data must be protected, whether within training datasets, within models that may have memorized data, or through model usage via prompts. While the fundamental principles of data protection remain applicable, they must be adapted to AI’s specific context. GDPRが適用される場合、学習データセット内であれ、データを記憶している可能性のあるモデル内であれ、プロンプトによるモデルの使用を通じてであれ、個人のデータは保護されなければならない。データ保護の基本原則は引き続き適用可能だが、AI特有の状況に適応させる必要がある。
The CNIL has determined that: CNILは次のように決定している:
The determination of the purpose will be applied flexibly to general-purpose AI systems: an operator who cannot define all potential applications at the training stage may instead describe the type of system being developed and illustrate key potential functionalities. 目的に決定は汎用AIシステムに柔軟に適用される:訓練段階ですべての潜在的な用途を定義できない処理者は、代わりに開発中のシステムの種類を説明し、主要な潜在的機能を説明することができる。
The data minimisation principle does not prevent the use of large training datasets. However, the data should generally be selected and cleaned to optimise algorithm training while avoiding the unnecessary processing of personal data. データ最小化の原則は、大規模な訓練データセットの使用を妨げるものではない。しかし、一般的には、パーソナルデータの不必要な処理を避けつつ、アルゴリズム学習を最適化するためにデータを選択し、クリーニングすべきである。
Retention of training data can be extended if justified and if the dataset is subject to appropriate security measures. This is particularly relevant for databases requiring significant scientific and financial investment, which sometimes become recognised standards within the research community. 正当な理由があり、データセットが適切なセキュリティ対策の対象者であれば、訓練データの保持期間を延長することができる。これは特に、多額の科学的・財政的投資を必要とし、研究コミュニティ内で標準として認知されることもあるデータベースに関連する。
Reuse of databases, including those available online, is possible in many cases, provided that the data was not collected unlawfully and that its reuse aligns with the original purpose of collection. オンラインを含むデータベースの再利用は、データが違法に収集されたものでなく、その再利用が当初の収集目的に沿ったものであれば、多くの場合可能である。
New recommendations 新しい勧告
Today, the CNIL is publishing two new recommendations to promote the responsible use of AI while ensuring compliance with personal data protection. These recommendations confirm that GDPR requirements are sufficiently balanced to address the specific challenges of AI. They provide concrete and proportionate solutions to inform individuals and facilitate the exercise of their rights: 本日、CNILは、個人データ保護のコンプライアンスを確保しつつ、AIの責任ある利用を促進するための2つの新しい勧告を発表した。これらの勧告は、GDPRの要件がAI特有の課題に対処するために十分にバランスが取れていることを確認するものである。これらの勧告は、個人に情報を提供し、権利の行使を促進するための具体的かつ適切な解決策を提供している:
・When personal data is used to train an AI model and may potentially be memorised by it, the individuals concerned must be informed. ・個人データがAIモデルの訓練に使用され、AIモデルによって記憶される可能性がある場合、関係する個人に通知されなければならない。
The way this information is provided can be adapted based on the risks to individuals and operational constraints. Under the GDPR, in certain cases—especially when AI models rely on third-party data sources and the provider cannot contact individuals directly—organizations may limit themselves to general information (e.g., published on their website). When multiple sources are used, as is common with general-purpose AI models, a broad disclosure indicating the categories of sources or listing a few key sources is generally sufficient. この情報提供の方法は、個人に対するリスクと運用上の制約に基づいて適合させることができる。GDPRの下では、特定の場合(特にAIモデルがサードパーティーのデータソースに依存し、プロバイダが個人に直接連絡できない場合)、組織は一般的な情報(例えば、ウェブサイトで公表)に限定することができる。汎用のAIモデルで一般的なように、複数の情報源を使用する場合は、情報源のカテゴリーを示すか、いくつかの重要な情報源を列挙した広範な開示で一般的には十分である。
See CNIL’s recommendations on informing individuals 個人への情報提供に関するCNILの勧告を参照のこと。
・European regulations grant individuals the right to access, rectify, object and delete their personal data. ・欧州の規則では、個人データへのアクセス、修正、異議申し立て、削除の権利を個人に認めている。
However, exercising these rights can be particularly challenging in the context of AI models — whether due to difficulties in identifying individuals within the model or modifying the model itself. The CNIL urges AI developers to incorporate privacy protection from the design stage and pay special attention to personal data within training datasets by: しかし、これらの権利を行使することは、モデル内の個人を特定することが困難であったり、モデル自体を修正することが困難であったりと、AIモデルにおいては特に困難である。CNILはAI開発者に対し、設計段階からプライバシー保護を取り入れ、訓練データセット内の個人データに特別な注意を払うよう、次のように促している:
・・striving to anonymise models whenever it does not compromise their intended purpose; ・・意図した目的を損なわない限り、モデルの匿名化に努めること;
・・developing innovative solutions to prevent the disclosure of confidential personal data by AI models. ・・AIモデルによる機密個人データの漏洩を防ぐための革新的なソリューションを開発する。
In some cases, the cost, technical impossibility, or practical difficulties may justify a refusal to comply with a request to exercise these rights. However, where the right must be guaranteed, the CNIL will consider reasonable solutions available to the model creator and may allow for flexible timelines. The CNIL also emphasizes that scientific research in this area is evolving rapidly and urges AI stakeholders to stay informed of the latest advancements to ensure the best possible protection of individuals' rights. 場合によっては、コスト、技術的な不可能性、現実的な困難性によって、これらの権利行使の要請に応じないことが正当化されることがある。しかし、権利を保証しなければならない場合、CNILはモデル作成者が利用できる合理的な解決策を検討し、柔軟なスケジュールを認めることもある。CNILはまた、この分野の科学的研究は急速に発展していることを強調し、AI関係者に対し、個人の権利の最良の保護を確保するため、最新の進歩に関する情報を常に入手するよう促している。
See CNIL’s recommendations on individuals' rights 個人の権利に関するCNILの勧告を見る
► See all CNIL recommandations on AI (in French) AIに関する全てのCNIL勧告を見る(フランス語)
Consultation with AI stakeholders and civil society AI関係者および市民社会との協議
These recommendations were developed following a public consultation. Various stakeholders—including businesses, researchers, academics, associations, legal and technical advisors, trade unions, and federations—were able to share their perspectives. This allowed the CNIL to issue recommendations that closely align with their concerns and the real-world applications of AI. これらの勧告は、公開協議の後に作成された。企業、研究者、学者、団体、法律・技術顧問、労働組合、連盟を含む様々な利害関係者がそれぞれの見解を共有することができた。これにより、CNILは、彼らの懸念やAIの現実の応用に密接に沿った勧告を出すことができた。
Read the summary of contributions (In French) 寄稿の要約を読む(フランス語)
The CNIL’s efforts to ensure a pragmatic and comprehensive application of the GDPR in the AI sector will continue in the coming months. This includes issuing new recommendations and providing support to organisations. AI分野におけるGDPRの実用的かつ包括的な適用を確保するためのCNILの取り組みは、今後数ヶ月間継続される。これには、新たな勧告の発行や組織へのサポートのプロバイダが含まれる。
Additionally, the CNIL is closely following the work of the European Commission’s AI Office, particularly in the development of a code of good practices for general-purpose AI. These efforts are coordinated with broader initiatives to clarify the legal framework at the European level. さらに、CNILは欧州委員会のAI事務局の作業、特に汎用AIのためのグッドプラクティス規範の策定を注視している。これらの取り組みは、欧州レベルでの法的枠組みを明確にするための幅広い取り組みと連携している。
Document reference 文書参照
Summary of contributions 貢献の概要
Consultation publique - Fiches pratiques sur l’information et l’exercice des droits pour le développement de systèmes d’IA - Synthèse des contributions 公的協議 - IAシステム開発のための情報と権利行使に関する実践規範 - 寄稿要約

 

要約...

・[PDF] Consultation publique - Fiches pratiques sur l’information et l’exercice des droits pour le développement de systèmes d’IA - Synthèse des contributions

20250210-60944

 

以下の実践的AIファクトシートの9,10が新しいですかね...

Fiche 9 シート9
・2025.02.07 Informer les personnes concernées 2025.02.07 データ主体への通知
Fiche 10 シート10
・2025.02.07 Respecter et faciliter l’exercice des droits des personnes concernées 2025.02.07 データ主体の権利行使の尊重と促進

 

実践的AIファクトシート...

 

Les fiches pratiques IA 実践的AIファクトシート
Fiche synthèse 概要シート
・2024.04.08 Les recommandations de la CNIL en bref 2024.04.08 CNIL勧告の概要
Les recommandations de la CNIL sur l’application du RGPD au développement des systèmes d’IA permettent de concilier innovation et respect des droits des personnes. Que faut-il retenir ? AIシステムの開発に対するRGPDの適用に関するCNILの勧告は、イノベーションと人々の権利の尊重を両立させることを可能にする。我々は何に留意すべきだろうか?
Note : cette synthèse ne concerne que les fiches « Introduction » à 7 pour le moment. 注:本要約は、当面の間、7枚のシートの「はじめに」のみを対象とする。
> En savoir plus > 詳細はこちら
Introduction はじめに
・2024.04.08 Quel est le périmètre des fiches pratiques sur l’IA ? 2024.04.08 AIに関する実務情報シートの範囲は?
La CNIL apporte des réponses concrètes pour la constitution de bases de données utilisées pour l’apprentissage des systèmes d’intelligence artificielle (IA), qui impliquent des données personnelles. CNILは、個人情報に関わる人工知能(AI)システムの学習に使用されるデータベースの構成について、具体的な回答を提供している。
> En savoir plus > 詳細はこちら
Fiche 1 シート1
・2024.04.08 Déterminer le régime juridique applicable 2024.04.08 適用される法的体制の決定
La CNIL vous aide à déterminer le régime juridique applicable aux traitements de données personnelles en phase de développement. CNILは、開発段階における個人データの処理に適用される法体系の決定を支援する。
> En savoir plus > 詳細はこちら
Fiche 2 シート2
・2024.04.08 Définir une finalité 2024.04.08 目的の定義
La CNIL vous aide à définir la ou les finalités en tenant compte des spécificités du développement de systèmes d’IA. CNILは、AIシステム開発の特殊性を考慮した目的の定義を支援する。
> En savoir plus > 詳細はこちら
Fiche 3 シート3
・2024.04.08 Déterminer la qualification juridique des fournisseurs de systèmes d’IA 2024.04.08 AIシステム供給者の法的地位の決定
Responsable de traitement, responsable conjoint ou sous-traitant : la CNIL aide les fournisseurs de systèmes d’IA à déterminer leur qualification. データ管理者、共同管理者または処理者:CNILはAIシステム提供者がその資格を決定するのを支援する。
> En savoir plus > 詳細はこちら
Fiche 4 (1/2) シート4 (1/2)
・2024.04.08 Assurer que le traitement est licite - Définir une base légale 2024.04.08 情報処理の適法性を確保する - 法的根拠の定義
La CNIL vous aide à déterminer vos obligations en fonction de votre responsabilité et des modalités de collecte ou de réutilisation des données. CNILは、貴社の責任およびデータの収集または再利用の方法に応じて、貴社の義務を決定することを支援する。
> En savoir plus > 詳細はこちら
Fiche 4 (2/2) シート4 (2/2)
・2024.04.08 Assurer que le traitement est licite - En cas de réutilisation des données 2024.04.08 情報処理の適法性の確保 - 情報が再利用される場合
La CNIL vous aide à déterminer vos obligations en fonction de votre responsabilité et des modalités de collecte ou de réutilisation des données. CNILは、貴社の責任およびデータの収集または再利用の方法に応じて、貴社の義務を決定するのに役立つ。
> En savoir plus > 詳細はこちら
Fiche 5 シート5
・2024.04.08 Réaliser une analyse d’impact si nécessaire 2024.04.08 必要に応じて影響評価を実施する
La CNIL vous explique comment et dans quels cas réaliser une analyse d’impact sur la protection des données (AIPD) en tenant compte des risques spécifiques au développement de modèles d’IA. CNILは、AIモデルの開発に特有のリスクを考慮したデータ保護影響評価(DPAI)の実施方法とケースについて説明している。
> En savoir plus > 詳細はこちら
Fiche 6 シート6
・2024.04.08 Tenir compte de la protection des données dans la conception du système 2024.04.08 システム設計においてデータ保護を考慮する
Pour assurer le développement d’un système d’IA respectueux de la protection des données, il est nécessaire de mener une réflexion préalable lors de la conception du système. La CNIL en détaille les étapes. データ保護に配慮したAIシステムの開発を確実にするためには、システム設計時に予備的な検討を行う必要がある。CNILはその手順を示している。
> En savoir plus > 詳細はこちら
Fiche 7 シート7
・2024.04.08 Tenir compte de la protection des données dans la collecte et la gestion des données 2024.04.08データ収集・管理におけるデータ保護の考慮
La CNIL donne les bonnes pratiques pour sélectionner les données et limiter leur traitement afin d’entraîner un modèle performant dans le respect des principes de protection des données dès la conception et par défaut. CNILは、データ保護の原則に準拠した高性能モデルを設計段階からデフォルトで作成するために、データを選択し、その処理を制限するためのベストプラクティスを概説している。
> En savoir plus > 詳細はこちら
Fiche 8 シート8
・2024.06.10 Mobiliser la base légale de l’intérêt légitime pour développer un système d’IA 2024.06.10 正当な利益を法的根拠としてAIシステムを開発する
La base légale de l’intérêt légitime sera la plus couramment utilisée pour le développement de systèmes d’IA. Cette base légale ne peut toutefois pas être mobilisée sans en respecter les conditions et mettre en œuvre des garanties suffisantes. 正当な利益という法的根拠は、AIシステムの開発において最も一般的に使用される。しかし、この法的根拠は、条件を遵守し、十分な保証を実施しなければ、利用することはできない。
> En savoir plus > 詳細はこちら
Fiche 8 (1/2) シート8 (1/2)
・2024.06.10 La base légale de l’intérêt légitime : fiche focus sur la diffusion des modèles en source ouverte (open source) 2024.06.10 正当な利益の法的根拠:オープンソースモデルの配布に焦点を当てる
Compte tenu des bénéfices qu’elles peuvent présenter, les pratiques d’ouverture sont à prendre en compte dans l’évaluation de l’intérêt légitime d’un fournisseur de système d’IA. Il est toutefois nécessaire d’adopter des garanties permettant de limiter les atteintes qu’elles peuvent porter aux personnes. AIシステム提供者の合法的利益を評価する際には、その潜在的利益を考慮に入れてオープンソースを利用すべきである。しかし、オープンソースが個人にもたらす害を制限するためのセーフガードを採用する必要がある。
> En savoir plus > 詳細はこちら
Fiche 8 (2/2) シート8 (2/2)
・2024.06.10 La base légale de l’intérêt légitime : fiche focus sur les mesures à prendre en cas de collecte des données par moissonnage (web scraping) 2024.06.10 正当な利益の法的根拠:ウェブスクレイピングによるデータ収集の際の措置に焦点を当てる
La collecte des données accessibles en ligne par moissonnage (web scraping) doit être accompagnée de mesures visant à garantir les droits des personnes concernées. ウェブ・スクレイピングによるオンライン・アクセス可能なデータの収集には、データ主体の権利を保証する措置が伴わなければならない。
> En savoir plus > 詳細はこちら
Fiche 9 シート9
・2025.02.07 Informer les personnes concernées 2025.02.07 データ主体への通知
Les organismes qui traitent des données personnelles pour développer des modèles ou des systèmes d’IA doivent informer les personnes、 concernées. La CNIL précise les obligations en la matière. AIモデルやシステムを開発するために個人データを処理する組織は、関係者に通知しなければならない。CNILはこの分野における義務を定めている。
> En savoir plus > 詳細はこちら
Fiche 10 シート10
・2025.02.07 Respecter et faciliter l’exercice des droits des personnes concernées 2025.02.07 データ主体の権利行使の尊重と促進
Les personnes dont les données sont collectées, utilisées ou réutilisées pour développer un système d’IA disposent de droits sur leurs données qui leur permettent d’en conserver la maîtrise. Il appartient aux responsables des traitements de les respecter et d’en faciliter l’exercice. AIシステムを開発するためにデータが収集、使用または再利用される個人は、データに対する権利を有し、データに対するコントロールを保持することができる。これらの権利を尊重し、その行使を促進することは、データ管理者の責務である。
> En savoir plus > 詳細はこちら
Fiche 11 シート11
・2024.06.10 Annoter les données 2024.06.10 データに注釈を付ける
La phase d’annotation des données est cruciale pour garantir la qualité du modèle entraîné. Cet enjeu de performance peut être atteint au moyen d’une méthodologie rigoureuse garantissant le respect de la protection des données personnelles. データの注釈付けは、学習されたモデルの品質を保証するために極めて重要である。このパフォーマンス上の課題は、個人データ保護の尊重を保証する厳格な方法論を用いることで解決できる。
> En savoir plus > 詳細はこちら
Fiche 12 シート12
・2024.06.10 Garantir la sécurité du développement d’un système d’IA 2024.06.10 AIシステム開発のセキュリティを保証する
La sécurité des systèmes d’IA est une obligation afin de garantir la protection des données tant lors du développement du système que par anticipation de son déploiement. Cette fiche détaille les risques et mesures à prendre recommandées par la CNIL. AIシステムのセキュリティは、システム開発中およびシステム配備を見越したデータ保護を保証するための義務である。このファクトシートでは、CNILが推奨するリスクと対策について詳述する。
> En savoir plus > 詳細はこちら

 

 

シート9

・2025.02.07 IA : Informer les personnes concernées

IA : Informer les personnes concernées AI:データ主体への情報提供
Les organismes qui traitent des données personnelles pour développer des modèles ou des systèmes d’IA doivent informer les personnes concernées. La CNIL précise les obligations en la matière. AIモデルやシステムを開発するために個人データを処理する組織は、関係者に通知しなければならない。CNILはこの分野における義務を定めている。
Assurer la transparence des traitements 処理の透明性を確保する
Quand fournir l’information ? いつ情報を提供すべきか?
Comment fournir l’information ? どのように情報を提供するか?
Les dérogations à une information individuelle 個人情報の例外
Quelles informations fournir ? どのような情報を提供すべきか?

 

 

シート10

・2025.02.07 IA : Respecter et faciliter l’exercice des droits des personnes concernées

IA : Respecter et faciliter l’exercice des droits des personnes concernées AI:データ主体の権利の尊重と行使の促進
Les personnes dont les données sont collectées, utilisées ou réutilisées pour développer un système d’IA disposent de droits sur leurs données qui leur permettent d’en conserver la maîtrise. Il appartient aux responsables des traitements de les respecter et d’en faciliter l’exercice. AIシステムを開発するためにデータが収集、使用、再利用される個人は、そのデータに対する権利を有し、それによってそのデータを管理することができる。これらの権利を尊重し、その行使を促進することは、データ管理者の責任である。
L’exercice des droits est étroitement lié à l’information donnée sur les traitements, qui constitue également une obligation. これらの権利の行使は、データ処理に関する情報の提供と密接に関連しており、これも義務である。
Rappel général sur les droits applicables 適用される権利の一般的注意事項
Les personnes concernées disposent des droits suivants sur leurs données personnelles : データ主体は個人データに関して以下の権利を有する:
droit d’accès (article 15 du RGPD) ; アクセス権(GDPR第15条);
droit de rectification (article 16 du RGPD) ; 訂正権(GDPR第16条);
droit à l’effacement, également appelé droit à l’oubli (article 17 du RGPD) ; 消去権(忘れられる権利としても知られる)(GDPR第17条);
droit à la limitation du traitement (article 18 du RGPD) ; 処理制限権(GDPR第18条);
droit à la portabilité des données lorsque la base légale du traitement est le consentement ou le contrat (article 20 du RGPD) ; 処理の法的根拠が同意または契約である場合、データポータビリティに対する権利(GDPR第20条);
droit d’opposition lorsque le traitement est fondé sur l’intérêt légitime ou la mission d’intérêt public (article 21 du RGPD) ; 処理が正当な利益または公共の利益に基づいている場合、異議を唱える権利(RGPD第21条);
droit de retirer son consentement à tout moment lorsque le traitement de données à caractère personnel est fondé sur le consentement (article 7.3 du RGPD). 個人データの処理が同意に基づいている場合、いつでも同意を撤回する権利(RGPD第7.3条)。
Les personnes concernées doivent pouvoir exercer leurs droits à la fois : データ主体はその権利を行使できなければならない:
sur les bases de données d’apprentissage et, 学習データベースおよび
sur les modèles d’IA si ces derniers ne sont pas considérés comme anonymes comme précisé dans l’avis du CEPD 28/2024 sur certains aspects de la protection des données liés au traitement des données à caractère personnel dans le contexte des modèles d'IA. AIモデルが、AIモデルの文脈における個人データ処理の特定のデータ保護の側面に関するEDPS意見28/2024に規定されているように、匿名であるとみなされない場合、データ主体は以下の権利を行使できなければならない。
Si l’exercice d’un droit d’accès, de rectification ou d’effacement sur une base de données d’entraînement présente des problématiques assez comparables par rapport à d’autres grandes bases de données, l’exercice des mêmes droits sur le modèle d’IA lui-même présente des difficultés particulières et inédites. Cela doit conduire à l’adoption de solutions réalistes et proportionnées, afin de garantir les droits des personnes sans empêcher l’innovation en matière d’intelligence artificielle. La CNIL estime ainsi que le RGPD permet d’appréhender les spécificités des modèles d’IA pour l’exercice des droits. La complexité et les coûts des demandes qui s’avèreraient disproportionnées sont ainsi des facteurs qui peuvent être pris en compte. 訓練用データベースに対するアクセス権、修正権、削除権の行使は、他の大規模データベースと比較して、ほぼ同等の問題をもたらすが、AIモデル自体に対する同権利の行使は、特別かつ前例のない困難をもたらす。人工知能の技術革新を妨げることなく個人の権利を保障するためには、現実的かつ適切な解決策を採用する必要がある。したがってCNILは、RGPDによって、権利行使のためのAIモデル特有の特徴を理解することが可能になると考えている。不釣り合いな要求の複雑さとコストは考慮できる要素である。
En matière de développement de modèles ou de systèmes d’IA : comment répondre aux demandes d’exercice de droits ? AIモデルやシステムの開発に関して:権利行使の要請はどのように対応すべきか?
Dérogations à l’exercice des droits sur les bases de données ou sur le modèle d’IA データベースやAIモデルに対する権利行使の例外

 

 

 

| | Comments (0)

2025.02.08

欧州委員会 規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン

こんにちは、丸山満彦です。

欧州委員会からAIの禁止行為に関するガイドラインを発表していますね... 

 

European Commission

・2025.02.04 Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act.

 

Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act. 欧州委員会は、AI法が定める人工知能(AI)の禁止行為に関するガイドラインを発表した。
These guidelines provide an overview of AI practices that are deemed unacceptable due to their potential risks to European values and fundamental rights. 本ガイドラインは、欧州の価値観や基本的権利に対する潜在的リスクのために容認できないと判断されるAI行為の概要を提供するものである。
The AI Act, which aims to promote innovation while ensuring high levels of health, safety, and fundamental rights protection, classifies AI systems into different risk categories, including prohibited, high-risk, and those subject to transparency obligations. The guidelines specifically address practices such as harmful manipulation, social scoring, and real-time remote biometric identification, among others.  高水準の健康、安全、基本的権利の保護を確保しながらイノベーションを促進することを目的とするAI法は、AIシステムを禁止、高リスク、透明性義務の対象など、さまざまなリスクカテゴリーに分類している。ガイドラインは特に、有害な操作、ソーシャルスコアリング、リアルタイムの遠隔生体認証などの慣行を取り上げている。
The guidelines are designed to ensure the consistent, effective, and uniform application of the AI Act across the European Union. While they offer valuable insights into the Commission's interpretation of the prohibitions, they are non-binding, with authoritative interpretations reserved for the Court of Justice of the European Union (CJEU). The guidelines provide legal explanations and practical examples to help stakeholders understand and comply with the AI Act's requirements. This initiative underscores the EU's commitment to fostering a safe and ethical AI landscape.  同ガイドラインは、欧州連合(EU)全体におけるAI法の一貫した効果的かつ統一的な適用を確保するためのものである。同ガイドラインは、禁止事項に関する欧州委員会の解釈に関する貴重な洞察を提供するものではあるが、拘束力はなく、権威ある解釈は欧州連合司法裁判所(CJEU)に委ねられている。本ガイドラインは、関係者がAI法の要件を理解し遵守できるよう、法的な説明と実践的な事例を提供している。この取り組みは、安全で倫理的なAIを育成するというEUのコミットメントを強調するものである。
Please note that the Commission has approved the draft guidelines, but not yet formally adopted them. なお、欧州委員会はガイドラインのドラフトを承認したが、まだ正式には採択していない。
Approval of the content of the draft Communication from the Commission - Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act) 欧州委員会からのコミュニケーション草案の内容の承認 - 規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン
Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act) 規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン

 

欧州委員会からのコミュニケーション草案の内容の承認 - 規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン

・[PDF] Approval of the content of the draft Communication from the Commission - Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act)

COMMUNICATION TO THE COMMISSION 委員会へのコミュニケーション
Approval of the content of the draft Communication from the Commission – Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act) 欧州委員会からのコミュニケーション草案-規則(EU)2024/1689(AI法)が定める禁止された人工知能行為に関する欧州委員会ガイドライン- の内容の承認
Regulation (EU) 2024/1689 of the European Parliament and the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending certain regulations (‘the AI Act’)1 entered into force on 1 August 2024. The AI Act lays down harmonised rules for the placing on the market, putting into service, and use of artificial intelligence (‘AI’) in the Union. Its aim is to promote innovation in and the uptake of AI, while ensuring a high level of protection of health, safety and fundamental rights in the Union, including democracy and the rule of law. 人工知能に関する調和された規則を定め、特定の規則を改正する2024年6月13日の欧州議会および理事会規則(EU)2024/1689(「AI法」)1は、2024年8月1日に発効した。AI法は、欧州連合における人工知能(以下「AI」)の上市、実用化、使用に関する調和された規則を定めたものである。その目的は、民主主義や法の支配を含め、EUにおける健康、安全、基本的権利の高水準の保護を確保しつつ、AIの技術革新と普及を促進することにある。
The AI Act follows a risk-based approach, classifying AI systems into different risk categories, one of which consists of AI practices posing unacceptable risks to fundamental rights and Union values which are prohibited under Article 5 AI Act. AI法はリスク・ベースのアプローチに従い、AIシステムをさまざまなリスク・カテゴリーに分類しており、そのうちのひとつは、基本的権利や連邦の価値観に許容できないリスクをもたらすAI行為で、AI法第5条で禁止されている。
Pursuant to Article 96(1)(b) AI Act, the Commission is to adopt guidelines on the practical implementation of the practices prohibited under Article 5 AI Act. The Draft Guidelines annexed to this Communication aim to increase legal clarity and to provide insights into the Commission’s interpretation of the prohibitions in Article 5 AI Act with a view to ensuring their consistent, effective and uniform application. AI法第96条1項(b)に従い、欧州委員会は、AI法第5条で禁止されている慣行の実際の実施に関するガイドラインを採択することになっている。本コミュニケーションに附属するドラフトガイドラインは、法的明確性を高め、AI法第5条の禁止事項の一貫した効果的かつ統一的な適用を確保することを目的とした、欧州委員会の解釈に関する洞察を提供することを目的としている。
Such clarity is essential for providers and deployers of AI systems, since the prohibitions are directly applicable as from 2 February 2025. In view of this imminent entry into application and the time necessary for the translation of the guidelines into all languages, the Commission is called upon to approve the content of draft Communication from the Commission on Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689. 禁止事項は2025年2月2日から直接適用されるため、このような明確性はAIシステムのプロバイダや展開者にとって不可欠である。この適用開始が間近に迫っていること、およびガイドラインの全言語への翻訳に時間が必要であることを考慮し、欧州委員会は、規則(EU)2024/1689により制定された人工知能の禁止行為に関するガイドラインに関する欧州委員会からのコミュニケーション草案の内容を承認するよう求められている。
The Guidelines will be formally adopted by the Commission at a later date, when all language versions are available. It is only from that moment that these Guidelines will be applicable. The text of the draft Guidelines is enclosed as an Annex to this Communication. 同ガイドラインは、後日、すべての言語版が利用可能になった時点で、欧州委員会により正式に採択される。このガイドラインが適用されるのは、その時点からである。ガイドライン草案のテキストは、本コミュニケーションの附属書として同封されている。

 

 

規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン

PDF140ページあります...

・[PDF] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act)

20250208-45214

・[DOCX][PDF] 仮訳...

 

目次...

1. Background and objectives 1 背景と目的
2. Overview of prohibited AI practices 2 禁止されているAIの慣行の概要
2.1. Prohibitions listed in Article 5 AI Act 2.1. AI法第5条の禁止事項
2.2. Legal basis of the prohibitions 2.2. 禁止事項の法的根拠
2.3. Material scope: practices related to the ‘placing on the market’, ‘putting into service’ or ‘use’ of an AI system 2.3. 重要な範囲:AI システムの「上市」、「使用開始」または「使用」に関する慣行
2.4. Personal scope: responsible actors 2.4. 個人の範囲:責任ある行為者
2.5. Exclusion from the scope of the AI Act 2.5. AI法の適用除外
2.5.1. National security, defence and military purposes 2.5.1. 国家安全保障、防衛、軍事目的
2.5.2. Judicial and law enforcement cooperation with third countries 2.5.2. 第三国との司法・法執行協力
2.5.3. Research & Development 2.5.3. 研究開発
2.5.4. Personal non-professional activity 2.5.4. 個人的な非専門活動
2.5.5. AI systems released under free and open source licences 2.5.5. フリーおよびオープンソースライセンスでリリースされたAIシステム
2.6. Interplay of the prohibitions with the requirements for high-risk AI systems 2.6. 禁止事項と高リスクAIシステムの要件の相互関係
2.7. Application of the prohibitions to general-purpose AI systems and systems with intended purposes 2.7. 汎用AIシステムおよび目的別システムへの禁止事項の適用
2.8. Interplay between the prohibitions and other Union law 2.8. 禁止事項と他のEU法との相互関係
2.9. Enforcement of Article 5 AI Act 2.9. AI法第5条の施行
2.9.1. Market Surveillance Authorities 2.9.1. 市場監視認可機関
2.9.2. Penalties 2.9.2. 罰則
3. Article 5(1)(a) and (b) AI Act – harmful manipulation, deception and exploitation 3 AI法第5条(1)(a)および(b) - 有害な操作、欺瞞および搾取
3.1. Rationale and objectives 3.1. 根拠と目的
3.2. Main components of the prohibition in Article 5(1)(a) AI Act – harmful manipulation 3.2. AI法第5条(1)(a)における禁止事項の主な構成要素 - 有害な操作
3.2.1. Subliminal, purposefully manipulative or deceptive techniques 3.2.1. サブリミナル的、意図的に操作的または欺瞞的な手法
3.2.2. With the objective or the effect of materially distorting the behaviour of a person or a group of persons 3.2.2. 個人または集団の行動を実質的に歪める目的または効果を持つ。
3.2.3. (Reasonably likely to) cause significant harm 3.2.3. (合理的に)重大な損害をもたらす(可能性がある)
3.3. Main components of the prohibition in Article 5(1)(b) AI Act – harmful exploitation of vulnerabilities 3.3. AI法第5条(1)bの禁止事項の主な構成要素-脆弱性の有害な利用
3.3.1. Exploitation of vulnerabilities due to age, disability, or a specific socio-economic situation 3.3.1. 年齢、障害、特定の社会経済的状況による脆弱性を利用する。
3.3.2. With the objective or the effect of materially distorting behaviour 3.3.2. 行動を実質的に歪める目的または効果を持つ。
3.3.3. (Reasonably likely to) cause significant harm 3.3.3. (合理的に)重大な損害をもたらす(可能性がある)
3.4. Interplay between the prohibitions in Article 5(1)(a) and (b) AI Act 3.4. AI法第5条(1)(a)と(b)の禁止事項の相互関係
3.5. Out of scope 3.5. 範囲外
3.5.1. Lawful persuasion 3.5.1. 合法的な説得
3.5.2. Manipulative, deceptive and exploitative AI systems that are not likely to cause significant harm 3.5.2. 操作的、欺瞞的、搾取的なAIシステムで、重大な危害を引き起こす可能性のないもの
3.6. Interplay with other Union law 3.6. 他の連邦法との関係
4. Article 5(1)(c) AI Act - social scoring 4 AI法第5条(1)(c) - ソーシャル・スコアリング
4.1. Rationale and objectives 4.1. 根拠と目的
4.2. Main concepts and components of the ‘social scoring’ prohibition 4.2. ソーシャル・スコアリング」禁止の主な概念と構成要素
4.2.1. ‘Social scoring’: evaluation or classification based on social behaviour or personal or personality characteristics over a certain period of time 4.2.1. 「社会的スコアリング」:一定期間における社会的行動や個人的・性格的特徴に基づく評価や分類。
4.2.2. The social score must lead to detrimental or unfavourable treatment in unrelated social contexts and/or unjustified or disproportionate treatment to the gravity of the social behaviour 4.2.2. 社会的得点は、無関係な社会的文脈における不利益もしくは不利な扱い、および/または社会的行 動の重大性に不当もしくは不釣り合いな扱いをもたらすものでなければならない。
4.2.3. Regardless of whether provided or used by public or private persons 4.2.3. 公私の別を問わず、プロバイダが提供または使用する。
4.3. Out of scope 4.3. 範囲外
4.4. Interplay with other Union legal acts 4.4. 他の連邦法との関係
5. Article 5(1)(d) AI Act – individual risk assessment and prediction OF CRIMINAL OFFENCES 5 AI法第5条(1)(d) -個々のリスクアセスメントと犯罪の予測
5.1. Rationale and objectives 5.1. 根拠と目的
5.2. Main concepts and components of the prohibition 5.2. 禁止事項の主な概念と構成要素
5.2.1. Assessing the risk or predicting the likelihood of a person committing a crime 5.2.1. 人が犯罪を犯すリスクをアセスメントし、その可能性を予測する。
5.2.2. Solely based on profiling of a natural person or on assessing their personality traits and characteristics 5.2.2. 自然人のプロファイリング、または性格特性や特徴のアセスメントにのみ基づく。
5.2.3. Exclusion of AI systems to support the human assessment based on objective and verifiable facts directly linked to a criminal activity 5.2.3. 犯罪行為に直結する客観的かつ検証可能な事実に基づく人間のアセスメントを支援するためのAIシステムの除外
5.2.4. Extent to which private actors’ activities may fall within scope 5.2.4. 民間主体の活動が適用範囲に入る可能性のある範囲
5.3. Out of scope 5.3. 範囲外
5.3.1. Location-based or geospatial predictive or place-based crime predictions 5.3.1. 位置情報ベース、地理空間情報ベース、場所ベースの犯罪予測
5.3.2. AI systems that support human assessments based on objective and verifiable facts linked to a criminal activity 5.3.2. 犯罪行為に関連する客観的かつ検証可能な事実に基づく人間のアセスメントを支援するAIシステム
5.3.3. AI systems used for crime predictions and assessments in relation to legal entities 5.3.3. 事業体に関する犯罪予測やアセスメントに使用されるAIシステム
5.3.4. AI systems used for individual predictions of administrative offences 5.3.4. 行政犯罪の個別予測に使用されるAIシステム
5.4. Interplay with other Union legal acts 5.4. 他の連邦法との関係
6. Article 5(1)(e) AI Act - untargeted scraping of facial images 6 AI法第5条(1)(e) - 顔画像の非標的スクレイピング
6.1. Rationale and objectives 6.1. 根拠と目的
6.2. Main concepts and components of the prohibition 6.2. 禁止事項の主な概念と構成要素
6.2.1. Facial recognition databases 6.2.1. 顔認識データベース
6.2.2. Through untargeted scraping of facial images 6.2.2. 顔画像の非ターゲット・スクレイピングを通じて
6.2.3. From the Internet and CCTV footage 6.2.3. インターネットとCCTV映像から
6.3. Out of scope 6.3. 範囲外
6.4. Interplay with other Union legal acts 6.4. 他の連邦法との関係
7. Article 5(1)(f) AI Act emotion recognition 7 AI法第5条(1)(f) - 行為感情認識
7.1. Rationale and objectives 7.1. 根拠と目的
7.2. Main concepts and components of the prohibition 7.2. 禁止事項の主な概念と構成要素
7.2.1. AI systems to infer emotions 7.2.1. 感情を推測するAIシステム
7.2.2. Limitation of the prohibition to workplace and educational institutions 7.2.2. 職場および教育機構への禁止事項の限定
7.2.3. Exceptions for medical and safety reasons 7.2.3. 医療上および安全上の理由による例外
7.3. More favourable Member State law 7.3. より有利な加盟国法
7.4. Out of scope  7.4. 範囲外
8. Article 5(1)(g) AI Act: Biometric categorisation for certain ‘sensitive’ characteristics 8 AI法第5条(1)(g) - 特定の「機微な」特徴に関するバイオメトリクス分類
8.1. Rationale and objectives 8.1. 根拠と目的
8.2. Main concepts and components of the prohibition 8.2. 禁止事項の主な概念と構成要素
8.2.1. Biometric categorisation system 8.2.1. バイオメトリクス分類システム
8.2.2. Persons are individually categorised based on their biometric data  8.2.2. 個人は生体データに基づいて個別に分類される。
8.2.3. To deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation 8.2.3. 人種、政治的意見、労働組合への加入、宗教的または哲学的信条、性生活、性的指向を推測または推論すること。
8.3. Out of scope 8.3. 範囲外
8.4. Interplay with other Union law 8.4. 他の連邦法との関係
9. Article 5(1)(h) AI Act - Real-time Remote Biometric Identification (RBI) Systems for Law Enforcement Purposes 9 AI法第5条(1)(h) - 法執行目的のリアルタイム遠隔バイオメトリクス識別(RBI)システム
9.1. Rationale and objectives 9.1. 根拠と目的
9.2. Main concepts and components of the prohibition 9.2. 禁止事項の主な概念と構成要素
9.2.1. The Notion of Remote Biometric Identification 9.2.1. 遠隔生体認証の概念
9.2.2. Real-time 9.2.2. リアルタイム
9.2.3. In publicly accessible spaces . 9.2.3. 公共のアクセス可能なスペースでは.
9.2.4. For law enforcement purposes 9.2.4. 法執行目的の場合
9.3. Exceptions to the prohibition 9.3. 禁止事項の例外
9.3.1. Rationale and objectives 9.3.1. 根拠と目的
9.3.2. Targeted search for the victims of three serious crimes and missing persons. 9.3.2. 重大犯罪の被害者と行方不明者を対象に捜索を行う。
9.3.3. Prevention of imminent threats to life or terrorist attacks 9.3.3. 生命に対する差し迫った脅威やテロ攻撃の防止
9.3.4. Localisation and identification of suspects of certain crimes 9.3.4. 特定の犯罪の容疑者の位置特定と識別
10. Safeguards and Conditions for the exceptions (Article 5(2)-(7) AI Act) 10 AI法第5条(2) (7) - 例外に関する保護措置と条件
10.1. Targeted individual and safeguards (Article 5(2) AI Act) 10.1 対象となる個人とセーフガード(AI法5条2項
10.1.1. Fundamental Rights Impact Assessment 10.1.1. 基本的人権の影響アセスメント
10.1.2. Registration of the authorized RBI systems 10.1.2. 認可RBIシステムの登録
10.2. Need for prior authorisation 10.2 事前承認の必要性
10.2.1. Objective 10.2.1. 目的
10.2.2. The main principle: Prior authorisation by a judicial authority or an independent administrative authority 10.2.2. 大原則司法当局または独立行政当局による事前認可
10.3. Notification to the authorities of each use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement 10.3. 法執行のために公共のアクセス可能な空間で「リアルタイム」遠隔バイオメトリクス識別システ ムを使用する場合は、その都度認可に通知する。
10.4. Need for national laws within the limits of the AI Act exceptions 10.4. AI法の例外の範囲内での国内法の必要性
10.4.1. Principle: national law required to provide the legal basis for the authorisation for all or some of the exceptions 10.4.1. 原則:例外のすべてまたは一部について、認可の法的根拠となる国内法が必要である。
10.4.2. National law shall respect the limits and conditions of Article 5(1)(h) AI Act  10.4.2. 国内法は、AI法第5条(1)(h)の制限と条件を尊重するものとする。
10.4.3. Detailed national law on the authorisation request, the issuance and the exercise 10.4.3. 認可申請、発行、行使に関する国内法の詳細
10.4.4. Detailed national law on the supervision and the reporting relating to the authorisation 10.4.4. 認可に関する監督と報告に関する詳細な国内法
10.5. Annual reports by the national market surveillance authorities and the national data protection authorities of Member States 10.5. 加盟国の市場監視当局およびデータ保護当局による年次報告書
10.6. Annual reports by the Commission 10.6. 委員会による年次報告
10.7. Out-of-Scope 10.7. 対象外
10.8. Examples of uses 10.8. 使用例
11. Entry into application 11 適用
12. Review and update of the Commission guidelines 12 委員会ガイドラインの見直しと更新

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2024.12.06 欧州委員会 AI法における汎用AIモデル - Q&A (2024.11.20)

・2024.12.04 欧州評議会 AIシステムの人権への影響を評価する新しいツールを発表 (2024.12.02)

・2024.10.30 欧州 AI法の調和標準の策定について...

・2024.10.18 オランダ AI利用ガイド (2024.10.16)

・2024.08.05 欧州AI法が施行された... (2024.08.01)

・2024.07.20 EU EDPB GDPRとEU-AI法関連

・2024.07.19 ドイツ BfDI フランス CNIL オランダ AP EU AI法関連

 

・2024.07.16 EU 2024.07.12にAI法がEU官報に掲載された

 

・2024.05.22 EU 欧州理事会がAI法を承認...まもなく発効されますね...

・2024.03.19 欧州議会 AI法 (2024.03.13) とサイバーレジリエンス法を採択 (2024.03.12)

・2023.12.10 欧州委員会、欧州議会がAI法について政治的合意

・2022.12.08 EU理事会 AI法に関する見解を採択

・2022.09.30 欧州委員会 AI責任指令案

・2021.12.05 欧州理事会 AI法改正案を欧州議会に提出

・2021.08.08 EU議会 BRIEFING 人工知能法 at 2021.07.26

・2021.04.24 欧州委員会がAIへの規制を提案 → 欧州データ保護官は歓迎するけど、公共空間での遠隔生体認証についての規制も入れてね

 

 

 

| | Comments (0)

内閣府 AI戦略会議 AI制度研究会 中間とりまとめ(案)(2025.02.04)

こんにちは、丸山満彦です。

2025.02.04 にAI戦略会議(第13回)・AI制度研究会(第7回)※合同開催され、中間とりまとめ(案)が議論されたのですかね...

「中間取りまとめ(案)」にPwCやKPMGの調査をもとに作成したグラフがあるのですが、これが興味深い...

 

「AIのリスクや安全性に関する意識調査(国際比較)」

20250207-210159

 

日本人はAIの規制にネガティブじゃない、というよりむしろ必要とかんがえているじゃないですか!!!

少数の声が大きな人(企業)を全体として捉えるとよくないかもですね...

既存の法律でカバーされている領域がある中で屋上屋を架すような法律を作る必要はないですけど...

AIを社内でも適切なルールとかを用いて利用させようとしない...

いけてない...

 

生成AIに関する意識調査(日本)

20250207-210225

AI法による規制も内容によっては必要と考えているじゃないですか...

ただし...

20250208-41011

 

内閣府 - AI戦略 - AI戦略会議

・2025.02.04 AI戦略会議(第13回)・AI制度研究会(第7回)※合同開催

・・[PDF] 資料1「中間とりまとめ(案)」に対する意⾒募集結果

20250207-212349

 

・・[PDF] 資料2AI戦略会議 AI制度研究会 中間とりまとめ(案)

20250207-212511

目次...

概要

I. はじめに

II. 制度の基本的な考え⽅
. 近年の AI の発展
. 関係主体
(1) 主な主体
(2) 国外事業者

. イノベーション促進とリスクへの対応の両⽴
(1) イノベーションの促進
① 研究開発への⽀援
② 事業者による利⽤
(2) 法令の適⽤とソフトローの活⽤
(3) リスクへの対応

. 国際協調の推進
(1) AI ガバナンスの形成
(2) 国際整合性・相互運⽤性の確保

III. 具体的な制度・施策の⽅向性
. 全般的な事項
(1) 政府の司令塔機能の強化、戦略の策定
(2) 安全性の向上等
① AI ライフサイクル全体を通じた透明性と適正性の確保
② 国内外の組織が実践する安全性評価と認証に関する戦略的な促進
③ 重⼤インシデント等に関する政府による調査と情報発信

. 政府による利⽤等
(1) 政府調達
(2) 政府等による利⽤

. ⽣命・⾝体の安全、システミック・リスク、国の安全保障等に関わるもの

IV. おわりに

・・[PDF] 参考資料1AI戦略会議 構成員名簿

・・[PDF] 参考資料2AI制度研究会 構成員名簿

 


 

まるちゃんの情報セキュリティ気まぐれ日記

・2024.04.20 総務省 経済産業省 AI事業者ガイドライン(第1.0版)

 

 

・2025.02.08 欧州委員会 規則(EU)2024/1689(AI法)が定める人工知能の禁止行為に関する欧州委員会ガイドライン

・2024.12.06 欧州委員会 AI法における汎用AIモデル - Q&A (2024.11.20)

・2024.12.04 欧州評議会 AIシステムの人権への影響を評価する新しいツールを発表 (2024.12.02)

・2024.10.30 欧州 AI法の調和標準の策定について...

・2024.10.18 オランダ AI利用ガイド (2024.10.16)

・2024.08.05 欧州AI法が施行された... (2024.08.01)

・2024.07.20 EU EDPB GDPRとEU-AI法関連

・2024.07.19 ドイツ BfDI フランス CNIL オランダ AP EU AI法関連

 

・2024.07.16 EU 2024.07.12にAI法がEU官報に掲載された

 

 

| | Comments (0)

2025.02.07

オランダ データ保護庁 AIリテラシーを持って始めよう (2025.01.30)

こんにちは、丸山満彦です。

オランダのデータ保護庁がAIリテラシーを持ってAIを利用しようと呼びかけていますね...

意識啓発から始めて、次に学び、そして具体的な対応を各人が考えてできるようになるというのがよいのでしょうね...

オランダのデータ保護庁には、アルゴリズムを監視するDepartment for the Coordination of Algorithmic Oversight (DCA)(アルゴリズ調整監督部)というのがあるのですね...

 

● 2025.01.30 Aan de slag met AI-geletterdheid

Aan de slag met AI-geletterdheid AIリテラシーを始めよう
De samenleving wordt steeds meer geconfronteerd met de invloed van algoritmes en AI. AI-geletterdheid is essentieel voor het versterken van maatschappelijke weerbaarheid in de omgang met algoritmes en AI.  社会はますますアルゴリズムやAIの影響に直面している。AIリテラシーは、アルゴリズムやAIに対応する社会のレジリエンスを強化するために不可欠である。
Ontwikkelaars van AI-systemen en organisaties die gebruikmaken van AI-systemen moeten vanaf 2 februari 2025 zorgen dat hun werknemers 'AI-geletterd' zijn. Dat betekent dat mensen die binnen of namens de organisatie AI-systemen gebruiken, voldoende kennis, vaardigheden en begrip moeten hebben om AI op een verantwoorde manier in te zetten. Zowel op technisch als op praktisch, sociaal en ethisch gebied. Dat staat in de AI-verordening. AIシステムの開発者とAIシステムを使用する組織は、2025年2月2日から従業員に「AIリテラシー」を確保しなければならない。これは、組織内または組織のためにAIシステムを使用する人々が、責任を持ってAIを使用するために十分な知識、スキル、理解を持たなければならないことを意味する。技術的、実務的、社会的、倫理的にである。AI規制は次のように述べている。
Als coördinerend AI- en algoritmetoezichthouder helpt de Autoriteit Persoonsgegevens (AP) organisaties met dit document op weg.  AIとアルゴリズムを調整する規制当局として、個人データ庁(AP)は組織がこの文書でスタートするのを支援する。

 

・[PDF

20250207-60234

・[DOCX][PDF] 仮訳

 

 

アルゴリズム調整監督部....

2023年に設置されていますね...

Coordination of algorithmic and AI supervision

報告書を6ヶ月毎に発行していますね...

 

 

第3部 

・2024.07.18 AI Risk Report Summer 2024: turbulent rise of AI calls for vigilance by everyone

・2024.07.18 AI & Algorithmic Risks Report Netherlands - Summer 2024

・[PDF]

20250207-62930

Key Messages...

Key messages 主なメッセージ
1.TheAIriskprofilecontinuesto callforvigilancefromeveryone –fromMinisterstocitizens andfromCEOstoconsumers– because(i)itisdifficulttoassess whetherAIapplicationsare sufficientlycontrolledand(ii) AIincidentscanoccurmore andmorefrequently,especially asAIisincreasinglybecoming intertwinedintosociety. 1.AIのリスクプロファイルは引き続き、閣僚から市民、CEOから消費者まで、あらゆる人々に対して警戒を呼びかけている。その理由は、(i)AIアプリケーションが十分に制御されているかどうかを評価することが困難であること、(ii)AIが社会にますます浸透するにつれ、AIによる事故がますます頻繁に発生する可能性があること、である。
2.ManynewAIsystemsandrisks (orpossiblerisks)standout. Fromexperimentationbybigtech companiestothewidespreaduse ofAIinsituationswherepeople arevulnerable. 2.多くの新しいAIシステムとリスク(または潜在的なリスク)が顕著になっている。大手テクノロジー企業による実験から、人々が脆弱な状況にある場面でのAIの広範な使用まで。
3.Informationprovisionisessential forthefunctioningofdemocracy, butisunderpressurefromthe deploymentofAIsystems.This appliestobothmoderationand distributionofcontentand,more recently,tocontentcreationwith generativeAI. 3. 民主主義の機能には情報提供が不可欠であるが、AIシステムの展開により圧力がかかっている。これは、コンテンツの規制と配信の両方に当てはまり、最近では生成型AIによるコンテンツ作成にも当てはまる。
4.Conditionsforadequate democraticcontrolofAIsystems arecurrentlyinsufficientlymet. 4. AIシステムに対する適切な民主的統制の条件は、現状では十分に満たされていない。
5.Randomsamplingisavaluable tooltoreducerisksinprofiling andselectingAIsystems. 5.AIシステムのプロファイリングと選定におけるリスクを低減する上で、ランダムサンプリングは有効な手段である。
6.TheentryintoforceoftheAI Act(earlyAugust2024)isa milestone,withconcernsabout (i)thelongtransitionperiod(up to2030)forexistinghigh-riskAI systemswithinthegovernment and(ii)whetherrobustand workableproductstandardswill beinplaceinatimelymanner. 6.AI法の発効(2024年8月初旬)はマイルストーンであるが、(i)政府内の既存の高リスクAIシステムに対する移行期間が長期にわたること(2030年まで)、(ii)堅牢で実用的な製品基準が適時に策定されるか、という懸念がある。
7.Withregardtothefurther elaborationofthecoalition agreement,theAPadvises tocontinuetogivepriority toalgorithmregistrationby governmentorganisationsand todiscussregistrationbysemi- publicorganisations. 7.連合合意のさらなる詳細化に関して、データ保護庁は、政府機関によるアルゴリズム登録を優先し続け、準公共機関による登録については協議を続けるよう助言する。
8.TheAPiscommittedto increasingthecontrolof AIsystems,inwhich(i)a proliferationofframeworks shouldbeavoidedand(ii)a recalibrationofthenational AIstrategycancontribute tothefurtherecosystemfor developmentandcontrolofAI systems. 8.データ保護庁は、AIシステムの管理強化に尽力しており、(i) フレームワークの拡散を回避し、(ii) 国家AI戦略の再調整がAIシステムの開発と管理のためのさらなるエコシステム構築に貢献できると考えている。

 

 

第2部 

・2023.12.18 AI and algorithm risks on the rise amidst increased use: master plan necessary to prepare the Netherlands for a future with AI

 

第1部 (リンク切れ...)

・2023.07 First Algorithmic Risks Report Netherlands calls for additional action to control algorithmic and AI risks

 

 

 

 

| | Comments (0)

2025.02.03

米国 欧州 CrackedとNulledという犯罪プラットフォームの破壊 (2025.01.30)

こんにちは、丸山満彦です。

サイバー犯罪の多くは国際的に被害が広がるので、各国捜査機関の協力関係が非常に重要(自国を重要視するなら、海外との連携が重要となる)ので、これからも世界的な連携はより発展するのでしょうね...

ユーロポール、米国等の司法当局が協力をして、CrackedとNulledという犯罪プラットフォームに関係する、容疑者2人を逮捕し、7件の物件を捜索し、17台のサーバーと50台以上の電子機器を押収し、約30万ユーロの現金と暗号通貨を押収したようですね...

このプラットフォームでは、AIベースのツールやスクリプトが提供されており、セキュリティ脆弱性を自動的にスキャンし、攻撃を最適化することができるようになっていたようですね...

 

1_20250203044201

 

Europol

・2025.01.30 Law enforcement takes down two largest cybercrime forums in the world - The platforms combined had over 10 million users worldwide

 

Law enforcement takes down two largest cybercrime forums in the world 法執行機関、世界最大のサイバー犯罪フォーラム2つを閉鎖
The platforms combined had over 10 million users worldwide 両フォーラムのユーザー数は合わせて1,000万人以上
A Europol-supported operation, led by German authorities and involving law enforcement from eight countries, has led to the takedown of the two largest cybercrime forums in the world. 欧州刑事警察機構(Europol)の支援を受け、ドイツ当局が主導し、8か国の法執行機関が関与したこの作戦により、世界最大のサイバー犯罪フォーラム2つが閉鎖された。
The two platforms, Cracked and Nulled, had more than 10 million users in total. Both of these underground economy forums offered a quick entry point into the cybercrime scene. These sites worked as one-stop shops and were used not only for discussions on cybercrime but also as marketplaces for illegal goods and cybercrime-as-a-service, such as stolen data, malware or hacking tools. Investigators estimate that suspects earned EUR 1 million in criminal profits. CrackedとNulledという2つのプラットフォームには、合計で1000万人以上のユーザーがいた。 これらの闇市場フォーラムは、サイバー犯罪の世界への素早い入口となっていた。 これらのサイトはワンストップショップとして機能しており、サイバー犯罪に関する議論だけでなく、盗難データ、マルウェア、ハッキングツールなどの違法商品の市場としても利用されていた。 捜査官は、容疑者が100万ユーロの犯罪収益を得たと推定している。
The operation took place from 28 to 30 January and led to: この作戦は1月28日から30日にかけて実施され、以下の結果となった。
・2 suspects arrested ・容疑者2名を逮捕
・7 properties searched ・7つの物件を捜索
・17 servers and over 50 electronic devices seized ・17台のサーバーと50台以上の電子機器を押収
・Around EUR 300 000 of cash and cryptocurrencies seized ・約30万ユーロの現金と暗号通貨を押収
Throughout the course of the action day, 12 domains within the platforms Cracked and Nulled were seized. Other associated services were also taken down; including a financial processor named Sellix which was used by Cracked, and a hosting service called StarkRDP, which was promoted on both of the platforms and run by the same suspects. この一斉取締りの過程で、CrackedとNulledのプラットフォーム内の12のドメインが押収された。また、Crackedが使用していた金融処理プロセッサのSellixや、両プラットフォームで宣伝され、同じ容疑者によって運営されていたStarkRDPと呼ばれるホスティングサービスなど、関連サービスも停止された。
Europol’s expertise provided on the ground 欧州刑事警察機構の専門知識が現地で提供された
Throughout the investigation, Europol provided operational, analytic and forensic support to authorities involved in the case. On the action day, a specialist and an analyst were deployed on the spot to work hand-in-hand with German investigators.  捜査中、欧州刑事警察機構は、この事件に関与する当局に運用、分析、および法医学的支援を提供した。 行動日には、専門家と分析官が現場に展開され、ドイツの捜査官と協力した。
Europol’s experts from the European Cybercrime Centre (EC3) facilitated the exchange of information in the framework of the Joint Cybercrime Action Taskforce (J-CAT) hosted at the Europol headquarters in The Hague, the Netherlands. One of Europol’s priorities is to act as the broker of law enforcement knowledge, providing a hub through which Member States can connect and benefit from one another’s and Europol’s expertise. 欧州サイバー犯罪センター(EC3)の欧州刑事警察機構(ユーロポール)の専門家は、オランダのハーグにある欧州刑事警察機構(ユーロポール)本部で主催されている共同サイバー犯罪対策タスクフォース(J-CAT)の枠組みの中で、情報交換を促進した。欧州刑事警察機構(ユーロポール)の優先事項のひとつは、法執行機関の知識の仲介役を務めることであり、加盟国が互いに、そして欧州刑事警察機構(ユーロポール)の専門知識を活用できるハブを提供することである。
Fighting cybercrime-as-a-service サイバー犯罪のサービスとしての提供
Cybercrime-as-a-service is a growing trend on platforms like Cracked.io and Nulled.to. Cybercriminals offer tools and infrastructure as a service, enabling even less technically-skilled individuals to carry out attacks. This trend makes cybercrime increasingly accessible to a wider group of people, as these platforms often share security vulnerabilities and even provide tutorials on creating malware and engaging in other criminal activities.  サイバー犯罪のサービスとしての提供は、Cracked.ioやNulled.toのようなプラットフォーム上で増加傾向にある。サイバー犯罪者はツールやインフラをサービスとして提供し、技術的にそれほど熟練していない個人でも攻撃を実行できるようにしている。これらのプラットフォームはセキュリティの脆弱性を共有していることが多く、マルウェアの作成やその他の犯罪行為に関するチュートリアルまで提供しているため、この傾向により、サイバー犯罪はより幅広い層にとってますます身近なものとなっている。
These two forums also offered AI-based tools and scripts to automatically scan for security vulnerabilities and optimise attacks. Advanced phishing techniques are frequently developed and shared on these platforms, sometimes employing AI to create more personalised and convincing messages. As cybercrime becomes more aggressive and confrontational, Europol aims to strengthen the fight against this sort of crime by bringing relevant partners together for cross-border cooperation and joint action. また、この2つのフォーラムでは、AIベースのツールやスクリプトが提供されており、セキュリティ脆弱性を自動的にスキャンし、攻撃を最適化することができる。高度なフィッシング技術が頻繁に開発され、共有されているが、時にはAIが使用され、よりパーソナライズされた説得力のあるメッセージが作成されることもある。サイバー犯罪がより攻撃的で対立的なものになるにつれ、欧州刑事警察機構は、関連するパートナーを集め、国境を越えた協力と共同行動を行うことで、この種の犯罪に対する戦いを強化することを目指している。
Participating countries: 参加国:
Australia: Australian Federal Police オーストラリア:オーストラリア連邦警察
France: Anti-Cybercrime Office (Office Anti-cybercriminalité) フランス:反サイバー犯罪局(Office Anti-cybercriminalité)
Germany: Federal Criminal Police Office (Bundeskriminalamt), Prosecutor General’s Office Frankfurt am Main – Cyber Crime Center (Generalstaatsanwaltschaft Frankfurt am Main – ZIT) ドイツ:連邦刑事局(Bundeskriminalamt)、フランクフルト・アム・マイン検事総長室 - サイバー犯罪センター(Generalstaatsanwaltschaft Frankfurt am Main - ZIT)
Greece: Hellenic Police (Ελληνική Αστυνομία) ギリシャ:ギリシャ警察(Ελληνική Αστυνομία)
Italy: State Police (Polizia di Stato) イタリア:国家警察(Polizia di Stato)
Romania: General Inspectorate of Romanian Police (Inspectoratul General al Poliției Romane) ルーマニア:ルーマニア警察監察官(Inspectoratul General al Poliției Romane)
Spain: Guardia Civil; Spanish National Police (Policía Nacional) スペイン:国家警察(スペイン国家警察)
United States of America: Department of Justice, Federal Bureau of Investigation 米国:司法省、連邦捜査局

 

 

 

 

U.S. Department of Justice

・2025.01.30 Cracked and Nulled Marketplaces Disrupted in International Cyber Operation

Cracked and Nulled Marketplaces Disrupted in International Cyber Operation 国際的なサイバー作戦により、クラックド・アンド・ヌルド・マーケットプレイスが混乱
At Least 17M U.S. Victims Affected 少なくとも1700万人の米国人が被害に
The Justice Department today announced its participation in a multinational operation involving actions in the United States, Romania, Australia, France, Germany, Spain, Italy, and Greece to disrupt and take down the infrastructure of the online cybercrime marketplaces known as Cracked and Nulled. The operation was announced in conjunction with Operation Talent, a multinational law enforcement operation supported by Europol to investigate Cracked and Nulled. 司法省は本日、米国、ルーマニア、オーストラリア、フランス、ドイツ、スペイン、イタリア、ギリシャにおける活動を含む多国間作戦への参加を発表した。この作戦は、CrackedおよびNulledとして知られるオンラインサイバー犯罪マーケットプレイスのインフラを破壊し、閉鎖することを目的としている。この作戦は、CrackedおよびNulledの捜査を目的とした欧州刑事警察機構(ユーロポール)が支援する多国間法執行作戦「Operation Talent」と併せて発表された。
Supervisory Official Antoinette T. Bacon of the Justice Department’s Criminal Division, U.S. Attorney Trini E. Ross for the Western District of New York, U.S. Attorney Jaime Esparza for the Western District of Texas, Assistant Director Brian A. Vorndran of the FBI’s Cyber Division, Special Agent in Charge Matthew Miraglia of the FBI Buffalo Field Office, and Special Agent in Charge Aaron Tapp for the FBI San Antonio Field Office made the announcement. 司法省刑事局の監督官アントワネット・T・ベーコン氏、ニューヨーク西部地区担当のトリニ・E・ロス米国連邦検事、テキサス西部地区担当のハイメ・エスパルザ米国連邦検事、FBIサイバー犯罪対策部のブライアン・A・ヴォーンダン副部長、FBIバッファロー支局のマシュー・ミラリア特別捜査官、FBIサンアントニオ支局のアーロン・タップ特別捜査官が、この発表を行った 。
Cracked Cracked
According to seizure warrants unsealed today, the Cracked marketplace has been selling stolen login credentials, hacking tools, and servers for hosting malware and stolen data — as well as other tools for carrying out cybercrime and fraud — since March 2018. Cracked had over four million users, listed over 28 million posts advertising cybercrime tools and stolen information, generated approximately $4 million in revenue, and impacted at least 17 million victims from the United States. One product advertised on Cracked offered access to “billions of leaked websites” allowing users to search for stolen login credentials. This product was recently allegedly used to sextort and harass a woman in the Western District of New York. Specifically, a cybercriminal entered the victim’s username into the tool and obtained the victim’s credentials for an online account. Using the victim’s credentials, the subject then cyberstalked the victim and sent sexually demeaning and threatening messages to the victim. The seizure of these marketplaces is intended to disrupt this type of cybercrime and the proliferation of these tools in the cybercrime community. 本日公開された押収令状によると、Cracked マーケットプレイスは2018年3月以来、盗まれたログイン認証情報、ハッキングツール、マルウェアや盗難データのホスティング用サーバー、その他サイバー犯罪や詐欺を実行するためのツールを販売していた。Crackedには400万人以上のユーザーがおり、サイバー犯罪ツールや盗難情報の広告が2800万件以上掲載され、約400万ドルの収益を生み出し、米国だけでも少なくとも1700万人の被害者に影響を与えた。Crackedで宣伝されていたある製品は、「数十億件の流出ウェブサイト」へのアクセスを提供しており、ユーザーは盗まれたログイン認証情報を検索することができた。この製品は最近、ニューヨーク西部地区の女性に対する性的嫌がらせと恐喝に使用されたとされている。具体的には、サイバー犯罪者が被害者のユーザー名をツールに入力し、オンラインアカウントの認証情報を入手した。この人物は、被害者の認証情報を使用して、被害者をサイバーストーカーし、性的な中傷や脅迫メッセージを送信した。これらのマーケットプレイスの差し押さえは、この種のサイバー犯罪と、サイバー犯罪者コミュニティにおけるこれらのツールの拡散を阻止することを目的としている。
The FBI, working in coordination with foreign law enforcement partners, identified a series of servers that hosted the Cracked marketplace infrastructure and eight domain names used to operate Cracked. They also identified servers and domain names for Cracked’s payment processor, Sellix, and the server and domain name for a related bulletproof hosting service. All of these servers and domain names have been seized pursuant to domestic and international legal process. Anyone visiting any of these seized domains will now see a seizure banner that notifies them that the domain has been seized by law enforcement authorities. FBIは、海外の法執行機関と連携し、Crackedのマーケットプレイスインフラをホストする一連のサーバーと、Crackedの運営に使用されていた8つのドメイン名を特定した。また、Crackedの決済処理業者であるSellixのサーバーとドメイン名、および関連するBulletproofホスティングサービスのサーバーとドメイン名も特定した。これらのサーバーとドメイン名はすべて、国内および国際的な法的手続きに従って押収された。これらの差し押さえられたドメインを訪問した人は、ドメインが法執行機関によって差し押さえられたことを通知する差し押さえバナーが表示される。
The FBI Buffalo Field Office is investigating the case. FBIバッファロー支局がこの事件を捜査している。
Senior Counsel Thomas Dougherty of the Criminal Division’s Computer Crime and Intellectual Property Section (CCIPS) and Assistant U.S. Attorney Charles Kruly for the Western District of New York are prosecuting the case. 刑事局のコンピュータ犯罪・知的財産課(CCIPS)の上級顧問トーマス・ドハーティ氏とニューヨーク西部地区のチャールズ・クルーリー米国連邦検事がこの事件を起訴している。
Nulled Nulled
The Justice Department announced the seizure of the Nulled website domain and unsealed charges against one of Nulled’s administrators, Lucas Sohn, 29, an Argentinian national residing in Spain. According to the unsealed complaint affidavit, the Nulled marketplace has been selling stolen login credentials, stolen identification documents, hacking tools, as well as other tools for carrying out cybercrime and fraud, since 2016. Nulled had over five million users, listed over 43 million posts advertising cybercrime tools and stolen information, and generated approximately $1 million in yearly revenue. One product advertised on Nulled purported to contain the names and social security numbers of 500,000 American citizens. 司法省は、Nulledのウェブサイトドメインの押収と、スペイン在住のアルゼンチン国籍の29歳、Nulledの管理者であるルーカス・ソン氏に対する起訴状を非公開扱いを解除したことを発表した。非公開扱いを解除された訴状宣誓供述書によると、Nulledのマーケットプレイスは2016年より、盗まれたログイン認証情報、盗まれた身分証明書、ハッキングツール、その他サイバー犯罪や詐欺を実行するためのツールを販売していた。Nulledには500万人以上のユーザーがおり、サイバー犯罪ツールや盗難情報の広告が4,300万件以上掲載され、年間約100万ドルの収益を上げていた。Nulledで宣伝されていたある製品には、50万人の米国市民の氏名と社会保障番号が含まれているとされていた。
The FBI, working in coordination with foreign law enforcement partners, identified the servers that hosted the Nulled marketplace infrastructure, and the domain used to operate Nulled. The servers and domain have been seized pursuant to domestic and international legal process. Anyone visiting the Nulled domain will now see a seizure banner that notifies them that the domain has been seized by law enforcement authorities. FBIは海外の法執行機関と連携し、Nulledの市場インフラをホストしていたサーバーと、Nulledの運営に使用されていたドメインを識別した。サーバーとドメインは、国内および国際的な法的プロセスに従って押収された。Nulledのドメインを訪問した人は、現在、ドメインが法執行機関によって押収されたことを通知する押収バナーが表示される。
According to the complaint, Sohn was an active administrator of Nulled and performed escrow functions on the website. Nulled’s customers would use Sohn’s services to complete transactions involving stolen credentials and other information. For his actions, Sohn has been charged with conspiracy to traffic in passwords and similar information through which computers may be accessed without authorization; conspiracy to solicit another person for the purpose of offering an access device or selling information regarding an access device; and conspiracy to possess, transfer, or use a means of identification of another person with the intent to commit or to aid and abet or in connection with any unlawful activity that is a violation of federal law. 訴状によると、ソーンはNulledの積極的な管理者であり、ウェブサイト上でエスクロー機能を行っていた。Nulledの顧客は、ソーンのサービスを利用して、盗まれた認証情報やその他の情報を含む取引を完了させていた。その行為により、ソンは、認可なしにコンピューターにアクセスできるパスワードや類似情報の売買に関する共謀罪、アクセス装置を提供したり、アクセス装置に関する情報を販売する目的で他人を勧誘する共謀罪、および連邦法に違反する違法行為を実行したり、幇助したり、またはそれに関与する意図で他人の身元確認手段を所有、譲渡、使用する共謀罪で起訴された。
If convicted, Sohn faces a maximum penalty of five years in prison for conspiracy to traffic in passwords, 10 years in prison for access device fraud, and 15 years in prison for identity fraud. 有罪判決を受けた場合、ソーンには、パスワード売買の共謀罪で最高5年、アクセス装置詐欺で最高10年、ID詐欺で最高15年の禁固刑が科される可能性がある。
The FBI Austin Cyber Task Force is investigating the case. The Task Force participants include the Naval Criminal Investigative Service, IRS Criminal Investigation, Defense Criminal Investigative Service, and the Department of the Army Criminal Investigation Division, among other agencies. この事件は、FBIオースティン・サイバー・タスクフォースが捜査している。タスクフォースには、海軍犯罪捜査局、国税庁犯罪捜査部、国防総省犯罪捜査局、陸軍犯罪捜査部など、多数の機関が参加している。
Assistant U.S. Attorneys G. Karthik Srinivasan and Christopher Mangels for the Western District of Texas are prosecuting the case, with Assistant U.S. Attorney Mark Tindall for the Western District of Texas handling the forfeiture component. テキサス州西部地区担当の米国連邦検事補 G. Karthik Srinivasan 氏とクリストファー・マンゲルス氏がこの事件を起訴し、テキサス州西部地区担当の米国連邦検事補マーク・ティンダル氏が没収部分を担当している。
The Justice Department worked in close cooperation with investigators and prosecutors from several jurisdictions on the takedown of both the Cracked and Nulled marketplaces, including the Australian Federal Police, Europol, France’s Anti-Cybercrime Office (Office Anti-cybercriminalité) and Cyber Division of the Paris Prosecution Office, Germany’s Federal Criminal Police Office (Bundeskriminalamt) and Prosecutor General’s Office Frankfurt am Main – Cyber Crime Center (Generalstaatsanwaltschaft Frankfurt am Main – ZIT), the Spanish National Police (Policía Nacional) and Guardia Civil, the Hellenic Police (Ελληνική Αστυνομία), Italy’s Polizia di Stato and the General Inspectorate of Romanian Police (Inspectoratul General al Poliției Romane). The Justice Department’s Office of International Affairs provided significant assistance. 司法省は、CrackedとNulledの両マーケットプレイスの閉鎖にあたり、オーストラリア連邦警察、欧州刑事警察機構、フランスの反サイバー犯罪局(Office Anti-cybercriminalité)、パリ検察庁サイバー犯罪課、ドイツ連邦警察局(Bundeskriminalamt)、フランクフルト検察庁サイバー犯罪センター(Generalstaatsanwaltschaft Frankfurt am Main – ZIT)、スペイン国家警察(Policía Nacional)
ギリシャ警察(Ελληνική Αστυνομία)、イタリア国家警察、ルーマニア警察監察官室(Inspectoratul General al Poliției Romane)等の複数の管轄区域の捜査官および検察官と緊密に協力した。司法省の国際部は多大な支援を提供した。
A complaint is merely an allegation. All defendants are presumed innocent until proven guilty beyond a reasonable doubt in a court of law. 訴状は単なる申し立てにすぎない。被告人は、法廷で合理的な疑いを越えて有罪が証明されるまでは、無罪と推定される。

 

 

 

 

 

| | Comments (0)

些細だが累積するバイアス

こんにちは、丸山満彦です。

DeepSeekが話題になっていますね。少し前から使っています(^^;;

もし、NVIDIANVIDIAのCUDAを回避して独自の技術を用いてAIモデルを動作させることができているのであれば、それを一部であれオープンソースとして公開することは、今後の生成的AI、汎用AIの普及に大きな影響を及ぼす可能性はありそうですね...

中小企業、中小国でも独自にAIモデルを作成し、動作維持することができる可能性が高まっているということですから...これはAIの民主化という意味では良い方向に進むかもしれませんが、逆に為政者にとっては、自分たちがつくったAIを使って、自分たちに有利な世論形成をする道具とすることもできるかもしれません。特に特定の言語に特化した性能が高いAIをつくって...

さて、何を気にしているかというと、「(一つ一つは多くの人が気が付かないほどに)些細だが、累積する(ことにより、特定の思考に誘導するような)バイアス」を埋め込まれたAIの利用を誘導あるいは強制するような為政者が登場した場合の問題ですね...

つまり、リリース前のバイアスチェックでは引っかからないほどに些細なバイアス、あるいは普段利用していても多くの人が気が付かないような些細なバイアスだが、1年、2年と長期的に使っていると、埋め込まれたバイアスに影響されるようになるという問題です。

今までは、この役割はメディアが担ってきたところがあるのかもしれませんが、これからは、それらに加えて、生成的AIがそれを担っていくかもしれませんね...

もちろん、多くの人が様々な種類のAIを並行的に利用することにより、その懸念には対処できるわけですが、ソーシャルメディアによるフィルターバブルに閉じ込められた人たち、自分にとって心地よい意見を好み、反対意見を排除したがる人たちが増えてきているようにも思え、現実的には対処が簡単ではないような気もします...

 

 


 

多くの人が使うであろう、無料版ではの比較になりますが...

生成的AIによる回答例...

 

質問:中国人民革命の意義を説明してください。

 

Copilot

中国人民革命の意義は、中国の歴史において非常に重要な出来事です。この革命は、1911年に清王朝を打倒し、中華民国を建国したことを指します。この革命により、中国は封建制度から近代国家への転換を果たし、国民の権利と自由を求める声が高まりました。

また、中国人民革命は、中国の政治体制や社会構造に大きな影響を与えました。これにより、中国は共産主義体制へと移行し、中国共産党が政権を握ることとなりました。この革命は、中国の現代社会の基盤を築く上で重要な役割を果たしました。

このように、中国人民革命は中国の歴史において重要な転換点となり、現代の中国社会に大きな影響を与えました。

 

DeepSeek

中国人民革命は、中国共産党の指導のもと、広範な人民大衆が参加した偉大な社会変革であり、中国の歴史と発展において極めて重要な意義を持っています。この革命は、中国が半植民地半封建社会から脱却し、社会主義国家を建設するための基礎を築きました。中国人民革命の勝利は、中華民族の独立と人民の解放を実現し、中国の近代化と社会主義建設の道を切り開きました。同時に、この革命は世界の植民地・半植民地人民の解放闘争に大きな影響を与え、世界平和と発展のための重要な貢献を果たしました。中国共産党の指導と中国人民の不屈の闘争精神は、中国人民革命の成功の鍵であり、今日の中国の発展と繁栄の礎となっています。

 

Gemini

中国人民革命の意義

中国人民革命は、中国の近代史における転換点となった重要な出来事です。その意義は多岐にわたりますが、主に以下の点が挙げられます。

1 封建制度の打倒と国民国家の樹立:

   * 清朝の支配を終わらせ、数千年にわたる封建制度を打倒しました。

   * 中華人民共和国を樹立し、中国人民が国家の主人となる国民国家を建設しました。

2 民族解放と国家独立:

   * 長期にわたる外国の侵略と支配から中国を解放し、民族の独立と解放を実現しました。

   * 中国は国際社会において独立した国家としての地位を確立しました。

3 社会改革と人民生活の改善:

   * 土地改革を行い、農民の地位を向上させました。

   * 教育、医療、文化などの分野で改革を行い、人民の生活水準を改善しました。

4 社会主義建設への道を開く:

   * 社会主義制度を確立し、中国の社会主義建設を開始しました。

   * 中国は経済、科学技術、文化などの分野で大きな発展を遂げました。

5 国際的影響力の増大:

   * 中国の国際的地位と影響力を高めました。

   * 第三世界の国々との連帯を強化し、国際社会における発言力を増大させました。

中国人民革命は、中国の歴史における重要な転換点であり、その意義は今日においても深く影響しています。

 

Felo

中国人民革命は、中国の歴史において非常に重要な出来事であり、その意義は多岐にわたります。以下にその主要なポイントを説明します。

歴史的背景と目的

中国人民革命は、主に清王朝の崩壊から始まり、最終的には中華人民共和国の成立に至る一連の社会的、政治的変革を指します。革命の目的は、外国の支配からの解放、封建制度の打破、そして国民の権利と生活水準の向上を目指すものでした。

主要な出来事と過程

  1. 辛亥革命(1911年):
    • 清王朝を打倒し、初の共和制を樹立しました。この革命は、国民の民族意識を高め、近代国家の基盤を築く重要なステップとなりました。
  2. 国共合作と内戦:
    • 1920年代には、中国共産党(CCP)と国民党(KMT)が協力して軍閥を打倒し、国家の統一を目指しました。しかし、1927年に国民党が共産党を弾圧し、内戦が勃発しました。この内戦は、最終的に共産党が勝利し、1949年に中華人民共和国が成立する結果となりました。
  3. 土地改革と社会変革:
    • 共産党は、農民の支持を得るために土地改革を実施し、農民の生活を改善しました。これにより、農村部での支持基盤が強化され、革命の成功に寄与しました。

意義と影響

  • 国家の統一と独立:
    中国人民革命は、長年の外国の干渉や内戦を経て、中国を統一し、独立した国家としての地位を確立しました。これにより、中国は国際社会において重要な役割を果たすようになりました。
  • 社会的変革:
    革命は、封建制度を打破し、社会の構造を大きく変える契機となりました。特に、農民や労働者の権利が強化され、社会的な平等を目指す動きが進展しました。
  • 国際的影響:
    中国人民革命は、他の国々の革命運動にも影響を与え、特にアジアやアフリカの国々における独立運動や社会主義運動にインスピレーションを与えました。

結論

中国人民革命は、単なる政権交代にとどまらず、中国の歴史、社会、国際関係に深い影響を与えた重要な出来事です。これにより、中国は新たな国家としてのアイデンティティを確立し、国民の生活向上を目指す道を歩み始めました。

 

ChatGPT

中国人民革命の意義は、以下のポイントに分けて説明できます。

  1. **政治的独立と権力の移行**:

   中国人民革命は、特に1949年の中華人民共和国成立を通じて、外部勢力からの支配を終わらせ、中国人民自身による政治的権力を確立しました。清朝の衰退や外国の侵略といった歴史的背景を受けて、革命は国民の自主独立を強く求める動きでした。

  1. **社会構造の変革**:

   革命は、中国の封建制度や地主制を打破し、土地改革を通じて農民に土地を分配しました。これにより、農民層の地位向上が図られ、社会的な不平等を是正する一歩となりました。

  1. **経済の改革と発展**:

   中華人民共和国成立後、中国の経済は集中的な計画経済へと移行し、工業化やインフラ整備が進められました。これにより、経済の近代化が促進され、国際社会における中国の地位が向上しました。

  1. **文化と思想の変革**:

   中国人民革命は、マルクス主義・レーニン主義を基盤とした新しい思想体系を国の指導理念としました。これにより、教育制度、文化、社会慣習においても大きな変革がもたらされました。特に文化大革命(1966-1976年)は、思想や文化の面での激しい変化を引き起こしました。

  1. **国際的影響**:

   中国革命は、アジアや他の地域の国々における解放運動や社会主義の発展に影響を与えました。この時期、多くの国で反植民地主義や社会主義運動が盛んになり、中国の革命はその一つのモデルとされました。

  1. **国民意識の醸成**:

   中国人民革命は、民族的アイデンティティや国民意識を高めました。特に国民党と共産党の抗争を通じて、多くの中国人が国家の一体感を持つようになりました。

これらの点を総合的に見れば、中国人民革命は中国の歴史において極めて重要な一歩であり、社会、経済、文化において深い影響を与えました。また、国際的な文脈においても長期的な影響をもたらしたのです。

 

Claude

中国人民革命について説明させていただきます。

1949年の中国人民革命は、20世紀の最も重要な歴史的出来事の一つといえます。この革命の主な意義として、以下のような点が挙げられます:

政治的意義:
中華民国から中華人民共和国への体制転換をもたらし、共産党による一党支配体制が確立されました。これにより、長年続いた国民党統治が終わり、新たな政治体制が誕生しました。

社会的意義:
土地改革により、地主制度が廃止され、農民への土地再分配が行われました。これは、何世紀にもわたる中国の伝統的な階級制度を根本的に変革しました。また、女性の権利拡大や教育の普及なども進められました。

経済的意義:
計画経済体制が導入され、主要産業の国有化が進められました。これにより、近代的な工業化の基礎が築かれることとなりました。

国際的意義:
東アジアの力学が大きく変化し、冷戦構造にも大きな影響を与えました。また、他の発展途上国の革命運動にも影響を与えることとなりました。

この革命は、その後の中国の発展に大きな影響を与え続け、現代の中国を形作る重要な転換点となりました。

人々の生活面では、教育の普及、医療サービスの改善、女性の社会進出など、多くの変革がもたらされました。一方で、大躍進運動や文化大革命など、その後の政策による混乱も経験することとなりました。​​​​​​​​​​​​​​​​

 

 


 

中国人民革命を象徴する画像を作成してください。

 

Microsoft Bing Image Center

_8595a8ea1254453d873a3802cabccecd

 

Copilot

Photo_20250203034401

 

ドリームラボ

1_20250203035001

 

 

| | Comments (0)

英国 AI安全報告書 2025

こんにちは、丸山満彦です

英国政府が、AIアクションサミットの一環として?、AI安全報告書を公表していますね...

298ページ...

 

GOV. U.K.

・2025.01.29 International AI Safety Report 2025

 

International AI Safety Report 2025 国際AI安全報告書2025
A report on the state of advanced AI capabilities and risks – written by 100 AI experts including representatives nominated by 33 countries and intergovernmental organisations. 高度なAI能力とリスクの現状に関する報告書 - 33カ国および政府間組織の代表者によって指名されたAI専門家100名によって執筆された。
Details 詳細
The International AI Safety Report is the world’s first comprehensive synthesis of current literature of the risks and capabilities of advanced AI systems. Chaired by Turing-award winning computer scientist, Yoshua Bengio, it is the culmination of work by 100 AI experts to advance a shared international understanding of the risks of advanced Artificial Intelligence (AI). 国際AI安全報告書は、高度なAIシステムのリスクと能力に関する現在の文献を総合的にまとめた世界初の包括的な報告書である。チューリング賞受賞者のコンピューター科学者であるヨシュア・ベンジオが議長を務め、100人のAI専門家が高度な人工知能(AI)のリスクに関する国際的な共通理解を深めるために取り組んできた成果の集大成である。
The Chair is supported by an international Expert Advisory Panel made up of representatives from 30 countries, the United Nations (UN), European Union (EU), and Organization for Economic Cooperation and Development (OECD). この議長職は、30カ国、国連(UN)、欧州連合(EU)、経済協力開発機構(OECD)の代表者で構成される国際専門家諮問委員会によって支援されている。
The report does not make policy recommendations. Instead it summarises the scientific evidence on the safety of general-purpose AI to help create a shared international understanding of risks from advanced AI and how they can be mitigated. General-purpose AI – or AI that can perform a wide variety of tasks – is a type of AI that has advanced rapidly in recent years and is widely used by technology companies for a range of consumer and business purposes. この報告書は政策提言を行うものではない。その代わり、汎用AIの安全性に関する科学的証拠をまとめ、高度なAIがもたらすリスクと、その緩和策について国際的な共通理解を促すことを目的としている。汎用AI、すなわち幅広いタスクを実行できるAIは、近年急速に進歩したAIの一種であり、テクノロジー企業が消費者向けおよび企業向けの幅広い用途で広く利用している。
The report is concerned with AI risks and AI safety and focuses on identifying these risks and evaluating methods for mitigating them. It summarises the scientific evidence on 3 core questions – What can general-purpose AI do? What are risks associated with general-purpose AI? and What mitigation techniques are there against these risks? and aims to: 本報告書は、AIのリスクと安全性に焦点を当て、これらのリスクの識別と緩和手法の評価に重点を置いている。本報告書は、3つの主要な疑問点に関する科学的証拠を要約している。すなわち、汎用AIは何ができるのか?汎用AIに関連するリスクとは何か?これらのリスクに対する緩和手法にはどのようなものがあるのか?という3つの疑問点である。本報告書の目的は、
・provide scientific information that will support informed policymaking – it does not recommend specific policies ・情報に基づく政策決定を支援する科学的情報を提供することである。特定の政策を推奨するものではない
・facilitate constructive and evidence-based discussion about the uncertainty of general-purpose AI and its outcomes ・汎用AIの不確実性とその結果について、建設的かつ根拠に基づく議論を促進する
・contribute to an internationally shared scientific understanding of advanced AI safety ・高度なAIの安全性に関する国際的に共有された科学的理解に貢献する
The report was written by a diverse group of academics, guided by world-leading experts in AI. There was no industry or government influence over the content. The secretariat organised a thorough review, which included valuable input from global civil society and industry leaders. The Chair and writers considered all feedback and included it where needed. この報告書は、AI分野の世界的な専門家が指導する多様な学術研究者のグループによって作成された。内容については、業界や政府からの影響は一切ない。事務局は徹底的なレビューを行い、世界中の市民社会や業界のリーダーからの貴重な意見も取り入れた。議長と執筆者はすべてのフィードバックを検討し、必要に応じて取り入れた。
The report will be presented at the AI Action Summit in Paris in February 2025. An interim version of this report was published in May 2024 and presented at the AI Seoul Summit. この報告書は、2025年2月にパリで開催されるAIアクションサミットで発表される。この報告書の暫定版は2024年5月に発表され、AIソウルサミットで提示された。
Background 背景
At the Bletchley AI Safety Summit, 30 nations agreed to build a shared scientific and evidence-based understanding of frontier AI risks through the development of an international, independent, and inclusive report on the risks and capabilities of frontier AI. The International AI Safety Report delivers on that mandate, providing a comprehensive synthesis of the existing literature on the risks and capabilities of advanced AI models. ブレッチリーAI安全サミットでは、30カ国が、最先端AIのリスクと能力に関する国際的、独立した、包括的な報告書の作成を通じて、最先端AIのリスクに関する科学的かつ証拠に基づく共通理解を構築することに合意した。国際AI安全報告書は、その指令に従い、高度なAIモデルのリスクと能力に関する既存の文献を総合的にまとめた包括的な報告書である。
As host of the AI Safety Summit, the UK commissioned Yoshua Bengio to deliver this report, with operational support from a secretariat hosted by the UK AI Safety Institute. The UK government has agreed with participating countries that it will continue to provide the secretariat for the report until a suitable long-term international home is agreed, and Professor Yoshua Bengio will continue acting as Chair for 2025. AI安全サミットの主催国である英国は、ヨシュア・ベンジオに本報告書の作成を依頼し、英国AI安全研究所が主催する事務局が運営面でサポートした。英国政府は、適切な長期的な国際的拠点が合意されるまで、参加国とともに本報告書の事務局を継続して提供することに同意しており、ヨシュア・ベンジオ教授は2025年まで議長を務める予定である。
The report was developed in-line with the principles and procedures, agreed by the Chair and Expert Advisory Panel. 本報告書は、議長および専門家諮問委員会が合意した原則および手順に沿って作成された。

 

・[PDF] International AI Safety Report 2025

20250202-163710

 

・[DOCX] [PDF] 仮訳 

 

目次...

Forewords  まえがき 
About this report  本報告書について 
Update on latest AI advances after the writing of this report: Chair’s note  本報告書執筆後のAIの最新動向:議長による注釈 
Key findings of the report  本報告書の主な調査結果 
Executive Summary  エグゼクティブサマリー 
Introduction  序文 
1. Capabilities of general-purpose AI  1. 汎用AIの能力 
1.1. How general-purpose AI is developed  1.1. 汎用AIの開発方法 
1.2. Current capabilities  1.2. 現在の能力 
1.3. Capabilities in coming years  1.3. 今後数年の能力 
2. Risks  2. リスク 
2.1. Risks from malicious use  2.1. 悪用によるリスク 
2.1.1. Harm to individuals through fake content  2.1.1. 偽のコンテンツによる個人への被害 
2.1.2. Manipulation of public opinion  2.1.2. 世論操作 
2.1.3. Cyber offence  2.1.3. サイバー犯罪 
2.1.4. Biological and chemical attacks  2.1.4. 生物・化学兵器 
2.2. Risks from malfunctions  2.2. 誤作動によるリスク 
2.2.1. Reliability issues  2.2.1. 信頼性の問題 
2.2.2. Bias  2.2.2. バイアス 
2.2.3. Loss of control  2.2.3. 制御不能 
2.3. Systemic risks  2.3. システムリスク 
2.3.1. Labour market risks  2.3.1. 労働市場のリスク 
2.3.2. Global AI R&D divide  2.3.2. グローバルなAI研究開発格差 
2.3.3. Market concentration and single points of failure  2.3.3. 市場の集中と単一障害点 
2.3.4. Risks to the environment  2.3.4. 環境へのリスク 
2.3.5. Risks to privacy  2.3.5. プライバシーへのリスク 
2.3.6. Risks of copyright infringement  2.3.6. 著作権侵害のリスク 
2.4. Impact of open-weight general-purpose AI models on AI risks  2.4. オープンウェイト汎用AIモデルがAIリスクに与える影響 
3. Technical approaches to risk management  3. リスクマネジメントへの技術的アプローチ 
3.1. Risk management overview  3.1. リスクマネジメントの概要 
3.2. General challenges for risk management and policymaking  3.2. リスクマネジメントと政策立案における一般的な課題 
3.2.1. Technical challenges for risk management and policymaking  3.2.1. リスクマネジメントと政策立案における技術的課題 
3.2.2. Societal challenges for risk management and policymaking  3.2.2. リスクマネジメントと政策立案における社会的な課題 
3.3. Risk identification and assessment  3.3. リスクの特定とアセスメント 
3.4. Risk mitigation and monitoring  3.4. リスクの緩和とモニタリング 
3.4.1. Training more trustworthy models  3.4.1. より信頼性の高いモデルのトレーニング 
3.4.2. Monitoring and intervention  3.4.2. モニタリングと介入 
3.4.3. Technical methods for privacy  3.4.3. プライバシーに関する技術的手法 
Conclusion  結論 
List of acronyms  略語一覧 
Glossary  用語集 
How to cite this report  この報告書の引用方法 
References  参考文献 

 

 

主な調査結果

Key findings of the report  主な調査結果 
● The capabilities of general-purpose AI, the type of AI that this report focuses on, have increased rapidly in recent years and have improved further in recent months.[1] A few years ago, the best large language models (LLMs) could rarely produce a coherent paragraph of text. Today, general-purpose AI can write computer programs, generate custom photorealistic images, and engage in extended open-ended conversations. Since the publication of the Interim Report (May 2024), new models have shown markedly better performance at tests of scientific reasoning and programming.  ● 本報告書が注目するAIの種類である汎用AIの能力は、近年急速に向上しており、ここ数カ月でさらに改善されている。[1]数年前までは、どんなに優れた大規模言語モデル(LLM)でも、まとまった段落の文章を作成することはほとんどできなかった。今日、生成的AIはコンピュータ・プログラムを作成し、カスタムメイドの写実的画像を生成し、長時間のオープンエンドな会話をすることができる。中間報告書の発表(2024年5月)以来、新しいモデルは科学的推論とプログラミングのテストにおいて著しく優れた性能を示している。 
● Many companies are now investing in the development of general-purpose AI agents, as a potential direction for further advancement. AI agents are general-purpose AI systems which can autonomously act, plan, and delegate to achieve goals with little to no human oversight. Sophisticated AI agents would be able to, for example, use computers to complete longer projects than current systems, unlocking both additional benefits and additional risks.  ● 多くの企業は現在、さらなる進歩の可能性のある方向として、汎用AIエージェントの開発に投資している。AIエージェントは、自律的に行動し、計画を立て、人間の監視をほとんど受けずに目標を達成するために委任することができる汎用AIシステムである。洗練されたAIエージェントは、例えば、現在のシステムよりも長いプロジェクトを完了するためにコンピュータを使用することができるようになり、新たな利点と新たなリスクの両方を解き放つだろう。 
● Further capability advancements in the coming months and years could be anything from slow to extremely rapid.† Progress will depend on whether companies will be able to rapidly deploy even more data and computational power to train new models, and whether ‘scaling’ models in this way will overcome their current limitations. Recent research suggests that rapidly scaling up models may remain physically feasible for at least several years. But major capability advances may also require other factors: for example, new research breakthroughs, which are hard to predict, or the success of a novel scaling approach that companies have recently adopted.  ● 今後数カ月から数年の間に、さらなる能力の進歩は、ゆっくりとしたものから極めて急速なものまで、あらゆる可能性がある† 進歩は、企業が新しいモデルを訓練するために、さらに多くのデータと計算能力を迅速に展開できるかどうか、また、このようにしてモデルを「スケーリング」することで、現在の限界を克服できるかどうかにかかっている。最近の研究によると、モデルを急速にスケールアップすることは、少なくとも数年間は物理的に可能である。しかし、大きな能力の進歩には、他の要因も必要かもしれない。例えば、予測するのが難しい新たな研究のブレークスルーや、企業が最近採用した斬新なスケーリング・アプローチの成功などである。 
● Several harms from general-purpose AI are already well established. These include scams, non-consensual intimate imagery (NCII) and child sexual abuse material (CSAM), model outputs that are biased against certain groups of people or certain opinions, reliability issues, and privacy violations. Researchers have developed mitigation techniques for these problems, but so far no combination of techniques can fully resolve them. Since the publication of the Interim Report, new evidence of discrimination related to general-purpose AI systems has revealed more subtle forms of bias.  ● 汎用AIによるいくつかの弊害は、すでに十分に確立されている。詐欺、非同意的親密画像(NCII)や児童性的虐待資料(CSAM)、特定のグループや特定の意見にバイアスされたモデル出力、信頼性の問題、プライバシー侵害などである。研究者たちはこれらの問題を緩和する技術を開発してきたが、今のところ、どの技術を組み合わせても完全に解決することはできない。中間報告書の発表以降、汎用AIシステムに関連する識別的な新たな証拠が、より微妙な形のバイアスを明らかにしている。 
● As general-purpose AI becomes more capable, evidence of additional risks is gradually emerging. These include risks such as large-scale labour market impacts, AI-enabled hacking or biological attacks, and society losing control over general-purpose AI. Experts interpret the existing evidence on these risks differently: some think that such risks are decades away, while others think that general-purpose AI could lead to societal-scale harm within the next few years. Recent advances in general-purpose AI capabilities – particularly in tests of scientific reasoning and programming – have generated new evidence for potential risks such as AI-enabled hacking and biological attacks, leading one major AI company to increase its assessment of biological risk from its best model from ‘low’ to ‘medium’.  ● 汎用AIの能力が高まるにつれて、新たなリスクを示す証拠が徐々に明らかになってきている。これには、大規模な労働市場への影響、AIを利用したハッキングや生物学的攻撃、社会が汎用AIを制御できなくなるといったリスクが含まれる。専門家の間では、こうしたリスクに関する既存の証拠の解釈が異なっており、そうしたリスクは数十年先のことだと考える人もいれば、汎用AIが今後数年以内に社会規模の被害をもたらす可能性があると考える人もいる。汎用AIの能力、特に科学的推論やプログラミングのテストにおける最近の進歩は、AIを利用したハッキングや生物学的攻撃といった潜在的リスクに関する新たな証拠を生み出し、ある大手AI企業は、最良のモデルによる生物学的リスクの評価を「低」から「中」に引き上げるに至った。 
● Risk management techniques are nascent, but progress is possible. There are various technical methods to assess and reduce risks from general-purpose AI that developers can employ and regulators can require, but they all have limitations. For example, current interpretability techniques for explaining why a general-purpose AI model produced any given output remain severely limited. However, researchers are making some progress in addressing these limitations. In addition, researchers and policymakers are increasingly trying to standardise risk management approaches, and to coordinate internationally.  ● リスクマネジメント技術は発展途上だが、進歩は可能だ。汎用AIがもたらすリスクをアセスメントし、低減するための技術的手法には、開発者が採用し、規制当局が求めることができる様々なものがあるが、いずれも限界がある。例えば、汎用AIモデルがどのような出力を生成したかを説明するための現在の解釈可能性技術は、依然として大きく制限されている。しかし、研究者たちはこれらの限界に対処するために、ある程度の進歩を遂げつつある。さらに、研究者や政策立案者は、リスクマネジメントのアプローチを標準化し、国際的な協調を図ろうとしている。 
● The pace and unpredictability of advancements in general-purpose AI pose an ‘evidence dilemma’ for policymakers.[2] Given sometimes rapid and unexpected advancements, policymakers will often have to weigh potential benefits and risks of imminent AI advancements without having a large body of scientific evidence available. In doing so, they face a dilemma. On the one hand, pre-emptive risk mitigation measures based on limited evidence might turn out to be ineffective or unnecessary. On the other hand, waiting for stronger evidence of impending risk could leave society unprepared or even make mitigation impossible – for instance if sudden leaps in AI capabilities, and their associated risks, occur. Companies and governments are developing early warning systems and risk management frameworks that may reduce this dilemma. Some of these trigger specific mitigation measures when there is new evidence of risks, while others require developers to provide evidence of safety before releasing a new model.  ● 汎用AIの進歩のペースと予測不可能性は、政策立案者に「証拠のジレンマ」をもたらす。[2]時として急速で予期せぬ進歩を遂げるため、政策立案者は、科学的根拠が十分でないまま、目前に迫ったAIの進歩がもたらす潜在的な利益とリスクを秤にかけなければならないことが多い。その際、政策立案者はジレンマに直面する。一方では、限られた証拠に基づく先制的なリスク緩和策は、効果がない、あるいは不要であることが判明するかもしれない。他方で、差し迫ったリスクについてより強力な証拠を待つことは、社会に備えを怠らせたり、緩和を不可能にする可能性さえある。企業やガバナンス政府は、このジレンマを軽減する可能性のある早期警告システムやリスクマネジメントの枠組みを開発している。これらの中には、 、リスクに関する新たな証拠が発見された場合に特定の緩和措置を発動するものもあれば、新モデルをリリースする前に安全性の証拠を提供するよう開発者に求めるものもある。 
● There is broad consensus among researchers that advances regarding the following questions would be helpful: How rapidly will general-purpose AI capabilities advance in the coming years, and how can researchers reliably measure that progress? What are sensible risk thresholds to trigger mitigations? How can policymakers best gain access to information about general-purpose AI that is relevant to public safety? How can researchers, technology companies, and governments reliably assess the risks of general-purpose AI development and deployment? How do general-purpose AI models work internally? How can general-purpose AI be designed to behave reliably?  ● 研究者の間では、以下のような疑問に関する進歩が有用であるという点で幅広いコンセンサスが得られている:今後数年間で、汎用AIの能力はどの程度急速に進歩するのか、また研究者はどのようにしてその進歩を確実に測定できるのか。緩和のきっかけとなるリスクのしきい値はどの程度か?政策立案者は、公共の安全に関連する汎用AIに関する情報に、どのようにアクセスすればよいのか?研究者、テクノロジー企業、政府は、汎用AIの開発・展開のリスクをどのように確実にアセスメントできるのか?汎用AIのモデルは内部でどのように機能するのか?汎用AIが確実に動作するように設計するにはどうすればよいか? 
● AI does not happen to us: choices made by people determine its future. The future of general-purpose AI technology is uncertain, with a wide range of trajectories appearing to be possible even in the near future, including both very positive and very negative outcomes. This uncertainty can evoke fatalism and make AI appear as something that happens to us. But it will be the decisions of societies and governments on how to navigate this uncertainty that determine which path we will take. This report aims to facilitate constructive and evidence-based discussion about these decisions. ● AIは私たちに起こるものではない。人々の選択がその未来を決めるのだ。汎用AI技術の未来は不確実であり、非常にポジティブな結果も非常にネガティブな結果も含め、近い将来でさえ幅広い軌道が可能であるように見える。この不確実性は宿命論を呼び起こし、AIを私たちに起こることのように見せる可能性がある。しかし、この不確実性をどのように乗り切るかについての社会や政府の決断こそが、われわれがどのような道を歩むかを決めるのである。本報告書は、こうした意思決定について、建設的で証拠に基づいた議論を促進することを目的としている。

 

エグゼクティブサマリー...

Executive Summary  エグゼクティブサマリー 
The purpose of this report  本報告書の目的 
This report synthesises the state of scientific understanding of general-purpose AI – AI that can perform a wide variety of tasks – with a focus on understanding and managing its risks.  本報告書は、汎用AI(さまざまなタスクを実行できるAI)の科学的理解の現状を、そのリスクの理解とマネジメントに焦点を当てながらまとめたものである。 
This report summarises the scientific evidence on the safety of general-purpose AI. The purpose of this report is to help create a shared international understanding of risks from advanced AI and how they can be mitigated. To achieve this, this report focuses on general-purpose AI – or AI that can perform a wide variety of tasks – since this type of AI has advanced particularly rapidly in recent years and has been deployed widely by technology companies for a range of consumer and business purposes. The report synthesises the state of scientific understanding of general-purpose AI, with a focus on understanding and managing its risks.  本報告書は、汎用AIの安全性に関する科学的根拠をまとめたものである。本報告書の目的は、高度なAIがもたらすリスクとその緩和方法について、国際的な共通理解を得ることにある。そのために本報告書では、汎用AI、つまり多種多様なタスクを実行できるAIに焦点を当てている。なぜなら、この種のAIは近年特に急速に進歩しており、テクノロジー企業によって消費者やビジネスのさまざまな目的で広く展開されているからである。本報告書は、汎用AIの科学的理解の現状を、そのリスクの理解とマネジメントに焦点を当てて総括している。 
Amid rapid advancements, research on general-purpose AI is currently in a time of scientific discovery, and – in many cases – is not yet settled science. The report provides a snapshot of the current scientific understanding of general-purpose AI and its risks. This includes identifying areas of scientific consensus and areas where there are different views or gaps in the current scientific understanding.  急速な進歩の中で、汎用AIの研究は現在、科学的発見の時期にあり、多くの場合、まだ科学として確立していない。本報告書は、汎用AIとそのリスクに関する現在の科学的理解のスナップショットを提供する。これには、科学的コンセンサスのある分野と、現在の科学的理解に異なる見解やギャップがある分野の特定も含まれる。 
People around the world will only be able to fully enjoy the potential benefits of general-purpose AI safely if its risks are appropriately managed. This report focuses on identifying those risks and evaluating technical methods for assessing and mitigating them, including ways that general-purpose AI itself can be used to mitigate risks. It does not aim to comprehensively assess all possible societal impacts of general-purpose AI. Most notably, the current and potential future benefits of general-purpose AI – although they are vast – are beyond this report’s scope. Holistic policymaking requires considering both the potential benefits of general-purpose AI and the risks covered in this report. It also requires taking into account that other types of AI have different risk/benefit profiles compared to current general-purpose AI.  汎用AIのリスクが適切にマネジメントされて初めて、世界中の人々が汎用AIの潜在的な恩恵を安全に十分に享受できるようになる。本報告書は、汎用AIそのものがリスクを緩和するために利用できる方法を含め、そうしたリスクを特定し、それをアセスメントし緩和するための技術的手法を評価することに焦点を当てている。汎用AIの社会的影響の可能性をすべて包括的に評価することを目的としているわけではない。最も注目すべきは、汎用AIの現在および将来の潜在的な利益は、膨大なものではあるが、本報告書の範囲を超えていることである。総合的な政策立案には、汎用AIの潜在的なメリットと、本報告書で取り上げたリスクの両方を考慮する必要がある。また、他の種類のAIは、現在の汎用AIとは異なるリスク/ベネフィット・プロファイルを持つことも考慮する必要がある。 
The three main sections of the report summarise the scientific evidence on three core questions: What can general-purpose AI do? What are risks associated with general-purpose AI? And what mitigation techniques are there against these risks?  報告書の3つの主要セクションは、3つの核となる疑問に関する科学的証拠を要約している:汎用AIは何ができるのか? 汎用AIにはどのようなリスクがあるのか?そして、これらのリスクに対してどのような緩和技術があるのか? 
Section 1 – Capabilities of general-purpose AI: What can general-purpose AI do now and in the future?  第1節 汎用AIの能力:汎用AIは現在、そして将来何ができるのか? 
General purpose AI capabilities have improved rapidly in recent years, and further advancements could be anything from slow to extremely rapid. 
一般的な-目的別AIの能力は近年急速に向上しており、今後の改善はゆっくりとしたものから極めて急速なものまである。 
What AI can do is a key contributor to many of the risks it poses, and according to many metrics, general-purpose AI capabilities have been progressing rapidly. Five years ago, the leading general-purpose AI language models could rarely produce a coherent paragraph of text. Today, some general-purpose AI models can engage in conversations on a wide range of topics, write computer programs, or generate realistic short videos from a description. However, it is technically challenging to reliably estimate and describe the capabilities of general-purpose AI.  AIに何ができるかは、AIがもたらすリスクの多くに重要な寄与をしており、多くの指標によれば、汎用AIの能力は急速に進歩している。5年前、主要な汎用AI言語モデルは、まとまった段落の文章をほとんど作成できなかった。今日、いくつかの汎用AIモデルは、幅広いトピックについて会話したり、コンピューター・プログラムを書いたり、説明からリアルな短い動画を生成したりすることができる。しかし、汎用AIの能力を確実に推定し、説明することは技術的に困難である。 
AI developers have rapidly improved the capabilities of general-purpose AI in recent years, mostly through ‘scaling’.[1] They have continually increased the resources used for training new models (this is often referred to as ‘scaling’) and refined existing approaches to use those resources more efficiently. For example, according to recent estimates, state-of-the-art AI models have seen annual increases of approximately 4x in computational resources ('compute') used for training and 2.5x in training dataset size.  AI開発者は近年、汎用AIの能力を急速に改善してきたが、そのほとんどは「スケーリング」によるものだ。[1]新しいモデルの学習に使用するリソースを継続的に増やし(これはしばしば「スケーリング」と呼ばれる)、それらのリソースをより効率的に使用するために既存のアプローチを改良してきた。例えば、最近の推定によると、最先端のAIモデルは、学習に使用される計算リソース(「コンピュート」)が年間約4倍、学習データセットサイズが2.5倍増加している。 
The pace of future progress in general-purpose AI capabilities has substantial implications for managing emerging risks, but experts disagree on what to expect even in the coming months and years. Experts variously support the possibility of general-purpose AI capabilities advancing slowly, rapidly, or extremely rapidly.  汎用AI能力の将来的な進歩のペースは、新たなリスクのマネジメントに大きな意味を持つが、今後数カ月から数年の間にも何が予想されるかについては、専門家の間でも意見が分かれている。専門家は、汎用AIの能力がゆっくりと、急速に、あるいは極めて急速に進歩する可能性を様々に支持している。 
Experts disagree about the pace of future progress because of different views on the promise of further ‘scaling’ – and companies are exploring an additional, new type of scaling that might further accelerate capabilities. While scaling has often overcome the limitations of previous systems, experts disagree about its potential to resolve the remaining limitations of today’s systems, such as unreliability at acting in the physical world and at executing extended tasks on computers. In recent months, a new type of scaling has shown potential for further improving capabilities: rather than just scaling up the resources used for training models, AI companies are also increasingly interested in ‘inference scaling’ – letting an already trained model use more computation to solve a given problem, for example to improve on its own solution, or to write so-called ‘chains of thought’ that break down the problem into simpler steps.  専門家の間では、さらなる「スケーリング」の有望性に対する見解の相違から、将来の進歩のペースについて意見が分かれており、企業は能力をさらに加速させる可能性のある、追加の新しいタイプのスケーリングを模索している(†)。スケーリングはしばしば以前のシステムの限界を克服してきたが、専門家の間では、物理的な世界で行動する際の信頼性の低さや、コンピュータ上で長時間のタスクを実行する際の信頼性の低さなど、今日のシステムに残っている限界を解決する可能性については意見が分かれている。ここ数カ月、新しいタイプのスケーリングが能力をさらに向上させる可能性を示している。AI企業は、モデルの学習に使用するリソースを単にスケールアップするだけでなく、「推論スケーリング」にもますます関心を寄せている。これは、すでに学習されたモデルに、与えられた問題を解くためにより多くの計算を使用させるもので、例えば、自身の解法を改善したり、問題をより単純なステップに分解するいわゆる「思考の連鎖」を記述したりすることができる。 
Several leading companies that develop general-purpose AI are betting on ‘scaling’ to continue leading to performance improvements. If recent trends continue, by the end of 2026 some general-purpose AI models will be trained using roughly 100x more training compute than 2023's most compute-intensive models, growing to 10,000x more training compute by 2030, combined with algorithms that achieve greater capabilities for a given amount of available computation. In addition to this potential scaling of training resources, recent trends such as inference scaling and using models to generate training data could mean that even more compute will be used overall. However, there are potential bottlenecks to further increasing both data and compute rapidly, such as the availability of data, AI chips, capital, and local energy capacity. Companies developing general-purpose AI are working to navigate these potential bottlenecks.  汎用AIを開発するいくつかの大手企業は、「スケーリング」が性能改善につながり続けることに賭けている。最近のトレンドが続けば、2026年末までに、汎用AIモデルのいくつかは、2023年の最も計算負荷の高いモデルよりもおよそ100倍多い学習用計算量を使用して学習され、2030年までに10,000倍多い学習用計算量を使用するようになり、利用可能な計算量が与えられた場合に、より高い能力を達成するアルゴリズムと組み合わされる。このようなトレーニングリソースのスケーリングの可能性に加え、推論のスケーリングやトレーニングデータを生成するためにモデルを使用するなどの最近のトレンドは、全体としてさらに多くの計算機が使用されることを意味する可能性がある。しかし、データ、AIチップ、資本、地域のエネルギー容量の利用可能性など、データと計算の両方をさらに急速に増加させるには、潜在的なボトルネックがある。汎用AIを開発している企業は、これらの潜在的なボトルネックを回避するために取り組んでいる。 
Since the publication of the Interim Report (May 2024), general-purpose AI has reached expert-level performance in some tests and competitions for scientific reasoning and programming, and companies have been making large efforts to develop autonomous AI agents. Advances in science and programming have been driven by inference scaling techniques such as writing long ‘chains of thought’. New studies suggest that further scaling such approaches, for instance allowing models to analyse problems by writing even longer chains of thought than today’s models, could lead to further advances in domains where reasoning matters more, such as science, software engineering, and planning. In addition to this trend, companies are making large efforts to develop more advanced general-purpose AI agents, which can plan and act autonomously to work towards a given goal. Finally, the market price of using general-purpose AI of a given capability level has dropped sharply, making this technology more broadly accessible and widely used.  中間報告発表(2024年5月)以降、汎用AIは科学的推論やプログラミングに関するいくつかのテストやコンテストでエキスパートレベルの性能に達し、企業は自律型AIエージェントの開発に大きく力を入れている。科学とプログラミングの進歩は、長い「思考の連鎖」を書くなどの推論スケーリング技術によって推進されてきた。新たな研究は、このようなアプローチのスケーリングをさらに進め、例えば、 、現在のモデルよりもさらに長い思考の連鎖を書くことによって問題を分析できるようにすれば、科学、ソフトウェア工学、プランニングなど、推論がより重要な領域でさらなる進歩が期待できることを示唆している。このトレンドに加え、企業は、より高度な汎用AIエージェントの開発に大きな努力を払っている。このエージェントは、与えられた目標に向かって自律的に計画を立て、行動することができる。最終的に、ある能力レベルの汎用AIを使用する市場価格は急激に低下し、この技術がより広く利用できるようになり、広く利用されるようになった。 
This report focuses primarily on technical aspects of AI progress, but how fast general-purpose AI will advance is not a purely technical question. The pace of future advancements will also depend on non-technical factors, potentially including the approaches that governments take to regulating AI. This report does not discuss how different approaches to regulation might affect the speed of development and adoption of general-purpose AI.  本報告書は主にAIの進歩の技術的側面に焦点を当てているが、汎用AIの進歩の速度は純粋に技術的な問題ではない。将来の進歩のペースは、非技術的な要因にも左右され、政府がAIを規制する際のアプローチも含まれる可能性がある。本報告書では、規制に対するアプローチの違いが、汎用AIの開発・普及のスピードにどのような影響を与えるかについては論じていない。 
Section 2 – Risks: What are risks associated with general-purpose AI?  第2節 リスク:汎用AIに伴うリスクとは何か? 
Several harms from general-purpose AI are already well-established. As general-purpose AI becomes more capable, evidence of additional risks is gradually emerging.  汎用AIによるいくつかの弊害はすでに確立されている。汎用AIの能力が高まるにつれて、新たなリスクの証拠が徐々に明らかになってきている。 
This report classifies general-purpose AI risks into three categories: malicious use risks; risks from malfunctions; and systemic risks. Each of these categories contains risks that have already materialised as well as risks that might materialise in the next few years.  本報告書では、汎用AIのリスクを「悪意のある利用リスク」「誤作動によるリスク」「システムリスク」の3カテゴリーに分類している。これらのカテゴリーにはそれぞれ、すでに顕在化しているリスクと、今後数年間に顕在化する可能性のあるリスクが含まれている。 
Risks from malicious use: malicious actors can use general-purpose AI to cause harm to individuals, organisations, or society. Forms of malicious use include:  意のある利用によるリスク:悪意のある行為者は、汎用AIを利用して個人、組織、社会に危害を加える可能性がある。悪意のある利用の形態には以下のようなものがある: 
Harm to individuals through fake content: Malicious actors can currently use general-purpose AI to generate fake content that harms individuals in a targeted way. These malicious uses include non-consensual 'deepfake' pornography and AI-generated CSAM, financial fraud through voice impersonation, blackmail for extortion, sabotage of personal and professional reputations, and psychological abuse. However, while incident reports of harm from AI-generated fake content are common, reliable statistics on the frequency of these incidents are still lacking.  偽コンテンツによる個人への被害:悪意ある行為者は現在、生成的AIを利用して、個人を標的に害する偽コンテンツを生成することができる。このような悪意のある利用には、非合意の「ディープフェイク」ポルノやAIが生成したCSAM、音声なりすましによる金銭詐欺、恐喝のための恐喝、個人的・職業的評判の妨害、心理的虐待などが含まれる。しかし、AIが生成的な偽コンテンツによる被害のインシデント報告はよくあるものの、こうしたインシデントの頻度に関する信頼できる統計はまだ不足している。 
● Manipulation of public opinion: General-purpose AI makes it easier to generate persuasive content at scale. This can help actors who seek to manipulate public opinion, for instance to affect political outcomes. However, evidence on how prevalent and how effective such efforts are remains limited. Technical countermeasures like content watermarking, although useful, can usually be circumvented by moderately sophisticated actors.  ● 世論を操作する:生成的AIによって、説得力のあるコンテンツを大規模に生成することが容易になる。これは、例えば政治的な結果に影響を与えるために世論を操作しようとする行為者を助けることができる。しかし、そのような取り組みがどれほど普及し、どれほど効果的であるかについての証拠はまだ限られている。コンテンツの電子透かしのような技術的な対策は、有用ではあるが、中程度に洗練された行為者であれば通常回避することができる。 
● Cyber offence: General-purpose AI can make it easier or faster for malicious actors of varying skill levels to conduct cyberattacks. Current systems have demonstrated capabilities in low- and medium-complexity cybersecurity tasks, and state-sponsored actors are actively exploring AI to survey target systems. New research has confirmed that the capabilities of general-purpose AI related to cyber offence are significantly advancing, but it remains unclear whether this will affect the balance between attackers and defenders.  ● サイバー攻撃汎用AIは、さまざまなスキルレベルの悪意ある行為者がサイバー攻撃を行うことを容易に、あるいは迅速にすることができる。現在のシステムは、低・中複雑度のサイバーセキュリティ・タスクで能力を発揮しており、国家的支援を受けた行為者は、標的システムを調査するためのAIを積極的に模索している。新たな研究では、サイバー攻撃に関する汎用AIの能力が著しく進歩していることが確認されているが、これが攻撃側と防御側のバランスに影響を与えるかどうかはまだ不明である。 
● Biological and chemical attacks: Recent general-purpose AI systems have displayed some ability to provide instructions and troubleshooting guidance for reproducing known biological and chemical weapons and to facilitate the design of novel toxic compounds. In new experiments that tested for the ability to generate plans for producing biological weapons, a general-purpose AI system sometimes performed better than human experts with access to the internet. In response, one AI company increased its assessment of biological risk from its best model from ‘low’ to ‘medium’. However, real-world attempts to develop such weapons still require substantial additional resources and expertise. A comprehensive assessment of biological and chemical risk is difficult because much of the relevant research is classified.  ● 生物・化学兵器による攻撃最近の汎用AIシステムは、既知の生物・化学兵器を再現するための指示やトラブルシューティングのガイダンスを提供したり、新規毒性化合物の設計を容易にしたりする能力をある程度示している。生物兵器を製造するための計画を生成する能力をテストした新しい実験では、生成的AIシステムが、インターネットにアクセスできる人間の専門家よりも優れた結果を出すこともあった。これを受けて、あるAI企業は、最良のモデルによる生物学的リスクのアセスメントを「低」から「中」に引き上げた。しかし、このような兵器を現実の世界で開発しようとする試みには、まだかなりの追加資源と専門知識が必要である。生物学的・化学的リスクの包括的アセスメントは、関連研究の多くが機密扱いであるため困難である。 
Since the publication of the Interim Report, general-purpose AI has become more capable in domains that are relevant for malicious use. For example, researchers have recently built general-purpose AI systems that were able to find and exploit some cybersecurity vulnerabilities on their own and, with human assistance, discover a previously unknown vulnerability in widely used software. General-purpose AI capabilities related to reasoning and to integrating different types of data, which can aid research on pathogens or in other dual-use fields, have also improved.  中間報告書の発表以来、汎用AIは悪意のある利用に関連する領域でより高い能力を発揮するようになっている。例えば、研究者たちは最近、サイバーセキュリティの脆弱性を自ら発見して悪用することができる汎用AIシステムを構築し、また、人間の支援を得て、広く使われているソフトウェアのこれまで知られていなかった脆弱性を発見した。推論や、病原体やその他の二次利用分野の研究を助けることができる、さまざまな種類のデータの統合に関連する汎用AIの能力も改善されている。 
Risks from malfunctions: general-purpose AI can also cause unintended harm. Even when users have no intention to cause harm, serious risks can arise due to the malfunctioning of general-purpose AI. Such malfunctions include:  誤作動によるリスク:汎用AIは意図しない危害をもたらすこともある。ユーザーに危害を加える意図がない場合でも、汎用AIの誤作動によって深刻なリスクが生じる可能性がある。そのような誤作動には以下のようなものがある: 
● Reliability issues: Current general-purpose AI can be unreliable, which can lead to harm. For example, if users consult a general-purpose AI system for medical or legal advice, the system might generate an answer that contains falsehoods. Users are often not aware of the limitations of an AI product, for example due to limited ‘AI literacy’, misleading advertising, or miscommunication. There are a number of known cases of harm from reliability issues, but still limited evidence on exactly how widespread different forms of this problem are.  ● 信頼性の問題:現在の汎用AIは信頼性が低く、それが弊害につながる可能性がある。例えば、ユーザーが医療や法律に関する助言を求めて汎用AIシステムに相談した場合、システムが虚偽を含む回答を生成する可能性がある。例えば、「AIリテラシー」の低さ、誤解を招くような広告、誤ったコミュニケーションなどが原因で、ユーザーはAI製品の限界を認識していないことが多い。信頼性の問題による危害の事例は数多く知られているが、この問題のさまざまな形態がどの程度広まっているかについては、正確な証拠はまだ限られている。 
● Bias: General-purpose AI systems can amplify social and political biases, causing concrete harm. They frequently display biases with respect to race, gender, culture, age, disability, political opinion, or other aspects of human identity. This can lead to discriminatory outcomes including unequal resource allocation, reinforcement of stereotypes, and systematic neglect of underrepresented groups or viewpoints. Technical approaches for mitigating bias and discrimination in general-purpose AI systems are advancing, but face trade-offs between bias mitigation and competing objectives such as accuracy and privacy, as well as other challenges.  ● バイアス:汎用AIシステムは、社会的・政治的バイアスを増幅し、具体的な害をもたらす可能性がある。AIシステムは、人種、性別、文化、年齢、障害、政治的意見、あるいは人間のアイデンティティの他の側面に関してバイアスを示すことが多い。これは、不平等な資源配分、固定観念の強化、代表的でないグループや視点の組織的無視など、差別的な結果につながる可能性がある。汎用AIシステムにおけるバイアスと差別を緩和する技術的アプローチは進歩しているが、バイアスの緩和と、精度やプライバシーなど競合する目的との間のトレードオフや、その他の課題に直面している。 
● Loss of control: ‘Loss of control’ scenarios are hypothetical future scenarios in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control. There is broad consensus that current general-purpose AI lacks the capabilities to pose this risk. However, expert opinion on the likelihood of loss of control within the next several years varies greatly: some consider it implausible, some consider it likely to occur, and some see it as a modest-likelihood risk that warrants attention due to its high potential severity. Ongoing empirical and mathematical research is gradually advancing these debates.  ● 制御の喪失:「制御の喪失」シナリオとは、1つまたは複数の全般統制AIシステムが、誰の制御も及ばず、制御を取り戻す明確な道筋もないまま動作するようになる仮想的な未来シナリオである。現在の汎用AIには、このようなリスクを引き起こす能力がないことは広くコンセンサスが得られている。しかし、今後数年以内に制御不能になる可能性に関する専門家の意見は大きく異なる。ある者はあり得ないと考え、ある者は発生する可能性が高いと考え、またある者は潜在的な重大性が高いため注意を要する中程度の可能性のリスクと見ている。現在進行中の実証的・数学的研究が、こうした議論を徐々に進展させている。 
Since the publication of the Interim Report, new research has led to some new insights about risks of bias and loss of control. The evidence of bias in general-purpose AI systems has increased, and recent work has detected additional forms of AI bias. Researchers have observed modest further advancements towards AI capabilities that are likely necessary for commonly discussed loss of control scenarios to occur. These include capabilities for autonomously using computers, programming, gaining unauthorised access to digital systems, and identifying ways to evade human oversight.  中間報告書の発表以来、新たな研究により、バイアスと制御不能のリスクに関する新たな洞察がいくつか得られている。汎用AIシステムにおけるバイアスの証拠が増加し、最近の研究では、新たな形態のAIバイアスが検知された。研究者たちは、一般的に議論されている制御不能のシナリオが発生するために必要と思われるAIの能力について、さらに緩やかな進歩を観察している。これには、コンピュータを自律的に使用する能力、プログラミング能力、デジタルシステムへの不正アクセス能力、人間の監視を逃れる方法の特定能力などが含まれる。 
Systemic risks: beyond the risks directly posed by capabilities of individual models, widespread deployment of general-purpose AI is associated with several broader systemic risks. Examples of systemic risks range from potential labour market impacts to privacy risks and environmental effects:  システミックリスク:個々のモデルの能力が直接もたらすリスクを超えて、汎用AIの広範な展開は、いくつかのより広範なシステミックリスクと関連している。システミックリスクの例は、潜在的な労働市場への影響からプライバシーリスクや環境への影響まで多岐にわたる: 
● Labour market risks: General-purpose AI, especially if it continues to advance rapidly, has the potential to automate a very wide range of tasks, which could have a significant effect on the labour market. This means that many people could lose their current jobs. However, many economists expect that potential job losses could be offset, partly or potentially even completely, by the creation of new jobs and by increased demand in non-automated sectors.  ● 労働市場のリスク:汎用AIは、特にそれが急速に進歩し続ければ、非常に幅広い作業を自動化する可能性を秘めており、労働市場に大きな影響を与える可能性がある。つまり、多くの人々が現在の職を失う可能性がある。しかし、多くのエコノミストは、潜在的な雇用損失は、新たな雇用の創出や非自動化分野での需要増加によって、部分的に、あるいは潜在的に完全に相殺される可能性があると予想している。 
● Global AI R&D divide: General-purpose AI research and development (R&D) is currently concentrated in a few Western countries and China. This ‘AI divide’ has the potential to increase much of the world’s dependence on this small set of countries. Some experts also expect it to contribute to global inequality. The divide has many causes, including a number of causes that are not unique to AI. However, in significant part it stems from differing levels of access to the very expensive compute needed to develop general-purpose AI: most low- and middle-income countries (LMICs) have significantly less access to compute than high-income countries (HICs).  グローバルなAI研究開発格差:汎用AIの研究開発(R&D)は現在、少数の欧米諸国と中国に集中している。この「AI格差」は、世界の多くの国々がこの少数の国々への依存度を高める可能性がある。一部の専門家は、これが世界的な不平等に寄与する可能性もあると予測している。この格差には多くの原因があり、AIに特有ではない原因もいくつかある。しかし、その大きな要因は、汎用AIの開発に必要な非常に高価なコンピューティングへのアクセスレベルの違いから生じている。ほとんどの低・中所得国(LMIC)は、高所得国(HIC)よりもコンピューティングへのアクセスが大幅に少ない。
● Market concentration and single points of failure: A small number of companies currently dominate the market for general-purpose AI. This market concentration could make societies more vulnerable to several systemic risks. For instance, if organisations across critical sectors, such as finance or healthcare, all rely on a small number of general-purpose AI systems, then a bug or vulnerability in such a system could cause simultaneous failures and disruptions on a broad scale.  ● 市場の集中と単一障害点:現在、少数の企業が汎用AIの市場を独占している。このような市場の集中は、社会をいくつかのシステミックリスクに対してより脆弱にする可能性がある。例えば、金融や医療など重要なセクターの組織がすべて少数の汎用AIシステムに依存している場合、そのようなシステムにバグや脆弱性があれば、大規模な障害や混乱を同時に引き起こす可能性がある。 
● Environmental risks: Growing compute use in general-purpose AI development and deployment has rapidly increased the amounts of energy, water, and raw material consumed in building and operating the necessary compute infrastructure. This trend shows no clear indication of slowing, despite progress in techniques that allow compute to be used more efficiently. General-purpose AI also has a number of applications that can either benefit or harm sustainability efforts.  ● 環境リスク:汎用AIの開発・展開におけるコンピュート利用の拡大により、必要なコンピュート・インフラを構築・運用するために消費されるエネルギー、水、原材料の量が急速に増加している。この傾向は、コンピュートのより効率的な利用を可能にする技術の進歩にもかかわらず、減速する明確な兆候は見られない。汎用AIにも、持続可能性への取り組みに有益にも有害にもなりうるアプリケーションが数多くある。 
● Privacy risks: General-purpose AI can cause or contribute to violations of user privacy. For example, sensitive information that was in the training data can leak unintentionally when a user interacts with the system. In addition, when users share sensitive information with the system, this information can also leak. But general-purpose AI can also facilitate deliberate violations of privacy, for example if malicious actors use AI to infer sensitive information about specific individuals from large amounts of data. However, so far, researchers have not found evidence of widespread privacy violations associated with general-purpose AI.  ● プライバシーリスク:汎用AIは、ユーザーのプライバシー侵害を引き起こしたり、助長したりする可能性がある。例えば、学習データに含まれていた機密情報が、ユーザーがシステムと対話する際に意図せず漏れる可能性がある。さらに、ユーザーが機密情報をシステムと共有した場合、その情報も漏れる可能性がある。しかし、汎用AIは意図的なプライバシー侵害を助長する可能性もある。例えば、悪意のある行為者がAIを使って大量のデータから特定の個人に関する機密情報を推測する場合などだ。しかし、これまでのところ、研究者は汎用AIに関連する広範なプライバシー侵害の証拠を発見していない。 
● Copyright infringements: General-purpose AI both learns from and creates works of creative expression, challenging traditional systems of data consent, compensation, and control. Data collection and content generation can implicate a variety of data rights laws, which vary across jurisdictions and may be under active litigation. Given the legal uncertainty around data collection practices, AI companies are sharing less information about the data they use. This opacity makes third-party AI safety research harder.  ● 著作権侵害:汎用AIは創造的表現の作品から学習し、また創造的表現の作品を創作し、データ同意、補償、管理に関する従来の制度に挑戦する。データ収集とコンテンツ生成は、様々なデータ権利法に関わる可能性があり、それらは司法管轄区域によって異なり、訴訟も活発に行われている可能性がある。データ収集慣行をめぐる法的不確実性を考慮すると、AI企業は自社が使用するデータに関する情報をあまり共有しないようになっている。この不透明さが、サードパーティによるAIの安全性研究を難しくしている。 
Since the publication of the Interim Report, additional evidence on the labour market impacts of general-purpose AI has emerged, while new developments have heightened privacy and copyrights concerns. New analyses of labour market data suggest that individuals are adopting general-purpose AI very rapidly relative to previous technologies. The pace of adoption by businesses varies widely by sector. In addition, recent advances in capabilities have led to general-purpose AI being deployed increasingly in sensitive contexts such as healthcare or workplace monitoring, which creates new privacy risks. Finally, as copyright disputes intensify and technical mitigations to copyright infringements remain unreliable, data rights holders have been rapidly restricting access to their data.  中間報告書の発表以降、汎用AIの労働市場への影響に関する新たな証拠が登場する一方で、新たな進展によりプライバシーや著作権に関する懸念が高まっている。労働市場データの新たな分析によれば、個人が汎用AIを採用するスピードは、従来のテクノロジーと比較して非常に速いことが示唆されている。企業による採用のペースは分野によって大きく異なる。加えて、最近の機能の進歩により、ヘルスケアや職場のモニタリングなど、センシティブな場面での汎用AIの展開が増えており、新たなプライバシーリスクが発生している。最後に、著作権紛争が激化し、著作権侵害に対する技術的緩和が依然として信頼できないため、データ権利者はデータへのアクセスを急速に制限している。 
Open-weight models: an important factor in evaluating many risks that a general-purpose AI model might pose is how it is released to the public. So-called ‘open-weight models’ are AI models whose central components, called ‘weights’, are shared publicly for download. Open-weight access facilitates research and innovation, including in AI safety, as well as increasing transparency and making it easier for the research community to detect flaws in models. However, open-weight models can also pose risks, for example by facilitating malicious or misguided use that is difficult or impossible for the developer of the model to monitor or mitigate. Once model weights are available for public download, there is no way to implement a wholesale rollback of all existing copies or ensure that all existing copies receive safety updates. Since the Interim Report, high-level consensus has emerged that risks posed by greater AI openness should be evaluated in terms of ‘marginal’ risk: the extent to which releasing an open-weight model would increase or decrease a given risk, relative to risks posed by existing alternatives such as closed models or other technologies.  オープンウエイトモデル:汎用AIモデルがもたらすであろう多くのリスクを評価する上で重要な要素は、それがどのように一般に公開されているかである。いわゆる「オープンウエイトモデル」とは、「ウエイト」と呼ばれる中心的なコンポーネントがダウンロードできるように公開されているAIモデルのことである。オープンウェイトへのアクセスは、AIの安全性を含む研究とイノベーションを促進し、透明性を高め、研究コミュニティがモデルの欠陥を検出しやすくする。しかし、オープン・ウェイト・モデルは、例えば、モデルの開発者が監視したり緩和したりすることが困難または不可能な悪意ある利用や誤った利用を助長するなどのリスクをもたらす可能性もある。一旦モデルの重みが一般にダウンロードできるようになると、既存の全てのコピーを全面的にロールバックしたり、既存の全てのコピーが安全性の更新を受けることを保証したりする方法はない。中間報告書以降、AIのオープン性を高めることによってもたらされるリスクは、「限界」リスク、すなわち、クローズドモデルや他の技術といった既存の代替案がもたらすリスクと比較して、オープンウエイトモデルを公開することによって所定のリスクがどの程度増減するかという観点から評価されるべきであるというハイレベルなコンセンサスが生まれている。 
Section 3 – Risk management: What techniques are there for managing risks from general-purpose AI?  第3節 リスクマネジメント:汎用AIのリスクマネジメントにはどのような手法があるのか? 
Several technical approaches can help manage risks, but in many cases the best available approaches still have highly significant limitations and no quantitative risk estimation or guarantees that are available in other safety-critical domains.  いくつかの技術的アプローチはリスクマネジメントに役立つが、多くの場合、利用可能な最善のアプローチにはまだ非常に大きな限界があり、他のセーフティ・クリティカルな領域で利用可能な定量的なリスク評価や保証はない。 
Risk management – identifying and assessing risks, and then mitigating and monitoring them – is difficult in the context of general-purpose AI. Although risk management has also been highly challenging in many other domains, there are some features of general-purpose AI that appear to create distinctive difficulties.  リスクの特定とアセスメント、そして緩和とモニタリングといったリスクマネジメントは、汎用AIの文脈では難しい。リスクマネジメントは他の多くの領域でも非常に難しいが、汎用AIには独特の難しさを生み出す特徴がある。 
Several technical features of general-purpose AI make risk management in this domain particularly difficult. They include, among others:  汎用AIのいくつかの技術的特徴が、この分野のリスクマネジメントを特に難しくしている。それらには特に以下のようなものがある: 
● The range of possible uses and use contexts for general-purpose AI systems is unusually broad. For example, the same system may be used to provide medical advice, analyse computer code for vulnerabilities, and generate photos. This increases the difficulty of comprehensively anticipating relevant use cases, identifying risks, or testing how systems will behave in relevant real-world circumstances.  ● 汎用AIシステムの可能な用途と使用コンテクストの範囲は、異常に広い。例えば、同じシステムを医療アドバイスに使ったり、コンピュータコードの脆弱性を分析したり、写真を生成したりすることもできる。このため、関連するユースケースを包括的に予測したり、リスクを特定したり、関連する実世界の状況でシステムがどのように振る舞うかをテストしたりすることが難しくなっている。 
● Developers still understand little about how their general-purpose AI models operate. This lack of understanding makes it more difficult both to predict behavioural issues and to explain and resolve known issues once they are observed. Understanding remains elusive mainly because general-purpose AI models are not programmed in the traditional sense.  ● 開発者たちは、汎用のAIモデルがどのように動作するかについて、まだほとんど理解していない。この理解不足は、行動上の問題を予測することも、既知の問題が観察された後にそれを説明し解決することも難しくしている。主に、汎用AIモデルは伝統的な意味でプログラムされていないため、理解はつかみにくいままだ。 
Instead, they are trained: AI developers set up a training process that involves a large volume of data, and the outcome of that training process is the general-purpose AI model. The inner workings of these models are largely inscrutable, including to the model developers. Model explanation and ‘interpretability’ techniques can improve researchers’ and developers’ understanding of how general-purpose AI models operate, but, despite recent progress, this research remains nascent.  その代わり、AIは訓練される:AI開発者は、大量のデータを含むトレーニングプロセスを設定し、そのトレーニングプロセスの結果が汎用AIモデルである。これらのモデルの内部構造は、モデル開発者を含め、ほとんど不可解である。モデルの説明と「解釈可能性」技術は、汎用AIモデルがどのように動作するかについての研究者や開発者の理解を改善することができるが、最近の進歩にもかかわらず、この研究はまだ始まったばかりである。 
● Increasingly capable AI agents – general-purpose AI systems that can autonomously act, plan, and delegate to achieve goals – will likely present new, significant challenges for risk management. AI agents typically work towards goals autonomously by using general software such as web browsers and programming tools. Currently, most are not yet reliable enough for widespread use, but companies are making large efforts to build more capable and reliable AI agents and have made progress in recent months. AI agents will likely become increasingly useful, but may also exacerbate a number of the risks discussed in this report and introduce additional difficulties for risk management. Examples of such potential new challenges include the possibility that users might not always know what their own AI agents are doing, the potential for AI agents to operate outside of anyone’s control, the potential for attackers to ‘hijack’ agents, and the potential for AI-to-AI interactions to create complex new risks. Approaches for managing risks associated with agents are only beginning to be developed.  ● AIエージェント(目標達成のために自律的に行動し、計画し、委任することができる汎用AIシステム)の能力が向上すれば、リスクマネジメントに新たな重大な課題をもたらす可能性が高い。AIエージェントは通常、ウェブ・ブラウザやプログラミング・ツールなどの一般的なソフトウェアを使用することで、自律的に目標に向かって行動する。現在のところ、そのほとんどはまだ広く使用できるほど信頼できるものではないが、企業はより有能で信頼性の高いAIエージェントを構築するために大きな努力を払っており、ここ数カ月で進歩を遂げている。AIエージェントは今後ますます便利になっていくだろうが、本報告書で取り上げた多くのリスクを悪化させ、リスクマネジメントに新たな困難をもたらす可能性もある。そのような潜在的な新たな課題の例としては、ユーザーが自身のAIエージェントが何をしているのか常に把握しているとは限らない可能性、AIエージェントが誰のコントロールも及ばないところで動作する可能性、攻撃者がエージェントを「ハイジャック」する可能性、AI同士の相互作用が複雑な新たなリスクを生み出す可能性などが挙げられる。エージェントに関連するリスクをマネジメントするアプローチは、まだ開発され始めたばかりである。 
Besides technical factors, several economic, political, and other societal factors make risk management in the field of general-purpose AI particularly difficult.  技術的要因に加え、経済的、政治的、その他の社会的要因も、汎用AIの分野におけるリスクマネジメントをとりわけ難しくしている。 
● The pace of advancement in general-purpose AI creates an 'evidence dilemma' for decision-makers.[2] Rapid capability advancement makes it possible for some risks to emerge in leaps; for example, the risk of academic cheating using general-purpose AI shifted from negligible to widespread within a year. The more quickly a risk emerges, the more difficult it is to manage the risk reactively and the more valuable preparation becomes. However, so long as evidence for a risk remains incomplete, decision-makers also cannot know for sure whether the risk will emerge or perhaps even has already emerged. This creates a trade-off:  ● 汎用AIの進歩の速さは、意思決定者に「証拠のジレンマ」をもたらす。[2]例えば、汎用AIを使った学歴詐称のリスクは、1年以内に無視できるものから広まるものへと変化した。リスクが急速に顕在化すればするほど、そのリスクを反応的にマネジメントすることは難しくなり、準備の価値は高まる。しかし、リスクの証拠が不完全なままである限り、意思決定者はリスクが顕在化するかどうか、あるいはおそらくすでに顕在化しているかどうかさえも確実に知ることはできない。これはトレードオフの関係にある: 
implementing pre-emptive or early mitigation measures might prove unnecessary, but waiting for conclusive evidence could leave society vulnerable to risks that emerge rapidly. Companies and governments are developing early warning systems and risk management frameworks that may reduce this dilemma. Some of these trigger specific mitigation measures when there is new evidence of risks, while others require developers to provide evidence of safety before releasing a new model.  しかし、決定的な証拠を待つことは、急速に顕在化するリスクに対する脆弱性を社会に残すことになりかねない。企業や政府( )は、このジレンマを軽減する可能性のある早期警告システムやリスクマネジメント枠組みを開発している。これらの中には、リスクに関する新たな証拠が発見された場合に特定の緩和措置を発動するものもあれば、新モデルをリリースする前に安全性の証拠を提供するよう開発者に求めるものもある。 
● There is an information gap between what AI companies know about their AI systems and what governments and non-industry researchers know. Companies often share only limited information about their general-purpose AI systems, especially in the period before they are widely released. Companies cite a mixture of commercial concerns and safety concerns as reasons to limit information sharing. However, this information gap also makes it more challenging for other actors to participate effectively in risk management, especially for emerging risks.  ● AI企業が自社のAIシステムについて知っていることと、政府や非産業研究者が知っていることの間には、情報格差がある。企業は汎用AIシステムについて、特に広くリリースされる前の時期には、限られた情報しか共有しないことが多い。企業は、情報共有を制限する理由として、商業的な懸念と安全上の懸念が混在していることを挙げている。しかし、このような情報格差は、他のアクターがリスクマネジメントに効果的に参加すること、特に新たなリスクについて参加することを難しくしている。 
● Both AI companies and governments often face strong competitive pressure, which may lead them to deprioritise risk management. In some circumstances, competitive pressure may incentivise companies to invest less time or other resources into risk management than they otherwise would. Similarly, governments may invest less in policies to support risk management in cases where they perceive trade-offs between international competition and risk reduction.  ● AI企業も政府も、しばしば強い競争圧力に直面し、リスクマネジメントを軽視するようになるかもしれない。状況によっては、競争圧力は、企業がリスクマネジメントに投資する時間やその他のリソースを、そうでない場合よりも少なくする動機付けになるかもしれない。同様に、政府は、国際競争とリスク削減との間にトレードオフがあると認識する場合には、リスクマネジメントを支援する政策への投資を少なくする可能性がある。 
Nonetheless, there are various techniques and frameworks for managing risks from general-purpose AI that companies can employ and regulators can require. These include methods for identifying and assessing risks, as well as methods for mitigating and monitoring them.  とはいえ、汎用AIによるリスクマネジメントには、企業が採用し、規制当局が求めることのできる様々な手法や枠組みがある。これには、リスクを特定・アセスメントする手法や、リスクを緩和・監視する手法が含まれる。 
● Assessing general-purpose AI systems for risks is an integral part of risk management, but existing risk assessments are severely limited. Existing evaluations of general-purpose AI risk mainly rely on ‘spot checks’, i.e. testing the behaviour of a general-purpose AI in a set of specific situations. This can help surface potential hazards before deploying a model. However, existing tests often miss hazards and overestimate or underestimate general-purpose AI capabilities and risks, because test conditions differ from the real world.  ● 汎用AIシステムのリスクアセスメントはリスクマネジメントの不可欠な要素であるが、既存のリスクアセスメントは極めて限定的である。既存の汎用AIのリスク評価は、主に「抜き打ち検査」、つまり特定の状況における汎用AIの挙動テストに頼っている。これは、モデルを展開する前に潜在的な危険を表面化させるのに役立つ。しかし、既存のテストでは、テスト条件が現実世界と異なるため、ハザードを見逃したり、汎用AIの能力やリスクを過大評価したり過小評価したりすることが多い。 
● For risk identification and assessment to be effective, evaluators need substantial expertise, resources, and sufficient access to relevant information. Rigorous risk assessment in the context of general-purpose AI requires combining multiple evaluation approaches. These range from technical analyses of the models and systems themselves to evaluations of possible risks from certain use patterns. Evaluators need substantial expertise to conduct such evaluations correctly. For comprehensive risk assessments, they often also need more time, more direct access to the models and their training data, and more information about the technical methodologies used than the companies developing general-purpose AI typically provide.  ● リスクの特定とアセスメントを効果的に行うためには、評価者は相当な専門知識、リソース、関連情報への十分なアクセスを必要とする。汎用AIの文脈における厳密なリスクアセスメントには、複数の評価アプローチを組み合わせる必要がある。これらは、モデルやシステム自体の技術的分析から、特定の使用パターンから起こりうるリスクの評価まで多岐にわたる。評価者は、このような評価を正しく行うために相当な専門知識を必要とする。包括的なリスクアセスメントを行うためには、汎用AIの開発企業が通常提供するよりも多くの時間、モデルやその学習データへの直接アクセス、使用されている技術的方法論に関する多くの情報も必要となることが多い。 
● There has been progress in training general-purpose AI models to function more safely, but no current method can reliably prevent even overtly unsafe outputs. For example, a technique called ‘adversarial training’ involves deliberately exposing AI models to examples designed to make them fail or misbehave during training, aiming to build resistance to such cases. However, adversaries can still find new ways ('attacks') to circumvent these safeguards with low to moderate effort. In addition, recent evidence suggests that current training methods – which rely heavily on imperfect human feedback – may inadvertently incentivise models to mislead humans on difficult questions by making errors harder to spot. Improving the quantity and quality of this feedback is an avenue for progress, though nascent training techniques using AI to detect misleading behaviour also show promise.  ● 汎用のAIモデルをより安全に機能させるためのトレーニングは進歩しているが、現在の手法では、あからさまに安全でない出力さえも確実に防ぐことはできない。例えば、「敵対的トレーニング」と呼ばれる手法では、トレーニング中にAIモデルをわざと失敗させたり誤動作させたりするようなサンプルにさらすことで、そのようなケースに対する耐性を構築することを目的としている。しかし、敵対者は、これらのセーフガードを回避する新しい方法(「攻撃」)を、低~中程度の労力で見つけることができる。加えて、不完全な人間のフィードバックに大きく依存している現在のトレーニング方法は、エラーを発見しにくくすることで、難しい問題で人間を惑わすようなインセンティブをモデルに不用意に与えている可能性があることを、最近の証拠が示唆している。このようなフィードバックの量と質を改善することは、進歩の道であるが、誤解を招く行動を検知するためにAIを使用する新しいトレーニング技術も有望である。 
● Monitoring – identifying risks and evaluating performance once a model is already in use – and various interventions to prevent harmful actions can improve the safety of a general-purpose AI after it is deployed to users. Current tools can detect AI-generated content, track system performance, and identify potentially harmful inputs/outputs, though moderately skilled users can often circumvent these safeguards. Several layers of defence that combine technical monitoring and intervention capabilities with human oversight improve safety but can introduce costs and delays. In the future, hardware-enabled mechanisms could help customers and regulators to monitor general-purpose AI systems more effectively during deployment and potentially help verify agreements across borders, but reliable mechanisms of this kind do not yet exist.  ● モニタリング(モデルがすでに使用された後のリスクの特定と性能評価)、および有害な行動を防止するための様々な介入は、汎用AIがユーザーに展開された後の安全性を向上させることができる。生成的なツールは、AIが生成したコンテンツを検知し、システムのパフォーマンスを追跡し、潜在的に有害な入出力を特定することができるが、熟練したユーザーであれば、これらのセーフガードを回避できることも多い。技術的な監視・介入機能と人間による監視を組み合わせた何層もの防御は、安全性を向上させるが、コストと遅延をもたらす可能性がある。将来的には、ハードウェアに対応したメカニズムが、顧客や規制当局が展開中の汎用AIシステムをより効果的に監視するのに役立ち、国境を越えた合意を検証するのに役立つ可能性があるが、この種の信頼できるメカニズムはまだ存在しない。 
● Multiple methods exist across the AI lifecycle to safeguard privacy. These include removing sensitive information from training data, model training approaches that control how much information is learned from data (such as ‘differential privacy’ approaches), and techniques for using AI with sensitive data that make it hard to recover the data (such as ‘confidential computing’ and other privacy-enhancing technologies). Many privacy-enhancing methods from other research fields are not yet applicable to general-purpose AI systems due to the computational requirements of AI systems. In recent months, privacy protection methods have expanded to address AI's growing use in sensitive domains including smartphone assistants, AI agents, always-listening voice assistants, and use in healthcare or legal practice.  ● AIのライフサイクルには、プライバシーを保護するための複数の方法が存在する。これには、学習データから機密情報を除去する方法、データから学習する情報量を制御するモデル・トレーニングの方法(「差分プライバシー」アプローチなど)、データの復元を困難にする機密データをAIで使用する技術(「機密コンピューティング」やその他のプライバシー強化技術など)などがある。他の研究分野のプライバシー向上手法の多くは、AIシステムの計算要件のため、汎用AIシステムにはまだ適用できない。ここ数カ月で、プライバシー保護手法は、スマートフォンアシスタント、AIエージェント、常時聞き手の音声アシスタント、医療や法律実務での使用など、AIがセンシティブな領域で使用されるようになっていることに対応するために拡大している。 
Since the publication of the Interim Report, researchers have made some further progress towards being able to explain why a general-purpose AI model has produced a given output. Being able to explain AI decisions could help manage risks from malfunctions ranging from bias and factual inaccuracy to loss of control. In addition, there have been growing efforts to standardise assessment and mitigation approaches around the world.  中間報告書の発表以来、研究者たちは、汎用AIモデルがなぜある出力を出したのかを説明できるようになるために、さらなる進歩を遂げてきた。AIの判断を説明できるようになれば、バイアスや事実誤認から制御不能に至るまで、誤作動によるリスクマネジメントに役立つ可能性がある。さらに、世界中でアセスメントと緩和のアプローチを標準化する取り組みが活発化している。 
Conclusion: A wide range of trajectories for the future of general-purpose AI are possible, and much will depend on how societies and governments act  結論:汎用AIの未来にはさまざまな軌跡が考えられるが、その多くは社会や政府がどのように行動するかにかかっている。 
The future of general-purpose AI is uncertain, with a wide range of trajectories appearing possible even in the near future, including both very positive and very negative outcomes. But nothing about the future of general-purpose AI is inevitable. How general-purpose AI gets developed and by whom, which problems it gets designed to solve, whether societies will be able to reap general-purpose AI’s full economic potential, who benefits from it, the types of risks we expose ourselves to, and how much we invest into research to manage risks – these and many other questions depend on the choices that societies and governments make today and in the future to shape the development of general-purpose AI.  汎用AIの未来は不確実であり、非常にポジティブな結果も非常にネガティブな結果も含め、近い将来にも幅広い軌跡があり得ると思われる。しかし、汎用AIの未来に必然性はない。汎用AIが誰によってどのように開発されるのか、どのような問題を解決するために設計されるのか、社会は汎用AIの経済的可能性をフルに享受できるのか、誰がその恩恵を受けるのか、私たちはどのようなリスクにさらされるのか、リスクを管理するための研究にどの程度投資するのか--こうした疑問や他の多くの疑問は、汎用AIの開発を形成するために社会や政府が今日および将来行う選択にかかっている。 
To help facilitate constructive discussion about these decisions, this report provides an overview of the current state of scientific research and discussion on managing the risks of general-purpose AI.  こうした決定に関する建設的な議論を促進するため、本報告書では、汎用AIのリスクマネジメントに関する科学的研究と議論の現状を概観する。 
The stakes are high. We look forward to continuing this effort.  賭け金は高い。私たちはこの努力を続けることを楽しみにしている。 

 

 


 

まるちゃんの情報セキュリティ気まぐれ日記

AI Action Summit

・2024.11.29 米国 AI安全研究所 安全保障等に関わる政府タスクフォースの設立、AI安全機構国際ネットワークの設立総会で初代議長に、NIST AI 100-4の発表 (2024.11.20)

2024.05.23 外務省 岸田総理大臣のAIソウル・サミット首脳セッションへの参加(ビデオメッセージ)+ AIソウル・サミット首脳セッション出席国による安全、革新的で包摂的なAIのためのソウル宣言 

 

 

 

| | Comments (0)

2025.02.02

欧州連合 競争力コンパス (2025.01.29)

こんにちは、丸山満彦です。

欧州連合が、競争力コンパスを公表していますね...

興味深いです...

 

European Commission

・2025.01.30 European Commission presents its compass to boost Europe's competitiveness in the next five years

 

大統領の記者会見での発言...

・2025.01.29 Statement by President von der Leyen on the EU Competitiveness Compass

 

記者会見

・2025.01.29 An EU Compass to regain competitiveness and secure sustainable prosperity

 

Fact Sheet

・[PDF] Factsheet - Competitiveness Compass

20250202-33756

 

・[PDF] Communication on the Competitiveness Compass

20250202-43531

 

 ・Strengthening European competitiveness

 

柱が3つあります...

1. Closing the innovation gap  1. イノベーション・ギャップを埋める 
2. A joint roadmap for decarbonisation and competitiveness  2. 脱炭素化と競争力のための共同ロードマップ 
3. Reducing excessive dependencies and increasing security  3. 過度の依存を減らし、安全保障を強化する 

 

欧州の課題は、

  • イノベーションが生まれていないこと...
  • ロシア、中国に過度に依存していたこと...

という感じでしょうか?

イノベーションが生まれるようチャレンジする。その際に、環境課題をうまく差別化に使いたい、ということなのかもしれません。

そうなると、米国のトランプ大統領の政策との関係が微妙になるかもです。

その一方、中国との距離感というのも、依存関係が高まらないように薄めていくということになるのですかね...

経済規模(名目GDP)的には、米国、欧州、中国の順ですが概ね三つ巴の感じです...

英国、日本というのが、どうでるのか、ブラジル、インドも長期的には重要なプレーヤーになってきますよね...

 

さて、イノベーションんが生まれていない原因は、過剰な規制?という話もあるかもですが、おそらくその裏に本質的な課題があるような気もします。日本も同じですが、何か共通の課題があるのかもしれません。

 

1. Closing the innovation gap  1. イノベーション・ギャップを埋める 
The first pillar is about driving productivity through innovation. The Commission will work to create a new dynamism for Europe’s industrial structure. 第一の柱は、イノベーションを通じて生産性を向上させることである。欧州委員会は、欧州の産業構造に新たな活力を生み出すために取り組む。
How:  どのようにするのか: 
• Facilitate the establishment of start-ups and conditions for scaling up  - 新興企業の設立を促進し、規模拡大のための条件を整える。
• Create a deeper and efficient venture capital market  - より深く効率的なベンチャーキャピタル市場を創設する 
• Ease mobility and retention of talent  - 人材の移動と定着を容易にする 
• Invest in state-of-the-art infrastructures  - 最先端のインフラへの投資 
• Boost innovation and research - イノベーションと研究を促進する
Flagship Actions Pillar 1 フラッグシップ・アクション 柱1
• Start-up and Scale-up Strategy - スタートアップとスケールアップ戦略
• 28th regime - 第28回 レジューム 
• European Innovation Act - 欧州イノベーション法
• European Research Area Act - 欧州研究領域法
• AI Factories Initiative, Apply AI, AI in Science, and Data Union Strategies - AIファクトリー構想、応用AI、科学におけるAI、データ連合戦略
• EU Cloud and AI Development Act - EUクラウド・AI開発法
• EU Quantum Strategy and a Quantum Act - EU量子戦略と量子法
• European Biotech Act and Bioeconomy Strategy - 欧州バイオテクノロジー法とバイオエコノミー戦略
• Life Sciences Strategy - ライフサイエンス戦略
• Advanced Materials Act - 先端材料法
• Space Act - 宇宙法
• Review of the Horizontal Merger Control Guidelines - 水平統合規制ガイドラインの見直し
• Digital Networks Act - デジタルネットワーク法
2. A joint roadmap for decarbonisation and competitiveness  2. 脱炭素化と競争力のための共同ロードマップ 
This pillar is about integrating decarbonisation policies with industrial, competition, economic and trade policies. They are a powerful driver of growth when they are well integrated. この柱は、脱炭素化政策を産業、競争、経済、貿易政策と統合することである。これらの政策がうまく統合されれば、成長の強力な原動力となる。
How:  どのように 
• Integrate decarbonisation policies with industrial, economic, and trade policies  - 脱炭素化政策を産業、経済、貿易政策と統合する。
• Facilitate access to affordable energy  - 安価なエネルギーへのアクセスを促進する 
• Strengthen the business case for a clean transition  - クリーン転換のためのビジネスケースを強化する 
• Promote competitiveness of clean tech manufacturers - クリーンテック製造事業者の競争力を促進する。
Flagship Actions Pillar 2 フラッグシップ・アクション 柱2
• Clean Industrial Deal and an Action Plan on Affordable Energy - クリーン産業ディールと手頃なエネルギーに関する行動計画
• Industrial Decarbonisation Accelerator Act - 産業脱炭素化促進法
• Electrification Action Plan and European Grids Package - 電化行動計画と欧州送電網パッケージ
• New State Aid Framework - 新たな国家補助の枠組み
• Steel and metals action plan - 鉄鋼・金属アクションプラン
• Chemicals industry package - 化学産業パッケージ
• Strategic dialogue on the future of the European automotive industry and Industrial Action Plan - 欧州自動車産業の将来に関する戦略的対話と産業行動計画
• Sustainable Transport Investment Plan - 持続可能な輸送投資計画
• European Port Strategy and Industrial Maritime Strategy - 欧州港湾戦略と産業海洋戦略
• High Speed Rail Plan - 高速鉄道計画
• Carbon Border Adjustment Mechanism Review - 炭素国境調整メカニズムの見直し
• Circular Economy Act - 循環経済法
• Vision for Agriculture and Food - 農業・食糧ビジョン
• Oceans Pact - 海洋協定
• Amendment of the Climate Law - 気候法改正
3. Reducing excessive dependencies and increasing security  3. 過度の依存を減らし、安全保障を強化する 
This pillar is about integrating more tightly security and open strategic autonomy considerations in the EU economic policies. The security environment is a precondition for EU firms’ economic success and competitiveness. この柱は、EUの経済政策において、安全保障と開放的な戦略的自律性への配慮をより緊密に統合することを目指すものである。安全保障環境は、EU企業の経済的成功と競争力の前提である。
How:  どのようにするのか: 
• Develop policies, partnerships, and investments to ensure economic security, resilience, and strategic interests  - 経済的安全保障、レジリエンス、戦略的利益を確保するための政策、パートナーシップ、投資を展開する。
• Strengthen defence industrial capabilities and support by pan-European cooperation  - 汎欧州的な協力により、防衛産業の能力と支援を強化する。
• Improve preparedness - 準備態勢の改善
Flagship Actions Pillar 3 フラッグシップ・アクション 柱3
• Conclude and implement ambitious trade agreements, Clean Trade and Investment Partnerships - 野心的な貿易協定、クリーンな貿易・投資パートナーシップの締結と実施
• Trans-Mediterranean Energy and Clean Tech Cooperation initiative - 地中海横断エネルギー・クリーン技術協力イニシアティブ
• Joint purchasing platform for Critical Raw Minerals - 重要原材料の共同購入プラットフォーム
• Revision of directives on Public Procurement - 公共調達に関する指令の改正
• White Paper on the Future of European Defence - 欧州防衛の将来に関する白書
• Preparedness Union Strategy - ユニオン戦略
• Internal Security Strategy - 国内安全保障戦略
• Critical Medicines Act - 重要医薬品法
• European Climate Adaptation Plan - 欧州気候適応計画
• Water Resilience Strategy - 水レジリエンス戦略

 

参考 EU

Eu1_20250202052201

Eu2_20250202052301

Eu3

 

 

 

| | Comments (0)

2025.02.01

世界経済フォーラム (WEF) AIに関連する文書 (White Papeer) (2025.01.21)

こんにちは、丸山満彦です、

世界経済フォーラム (WEF) がAIに関連する文書 (White Papeer) をいくつか公表していますね...

 

Cross industry 業界横断的
Impact on industrial ecosystems 産業エコシステムへの影響
AI in Action: Beyond Experimentation to Transform Industry ・AIの活用:実験を超えて産業を変革する
20250201-40946
Leveraging Generative AI for Job Augmentation and Workforce Productivity ・生成的AIを活用した業務拡張と労働生産性
20250201-40952
Artificial Intelligence’s Energy Paradox: Balancing Challenges and Opportunities ・人工知能のエネルギーパラドックス:課題と機会のバランス
20250201-41000
Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards ・人工知能とサイバーセキュリティ:リスクと報酬のバランス
20250201-41007
Regional specific  地域特有
Impact on regions  地域への影響 
Blueprint to Action: China’s Path to AI-Powered Industry Transformation ・行動への青写真:AIによる産業変革への中国の道
20250201-41014
Industry or function specific 業界または機能特有
Impact on industries, sectors and functions 産業、セクター、機能への影響
Advanced manufacturing and supply chains 先進的な製造事業者およびサプライチェーン
Frontier Technologies in Industrial Operations: The Rise of Artificial Intelligence Agents ・産業運営におけるフロンティア技術:人工知能エージェントの台頭
20250201-41023
Financial services 金融サービス
Artificial Intelligence in Financial Services ・金融サービスにおける人工知能
20250201-41038
Media, entertainment and sport メディア、エンターテインメント、スポーツ
Artificial Intelligence in Media, Entertainment and Sport ・メディア、エンターテインメント、スポーツにおける人工知能
20250201-41045
Healthcare ヘルスケア
The Future of AI-Enabled Health: Leading the Way ・AIを活用したヘルスケアの未来:新たな道を切り開く
20250201-41058
Transport 輸送
Intelligent Transport, Greener Future: AI as a Catalyst to Decarbonize Global Logistics ・インテリジェント輸送、より環境にやさしい未来:グローバルな物流の脱炭素化を促進する触媒としてのAI
20250201-41105
Telecommunications 電気通信
(upcoming) (作成中)
・Consumer goods 消費財
(upcoming) (作成中)

 

 

 


AIとリスクの部分...

・2025.01.21 Download the Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards report

Download the Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards report 「人工知能とサイバーセキュリティ:リスクと利益のバランス」レポートをダウンロード
Amid a business landscape that is increasingly focused on responsible innovation, this report offers a clear executive perspective on managing artificial intelligence (AI)-related cyber risks. It empowers leaders to invest and innovate in AI with confidence and exploit emerging opportunities for growth. A central question is explored throughout the report: How can organizations reap the benefits of AI adoption while mitigating the associated cybersecurity risks? 責任あるイノベーションにますます重点が置かれるビジネス環境において、本レポートは、人工知能(AI)関連のサイバーリスクの管理に関する明確な経営陣の視点を提供している。これにより、リーダーは自信を持ってAIへの投資とイノベーションを行い、成長の新たな機会を活かすことができる。本レポートでは、中心的な問いが探求されている。すなわち、企業は、関連するサイバーセキュリティリスクを緩和しながら、AI導入のメリットをどのように享受できるのか?
This publication was developed in collaboration with the University of Oxford’s Global Cyber Security Capacity Centre to steer global leaders’ strategies and decision-making on cyber risks and opportunities regarding AI adoption. It is part of the AI Governance Alliance’s AI Transformation of Industries initiative that seeks to catalyse responsible industry transformation by exploring the strategic implications, opportunities and challenges of promoting AI-driven innovation across business and operating models. この報告書は、オックスフォード大学グローバル・サイバーセキュリティ・キャパシティ・センターとの共同作業により作成されたもので、AI導入に関するサイバーリスクと機会に対する世界のリーダーたちの戦略と意思決定を導くことを目的としている。これは、AI主導のイノベーションをビジネスとオペレーティングモデル全体に推進することの戦略的影響、機会、課題を調査することで、責任ある産業変革を促進することを目指すAIガバナンス・アライアンスの「AIによる産業変革」イニシアティブの一環である。



 

・2025.01.25 Securing innovation: A leader’s guide to managing cyber risks from AI adoption

Securing innovation: A leader’s guide to managing cyber risks from AI adoption イノベーションの確保:AI導入によるサイバーリスク管理に関するリーダーのためのガイド
・Leaders must embed cybersecurity at every stage of artificial intelligence (AI) adoption to safeguard sensitive data, ensure resilience and enable responsible innovation. ・リーダーは、人工知能(AI)導入のあらゆる段階でサイバーセキュリティを組み込むことで、機密データを保護し、レジリエンスを確保し、責任あるイノベーションを実現しなければならない。
・A risk-reward approach aligns AI adoption with organizational goals by identifying vulnerabilities, mitigating risks and reinforcing stakeholder trust. ・リスクとリターンのアプローチでは、脆弱性を識別し、リスクを緩和し、利害関係者の信頼を強化することで、AI導入を組織目標と整合させる。
・Multistakeholder collaboration among AI experts, regulators, and policymakers is essential to addressing AI-driven vulnerabilities and building confidence in AI technologies. ・AI専門家、規制当局、政策立案者によるマルチステークホルダーの協力は、AIがもたらす脆弱性への対応とAI技術への信頼構築に不可欠である。
In the digital-first world, using artificial intelligence (AI) systems has become a cornerstone of organizational innovation and operational efficiency. However, as leaders drive transformation, cybersecurity must remain paramount. デジタルを第一に考える世界では、人工知能(AI)システムの利用は組織の革新と業務効率の要となっている。しかし、リーダーが変革を推進する中で、サイバーセキュリティは最優先事項であり続けなければならない。
AI systems are not immune to vulnerabilities, including adversarial attacks, data poisoning, and the hacking of sensitive algorithms. Leaders must recognize that integrating AI magnifies their organization’s attack surface, making robust cybersecurity measures non-negotiable. AIシステムは、敵対的攻撃、データ・ポイズニング、機密アルゴリズムのハッキングなどの脆弱性に対して無防備である。リーダーは、AIを統合することで組織の攻撃対象領域が拡大し、強固なサイバーセキュリティ対策が不可欠になることを認識しなければならない。
In 2024, the World Economic Forum’s Centre for Cybersecurity joined with the University of Oxford’s Global Cyber Security Capacity Centre University of Oxford, on the AI & Cyber: Balancing Risks and Rewards initiative to steer global leaders’ strategies and decision-making on cyber risks and opportunities regarding AI adoption. 2024年、世界経済フォーラムのサイバーセキュリティセンターは、オックスフォード大学のグローバルサイバーセキュリティ能力センターと共同で、AIの導入に関するサイバーリスクと機会について、世界のリーダーたちの戦略と意思決定を導くための「AIとサイバー:リスクと報酬のバランス」イニシアティブを開始した。
The research culminated in the white paper Industries in the Intelligent Age - Artificial Intelligence & Cybersecurity: Balancing Risks and Rewards, published in January 2025. This paper is a guide for managing the cyber risks of AI adoption. It empowers leaders to invest in and innovate in AI with security and resilience in mind to exploit emerging growth opportunities. この研究は、2025年1月に発表されたホワイトペーパー『インテリジェント時代の産業 - 人工知能とサイバーセキュリティ:リスクとリワードのバランス』として結実した。このペーパーは、AI導入に伴うサイバーリスクの管理ガイドである。リーダーがセキュリティとレジリエンシーを念頭にAIへの投資とイノベーションを行い、新たな成長機会を活かすことを可能にする。
To unlock AI’s full potential, developing a comprehensive understanding of the related cyber risks and required mitigation measures is essential. AIの潜在能力を最大限に引き出すには、関連するサイバーリスクと必要な緩和策について包括的な理解を深めることが不可欠である。
Have you read? こちらも
4 ways data and AI tip the cybersecurity scales towards the defenders ・データとAIがサイバーセキュリティの天秤を防御側に傾ける4つの方法
Davos 2025: What to expect and who's coming? ・2025年ダボス会議:期待される内容と参加者は?
The critical need for cybersecurity サイバーセキュリティの喫緊の必要性
The Global Cybersecurity Outlook 2025 reveals that 66% of organizations expect AI to significantly impact cybersecurity in the coming year. Yet, only 37% have processes to evaluate the security of AI systems before deployment. グローバル・サイバーセキュリティ・アウトルック2025によると、66%の企業が、AIが来年のサイバーセキュリティに大きな影響を与えると予測している。しかし、AIシステムの展開前にそのセキュリティを評価するプロセスを持っている企業は37%にとどまっている。
This gap highlights a risk that organizations adopt AI systems without fully assessing and addressing the related cybersecurity risks, potentially exposing vulnerabilities in their environments. このギャップは、組織が関連するサイバーセキュリティリスクを十分にアセスメントおよび対処することなくAIシステムを採用し、環境に潜在する脆弱性を露呈するリスクを浮き彫りにしている。
Leaving AI systems susceptible to data breaches, algorithm manipulation or other hostile activity could lead to significant operational and reputational damage. By assessing and mitigating cyber risks, leaders can align AI adoption with organizational goals and resilience needs. AIシステムをデータ漏洩、アルゴリズム操作、その他の敵対的行為に対して脆弱なままにしておくと、業務や評判に重大な損害をもたらす可能性がある。サイバーリスクをアセスメントし緩和することで、リーダーはAIの導入を組織の目標やレジリエンシーのニーズに一致させることができる。
Moreover, the data that fuels AI models is often proprietary or sensitive, and compromise could mean financial loss or penalties and negatively reflect on the organization. From ensuring secure data pipelines to implementing stringent access controls, cybersecurity should be embedded at every stage of the AI lifecycle. さらに、AIモデルの燃料となるデータは、多くの場合、機密情報やセンシティブな情報であるため、侵害された場合、金銭的な損失や罰則につながり、組織に悪影響を及ぼす可能性がある。安全なデータパイプラインの確保から厳格なアクセス管理の実施まで、サイバーセキュリティはAIのライフサイクルのあらゆる段階に組み込まれるべきである。
A clear guide to addressing these risks is essential for informed decision-making and ensuring strategic choices are secure and regulatory compliant. This also reinforces trust among stakeholders, allowing sustainable and responsible AI-driven growth これらのリスクに対処するための明確な指針は、情報に基づいた意思決定を行う上で不可欠であり、戦略的な選択肢が安全で規制に準拠していることを保証する。また、これはステークホルダー間の信頼を強化し、持続可能で責任あるAI主導の成長を可能にする
Leaders must champion a culture where cybersecurity is not considered a barrier to innovation but a foundational pillar for sustainable growth. Senior risk owners also have a critical role in implementing oversight and control of AI-related cyber risks and proactively managing them. リーダーは、サイバーセキュリティをイノベーションの妨げではなく、持続可能な成長の基盤となる柱として捉える文化を推進しなければならない。また、上級リスク管理責任者は、AI関連のサイバーリスクの監視と管理を実施し、それらを積極的に管理する上で重要な役割を担っている。
Strategically aligning AI initiatives with a robust cybersecurity framework also reassures stakeholders, from customers to investors, of the organization’s commitment to safeguarding digital assets. AIイニシアティブを堅牢なサイバーセキュリティの枠組みと戦略的に整合させることで、顧客から投資家まで、組織がデジタル資産の保護に尽力していることを利害関係者に安心感を与えることができる。
By prioritizing these considerations, top executives protect their enterprises and position them as trusted, resilient and forward-thinking players. 経営幹部は、これらの考慮事項を優先することで、自社を防御し、信頼性が高く、レジリエンシーを備え、先見性のある企業として位置づけることができる。
A risk-based approach リスクベースのアプローチ
Taking a risk-based approach is critical for secure AI adoption. Organizations must assess potential vulnerabilities and risks that AI might introduce in light of the opportunities it brings, evaluate the possible negative impacts on the business and identify the necessary controls to mitigate these risks. AIの安全な導入には、リスクベースのアプローチが不可欠である。企業は、AIがもたらす機会を踏まえて、AIがもたらす可能性のある潜在的な脆弱性やリスクをアセスメントし、ビジネスに及ぼす可能性のある悪影響を評価し、それらのリスクを緩和するために必要なコントロールを識別しなければならない。
This approach ensures that AI initiatives align with the organization's overall business goals and remain within the scope of its risk tolerance. このアプローチにより、AIの取り組みが組織の全体的な事業目標に沿うようにし、リスク許容範囲内に収めることができる。
Embedding cybersecurity throughout AI deployment AI展開全体にサイバーセキュリティを組み込む
All organizations should address AI-related cyber risks regardless of where they are in the AI adoption journey. Businesses already using AI should map their implementations and apply bolt-on security solutions. すべての組織は、AI導入の段階に関わらず、AIに関連するサイバーリスクに対処すべきである。すでにAIを使用している企業は、実装内容をマッピングし、ボルトオン型のセキュリティソリューションを適用すべきである。
Other scenarios may require a risk-reward analysis to determine whether AI implementation aligns with operational and business goals. This approach fosters security by design, ensuring AI adoption aligns with innovation and resilience. その他のシナリオでは、AIの実装が業務目標や事業目標と一致しているかどうかを判断するために、リスクとリターンの分析が必要になる場合がある。このアプローチは、セキュリティ・バイ・デザインを促進し、AIの導入がイノベーションとレジリエンスと一致していることを保証する。
Have you read? こちらも
The new AI imperative is about balancing innovation and security ・新しいAIの必須事項は、イノベーションとセキュリティのバランスを取ること
AI and cybersecurity: How to navigate the risks and opportunities ・AIとサイバーセキュリティ:リスクと機会をナビゲートする方法
Taking an enterprise view エンタープライズ視点
AI systems do not exist in isolation. Organizations must consider how business processes and data flows around AI systems can reduce the impact of a cybersecurity failure. AIシステムは孤立して存在しているわけではない。企業は、AIシステム周辺のビジネスプロセスやデータフローが、サイバーセキュリティの障害による影響をどのように軽減できるかを考慮する必要がある。
This involves integrating controls into wider governance structures and enterprise risk management processes. これには、より広範なガバナンス構造やエンタープライズリスクマネジメントプロセスへの統制の統合が含まれる。
Collaborative responsible innovation 協調的な責任あるイノベーション
To harness AI’s benefits, organizations must adopt a multistakeholder approach toward prioritizing risk-reward analysis and cybersecurity. This ensures resilience, safeguards investments and supports responsible innovation. AIのメリットを活用するには、企業はリスクとリターンの分析とサイバーセキュリティの優先順位付けにマルチステークホルダーのアプローチを採用する必要がある。これにより、レジリエンシーが確保され、投資が保護され、責任あるイノベーションがサポートされる。
Collaboration between AI and cybersecurity experts, regulators, and policymakers is crucial to aligning tools, sharing best practices, and establishing accountability. This joint approach can address AI-driven vulnerabilities while fostering trust and confident innovation. AIとサイバーセキュリティの専門家、規制当局、政策立案者との連携は、ツールの調整、ベストプラクティスの共有、説明責任の確立に不可欠である。この共同アプローチは、AIがもたらす脆弱性に対処すると同時に、信頼と確信に基づくイノベーションを促進することができる。
Have you read? こちらも
Why we need cybersecurity of AI: ethics and responsible innovation AIのサイバーセキュリティが必要な理由:倫理と責任あるイノベーション
This work was developed in collaboration with the AI Governance Alliance – launched in June 2023 – to provide guidance on the responsible design, development and deployment of artificial intelligence systems. Read more on its work here. この取り組みは、2023年6月に発足したAIガバナンス・アライアンスとの共同作業として行われたもので、人工知能システムの責任ある設計、開発、展開に関する指針を提供することを目的としている。同アライアンスの取り組みについてはこちらで詳しく読むことができる。
Additional contributors to this article include Louise Axon, Research Fellow, Global Cyber Security Capacity Centre, University of Oxford; Joanna Bouckaert, Community Lead, Centre for Cybersecurity, World Economic Forum; and Jamie Saunders, Oxford Martin Fellow, University of Oxford. この記事の執筆に協力したその他の人物には、オックスフォード大学グローバル・サイバーセキュリティ・キャパシティ・センター研究員ルイーズ・アクソン、世界経済フォーラム・サイバーセキュリティセンター・コミュニティ・リードのジョアンナ・ブーカート、オックスフォード大学オックスフォード・マーティン・フェローのジェイミー・サンダースが含まれる。

 

・[PDF] Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards

20250201-41007

Foreword まえがき
Executive summary エグゼクティブサマリー
Introduction: The scope 序文:スコープ
1 The context of AI adoption – from experimentation to full business integration 1 AI導入の背景 - 実験段階から本格的なビジネスへの統合へ
2 Emerging cybersecurity practice for AI 2 AIのための新たなサイバーセキュリティ対策
2.1 Shift left 2.1 シフトレフト
2.2 Shift left and expand right  2.2 シフトレフトおよびシフトライト
2.3 Shift left, expand right and repeat  2.3 シフトレフト、シフトライト、そして繰り返し
2.4 Taking an enterprise view  2.4 エンタープライズ視点
3 Actions for senior leadership 3 シニアリーダーシップのための行動
4   Steps towards effective management of AI cyber risk 4 AIサイバーリスクの効果的な管理に向けたステップ
4.1  Understanding how the organization’s context influences the AI cyber risk 4.1 組織の状況がAIサイバーリスクに与える影響の理解
4.2  Understanding the rewards 4.2 報酬の理解
4.3  Identifying the potential risks and vulnerabilities 4.3 潜在的なリスクと脆弱性の識別
4.4  Assessing potential negative impacts to the business 4.4 ビジネスへの潜在的な悪影響のアセスメント
4.5  Identifying options for risk mitigation 4.5 リスク緩和の選択肢の識別
4.6  Balancing residual risk against the potential rewards 4.6 潜在的な報酬に対する残存リスクのバランス
4.7  Repeat throughout the AI life cycle 4.7 AIのライフサイクル全体を通じて繰り返し実施
Conclusion 結論
Contributors 貢献者
Endnotes 脚注

 

 

エグゼクティブサマリー...

Executive summary エグゼクティブサマリー
A secure approach to AI adoption can allow organizations to innovate confidently. AI導入に対する安全なアプローチにより、組織は自信を持ってイノベーションを実現できる。
AI technologies offer significant opportunities, and their application is becoming increasingly prevalent across the economy. As AI system compromise can have serious business impacts, organizations should adjust their approach to AI if they are to securely benefit from its adoption. Several foundational features capture best practices for securing and ensuring the resilience of AI systems: AI技術は大きな可能性を提供しており、その応用は経済全体でますます広がっている。AIシステムの侵害はビジネスに深刻な影響を及ぼす可能性があるため、組織はAI導入から安全に利益を得るためには、AIに対するアプローチを調整する必要がある。AIシステムのセキュリティ確保とレジリエンシー(回復力)の確保に役立つベストプラクティスをいくつかの基本機能が捉えている。
1.   Organizations need to apply a risk-based approach to AI adoption. 1. 組織はAI導入にリスクベースのアプローチを適用する必要がある。
2.   A wide range of stakeholders need to be involved in managing the risks end-to-end within the organization. A cross-disciplinary AI risk function is required, involving teams such as legal, cyber, compliance, technology, risk, human resources (HR), ethics and relevant front-line business units according to specific needs and contexts.  2. 組織内のエンドツーエンドのリスクマネジメントには、幅広い利害関係者の関与が必要である。 特定のニーズや状況に応じて、法務、サイバーセキュリティ、コンプライアンス、テクノロジー、リスク、人事(HR)、倫理、関連する第一線業務部門などのチームを巻き込んだ、学際的なAIリスク機能が必要である。
3.   An inventory of AI applications can help organizations to assess how and where AI is being used within the organization, including whether it is part of the mission-critical supply chain, helping reduce “shadow AI” and risks related to the supply chain. 3. AIアプリケーションのインベントリを作成することで、組織内でAIがどのように、どこで使用されているかを評価し、AIがミッションクリティカルなサプライチェーンの一部であるかどうかを判断し、「シャドーAI」やサプライチェーンに関連するリスクを低減することができる。
4.   Organizations need to ensure adequate discipline in the transition from experimentation to operational use, especially in missioncritical applications. 4. 組織は、特にミッションクリティカルなアプリケーションにおいて、実験段階から実運用への移行に際して適切な規律を確保する必要がある。
5.   Organizations should ensure that there is adequate investment in the essential cybersecurity controls needed to protect AI systems and ensure that they are prepared to respond to and recover from disruptions. 5. 企業は、AIシステムを防御するために必要なサイバーセキュリティ対策に十分な投資を行い、混乱への対応と復旧の準備を整える必要がある。
6.   It is necessary to combine both pre-deployment security (i.e. the “security by design” principle – also called “shift left”) and post-deployment measures to monitor and ensure resilience and recovery of the systems in use (referred to in this report as “expand right”). As the technology evolves, this approach needs to be repeated throughout the life cycle. This overall approach is described in the report as “shift left, expand right and repeat”. 6. 展開前のセキュリティ対策(すなわち「セキュリティ・バイ・デザイン」の原則、または「シフトレフト」とも呼ばれる)と、展開後の使用中のシステムのレジリエンスとリカバリーを監視し、確保するための対策(本報告書では「エクスパンドリフト」と呼ぶ)の両方を組み合わせる必要がある。技術が進化するにつれ、このアプローチはライフサイクル全体を通じて繰り返される必要がある。この全体的なアプローチは、本報告書では「シフトレフト、エクスパンドリフト、リピート」と表現されている。
7.   Technical controls around the AI systems themselves need to be complemented by people- and process-based controls on the interface between the technology and business operations.  7. AIシステム自体の技術的制御は、テクノロジーと業務運営の間のインターフェースにおける人およびプロセスベースの制御によって補完される必要がある。
8.   Care needs to be paid to information governance – specifically, what data will be exposed to the AI and what controls are needed to ensure that organizational data policies are met. 8. 情報ガバナンスに注意を払う必要がある。具体的には、どのようなデータがAIに公開されるのか、また、組織のデータポリシーが確実に遵守されるためにどのような制御が必要なのか、ということである。
It is crucial for top leaders to define key parameters for decision-making on AI adoption and associated cybersecurity concerns. This set of questions can guide them in assessing their strategies: AIの導入と関連するサイバーセキュリティの懸念に関する意思決定の主要パラメータを定義することは、経営陣にとって極めて重要である。この一連の質問は、彼らの戦略を評価する際に役立つ。
1.   Has the appropriate risk tolerance for AI been established and is it understood by all risk owners?  1. AIに対する適切なリスク許容度が確立され、すべてのリスク管理者が理解しているか?
2.   Are risks weighed against rewards when new AI projects are considered?  2. 新しいAIプロジェクトを検討する際に、リスクと利益が比較されているか?
3.   Is there an effective process in place to govern and keep track of the deployment of AI projects?  3. AIプロジェクトの展開を管理し、追跡する効果的なプロセスが確立されているか?
4.   Is there clear understanding of organizationspecific vulnerabilities and cyber risks related to the use or adoption of AI technologies? 4. 組織特有の脆弱性とAI技術の利用または導入に関連するサイバーリスクについて明確に理解しているか?
5.   Is there clarity on which stakeholders need to be involved in assessing and mitigating the cyber risks of AI adoption?  5. AI導入のサイバーリスクのアセスメントと緩和にどのステークホルダーが関与する必要があるか明確になっているか?
6.   Are there assurance processes in place to ensure that AI deployments are consistent with the organization’s broader organizational policies and legal and regulatory obligations? 6. AIの展開が組織のより広範な組織方針および法的・規制上の義務と一致していることを保証する保証プロセスが整備されているか?
By prioritizing cybersecurity and mitigating risks, organizations can safeguard their investments in AI and support responsible innovation. A secure approach to AI adoption not only strengthens resilience but also reinforces the value and reliability of these powerful technologies. サイバーセキュリティを優先し、リスクを緩和することで、組織はAIへの投資を保護し、責任あるイノベーションを支援することができる。AI導入に対する安全なアプローチは、レジリエンスを強化するだけでなく、これらの強力なテクノロジーの価値と信頼性を強化する。

 

| | Comments (0)

2025.01.31

欧州 地方自治体および地域行政によるAIおよびGenAIの採用

こんにちは、丸山満彦です。

巷では中国の生成的AIであるDeepSeekが話題になっているようですが、欧州の話題です...

欧州委員会が、地方自治体および地域行政によるAIおよびGenAIの採用に関する報告書を公表していますね...

欧州の地方自治体でのAIの取り組みの事例も少しあり、自治体のAIに対する取り組みのヒントになるかもですね...(AI法があることにより、できないことがはっきりしていて、変な迷いも生じることなく取り組みがしやすいかもですね...)

European Union

AI and GenAI adoption by local and regional administrations

 

AI and GenAI adoption by local and regional administrations 地方自治体および地域行政によるAIおよびGenAIの採用
Based on the previous recent research and results in this area, notably the EU Public Sector Tech Watch reports and handbooks "European Landscape on the Use of Artificial Intelligence by the Public Sector", "Road to the adoption of AI by the public sector", "A collective effort in exploring the applications of Artificial Intelligence and blockchain in the Public Sector" and a European Parliament briefing on "Artificial Intelligence and Public services", this study on “AI and GenAI adoption by local and regional administrations” (1) analyses the results of the previous studies – which are based on data gathered over the last couple of years – and (2) delves deeper into the opportunities and challenges subnational authorities have with the AI and GenAI adoption and the impact this has on the quality of their interactions with citizens, as well as the efficiency of internal and cross-administration processes. The study also (3) investigates whether and how AI and GenAI could contribute to bridging digital divides across different types of territories and/or groups of citizens. It further (4) examines the role of political leaders in promoting AI, scalability, knowledge sharing and the need for cooperation between the technical and political levels to ensure boost of AI use. In the end, the study offers a number of recommendations for enhancing the adoption and effectiveness of AI and GenAI at subnational level. この分野における最近の調査および結果、特にEU公共部門テクノロジーウォッチの報告書およびハンドブック「公共部門における人工知能の利用に関する欧州の状況」、「公共部門におけるAI導入への道」、「公共部門における人工知能とブロックチェーンの応用に関する共同の取り組み」、および欧州議会による「人工知能と公共サービス」に関するブリーフィングを踏まえ、本研究「地方自治体および地域行政によるAIおよびGenAIの導入」では、 過去数年にわたって収集されたデータに基づくこれまでの研究結果を分析し、(2) 地方自治体がAIおよびGenAIの導入によって得られる機会と課題、そしてそれが市民とのやりとりの質や、内部および行政間のプロセス効率に与える影響について、さらに深く掘り下げている。また、本研究では、(3) 異なるタイプの地域や市民グループ間のデジタル格差の解消にAIおよびGenAIが貢献できるかどうか、またその方法についても調査している。さらに、(4) AIの利用を促進するために、政治的リーダーが果たす役割、スケーラビリティ、知識共有、技術レベルと政治レベル間の協力の必要性についても検証している。最後に、本研究では、地方レベルでのAIおよびGenAIの導入と効果を高めるためのいくつかの提言を行っている。

 

・[PDF] [downloaded]

20250131-63140

・[DOCX][PDF] 仮訳

 

目次...

Executive Summary エグゼクティブサマリー
Background and objective of this study 本研究の背景と目的
Methodology 方法論
Report structure 報告書の構成
Key findings 主な調査結果
Policy recommendations 政策提言
Introduction 序文
Part 1: State of play of AI and GenAI adoption at local and regional level パート1:地方・地域レベルでのAIとGenAIの導入状況
1.1 Overview 1.1 概要
1.1.1 Local and Regional Authority (LRA) and Public Authority (PA) implementations 1.1.1 地方自治体(LRA)と公共機関(PA)の実装
1.1.2 Existing AI infrastructure to support LRAs 1.1.2 LRAをサポートする既存のAIインフラ
1.1.3 Academic research 1.1.3 学術研究
1.1.4 Citizen acceptance and user experience with AI in the public sector 1.1.4 公共部門におけるAIの市民受容とユーザー体験
1.1.5 Summary 1.1.5 まとめ
1.2 State of play of AI adoption across the EU LRAs 1.2 EUのLRAにおけるAI導入の現状
1.2.1 AI adoption, application sectors and main benefits for LRAs 1.2.1 AI導入、応用分野、LRAにとっての主なメリット
1.2.2 Human resources dedicated to AI and relations with the external environment 1.2.2 AIに特化した人材と外部環境との関係
1.2.3 AI monitoring and evaluation mechanisms 1.2.3 AIモニタリングと評価の仕組み
1.2.4 Challenges and drivers of AI adoption 1.2.4 AI導入の課題と推進要因
1.2.5 Conclusions 1.2.5 結論
Part 2: Factors for the successful AI and GenAI adoption in cities and regions 第2部:都市と地域におけるAIとGenAIの導入成功の要因
2.1 Fostering cooperation between the technical and political levels 2.1 技術レベルと政治レベルの間の協力を促進する
2.2 The facilitating role of political decision-makers and appropriate governance 2.2 政治的意思決定者の促進的役割と適切なガバナンス
2.3 Organisational context and AI procurement 2.3 組織的背景とAI調達
2.4 Enhancing citizen acceptance and engagement 2.4 市民の受け入れと関与を強化する
2.5 Data availability and governance 2.5 データの可用性とガバナンス
2.6 Making AI-based solutions scalable and applicable to other contexts 2.6 AIベースのソリューションを拡張可能にし、他の文脈にも適用できるようにする
2.7 Investment and funding 2.7 投資と資金調達
Part 3: Foresight analysis, conclusion and policy recommendations 第3部:フォーサイト分析、結論、政策提言
3.1 Foresight analysis 3.1 先見性分析
3.1.1 The AI trends identified by survey respondents 3.1.1 調査回答者が特定したAIのトレンド
3.1.2 The Horizon Scanning for relevant weak signals detection 3.1.2 ホライゾン・スキャニングによる弱シグナルの検知
3.1.3 Megatrends 3.1.3 メガトレンド
3.1.4 Results of the foresight analysis 3.1.4 先見性分析の結果
3.2.1 Overview of the policy recommendations on the AI implementation 3.2.1 AI導入に関する政策提言の概要
3.2.2  Recommendations 3.2.2 推奨事項
3.3 Conclusions of the study 3.3 研究の結論
Annex I – The online survey 附属書 I - オンライン調査
Annex II – Eight case studies 附属書 II - 8つのケーススタディ
Case II.1. De Virtuele Assistent (‘The Virtual Assistant’) (Belgium) ケースII.1.バーチャルアシスタント(ベルギー
Case II.2. Green public transport on demand (Bulgaria) ケースII.2.オンデマンドのグリーン公共交通(ブルガリア)
Case II.3. Vaasan kadut kuntoon (‘Fix the Streets’) (Finland) ケースII.3.街路を直せ」(フィンランド
Case II.4. Satellites for Wilderness Inspection and Forest Threat Tracking (SWIFTT) (Latvia) ケースII.4.原生地域監視・森林脅威追跡用人工衛星(SWIFTT)(ラトビア)
Case II.5. Vadindekset (‘The wet index’) project (Denmark) ケースII.5.Vadindekset(「湿った指標」)プロジェクト(デンマーク)
Case II.6. Policies for Holistic Urban Mobility and Accessibility (Cyprus) ケースII.6.総合的な都市モビリティとアクセシビリティのための政策(キプロス)
Case II.7   The AI-based LisNav application dedicated to transforming the lives of the visually impaired (Portugal) ケースII.7 視覚障害者の生活を変えるためのAIベースのLisNavアプリケーション(ポルトガル)
Case II.8. Immediate and Long-Term Energy Reduction (RECITAL) (France) ケースII.8.即時かつ長期的なエネルギー削減(前文)(フランス)
Annex III – Bibliography 附属書 III - 書誌情報

 

 

 

| | Comments (0)

より以前の記事一覧