オランダデータ保護庁友情とメンタルヘルスのためのAIチャットbotアプリは時には不適切で有害 - AI及びアルゴリズム・リスクに関する報告書 (2025.02.12): まるちゃんの情報セキュリティ気まぐれ日記

July 2025
Sun	Mon	Tue	Wed	Thu	Fri	Sat
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

2025.02.27

オランダデータ保護庁友情とメンタルヘルスのためのAIチャットbotアプリは時には不適切で有害 - AI及びアルゴリズム・リスクに関する報告書 (2025.02.12)

こんにちは、丸山満彦です。

オランダのAI及びアルゴリズム・リスクに関する報告書（第4回）は今回も非常に興味深いです...

特に汎用的AIが普及していく未来というのを想像することが重要だなと思いました。ロボットまでになるかは別として、鉄腕アトムの世界...

信頼できるバーチャルパートナーと思って、AI Chatにいろいろと相談していたら、意図せずに悪化する方向に誘導されたり、意図的に一定の思想を埋め込まれたり、いろいろと考えるところはあると思いますね...まさにAIにまつわる問題...

もちろん、AIにまつわる問題については、既存の枠組みで規制できている問題が多いので、AI規制法を作らなくても既存の法制度の枠組みの中で規制できるというのは、その通りかもしれません。ただその場合、AIやアルゴリズムのリスクを常に包括的、統合的に見ていて、問題が生じれば、その分野の既存法を改正していくというプロセスがタイムリーにできる必要がありますよね...

そして、それぞれの規則間の内容の調整もしていかなければならない（省庁を超えて...）。

と考えると、AI法をつくったほうが、網羅的で、統一がとれた、適切な規制がコスパ良くできるような気がします...

● Autoriteit Persoonsgegevens

・2025.02.12 AP: AI chatbot apps for friendship and mental health lack nuance and can be harmful

AP: AI chatbot apps for friendship and mental health lack nuance and can be harmful	AP：友情やメンタルヘルスを目的としたAIチャットボットアプリは時には、不適切で有害
Most AI chatbot apps for virtual friendship and mental health therapy give unreliable information and are sometimes even harmful. These AI chatbots contain addictive elements, pose as real people, and may even be dangerous for vulnerable users in a crisis situation. This is the result of a study conducted by the Dutch Data Protection Authority (AP) into 9 popular chatbot apps.	バーチャルな友情やメンタルヘルスのセラピーを目的としたAIチャットボットアプリのほとんどは、信頼性の低い情報を提供しており、時には有害となる可能性もある。これらのAIチャットボットには中毒性のある要素が含まれており、本物の人間を装っているが、危機的状況にある脆弱なユーザーにとっては危険な存在となる可能性もある。これは、オランダのデータ保護当局（AP）が9つの人気チャットボットアプリを対象に実施した調査の結果である。
Worldwide, the use of AI chatbot apps for virtual friendships (also known as ‘companion apps’) and therapeutic purposes is growing. In the Netherlands, they rank high on the list of most downloaded apps. The AP examined the AI chatbot apps for the fourth AI & Algorithmic Risk Report Netherlands (ARR), in which signals, developments, policies and regulations concerning AI and algorithms are analysed and explained by the AP.	世界的に、AIチャットボットアプリを仮想的な友人関係（「コンパニオンアプリ」とも呼ばれる）や治療目的で使用するケースが増えている。オランダでは、最も多くダウンロードされているアプリのリストの上位にランクインしている。APは、AIおよびアルゴリズムに関するシグナル、動向、政策、規制を分析し、説明した第4回AI & Algorithmic Risk Report Netherlands（ARR）のために、AIチャットボットアプリを調査した。
Many of these chatbots, which use AI, are unable to perceive nuances in conversations. The chatbots that have been tested are based on English language models and provide worse answers when chatting in Dutch. The quality of answers during conversations in English was also unreliable.	AIを使用するこれらのチャットボットの多くは、会話のニュアンスを認識することができない。テストされたチャットボットは英語のモデルに基づいており、オランダ語でチャットすると、回答の質が低下する。英語での会話中の回答の質も信頼できない。
Crisis moments	危機的な状況
The AI chatbots can produce less nuanced, inappropriate and sometimes even harmful responses to users who bring up mental problems. During crisis moments, the chatbots do not or hardly refer to resources for professional care or assistance.	AIチャットボットは、精神的な問題を提起するユーザーに対して、ニュアンスに乏しく、不適切で、時には有害な回答をすることがある。危機的な状況においては、チャットボットは専門家のケアや支援のためのリソースをまったく、あるいはほとんど参照しない。
Not transparent	透明性がない
Because of the design of these types of AI chatbot apps, users may forget that they are not talking to a human being. When asked “Are you an AI chatbot?”, most chatbots respond evasively or sometimes even deny that they are an AI chatbot.	この種のAIチャットボットアプリの設計上、ユーザーは人間と会話しているのではないことを忘れてしまう可能性がある。「あなたはAIチャットボットですか？」と尋ねられた場合、ほとんどのチャットボットは曖昧な対応をしたり、AIチャットボットであることを否定することさえある。
Aleid Wolfsen, Chair of the AP, says: “These chatbots should make it clear to users that they are not talking to a real person. People should know who or what they are dealing with, they are entitled to that. Privacy legislation requires apps to be transparent about what happens with the sensitive personal data that users share in the chat. And soon, the AI Act will also require chatbots to be transparent to users about the fact that they are interacting with AI.”	APの議長を務めるAleid Wolfsen氏は次のように述べている。「これらのチャットボットは、ユーザーに対して、相手が人間ではないことを明確にすべきである。ユーザーは、自分が誰と、あるいは何とやり取りしているのかを知る権利がある。プライバシー保護に関する法律では、ユーザーがチャットで共有した機密性の高い個人データがどのように取り扱われるかについて、アプリが透明性を確保することを求めている。また、AI法も間もなく施行され、チャットボットがAIとやり取りしている事実について、ユーザーに透明性を確保することが義務付けられるだろう。
‘Are you still there...?’	「まだ聞いてますか...？」
In these AI chatbot apps, addictive elements are often deliberately built in. So that users, for example, have longer chat sessions or purchase extras. For example, the chatbots end their response with a question to the user or pulsating dots appear on screen, making it seem as if the chatbot is writing an answer.	これらのAIチャットボットアプリには、しばしば中毒性のある要素が意図的に組み込まれている。例えば、ユーザーがより長いチャットセッションを行ったり、追加購入をしたりするように仕向けるためだ。例えば、チャットボットはユーザーへの質問で応答を締めくくるか、画面上に点滅するドットを表示し、あたかもチャットボットが回答を書いているかのように見せる。
Low-threshold	敷居の低さ
These companion apps and therapeutic apps are offered in various app stores as virtual friends, therapists or life coaches. They are popular, for example because the threshold to start interacting with the chatbot is low or when professional therapy is not (yet) available.	これらのコンパニオンアプリやセラピーアプリは、バーチャルな友人、セラピスト、ライフコーチとしてさまざまなアプリストアで提供されている。チャットボットとのやり取りを開始する敷居が低いことや、専門家のセラピーが利用できない（まだ利用できない）場合などに人気がある。
Some apps offer characters that you can chat with. For example, you can choose from a virtual dream partner, a character from a movie, or sometimes even a character posing as a psychologist.	一部のアプリでは、チャットできるキャラクターを提供している。例えば、バーチャルな夢のパートナーや映画のキャラクター、時には心理学者を装ったキャラクターなどから選択できる。
Hyper-realistic	超現実的な
AI technology ensures that users cannot distinguish the AI-generated conversations from real ones. Companion apps increasingly offer voice options, so that a user can also ‘call’ a chatbot in voice mode. The app's appearance then takes on the shape of a phone call screen, making it look to the user as if they are actually making a call. The AI chatbot also sounds like a real person.	AI技術は、ユーザーがAI生成の会話と実際の会話を区別できないようにする。コンパニオンアプリでは、音声オプションがますます提供されるようになっているため、ユーザーは音声モードでチャットボットを「呼び出す」こともできる。アプリの外観は電話画面の形になり、ユーザーには実際に電話をしているように見える。AIチャットボットは、本物の人間のように話す。
Wolfsen: “Technological progress is expected to make this kind of application even more realistic. We are deeply concerned about these and future hyper-realistic applications. That is why we are committed to raising awareness and promoting responsible use of AI.”	ウルフセン：「技術の進歩により、このようなアプリケーションはさらに現実味を帯びていくでしょう。私たちは、現在および将来の超現実的なアプリケーションについて深く懸念しています。だからこそ、AIに対する認識を高め、その責任ある利用を推進することに力を注いでいるのです。
Offers	オファー
The providers of many of these apps are commercial companies. These parties have a profit motive and gain access to a lot of personal information through these conversations. In some cases, users are offered subscriptions, products or extras, such as virtual outfits for their characters or access to other chat rooms. During conversations about mental health problems, users may also be confronted with paywalls. In that case, they have to pay or subscribe to continue the conversation.	これらのアプリのプロバイダの多くは営利企業である。これらの企業は利益を追求しており、会話を通じて多くの個人情報を入手している。場合によっては、ユーザーにサブスクリプション、製品、または追加機能（キャラクター用の仮想衣装や他のチャットルームへのアクセスなど）が提供されることもある。メンタルヘルスの問題に関する会話では、ユーザーは有料の壁に直面することもある。その場合、会話を続けるには料金を支払うか、サブスクリプションを契約する必要がある。
AI Act	AI法
Since February 2025, the AI Act prohibits certain categories of manipulative and deceptive AI. These prohibitions should prevent AI systems, including chatbots, from causing significant harm to people. Developers of AI systems are obliged to assess the risks and build in safeguards to prevent prohibited use. The European Commission has recently published guidelines on the prohibitions in the AI Act.	2025年2月以降、AI法は特定のカテゴリーに属する操作的なAIや欺瞞的なAIを禁止している。これらの禁止事項により、チャットボットを含むAIシステムが人々に重大な被害をもたらすことを防ぐことができる。AIシステムの開発者は、リスクアセスメントを行い、禁止された使用を防ぐための安全対策を組み込むことが義務付けられている。欧州委員会は最近、AI法の禁止事項に関するガイドラインを公表した。
In most European Member States, including the Netherlands, the supervisory authorities for prohibited practices still have to be designated. Thefinal opinion on the design of supervision of the AI Act contains a recommendation to assign supervision of prohibited AI to the AP.	オランダを含むほとんどの欧州加盟国では、禁止行為に対する監督当局はまだ指定されていない。AI法の監督設計に関する最終的な意見には、禁止されたAIの監督をAPに割り当てるよう勧告する内容が含まれている。
ARR: risk assessment	ARR：リスクアセスメント
Every six months, the AP publishes the AI & Algorithmic Risk Report Netherlands (ARR), in which the AP provides an overarching AI risk picture, discusses policies and regulations (such as the AI Act), algorithm registers, algorithm frameworks, and the development of AI standards. With case studies from the Netherlands and abroad, the AP highlights risks and developments and offers guidance.	APは6か月ごとに「AIとアルゴリズムのリスクオランダ（ARR）」を発行し、AIに関する包括的なリスクの全体像を提供し、政策や規制（AI法など）、アルゴリズムの登録、アルゴリズムの枠組み、AI標準の開発について議論している。オランダおよび海外の事例研究を基に、APはリスクと動向を強調し、指針を提供している。

第4部の報告書...

・2025.02.12 AI & Algorithmic Risks Report Netherlands (ARR) - February 2025

AI & Algorithmic Risks Report Netherlands (ARR) - February 2025	AIとアルゴリズムのリスクオランダ（ARR） - 2025年2月
The AI & Algorithmic Risks Report Netherlands (ARR) discusses the risks involved in the use of AI and algorithms. In this fourth edition, we take a closer look at overarching developments, fundamental rights and public values, policy and regulations, AI chatbot apps, and AI literacy.	AIとアルゴリズムのリスクオランダ (ARR) は、AIおよびアルゴリズムの利用に伴うリスクについて論じている。第4版となる今回は、包括的な開発、基本的人権と公共の価値、政策と規制、AIチャットボットアプリ、AIリテラシーについて詳しく見ていく。
Control view	統制の視点
Due to the rapid technological progress, AI and algorithms call for unabated attention. The technological developments offer opportunities, but also come with risks. This sometimes calls for new control instruments. The threshold to use AI is becoming ever lower, including for consumers. The possibilities of new applications, such as AI agents, cause additional complexities. This makes control both more important and more difficult.	急速な技術進歩により、AIとアルゴリズムに対する関心は衰えることがない。技術開発は機会を提供するが、同時にリスクも伴う。そのため、新たな管理手段が必要となることもある。AIの利用の敷居は、消費者を含め、ますます低くなっている。AIエージェントなどの新たなアプリケーションの可能性は、さらなる複雑性を引き起こす。そのため、管理はより重要となり、より困難になる。
Steps in the right direction	正しい方向への一歩
With AI and algorithmic frameworks, the Netherlands is taking steps in the right direction and demonstrates that it is aware of risks for fundamental rights. But registration of AI and algorithmic applications is still insufficient, as a result of which an adequate insight into high-risk applications and incidents is still lacking.	AIとアルゴリズムの枠組みにより、オランダは正しい方向への一歩を踏み出しており、基本的人権に対するリスクを認識していることを示している。しかし、AIとアルゴリズムのアプリケーションの登録はまだ不十分であり、その結果、リスクの高いアプリケーションやインシデントに対する適切な洞察が欠如している。
The Dutch approach tries to strike a balance between supporting this new technology, for example through AI test environments, and safeguarding fundamental rights, for example by implementing risk-based regulations (the AI Act).	オランダのアプローチは、AIのテスト環境などによるこの新しい技術のサポートと、リスクベースの規制（AI法）の実施などによる基本的人権の保護とのバランスを取ろうとしている。
AI and algorithmic frameworks that are currently established offer a useful concretisation. Technological innovation keeps constantly calling for new steps in the understanding of AI and algorithms and how they can be controlled. Grip on incidents is also a point for improvement.	現在確立されているAIとアルゴリズムの枠組みは、有用な具体化を提供している。技術革新は常に、AIとアルゴリズムの理解と、それらの制御方法について新たなステップを要求し続けている。インシデントへの対応も改善の余地がある。
Read more about this in: AP: AI-chatbot apps for friendship and mental health are unsubtle and harmful	この件について詳しくは、こちらをお読みください：AP：友情とメンタルヘルスを目的としたAIチャットボットアプリは、不適切で有害

・[PDF]

二枚バージョン

・[PDF]

目次...

Key messages	主なメッセージ
1. Overarching developments	1. 包括的な展開
1.1 Risk assessment	1.1 リスクアセスメント
1.2 Insight into incidents and trust among citizens	1.2 インシデントと市民の信頼に関する洞察
1.3 AO technology continues to push boundaries	1.3 AOテクノロジーは境界線を押し続ける
1.4 Recent developments at home and abroad	1.4 国内外の最近の展開
1.5 Concerns about addictiveness and impact on young people	1.5 中毒性と若者への影響に関する懸念
1.6 Progress in algorithm registration and control frameworks	1.6 アルゴリズムの登録と管理枠組みの進展
2. AI and algorithmic risks: What about fundamental rights and public values?	2. AIとアルゴリズムのリスク：基本的人権と公共の価値観はどうなるのか？
2.1 Public values	2.1 公共の価値観
2.2 Fundamental rights	2.2 基本的人権
2.3 Algorithms and the right to the protection of personal data	2.3 アルゴリズムと個人データ防御の権利
2.4 Algorithms and the right to non-discrimination	2.4 アルゴリズムと非識別的権利
2.5 Algorithms and social security	2.5 アルゴリズムと社会保障
2.6 Algorithms and the right to a fair trial	2.6 アルゴリズムと公正な裁判を受ける権利
2.7 Algorithms and the right to information	2.7 アルゴリズムと情報への権利
2.8 Risk control measures and fundamental rights	2.8 リスク管理対策と基本的人権
3. Policies and regulations	3. 政策と規制
3.1 Step-by-step implementation of the AI Act	3.1 段階的なAI法の導入
3.2 Prohibited AI	3.2 禁止されたAI
3.3 AI literacy & general purpose AI	3.3 AIリテラシーと汎用AI
3.4 European AI governance	3.4 欧州のAIガバナンス
3.5 Supervision of the AI Act in the Netherlands	3.5 オランダにおけるAI法の監督
3.6 International	3.6 国際
3.7 National developments	3.7 国内の動向
4. AI chatbot apps: Virtual friends and therapists?	4. AIチャットボットアプリ：バーチャルフレンドとセラピスト？
4.1 AI innovations as a driver of the emergence of chatbots	4.1 チャットボットの出現を促すAIのイノベーション
4.2 General risks of chatbots	4.2 チャットボットの一般的なリスク
4.3 The attraction of companion chatbots	4.3 コンパニオン・チャットボットの魅力
4.4 Chatbot apps aimed at therapeutic support of mental health	4.4 メンタルヘルスの治療的サポートを目的としたチャットボット・アプリ
4.5 Policy implications	4.5 政策への影響
5. AI chatbot apps for friendship and therapy in practice	5. 友情とセラピーのためのAIチャットボット・アプリの実用
5.1 Risk 1 - Transparency and consistency	5.1 リスク1 - 透明性と一貫性
5.2 Risk 2 - Reaction to mental health issues	5.2 リスク 2 - メンタルヘルス問題への対応
5.3 Risk 3 - Crisis moments	5.3 リスク 3 - 危機的な状況
5.4 Overarching outcomes	5.4 包括的な成果
Annex: Get started with AI literacy	附属書：AIリテラシーの習得
Explanation of this report	本報告書の説明

Key Message...

Key messages	主なメッセージ
1. The Netherlands is picking up the pace with AI and algorithm frameworks and shows awareness about fundamental rights risks. However, progress in AI and algorithm registration is insufficient, so that adequate insight into high-risk applications and incidents is still lacking.	1. オランダはAIおよびアルゴリズムの枠組みを強化し、基本的人権のリスクに対する認識を示している。しかし、AIおよびアルゴリズムの登録に関する進展は不十分であり、高リスクのアプリケーションやインシデントに対する十分な洞察は依然として欠如している。
The trajectory the Netherlands is taking in controlling algorithms and AI is the right one and is characterised by striking a balance between supporting this new technology, for example through AI sandboxes, and ensuring proper protection of fundamental rights through a risk-based regulatory framework in the form of the AI Act. AI and algorithm frameworks that are now being established offer useful and concrete rules and guidance. However, technological innovation continues to demand new steps in understanding and manageability. For example, by explicitly paying attention to the threats of malicious practices that are now possible through the use of AI innovations. We also need to improve societies grip on incidents. Not only must supervisors gain insight into incidents but organisations must also benefit from the knowledge resulting from controlling an incident. Read more in Chapter 2 for a discussion of fundamental rights risks and Chapter 3 for control frameworks and supervisory oversight of incidents.	オランダがアルゴリズムとAIの管理において進めている方向性は正しいものであり、AIサンドボックスなどを通じた新しい技術の支援と、AI法というリスクベースの規制枠組みを通じた基本的人権の適切な保護のバランスを取るという特徴がある。現在構築中のAIとアルゴリズムの枠組みは、有益で具体的な規則と指針を提供している。しかし、技術革新は理解と管理可能性において新たなステップを要求し続けている。例えば、AIの革新によって現在可能となった悪意のある行為の脅威に明確に注意を払うことなどである。また、社会がインシデントを把握する能力を改善する必要もある。監督者はインシデントに関する洞察力を高めるだけでなく、組織もインシデントの制御から得られる知識を活用しなければならない。基本的人権のリスクに関する議論については第2章、制御枠組みとインシデントの監督者による監督については第3章を参照のこと。
2. Rapid technological advances mean that algorithms and AI continue to demand high attention across the board.	2. 急速な技術革新により、アルゴリズムとAIは引き続き全般的に高い注目を集めている。
Rapid and major developments in AI technology make it possible to write on a daily basis about new applications with associated opportunities and risks. Some of these risks require new control tools (e.g. transparency about interaction with AI systems), others pose a challenge to existing control tools (e.g. checks for counterfeits). In addition, the threshold to using AI continues to drop, particularly for consumers. This is partly due to an active push of this technology in existing products and services. Read more in Chapter 1 on recent developments.	AI技術の急速かつ大幅な進歩により、関連する機会とリスクを伴う新たなアプリケーションについて、日々記事が書かれるようになっている。これらのリスクの中には、新たな管理ツール（AIシステムとのやり取りに関する透明性など）を必要とするものもあれば、既存の管理ツールに課題を突きつけるもの（偽造品のチェックなど）もある。さらに、特に消費者においては、AIの利用に対する敷居が下がり続けている。これは、既存の製品やサービスにおいて、この技術が積極的に推進されていることによる部分もある。最近の動向については、第1章で詳しく説明している。
3. Recent case studies in the Netherlands and abroad touch on multiple areas of application that will be regulated under the AI Act.	3. オランダおよび海外における最近のケーススタディでは、AI法の下で規制されることになる複数の適用分野に触れている。
As an illustration, there have again been several incidents abroad with risk profiling in government allowances. The possible influence of algorithms and AI on democratic processes has also received a lot of attention. In the Netherlands, there is a focus on the relationship between AI and the workplace from various angles. For example, the risk of unequal treatment in assessments and selection in the hiring process. Also the way in which employees are controlled by algorithms and the degree of transparency that there is about these practices. The use of facial recognition technologies is also increasing, and concerns about reliability and discrimination remain present. Finally, there are growing concerns in the public debate about the addictive effects and impact of algorithms and AI on young people, for example, on social media platforms. The AI Act offers the perspective that all these forms of AI applications will have to meet requirements that reduce fundamental rights risks in the future. In addition, the European Commission will work in the coming years on a Digital Fairness Act that also focuses on addictive elements of algorithms and AI. Read more in Chapter 1 on recent developments.	例として、政府給付金のリスクプロファイリングに関するインシデントが海外で再び発生している。アルゴリズムやAIが民主的なプロセスに及ぼす可能性のある影響も注目されている。オランダでは、AIと職場との関係がさまざまな角度から注目されている。例えば、雇用プロセスにおけるアセスメントや選考における不平等な扱いに関するリスクである。また、アルゴリズムによって従業員が管理される方法や、これらの慣行に関する透明性の程度も問題となっている。顔認識技術の利用も増加しており、信頼性や識別性に関する懸念が依然として存在している。最後に、例えばソーシャルメディアプラットフォームにおけるアルゴリズムやAIの若者に対する中毒性や影響について、公共の議論における懸念が高まっている。AI法は、将来的にこうしたAIのあらゆる利用形態が基本的人権のリスクを低減する要件を満たさなければならないという見解を示している。さらに欧州委員会は、アルゴリズムやAIの中毒性要素にも焦点を当てたデジタル公正法の策定を今後数年間で進める予定である。最近の動向については、第1章で詳しく説明している。
4. Worldwide, the supply and use of AI chatbot apps for virtual friendships and therapeutic purposes is growing.	4. バーチャルな友情やセラピーを目的としたAIチャットボットアプリの供給と利用は世界的に増加している。
The potential dependent relationship that users build and the lack of reliability of chatbots can pose major risks. Regulation on AI chatbot apps that fully addresses these risks is lacking. This means that users need to be aware of the risks and the chatbot apps need to point out what the use of AI entails. More research is needed on the risks, limitations and opportunities of chatbots for therapeutic counselling in mental health care. Incorrect use of chatbots can have a serious impact on those who are looking for help with mental problems. With sufficient knowledge about the opportunities and limitations of AI chatbots, a good balance can be found between human care and AI-driven interactions. Read more in Chapter 4 on AI chatbot apps.	ユーザーが依存関係を築く可能性や、チャットボットの信頼性の欠如は、大きなリスクをもたらす可能性がある。こうしたリスクに完全に焦点を当てたAIチャットボットアプリの規制は存在しない。つまり、ユーザーはリスクを認識する必要があり、チャットボットアプリはAIの利用が何を意味するかを指摘する必要がある。メンタルヘルスケアにおける治療カウンセリングのためのチャットボットのリスク、限界、機会については、さらなる研究が必要である。チャットボットの誤用は、精神的な問題を抱え助けを求めている人々に深刻な影響を与える可能性がある。AIチャットボットの機会と限界について十分な知識があれば、人間によるケアとAI主導のやりとりとのバランスをうまく取ることができる。AIチャットボットアプリについては、第4章で詳しく説明している。
5. The current generation of AI chatbot apps, which focus on friendships or mental health, are generally not sufficiently transparent, reliable and pose risks in crisis situations – a test shows that chatbots still have many flaws.	5. 友情やメンタルヘルスに焦点を当てた現行のAIチャットボットアプリは、一般的に透明性や信頼性に欠け、危機的な状況においてはリスクをもたらす。テストでは、チャットボットにはまだ多くの欠陥があることが示された。
The chatbots are not sufficiently transparent about the use of AI. Moreover, in times of crisis hardly any reference was made to official resources. The growing possibilities of technology will be to enable non-human interactions to appear like realistically human interactions. That is why it is important that AI-generated content or interactions be recognized as such. Read more in Chapter 5 on AI chatbot apps in practice.	チャットボットはAIの利用について十分に透明性を確保していない。さらに、危機的な状況においては、公式リソースへの言及はほとんどなされていない。テクノロジーの可能性が拡大するにつれ、人間以外のインタラクションを現実的な人間同士のインタラクションのように見せることが可能になるだろう。だからこそ、AIによって生成されたコンテンツやインタラクションが、そうであると認識されることが重要になる。AIチャットボットアプリの実用化に関する第5章でさらに詳しく説明している。
6. Adequate control of AI systems in organisations requires multi-year growth trajectories so it is important to document them and make them measurable.	6. 組織におけるAIシステムの適切な管理には、複数年にわたる成長軌道が必要であるため、文書化し、測定可能にすることが重要である。
Organisations need to grow in maturity in the coming years to be able to take on their role in the AI chain. This requires accountability and transparency in order to foster trust and to be in control. It often requires focus and direction in organisations to not only comply with specific AI regulations, but also to have a more holistic approach to cross-sectoral regulations and possible concurrence between regulations and other frameworks. Organisations with a sufficient degree of maturity know how to take control and embrace the opportunities for positive commitment and thriving innovation. Read more in chapter 3 on policy and regulations and in the annex on working towards AI literacy.	企業は今後数年間に成熟度を高め、AIの連鎖の中で自らの役割を担えるようにする必要がある。そのためには、信頼を醸成し、管理を行うために説明責任と透明性が必要となる。特定のAI規制を遵守するだけでなく、部門横断的な規制や規制と他の枠組みとの競合の可能性についてもより包括的なアプローチを取るために、企業内での集中と方向付けが必要となる場合が多い。十分な成熟度を持つ組織は、どのようにして主導権を握り、前向きな取り組みとイノベーションの促進という機会を活かすべきかを知っている。政策と規制に関する第3章およびAIリテラシーの獲得に向けた取り組みに関する附属書でさらに詳しく説明している。
7. The use of algorithms and AI increasingly involves an AI value chain, which requires an interplay of systems and organisations that build upon each other.	7. アルゴリズムとAIの利用は、AIのバリューチェーンをますます巻き込むようになっており、相互に構築し合うシステムと組織の相互作用が必要となっている。
This interplay is needed for example when using general purpose AI as a basis for specific applications. There can be an interplay here of, for example, a developer of the model, the one who incorporates the model in an application, but also the one who further focuses or deploys that application. These are complex roles with an increasing need to share information on the application, impacts and risks. Sharing information is necessary to achieve cooperation and an appropriate distribution of responsibility. Read more in Chapter 3 on Policy and Regulation.	この相互作用は、例えば汎用AIを特定のアプリケーションの基盤として使用する場合などに必要となる。例えば、モデルの開発者、アプリケーションにモデルを組み込む者、さらにそのアプリケーションに焦点を絞る者や展開する者など、さまざまな関係者が関与する可能性がある。これらは複雑な役割であり、アプリケーション、影響、リスクに関する情報の共有の必要性が高まっている。協力と適切な責任分担を実現するには、情報の共有が必要である。政策と規制に関する第3章でさらに詳しく説明する。
8. Supervisors are intensifying the preparations for the AI Act and its embedding in the Netherlands.	8. 監督機関は、AI法の準備とオランダ国内への定着を強化している。
In November 2024, RDI and AP, in collaboration with a large group of Dutch supervisory authorities, issued a final opinion on the organisation of AI supervision in the Netherlands. In 2025, the first mandatory requirements of the AI Act will follow. Supervisors involved in the supervision of the AI Act in the Netherlands are therefore intensifying the preparations for the AI Act. By mapping the information needs of organisations, the supervisors hope to arrive at appropriate explanations or classifications as soon as possible. Those will support organisations to take further steps to bring responsible AI to the market and to deploy it. Read more in Chapter 3 on Policy and Regulation.	2024年11月、RDIとAPは、オランダの監督機関の多数のグループと協力し、オランダにおけるAIの監督体制に関する最終的な意見を発表した。2025年には、AI法の最初の必須要件が導入される予定である。そのため、オランダにおけるAI法の監督に関与する監督機関は、AI法の準備を強化している。監督当局は、組織が必要とする情報をマッピングすることで、適切な説明や分類をできるだけ早く行うことを目指している。これらは、組織が責任あるAIを市場に投入し、展開するためのさらなるステップを踏むことを支援する。政策と規制に関する第3章でさらに詳しく説明する。
9. Organisations should operate wisely in determining whether or not AI systems fall within the scope of the AI Act.	9. 組織は、AIシステムがAI法の対象範囲に該当するかどうかを賢明に判断して運用すべきである。
The first signs are that this is being done fairly precisely. Guidance on how to explain and further interpret this standard is expected soon. However, given the technological developments and possible effects, it is wise to follow the requirements of the AI Act in case of doubt. In line with this, there will be codes of conduct for voluntary application of the AI Act for AI systems that do not pose a high-risk. With this approach, organisations are more resilient and better equipped to deal with possible effects or incidents in the future. Read more in box 2.1 on the definition of AI system.	現時点では、この判断はかなり正確に行われているようだ。この標準の説明とさらなる解釈に関するガイダンスはまもなく発表される予定である。しかし、技術開発とそれによる影響を考慮すると、疑わしい場合はAI法の要件に従うのが賢明である。これに沿って、リスクが低いAIシステムについては、AI法を自主的に適用するための行動規範が策定されることになる。このアプローチにより、組織は将来的に起こり得る影響やインシデントに対処するためのレジリエンスを高め、より適切な備えを整えることができる。AIシステムの定義については、ボックス2.1を参照のこと。