EU議会 シンクタンク 子供と生成的AI(AIネイティブ?世代)(2025.02.18)
こんにちは、丸山満彦です。
EU議会のシンクタンクが子供と生成的AIについての簡単な考察を公表していますね...
日本では子供の個人情報の取扱いについて法制化の話がでてきています。そして、AI法案(活用のための基本法的なものですかね...)が国会に提出されています。
というタイミングですが、次のステップとしては、子供と生成的AIの議論を深めていく必要はありますよね...
ということで、これからの日本における議論においても、参考になりますかね...
このあたりの課題については、慶應大学の花田先生にも是非検討してもいたいですね...
● European Parliament - Think Tank
・2025.02.18 Children and generative AI
Children and generative AI | 子供と生成的AI |
Children are intensive users of digital tools such as artificial intelligence (AI). Generative AI – AI that can create new content such as text, images, videos and music – is becoming increasingly sophisticated, making it difficult to distinguish user-generated content from AI-generated (synthetic) content. If not supervised properly, these tools might carry risks for children, whose cognitive capacities are still developing. The need to strengthen generative AI literacy for children, educators and parents is therefore growing increasingly important, along with greater efforts by industry and enhanced implementation of AI legislation, including monitoring indicators. | 子どもたちは、人工知能(AI)などのデジタルツールの集中的なユーザーである。生成的AI(テキスト、画像、動画、音楽などの新しいコンテンツを生成できるAI)はますます洗練されてきており、ユーザーが生成したコンテンツとAIが生成した(合成)コンテンツを区別することが難しくなってきている。適切に管理されなければ、こうしたツールは、認知能力がまだ発達途上の子どもたちにとってリスクを伴うかもしれない。そのため、産業界による取り組み強化や、監視指標を含むAI法の施行強化とともに、子ども、教育者、保護者に対する生成的AIリテラシー強化の必要性がますます高まっている。 |
・[PDF]
Children and generative AI | 子どもと生成的AI |
Children are intensive users of digital tools such as artificial intelligence (AI). Generative AI – AI that can create new content such as text, images, videos and music – is becoming increasingly sophisticated, making it difficult to distinguish user-generated content from AI-generated (synthetic) content. If not supervised properly, these tools might carry risks for children, whose cognitive capacities are still developing. The need to strengthen generative AI literacy for children, educators and parents is therefore growing increasingly important, along with greater efforts by industry and enhanced implementation of AI legislation, including monitoring indicators. | 子どもは、人工知能(AI)などのデジタルツールの集中的なユーザーである。生成的AI(テキスト、画像、動画、音楽などの新しいコンテンツを生成できるAI)はますます高度化しており、ユーザーが生成したコンテンツとAIが生成した(合成)コンテンツを区別することが難しくなっている。適切に管理されなければ、こうしたツールは、認知能力がまだ発達途上の子どもたちにとってリスクを伴うかもしれない。そのため、産業界による取り組み強化や、監視指標を含むAI法制の施行強化とともに、子ども、教育者、保護者に対する生成的AIリテラシー強化の必要性がますます高まっている。 |
The first generation of digital natives growing up with AI | AIとともに成長するデジタルネイティブの第一世代 |
hildren and teenagers are avid internet users. Most children in the EU use their smartphones daily, and do so from a much younger age than a decade ago. Often, however, the online environments children access were not originally designed for them. Some countries such as Australia have passed laws to prevent children under the age of 16 from using social media platforms. At the same time, younger children have no problem bypassing the age requirements set by services such as social media. Likewise, children are already using AI embedded in apps, toys, virtual assistants, games, and/or learning software. A 2024 survey conducted in United Kingdom (UK) showed that 77.1 % of 13- to 18-year-olds had used generative AI, and findings suggest that they are twice as likely as adults to use it. The most common use is for helping with homework and seeking entertainment. The UK, under its AI opportunities action plan, favours the implementation of AI in school provided it is used under supervision. | 子供やティーンエイジャーは熱心なインターネット・ユーザーである。EUでは、ほとんどの子どもたちが毎日スマートフォンを利用しており、10年前よりもはるかに低年齢化している。しかし、多くの場合、子どもたちがアクセスするオンライン環境は、もともと子どもたちのために設計されたものではない。オーストラリアなど 一部の国では、16歳未満の子どもがソーシャル・メディア・プラットフォームを利用できないようにする法律が制定されている。その一方で、より小さな子どもたちは、ソーシャルメディアなどのサービスが定める年齢条件を回避することに何の問題も感じていない 。同様に、子どもたちはすでにアプリ、玩具、バーチャルアシスタント、ゲーム、学習ソフトウェアに組み込まれた AIを利用している。2024年にイギリス(UK)で実施された調査に よると、13歳から18歳の77.1%が生成的AIを 使用したことがあり、大人の2倍の確率で 使用していることがわかった。最も一般的な用途は 、宿題の手伝いや娯楽を求めることである。英国はAI機会行動計画のもと、監督下で使用されることを条件に、学校でのAIの導入を支持している。 |
As with other digital technologies, the most popular AI tools are not adopting specific measures to adapt their features to under-age users – aside from a minimum age for use. Claude's Anthropic, for instance, does not allow users under the age of 18 to use its services. ChatGPT requests parental consent from users between 13 and 18 years old. Google has recently adapted its Gemini AI chatbot by lowering the minimum age requirement from 18 to 13 years (for their student accounts only), and adopting additional protection measures, such as excluding those young users' data from its AI model training. Brazil adopted a similar protection measure by banning social media platform X from training its AI using children's personal data. | 他のデジタル技術と同様、最も普及しているAIツールは、最低 使用年齢を定める以外、未成年者に適応するための特別な措置を採っていない。例えば、クロードのAnthropicは、18歳未満のユーザーにサービスを利用させていない。ChatGPTは 、13歳から18歳のユーザーに保護者の同意を求めている。グーグルは最近、 AIチャットボット「ジェミニ」の最低年齢を18歳から13歳に引き下げ(学生アカウントに限る)、AIモデルのトレーニングからそのような若いユーザーのデータを除外するなどの追加保護措置を採用した。ブラジルは 、ソーシャルメディア・プラットフォームXが子どもの個人データを使ってAIを訓練することを禁止し、同様の保護措置を採用した。 |
Opportunities and challenges | チャンスと課題 |
Opportunities | 機会 |
Generative AI may bring many potential benefits, for instance in terms of integrating AI-driven tools into education – explaining how AI can help children develop a sense of curiosity and innovation; encouraging them to ask questions, to experiment, and to find solutions to real-world problems. | 生成的AIは多くの潜在的利益をもたらす可能性がある。例えば、AI主導のツールを教育に取り入れるという 点では、AIが子どもたちの好奇心やイノベーションの感覚を育むのにどのように役立つかを説明し、子どもたちに質問し、実験し、現実世界の問題に対する解決策を見つけるよう促すことができる。 |
When designing AI tools for learning purposes, providers of generative AI may influence children's interactions positively; for example, guiding children in developing their writing skills rather than replacing them. Integrating AI into education could also enhance accessibility for students with disabilities by supporting diverse learning needs. | 学習目的のAIツールを設計する 際、生成的AIを提供するプロバイダは、子どもたちの相互作用にポジティブな影響を与えるかもしれない。例えば、子どもたちが書くスキルを代替するのではなく、それを伸ばすよう導く。また、AIを教育に取り入れることで、多様な学習ニーズをサポートし、障害のある生徒のアクセシビリティを高めることもできる。 |
Challenges | 課題 |
Conversely, if not implemented adequately, generative AI may interfere with a child's learning and school development. UNICEF highlights that the way children interact with AI has both physiological and psychological implications. The recently formed international Beneficial AI for Children Coalition, involving multiple stakeholders, has committed to put forward guidelines that evaluate impact and mitigate risk. | 逆に、生成的AIが適切に導入されなければ、子どもの学習や学校での発達を妨げる可能性がある。ユニセフは 、子どもたちとAIとの関わり方には、生理的・心理的な影響があることを強調している。複数の利害関係者が参加し、最近結成された国際的な「子どものための有益なAI連合」は、影響を評価しリスクを緩和するガイドラインを提唱することにコミットしている。 |
The following are some key challenges associated with generative AI. | 以下は、生成的AIに関連する主な課題である。 |
Synthetic reality | 合成現実 |
The 2024 edition of the World Economic Forum's Global Risks Report ranks disinformation as the most serious risk the world may face in next 2 years – a risk likely to increase with the rise in synthetically generated content. In one survey, even expert linguists incorrectly perceived 62 % of AI-generated content as human-created. Children are particularly vulnerable to synthetic content such as deepfakes, and because of their still-developing cognitive abilities, can be manipulated more easily. A Massachusetts Institute of Technology Media Lab study has shown that 7-year-olds tend to attribute real feelings and personality to AI agents. Generative AI may also be used for malicious purposes towards children, including cyberbullying or online grooming. The increase in AI-generated online child sexual abuse is already a growing challenge for law enforcement. |
世界経済フォーラムの「グローバル・リスク・レポート」の2024年版では、偽情報が今後2年間に世界が直面する可能性のある最も深刻なリスクとして位置づけられている。ある調査では、専門の言語学者でさえ、AI生成的コンテンツの62%を人間が作成したものと誤って認識している。子どもたちはディープフェイクのような合成コンテンツに特に脆弱であり、認知能力がまだ未発達であるため、より簡単に操られる可能性がある。マサチューセッツ工科大学メディアラボの研究によると、7歳の子どもはAIエージェントに本物の感情や人格を与える傾向があるという。生成的AIはまた、ネットいじめやネット上でのグルーミングなど、子どもに対する悪意のある目的に使われる可能性もある。生成的AIによるオンライン児童性的虐待の増加は、すでに法執行機関にとって大きな課題となっている。 |
Reduced critical thinking | 批判的思考の低下 |
Significant concerns focus on the potential consequences of AI-assisted learning for students' research, writing and argumentation skills, as generative AI's capability in data analysis and automation could reduce students' cognitive skills, in particular their critical thinking and problem solving. However, some research advocates integrating AI into learning tools to enhance critical thinking and problem solving, as this would help students develop the analytical skills needed for a technology-driven future. | 生成的AIがデータ分析と自動化を可能にすることで、生徒の認知能力、特に批判的思考と問題解決能力が低下する可能性があるため、AI支援学習が生徒の研究、作文、論述能力に及ぼす潜在的影響に大きな懸念が集まって いる。しかし、AIを学習ツールに組み込んで、批判的思考や問題解決を強化することを提唱する研究も ある。これは、テクノロジー主導の未来に必要な分析スキルを学生が身につけるのに役立つからだ。 |
Digital divides and AI literacy | デジタルデバイドとAIリテラシー |
According to UNESCO, AI literacy entails the skills and knowledge required for effective use of AI tools in everyday life, with an awareness of the risks and opportunities associated with them. Incorporating AI literacy is therefore essential for building foundational understanding and skills to bridge the digital divide and foster inclusion. Despite the pivotal role of learning development, AI literacy is still more commonly implemented at secondary schools and universities than it is at primary schools. From a gender perspective, the Organisation for Economic Co-operation and Development (OECD) highlights that AI may exacerbate gender disparities if gender equality issues are not addressed adequately when the AI tools are trained. Moreover, AI tools are mainly trained on the world's three most spoken languages (Chinese, English and Spanish), thereby making AI less safe for people who speak low-resource languages (those for which limited linguistic data for training AI models are available), since AI tools are less precise in those languages. Educational stakeholders will likely have a key role to play in tackling these concerns by preparing teachers for an ethical use of AI and adapting curricula. | ユネスコによると、AIリテラシーとは、日常生活でAIツールを効果的に使用するために必要なスキルと知識を含み、AIツールに関連するリスクと機会を認識することである。したがって、AIリテラシーを 取り入れることは、デジタルデバイドを解消し、インクルージョンを促進するための基礎的な理解とスキルを構築するために不可欠である。学習開発は極めて重要な役割を担っているにもかかわらず、AIリテラシーは小学校よりも中学校や大学で実施されることが まだ多い。ジェンダーの観点から、経済協力開発機構(OECD)は、AIツールのトレーニング時に男女平等の問題が十分に取り上げられない場合、AIが男女格差を悪化させる可能性があると強調している。さらに、AIツールは主に世界で最も話されている3つの言語(中国語、英語、スペイン語)で学習されるため、リソースの少ない言語 (AIモデルを学習するための言語データが限られている言語)を話す人々にとっては、AIツールの精度が低く、AIの安全性が低くなる。教育関係者は、AIの倫理的使用のために教師を準備し 、カリキュラムを適応させることによって、こうした懸念に取り組む上で重要な役割を果たすことになるだろう。 |
Current EU action and way forward | EUの現在の取り組みと今後の方向性 |
The EU seeks to secure children's online rights. The Digital Services Act (DSA) requires digital platforms to prioritise children's safety and privacy and protect them from illegal content. Measures that have to be put in place include age verification and not showing ads based on profiling of minors. The EU's Better Internet for Kids (BIK+) strategy seeks to boost digital literacy, provide awareness raising material, information and educational resources, and create a safer internet environment for young people. Yet neither the Council recommendation on key competences for lifelong learning (last updated in 2018) nor the Digital Decade policy programme 2030 include AI literacy as a specific competence, and only few Member States have introduced AI competences in their school curricula. The European Commission's ethical guidelines on the use of AI and data in teaching are meant as a tool for educators. | EUは、子どもたちのオンライン上の権利を確保しようとしている。デジタルサービス法(DSA)は、デジタルプラットフォームに対し、子どもの安全とプライバシーを最優先し、違法コンテンツから保護することを求めている。年齢検証や、未成年者のプロファイリングに基づく広告を表示しないなどの対策を 講じる必要がある。EUの「Better Internet for Kids(BIK+)」戦略は、デジタルリテラシーを向上させ、啓発資料、情報、教育リソースを提供し、青少年にとってより安全なインターネット環境を作ろうとしている。しかし、生涯学習のための主要能力に関する理事会勧告 (最終更新は2018年)にも、「デジタルの10年」政策プログラム2030にも 、特定の能力としてAIリテラシーは含まれておらず、加盟国のうち 学校カリキュラムにAI能力を導入している国はわずかである。教育におけるAIとデータの利用に関する 欧州委員会の倫理指針は 、教育者のためのツールとして意図されている。 |
The EU's recently adopted AI Act is the world's first comprehensive AI law. It sets uniform rules to create a single market for trustworthy AI applications that fully respect fundamental rights, including children's rights. It has entered into force and will apply in full from 2 August 2027. The act classifies AI systems as high risk for some areas of education, such as access or admission to education, systems to evaluate learning outcomes, assessment of educational levels, and detection of students' prohibited behaviour. General provisions will also benefit children once implemented, such as a requirement to watermark deepfakes and other AI-generated materials, and to inform children when they are interacting with AI. | EUが最近採択したAI法は 、世界初の包括的なAI法である。これは、子どもの権利を含む基本的権利を完全に尊重 した、信頼できるAIアプリケーションの単一市場を創出するための統一ルールを定めたものである。この法律は発効し、2027年8月2日から全面的に適用される。同法は、教育へのアクセスや入学、学習成果を検知するシステム、教育レベルのアセスメント、生徒の禁止行為の検知など、一部の教育分野においてAIシステムを高リスクに分類している。一般規定は、ディープフェイクや その他のAIが生成した教材に電子透かしを入れる 義務や、AIと対話する際に子どもたちに情報を提供する義務など、実施されれば子どもたちにも恩恵がある。 |
The General Data Protection Regulation (GDPR) states that children merit specific protection, as they may not be fully aware of the risks and consequences that the disclosure of personal data in data processing may involve. In the context of the rise of AI, the need for more data literacy is therefore being proposed. | 一般データ保護規則(GDPR)は、子どもはデータ処理におけるパーソナルデータの開示が伴うリスクや結果を十分に認識していない可能性があるため、特別な保護に値するとしている。したがって、AIの台頭を背景に、データリテラシーを 高める必要性が提唱されている。 |
Overall, a significant gap needs to be addressed to avoid AI digital divides, and additional research is necessary to fully understand the future implications of generative AI use by children. Under the Digital Decade compass and the digital economy and society index (DESI) dashboard, for instance, no common indicators or statistics at EU level are currently available. The next review of the Digital Decade policy programme, envisaged for June 2026, might offer an opportunity for the European Commission to introduce target indicators in this area. | 全体として、AIのデジタルデバイドを回避するためには、大きなギャップに対処する必要があり、子どもたちによる生成的AI利用の将来的な意味を十分に理解するためには、さらなる研究が必要である。例えば、「デジタルの10年」 コンパスやデジタル経済社会指数(DESI)ダッシュボードでは、現在、EUレベルでの共通指標や統計はない。2026年6月に予定されている「デジタルの10年」政策プログラムの次回の見直しは、欧州委員会がこの分野の目標指標を導入する機会となるかもしれない。 |
リンクされているウェブ...
● European Commission
・2024.07.02 Report on the state of the Digital Decade 2024
・Europe’s Digital Decade: digital targets for 2030
・2024.05.27 AI for teaching and learning
・2022.05.11 New EU strategy to protect and empower children in the online world
・2022 Informatics education at school in Europe - Eurydice report
● European Parliament
・2024.09.02 Artificial intelligence act
・2023.12.13 Generative AI and watermarking
・2023.02.15 Online age verification methods for children
・2022.09.28 The new European strategy for a better internet for kids (BIK+)
● The New York Times
・2024.11.28 How Australia Will (or Won’t) Keep Children Off Social Media
● OECD
国ごとのAI投資額とか、AIインシデントなどの経年変化も...
● Ofcom
・2023.09.27 Children’s Media Use and Attitudes
● U.K. Department for Science, Innovation & Technology
・2025.01.13 AI Opportunities Action Plan
● JISC
・2025.01.02 Navigating the terms and conditions of generative AI
利用規約...
● ANTHROP
● OpenAI
・利用規約
● ZDNET
・2024.06.24 Google's Gemini AI chatbot is now available to younger students in Workspace - how it's different
● Human Rights Watch
・2024.12.20 Brazil Bans X from Using Children to Power Its AI
● World Economic Forum; WEF
・2024.04.30 In a world of deepfakes, we must build a case for trustworthy synthetic AI content
・2024.04.28 Shaping the Future of Learning: The Role of AI in Education 4.0
・2024.01.10 Global Risks Report 2024
・2023.08.22 How will generative AI affect children? The need for answers has never been more urgent
● HARVARD GRADUATE SHOOL OF EDUCATION
・2024.10.02 The Impact of AI on Children's Development
● babl
・2024.11.14 Navigating the New Frontier: How the EU AI Act Will Impact the Education and Training Industry
● UNICEF & WEF
・[PDF] Children and AI - Where are the opportunities and risks?
● Paris Peace Forum
・Beneficial AI for Children Coalition
● European Union
・2023 The Digital Services Act (DSA) explained - Measures to protect children adn young people online
● Research Methods in Applied Linguistics
● MIT Media Lab
・Kids, AI devices, and intelligent toys
● PARKVIEW
・2024.10.10 Artificial Intelligence and online harassment
● About Safeguard
・2023.03.10 AI-assisted online grooming
● Internet Watch Foundation
・2024.10.18 Public exposure to ‘chilling’ AI child sexual abuse images and videos increases
● ResearchGate
・2024.08 Risks of AI-Assisted Learning on Student Critical Thinking:
● UNESCO
・2021 AI and education: guidance for policy-makers
● BIRMINGHAM CITY UNIVERSITY
・2021 AI literacy – the role of primary education
● Computers and Education: Artificial Intelligence
● OECD.AI
・2023.03.08 Artificially Inequitable? AI and closing the gender gap
● UNICEF
・The State of the World's Children 2024
● AIModels.fyi
・2023.10.06 Researchers: Low-Resource Languages Can Easily Jailbreak LLMs
● Common Sense Media
・2024.08 [PDF] Generative Ai in K-12 Education; Challenges and Opportunities
● EUR-Lex
・2018.03.22 Council Recommendation of 22 May 2018 on key competences for lifelong learning (Text with EEA relevance.)
● Council of Europe
・2024.05.13 [PDF] Lack of Public Education and Awareness on AI Tools and AI generated content among people enrolled in High Schools and Universities courses
● Datos.gob.es
・2024.09.13 The importance of data literacy in the context of digital rights and the rise of artificial intelligence
● BERA
・2022.06.01 Conceptions and perspectives of data literacy in secondary education
Comments