| Can GenAI Services Be Trusted? | At the Discovery of STAR for AI |
GenAIサービスは信頼できるか？| GenAIのサービスは信頼できるのか｜AIのためのSTARの発見 |
| Written by Daniele Catteddu, Chief Technology Officer, CSA. |
CSA最高技術責任者、Daniele Cattedduが書いた。 |
| Whenever new technologies are introduced into our personal lives, organizations, or even society as a whole, we always ask the same question: Can I trust it? |
新しいテクノロジーが私たちの個人生活や組織、あるいは社会全体に導入されるとき、私たちはいつも同じ質問をする： それは信頼できるのか？ |
| Most recently, how many of us have asked ourselves whether, how, and within which limits we can trust LLM/GenAI services and their providers? This is a legitimate question, given that we are faced with an innovation that holds the potential to transform our lives profoundly. Policymakers and regulators seem to be grappling with similar concerns. Meanwhile, GenAI service providers are asking: How can we earn the trust of our customers, policymakers, regulators, and markets? |
最近では、LLM/GenAIのサービスやそのプロバイダを信頼できるのか、どのように、どの範囲内で信頼できるのか、どれだけの人が自問しているだろうか。私たちの生活を大きく変える可能性を秘めたイノベーションに直面していることを考えれば、これは正当な疑問である。政策立案者や規制当局も同様の懸念に取り組んでいるようだ。一方、GenAIサービス・プロバイダは、「どうすれば顧客、政策立案者、規制当局、市場のトラストを獲得できるのか？ |
| The same question was posed during the early days of cloud computing: Can I trust the cloud? Back then, the Cloud Security Alliance (CSA) brought together the expertise of providers, customers, auditors, and regulators to address the complex matters of trust and assurance in cloud computing, and we created the STAR Program. Building on that experience, CSA has introduced STAR for AI—a pioneering initiative inspired by those early days of cloud computing. |
クラウド・コンピューティングの黎明期にも同じ問いが投げかけられた： クラウドは信頼できるのか？当時、クラウド・セキュリティ・アライアンス（CSA）は、プロバイダ、顧客、監査人、規制当局の専門知識を結集して、クラウド・コンピューティングにおける信頼と保証の複雑な問題に取り組み、STARプログラムを創設した。その経験に基づき、CSAは、クラウド・コンピューティングの黎明期に着想を得た先駆的な取り組みであるSTAR for AIを導入した。 |
| I’m Daniele Catteddu, CTO at CSA and Co-Founder of the STAR Program. In this blog, I will discuss current GenAI services governance, trust, risk management, and compliance challenges and will introduce the STAR for AI initiative that aims to establish a standard for GenAI services assurance. |
私はCSAのCTOであり、STARプログラムの共同創設者であるDaniele Cattedduだ。このブログでは、現在のGenAIサービスのガバナンス、トラスト、リスクマネジメント、コンプライアンスの課題について説明し、GenAIサービス保証の標準確立を目指すSTAR for AIイニシアチブについて紹介する。 |
| What does it mean for a GenAI service provider to be trustworthy? |
GenAIサービスプロバイダが信頼に足るとはどういうことか？ |
| Or even better, what does it mean for a GenAI service to be trustworthy? |
あるいはそれ以上に、GenAIサービスが信頼に足るとはどういうことか？ |
| For our purpose, we’ll define a Trustworthy GenAI Service as one that is committed to serving humanity responsibly and ethically via safe technologies. |
我々の目的のために、信頼できるGenAIサービスとは、安全なテクノロジーを通じて、責任を持って倫理的に人類に奉仕することにコミットしているものと定義する。 |
| It is offered by a system that is robust, reliable, resilient, explainable, controllable, transparent, accountable, protects privacy, fosters fairness, and complies with all applicable laws and regulations. |
それは、堅牢で、信頼性があり、レジリエンシーがあり、説明可能で、制御可能で、透明性があり、説明責任を果たし、プライバシーを保護し、公平性を育み、適用法および規制を遵守するシステムによって提供される。 |
| Back in the early days of cloud computing, the challenges were: |
クラウド・コンピューティングの黎明期には、次のような課題があった： |
| ・The introduction of a new business and technological paradigm (someone else’s computer syndrome) |
・新しいビジネスと技術のパラダイムの序文（他人のコンピューター症候群） |
| ・Confusion on how to govern data (where is my data in the cloud obsession) |
・データをどのようにガバナンスするかについての混乱（クラウドの中の私のデータはどこにあるのかという強迫観念） |
| ・Confusion on how to govern new categories of services (SaaS Governance nightmare) |
・新しいカテゴリーのサービスをどのようにガバナンスするかについての混乱（SaaSガバナンスの悪夢） |
| ・Confusion about how to use and integrate the new technology and services into existing platforms and whether to revolutionize existing habits, systems, and platforms based on the new technology |
・新しいテクノロジーとサービスをどのように利用し、既存のプラットフォームに統合するか、また既存の習慣を変革するかどうかについての混乱、 |
| ・Confusion in the legal and regulatory landscape |
・法規制の混乱 |
| ・Lack of standards (both technical and assurance/quality standards) and need to retrofit existing ones |
・標準（技術標準と保証・品質標準の両方）の欠如と既存標準の改修の必要性 |
| For AI, the situation appears to be similar in many ways, with a few notable differences. The paradigm shift does not only affect businesses and technologies; it goes deeper into the very fabric of our society and personal lives. The new syndrome is not someone else’s computer but someone else’s (else’s) brain. The risk of over-reliance on the AI Oracle did not exist with the cloud. |
AIについては、いくつかの顕著な違いはあるものの、状況は多くの点で類似しているようだ。パラダイムシフトは、ビジネスやテクノロジーに影響を与えるだけでなく、私たちの社会や個人生活そのものに深く入り込んでいる。新しい症候群は、他人のコンピューターではなく、他人の（他人の）脳である。AIオラクルに過度に依存するリスクは、クラウドには存在しなかった。 |
| We have the same confusion regarding data governance (the obsession with “who is using my data for training?”) and service governance (How to prevent errors, abuses, and unwanted uses? How to understand what is real and what is fake? What is human vs. AI-generated? Shadow-AI paranoia, Evil-GTP fear, soon-to-be Evil AI Agent fear). |
データガバナンス（「誰が私のデータをトレーニングに使っているのか」というこだわり）やサービスガバナンス（エラーや乱用、望まない利用をどう防ぐか）に関しても、同じような混乱がある。何が本物で何が偽物かを理解するにはどうすればいいか？人間対AI生成的とは何か？シャドーAIパラノイア、Evil-GTPの恐怖、もうすぐ登場するEvil AI Agentの恐怖）。 |
| Similarly, many organizations face uncertainty, ranging between full embracement, timid acceptance, refusal, and complete denial. |
同様に、多くの組織は、完全な受け入れ、臆病な受け入れ、拒否、完全な否定の間の不確実性に直面している。 |
| Should I stay or should I go? The same old-school human resistance to change and legacy problem, exacerbated by the much stronger disruptive potential of GenAI compared to the cloud and mitigated by the substantially more advanced capabilities offered by GenAI. |
残るべきか、去るべきか？変化やレガシー問題に対する昔ながらの人間の抵抗は、クラウドと比較してGenAIの破壊的潜在力がはるかに強いために悪化し、GenAIが提供する実質的により高度な機能によって緩和される。 |
| What’s the current state of AI security assurance and trust? |
AIのセキュリティ保証と信頼の現状は？ |
| The political, legal and regulatory landscape is tough. The geo-strategic interests at stake are at a scale humanity has seen only during the nuclear race during WW2. Acknowledging GenAI as a potential existential threat underscores the urgency of robust governance. However, I recognize that framing it in terms of the nuclear race may hinder productive dialogue by evoking a zero-sum, adversarial mindset. Instead, GenAI's risks should be addressed through a combination of cooperative international agreements, transparent development practices, and enforceable safety standards. |
政治、法律、規制の状況は厳しい。地政学的な利害が絡んでおり、人類が第2次世界大戦中の核開発競争でしか見たことのない規模だ。GenAIを潜在的な脅威と認識することは、強固なガバナンスの緊急性を強調する。しかし、核開発競争という観点からこの問題をとらえることは、ゼロサム的で敵対的な考え方を想起させ、生産的な対話を妨げる可能性があることを私は認識している。その代わりに、GENAIのリスクは、協力的な国際協定、透明性のある開発慣行、強制力のある安全標準の組み合わせを通じて対処されるべきである。 |
| We all know we are playing with fire - everyone is trapped in this prisoner’s dilemma. Nobody is willing to stop the race to Superintelligence. Some believe that regulations are premature and potentially harmful. Others believe that in the absence of them, we’ll quickly lose control of society as we know it and go down the path of a dystopian future. |
囚人のジレンマに陥っているのだ。誰もがこの囚人のジレンマに陥っているのだ。誰も超知能への競争を止めようとはしない。規制は時期尚早であり、潜在的に有害だと考える者もいる。また、規制がなければ、私たちが知っているような社会のコントロールはたちまち失われ、ディストピア的な未来への道を歩むことになると考える人もいる。 |
| The EU, China, and Brazil have already adopted regulations: the EU AI Act, Generative AI Regulations (e.g. Measures for the Administration of Generative Artificial Intelligence Services) and Brazilian AI Bill, respectively. The EU AI Act, which I know a bit better, aims to strike a good balance between innovation, safety, and accountability. At the same time, the USA government appears to espouse a self-regulatory approach. In between, there are several other countries in the process of figuring out the principles and laws to rule and guide the transition toward a new AI-driven society. |
EU、中国、ブラジルはすでに、それぞれEU AI法、生成的AI規則（生成的人工知能サービス管理措置など）、ブラジルAI法案という規制を採用している。EUのAI法は、イノベーション、安全性、説明責任のバランスを取ることを目的としている。同時に、アメリカ政府は自主規制的なアプローチを支持しているようだ。その中間には、新しいAI駆動型社会への移行をルール化し導くための原則や法律を見つけ出そうとしている国がいくつかある。 |
| In the background, there is also a battle between parts of the scientific community. One side has the urge to slow down, or even pause, the exponential progress of AI until we have more solid solutions to the alignment problem. Others firmly believe we need to immediately commercialize these new technologies to build an AI-aware society and favor the embracement of the positive effect of GenAI. |
その背景には、科学界の一部による争いもある。一方は、アライメント問題に対するより確かな解決策が得られるまで、AIの指数関数的な進歩を遅らせたい、あるいは一時停止させたいという衝動に駆られている。他方では、AIを意識した社会を構築するためには、これらの新技術を直ちに商業化する必要があると固く信じており、GenAIのポジティブな効果を受け入れることを支持している。 |
| The standards are clearly in their infancy. We are slowly building the vocabularies and taxonomies to understand each other. However, we can anticipate that the consensus-building exercise that stands behind the standard creation seems to clash with the light-speed progress of AI technologies and the continuous release of solutions. |
標準は明らかに初期段階にある。互いを理解するための語彙や分類法が徐々に構築されつつある。しかし、標準作成の背後にある合意形成の運動は、AI技術の光速の進歩や継続的なソリューションのリリースと衝突するように思えることが予想される。 |
| Someone could summarize the situation as a bit chaotic... |
この状況を、ちょっと混沌としている......と表現する人がいるかもしれない。 |
| What is CSA going to do about it? |
CSAはどうするのか？ |
| In this chaos, at CSA, we decided to use the same principles, tips, and tricks that proved useful for cloud computing assurance to build an approach that can offer a solid, robust, understandable, and measurable “something” —a starting point— to reiterate and improve continuously. Over time, CSA hopes to achieve a better approximation of the measure of trustworthiness of the AI services that we’ll consume. |
この混沌の中で、CSAでは、クラウド・コンピューティングの保証に有用であることが証明されたのと同じ原則、ヒント、トリックを使用して、反復し、継続的に改善するための、堅実で、強固で、理解可能で、測定可能な「何か」（出発点）を提供できるアプローチを構築することにした。時間をかけて、CSAは、我々が利用するAIサービスの信頼性の尺度のより良い近似値を達成したいと考えている。 |
| This little “something” we are building is called STAR for AI. For those not familiar with CSA, STAR is the acronym for Security, Trust, Assurance, and Risk. STAR is CSA’s program for cybersecurity assurance, governance, and compliance, and its initial focus and scope was cloud computing. |
我々が構築しているこの小さな「何か」は、STAR for AIと呼ばれている。CSAをよく知らない人のために説明すると、STARはSecurity（セキュリティ）、Trust（信頼）、Assurance（保証）、Risk（リスク）の頭文字をとったものだ。STARはサイバーセキュリティの保証、ガバナンス、コンプライアンスのためのCSAのプログラムで、当初はクラウド・コンピューティングに焦点を当てていた。 |
| In the cloud computing industry, the STAR program is widely used as an indicator of cloud service trustworthiness, both in the private and public sector domains. For instance, some countries like Italy officially use it as a mechanism of adherence to national requirements for the public sector and critical infrastructures. |
クラウド・コンピューティング業界では、STARプログラムはクラウド・サービスの信頼性を示す指標として、民間・公共セクターを問わず広く利用されている。例えば、イタリアのように、公的部門や重要インフラに対する国家要件の遵守を示すメカニズムとして公式に使用している国もある。 |
| And we hope to achieve the same success with our latest initiative. |
そして我々は、最新のイニシアチブでも同様の成功を収めたいと考えている。 |
| STAR for AI will focus on Multimodal GenAI services and consider their overall value chain. This means the evaluation will have within its scope one or more of the following components: |
STAR for AIは、マルチモーダルなGenAIサービスに焦点を当て、そのバリューチェーン全体を検討する。これは、評価の範囲に以下の構成要素の1つ以上が含まれることを意味する： |
| 1) Cloud / Processing Infra / GenAI Operations, 2) Models, 3) Orchestrated Services, 4) Applications, and 5) Data (for reference please read the CSA LLM Threat Taxonomy). |
1) クラウド／処理インフラ／GenAIオペレーション、2) モデル、3) オーケストレーテッド・サービス、4) アプリケーション、5) データ（参考のため、CSA LLM脅威分類法をお読みください）。 |
| Additionally, the program will evaluate the security of AI service usage. |
さらに、このプログラムでは、AIサービス利用のセキュリティを評価する。 |
| Our goal is to create a trustworthy framework for key stakeholders to demonstrate safety and security, whether they are a Gen-AI frontier model owner, (added-value) AI service developers and providers, or AI services business users. |
我々の目標は、主要なステークホルダーが、Gen-AIフロンティアモデルオーナー、（付加価値のある）AIサービス開発者やプロバイダ、AIサービスビジネスユーザーのいずれであっても、安全性とセキュリティを実証するための信頼できる枠組みを構築することである。 |
| The program will focus on technical and governance aspects related to cybersecurity. Additionally, it will cover aspects of safety, privacy, transparency, accountability, and explainability as far as they relate to cybersecurity. |
このプログラムは、サイバーセキュリティに関連する技術的側面とガバナンスの側面に焦点を当てる。さらに、サイバーセキュリティに関連する限りにおいて、安全性、プライバシー、透明性、説明責任、説明可能性の側面もカバーする。 |
| The audit and evaluation approach will be risk-based, i.e., the suitability of the controls in place will be established based on the risks to which the service is exposed. The risk-based approach will ensure the audit and evaluation process is relevant to the context and use case. |
監査と評価のアプローチは、リスクベース、すなわち、サービスがさらされているリスクに基づいて、実施されているコントロールの適切性が確立される。リスクベースのアプローチは、監査・評価プロセスがコンテキストとユースケースに関連していることを保証する。 |
| The program will leverage existing auditing and accreditation standards, which might be AI-specific (e.g., ISO/IEC 42001-2023) or more general (ISO27001, ISO17021, 17065, etc.). It will include both point-in-time and continuous auditing. |
このプログラムは、AIに特化した標準（ISO/IEC 42001-2023など）またはより一般的な標準（ISO27001、ISO17021、17065など）の既存の監査・認定標準を活用する。これには、ポイント・イン・タイム監査と継続的監査の両方が含まれる。 |
| Introducing the AI Controls Matrix |
AIコントロール・マトリックスの導入 |
| As a first step, we are establishing a control framework for GenAI service security. The framework is open, expert-driven, consensus-based, and vendor-agnostic. Its ambition is to repeat and improve on the success of the Cloud Controls Matrix and become an industry de facto standard. |
第一段階として、GenAIサービス・セキュリティのためのコントロール・フレームワークを確立する。この枠組みは、オープンで、専門家主導で、コンセンサスに基づき、ベンダーにとらわれない。このフレームワークは、クラウドコントロールマトリックスの成功を繰り返し、改善し、業界のデファクトスタンダードとなることを目指している。 |
| The framework is called the CSA AI Controls Matrix (AICM). |
この枠組みはCSA AI Controls Matrix（AICM）と呼ばれている。 |
| We released it for peer review just before the end of 2024, hoping to offer our community a present for the beginning of the new year. |
我々は、2024年末の直前にピアレビューのためにこのフレームワークをリリースした。 |
| The initial version of AICM was designed to follow common sense principles of trustworthiness. We defined a taxonomy, created threat scenarios, and identified control objectives to mitigate the threats. The AI control objectives were framed in the CSA Cloud Control Matrix’s template and structure. We leveraged the strengths of the CCM model, and customized and improved where necessary. The team of volunteers contributing includes experts from industry, academia, and governmental bodies. Needless to say we also used the support of GenAI tools. |
AICMの初期バージョンは、信頼性の常識的な原則に従って設計された。我々は分類法を定義し、脅威シナリオを作成し、脅威を緩和するための制御目標を特定した。AIの管理目標は、CSAクラウド・コントロール・マトリックスのテンプレートと構造で組み立てられた。我々はCCMモデルの長所を活用し、必要に応じてカスタマイズと改善を行った。貢献したボランティアチームには、産業界、学界、政府団体の専門家が含まれている。GenAIツールのサポートも活用したことは言うまでもない。 |
| The current version of the AICM is structured in 18 domains. 17 are in common with the CCM, plus the addition of the Model Security Domain. There are 242 control objectives (37 of them AI-specific, 183 relevant to both AI and cloud, and 22 cloud-specific). |
AICMの現在のバージョンは、18のドメインで構成されている。17はCCMと共通で、加えてモデル・セキュリティ・ドメインが追加されている。242の管理目標がある（そのうち37はAI固有、183はAIとクラウドの両方に関連、22はクラウド固有）。 |
| This is our first call for action. If you care about AI service trustworthiness and/or are a subject expert on the matter, you should review the current draft of the AICM and contribute to improving it. It might seem like a hyperbole, but having your name on the standard that will design the boundaries of GenAI service trustworthiness, means leaving a legacy in history. |
これは、私たちが最初に呼びかける行動である。もしあなたがAIサービスの信頼性に関心があり、かつ/またはこの問題の専門家であるならば、AICMの現在のドラフトを見直し、改善に貢献すべきである。大げさに思えるかもしれないが、GenAIサービスの信頼性の境界を設計する標準にあなたの名前を載せることは、歴史に遺産を残すことを意味する。 |
| Determining assessment mechanisms |
アセスメントメカニズムの決定 |
| The other foundational component of STAR for AI is the auditing scheme, the conformity assessment mechanisms that will be used to evaluate the adherence of a given GenAI service to the AICM requirements. |
STAR for AIのもう一つの基礎となるコンポーネントは、監査スキームであり、与えられたGenAIサービスがAICM要件に準拠しているかどうかを評価するために使用される適合性評価メカニズムである。 |
| With the support of the auditing and assurance community, in 2024 we started to reason about the mechanisms fit for GenAI service cyber assurance evaluation. More in general, we started a discussion on the impact of AI on auditing and the future of assurance and trustworthiness. |
監査・保証コミュニティの支援により、2024年に我々はGenAIサービスのサイバー保証評価に適したメカニズムについて推論を開始した。より一般的には、AIが監査に与える影響、保証と信頼性の将来についての議論を開始した。 |
| We are exploring options. Several possible approaches are considered for use. Some are already existing and standardized (self-assessment, third-party audit, etc.), others are under development (continuous controls monitoring/auditing), and others might be introduced as a result of new technologies or new technical needs (e.g., Gen AI Auditing/Assessment). |
我々は選択肢を模索している。いくつかの可能性のあるアプローチを使用することを検討している。すでに存在し標準化されているもの（自己評価、サードパーティ監査など）、開発中のもの（継続的な統制モニタリング／監査）、新技術や新たな技術的ニーズの結果として導入される可能性のあるもの（Gen AI Auditing/Assessmentなど）などがある。 |
| Here comes our second call for action, and once again, it involves you taking a step forward, being a thought leader, and contributing to shaping the future of cyber assurance. If you would like to be involved in the creation of the auditing scheme, please get in touch. |
また、新技術や新たな技術的ニーズの結果として導入される可能性のあるものもある（例：Gen AI監査/評価）。ここでもまた、あなたが一歩を踏み出し、オピニオンリーダーとして、サイバーアシュアランスの未来を形作ることに貢献することが求められている。監査スキームの構築に関わりたい方は、ぜひご連絡いただきたい。 |
| An urgent call to action |
緊急の呼びかけ |
| Why are we building STAR for AI? Simple: Within our community, there’s a background voice that is increasing in volume by the second. It quickly became a scream. What we hear is a request to support the controlled adoption of GenAI services and the governance of its cybersecurity and safety. We need a mechanism to measure trustworthiness, and CSA is strategically committed to delivering such a solution. |
なぜ我々はAIのためのSTARを構築しているのか？単純なことだ： 我々のコミュニティーの中で、刻一刻とそのボリュームを増している背景の声がある。それはすぐに悲鳴となった。私たちが耳にするのは、GenAIサービスの制御された導入と、そのサイバーセキュリティと安全性のガバナンスをサポートしてほしいという要望だ。信頼性を測定するメカニズムが必要であり、CSAはそのようなソリューションを提供することに戦略的にコミットしている。 |
| To conclude, there is growing urgency in the market to establish reliable assurance and compliance mechanisms for governing GenAI services. This challenge is particularly complex as it intersects with broader ethical considerations and complex technology. |
結論として、GenAIサービスをガバナンスするための信頼できる保証とコンプライアンスのメカニズムを確立することが市場で急務となっている。この課題は、より広範な倫理的考察や複雑なテクノロジーと交差するため、特に複雑である。 |
| We face a notable paradox: even as we work to define parameters and metrics for GenAI trustworthiness, these technologies are already embedded in our organizations and personal lives. Adoption is only accelerating as organizations recognize the opportunities GenAI creates. Moreover, we are increasingly relying on GenAI tools for assessment and auditing processes, including autonomous decision-making. This creates the potential situation where we might depend on a technology to evaluate its own trustworthiness before we have established reliable methods to measure the integrity of the decisions the technology may take without human intervention. |
我々がGenAIの信頼性のパラメータと測定基準を定義しようと努力している間にも、これらのテクノロジーは既に我々の組織や個人生活に組み込まれている。GenAIが生み出す機会を組織が認識するにつれ、採用は加速する一方だ。さらに、自律的な意思決定を含むアセスメントや監査プロセスにおいて、GenAIツールへの依存度が高まっている。このことは、人間の介入なしにテクノロジーが行う意思決定の完全性を測定する信頼できる方法が確立される前に、テクノロジー自身の信頼性を評価するためにテクノロジーに依存する可能性があるという状況を生み出す。 |
| While this situation doesn't call for panic, it does demand urgent attention. I encourage all of you to contribute your expertise to the STAR for AI initiative to help address these critical challenges. |
この状況はパニックを引き起こすものではないが、緊急の注意が必要である。このような重大な課題に対処するため、STAR for AIイニシアティブに専門知識を提供していただきたい。 |
Recent Comments