« Cloud Security Alliance 量子後の世界への実践的な備え at 2021.10.19 | Main | 個人情報保護委員会 中小規模事業者の安全管理措置に関する実態調査(報告書)(令和3年3月)を公表 »


Cloud Security Alliance 継続的監査メトリクスカタログ at 2021.10.19


Cloud Security Alliance (CSA) が継続的監査メトリクスカタログについての文書を公表していますね。。。

Cloud Security Alliance (CSA)

・2021.10.19 The Continuous Audit Metrics Catalog

The Continuous Audit Metrics Catalog 継続的な監査メトリックスカタログ
Are traditional infosec assurance tools outdated? Many cloud customers think so. They see that technology changes quickly, and products are frequently evolving with continuous integration and deployment. Therefore, a certification obtained once a year after a third-party audit is not asufficient source of assurance anymore. It’s time to move from “point-in-time” assurance to continuous assurance. This change requires moving away from manual audits and instead building automated tools that continuously assess the effectiveness of an information system. In other words, it’s time to move to the world of security metrics. 従来の情報セキュリティ保証ツールは時代遅れではないなのか?多くのクラウド事業者はそう考えています。技術は急速に変化し、製品は継続的な統合と展開によって頻繁に進化しています。そのため、1年に1度、第三者機関による監査を受けて得られる認証は、もはや十分な保証の源ではありません。今こそ、「一時的」な保証から「継続的」な保証へと移行すべきなのです。そのためには、手動での監査をやめ、情報システムの有効性を継続的に評価する自動化ツールを構築する必要があります。言い換えれば、セキュリティメトリクスの世界に移行する時が来たのです。
There is no standard reference for the continuous auditing of cloud services that supports security metrics in a way that is comparable to what the CSA CCM or ISO/IEC 27002 does for security controls. To address this gap, CSA launched the Continuous Audit Metrics Working Group in early 2020 to build the first catalog of security metrics for the cloud. We have released the first version of this catalog that contains an initial set of 34 security metrics, each mapped to the CCM v4. These metrics aim to support internal CSP governance, risk, and compliance (GRC) activities and provide a helpful baseline for service-level agreement transparency.  CSA CCMやISO/IEC 27002がセキュリティ管理に対して行っているのと同等の方法で、セキュリティメトリクスをサポートする、クラウドサービスの継続的な監査のための標準的なリファレンスはありません。このギャップに対処するため、CSAは2020年初頭に継続的監査メトリクスワーキンググループを立ち上げ、クラウドのセキュリティメトリクスの最初のカタログを構築しました。このカタログには、34のセキュリティメトリクスの初期セットが含まれており、それぞれがCCM v4にマッピングされています。 これらのメトリクスは、CSPの内部のガバナンス、リスク、コンプライアンス(GRC)活動をサポートし、サービスレベル合意の透明性に役立つベースラインを提供することを目的としています。
Topics covered:  対象項目 
・Explanation of security metrics ・セキュリティメトリクスの説明
・How to measure the effectiveness of an information system ・情報システムの有効性を測定する方法
・How to enable continuous auditing ・継続的な監査を可能にする方法
・Catalog listing the 34 metrics ・34種類のメトリクスを掲載したカタログ
Included in this zip file: このZIPファイルに含まれるもの
・Continuous Audit Metrics Catalog ・継続的監査のための指標カタログ
・Code of Practice for Implementing and Maintaining Key Metrics ・主要メトリクスの導入と維持のための実施基準


・[PDF] 簡単な質問に答えるとダウンロードできます



Acknowledgments 謝辞
1. Introduction 1. はじめに
2. Security Metrics and Continuous Auditing 2. セキュリティメトリクスと継続的な監査
2.1 What Are Metrics? 2.1 メトリクスとは何か?
2.1.1 Terminology 2.1.1 用語解説
2.2 Benefits of metrics 2.2 メトリクスの利点
2.2.1 Measuring the Effectiveness of an Information System 2.2.1 情報システムの有効性の測定
2.2.2 Increasing the Maturity of an Organization’s Governance and Risk Management Approach 2.2.2 組織のガバナンスとリスク管理アプローチの成熟度を高める
2.2.3 Increasing Transparency, Fostering accountability, and Enabling Continuous Auditing and Compliance 2.2.3 透明性の向上、説明責任の遂行、継続的な監査とコンプライアンスの実現
2.3 Continuous Auditing 2.3 継続的な監査
2.4 Linking Metrics to the CCM 2.4 メトリクスとCCMの関連付け
2.5 Selecting and Using Metrics for Continuous Auditing 2.5 継続的監査のためのメトリクスの選択と使用
3. Catalog Structure 3. カタログの構成
3.1 Metric Description 3.1 メトリクスの説明
3.2 Sampling Period and Measurement Frequency 3.2 サンプリング期間と測定頻度
4. Metrics Catalog 4. メトリクスカタログ


Continuous Audit、継続的監査が含まれるについての記事


・2021.09.17 Cloud Security Alliance STAR認証:継続的監査の導入

・2021.06.30 WHO 保健のための人工知能の倫理とガバナンス

・2016.08.23 監査をもっと自動化できないか・・・

・2011.02.25 NIST IR-7756, Draft An Enterprise Continuous Monitoring Technical Reference Architecture




Code of Practice for Implementing and Maintaining Key Metrics


Code of Practice for Implementing and Maintaining Key Metrics キーメトリクスの導入と維持のための実施基準
Key metrics[1] should always be closely tied to your primary objectives. The key point is to choose metrics that clearly indicate where you are now in relation to your goals and your expected targets. To qualify as a metric, a measurement must be based on a deep understanding of process and connect with an objective management intended. キーメトリクス[1]は、常に主要な目標と密接に結びついていなければなりません。重要なポイントは、目標や予想されるターゲットに対して、現在の状況を明確に示す測定基準を選ぶことです。メトリクスとしての資格を得るためには、測定値がプロセスの深い理解に基づいており、意図された客観的な経営と結びついていなければなりません。
Key metrics should be improved. Key metrics measure progress, which means there needs to be room for improvement. For example, increasing your uptime by 3%. If you’re already at 100%, your team will be focused on maintaining that level instead of improving it. キーメトリクスは改善されるべきです。主要な測定基準は進捗状況を測定するものであり、改善の余地があることを意味します。例えば、アップタイムを3%向上させるとします。すでに100%であれば、チームは改善するのではなく、そのレベルを維持することに集中するでしょう。
Key metrics should inspire action. When your metrics are important and can be improved, it will be the pulse of the company and your team will immediately know what to do or what questions to ask in order to determine possible root causes and work to resolve them in a timely fashion. Key metrics are ever fluctuating. If they are static and not providing a measure of effectiveness (or lack thereof) they are not key metrics. 重要な測定基準は、行動を促すものでなければなりません。指標が重要で、改善可能であれば、それは会社の鼓動となり、チームはすぐに何をすべきか、どのような質問をすべきかを知り、考えられる根本的な原因を判断し、タイムリーに解決するために取り組むことができます。キーメトリクスは常に変動しています。もしそれらが静的で、効果(またはその欠如)の尺度を提供していなければ、それはキーメトリクスではありません。
1         Strategic and Aligned. To create effective key metrics, you must start at the endpoint with the goals, strategic objectives or outcomes you want to achieve. It’s important that performance metrics are aligned with corporate objectives. To align metrics, you need to devise them together in the context of an entire ecosystem designed to drive certain behaviors. 1 戦略的であること、整合性があること。効果的なキーメトリクスを作成するためには、達成したい目標、戦略的な目的、または成果のある終点から始めなければなりません。業績評価指標が企業目標と整合していることが重要です。評価基準を揃えるためには、特定の行動を促すように設計されたエコシステム全体の中で、評価基準を一緒に考案する必要があります。
2         Simple. Key metrics must be understandable. Stakeholders should be trained to know what is being measured, how it is calculated, what are data sources, what the targets are, how incentives work, and, more importantly, what they can do to affect the outcome in a positive direction.  2 シンプルであること 主要な測定基準は理解できるものでなければなりません。ステークホルダーは、何が測定されているのか、どのように計算されているのか、データソースは何か、ターゲットは何か、インセンティブはどのように働いているのか、そしてさらに重要なことは、結果を良い方向に導くために何ができるのかを知るためのトレーニングを受ける必要があります。
3         Establish RACI (Responsible, Accountable, Consulted and Informed). Every performance metric needs an owner who is held accountable for its outcome. Without accountability, metrics are meaningless. Additionally, recipients of every metric must be identified, different levels/details can be defined depending on the destination of the metric result (Management, Ops, Customers, ...) 3 RACI(Responsible, Accountable, Consulted and Informed)の確立。すべてのパフォーマンス指標には、その結果に責任を持つオーナーが必要です。説明責任がなければ、評価指標は意味をなしません。さらに、すべてのメトリックの受信者を識別する必要があり、メトリックの結果の宛先(経営陣、運用、顧客、...)に応じて異なるレベル/詳細を定義することができます。
4         Actionable. Metrics should be actionable. That is, if a metric trends downward, employees should know the corrective action process to facilitate the decision on what corrective actions to take to improve performance. To achieve that, metrics must have a defined objective (Target), and a defined threshold, when the metric is on its threshold, an action plan becomes mandatory in order to identify the root cause and define adapted measures. 4 実用的であること。メトリクスは実行可能でなければならない。つまり、あるメトリクスが下降傾向にある場合、従業員は是正措置のプロセスを知り、パフォーマンスを改善するためにどのような是正措置を取るべきかの判断を容易にする必要があります。そのためには、メトリクスには目的(ターゲット)と閾値が定義されていなければならず、メトリクスが閾値に達した場合には、根本原因を特定し、適応策を定義するためのアクションプランが必須となります。
5         Frequency (Hourly, Daily). Actionable metrics require timely data. Performance metrics must be updated frequently enough so the accountable individual or team can intervene to improve performance before it is too late. If needed for the same metric, different frequencies can be considered depending of the destination (Management, Ops, customers ...)   5.頻度(毎時、毎日)。実用的な測定基準には、タイムリーなデータが必要です。パフォーマンス指標は十分な頻度で更新されなければならず、説明責任を負う個人またはチームが手遅れになる前にパフォーマンスを改善するための介入を行うことができます。同一の測定基準で必要な場合は、目的地(経営陣、オペレーション、顧客...)に応じて異なる頻度を考慮することができます。 
6         Referenceable and Relevant. For users to trust a performance metric, they must understand its origins. Why did we choose this metric? Also important to remember that a performance metric has a natural shelf-life. When first introduced, the performance metric energizes the stakeholders to improve. Over time, the metric loses its impact as you reach your goal and processes and technology must be refreshed, or revised to stay relevant. 6 参照可能で関連性があること。ユーザーがパフォーマンス指標を信頼するためには、その起源を理解する必要があります。なぜこの指標を選んだのか?また、パフォーマンス指標には自然な賞味期限があることを覚えておくことも重要です。最初に導入されたとき、パフォーマンス指標はステークホルダーに改善のエネルギーを与えます。時間が経つにつれ、目標に到達し、プロセスやテクノロジーがリフレッシュされたり、関連性を保つために改訂されたりしなければならないため、メトリックはそのインパクトを失います。
7         Accurate and Correlated. It is difficult to create performance metrics that accurately measure an activity. The measurement system delivering the metric needs to be Repeatable and Reliable.  It is easy to choose metrics that do not accurately measure the intended objective. A good assessment should be reliable, valid, and free of bias, i.e; stable and consistent results. Periodic statistical evaluations should be performed to test the accuracy. Additionally performance metrics are designed to drive desired outcomes and/or achieve specific targets. When you choose metrics you must calculate the degree to which they influence the behaviors or expected outcomes. Companies must continually refresh performance metrics to ensure they correlate and drive the desired outcomes. 7 正確で相関性があること。ある活動を正確に測定するパフォーマンスメトリクスを作成することは困難です。メトリクスを提供する測定システムは、反復可能で信頼できるものである必要があります。 意図した目的を正確に測定しない測定基準を選択するのは簡単です。良い評価は、信頼性、妥当性、バイアスがないこと、すなわち、安定した一貫性のある結果でなければなりません。定期的に統計的な評価を行い、正確さを検証する必要があります。また、パフォーマンス・メトリクスは、望ましい結果を導くため、そして/または特定の目標を達成するために設計されます。指標を選択する際には、その指標が行動や期待される結果にどの程度の影響を与えるかを計算しなければならない。企業は、パフォーマンス指標を継続的に更新して、それらが相関関係にあり、望ましい結果を推進していることを確認しなければならない。
8         Tamper-proof. Organizations need to test all performance metrics to ensure that they can’t be circumvented. The process needs to be consistent. Data needs to be consistently collected from the same source and data submitted the same way, same schedule and using the same process. If the process is changed, it should be noted at that point in time so as not to confuse the analysis. 8 改ざん防止。組織は、すべてのパフォーマンス指標をテストし、回避できないことを確認する必要があります。プロセスは一貫している必要があります。同じソースから一貫してデータを収集し、同じ方法、同じスケジュール、同じプロセスでデータを提出する必要があります。もし、プロセスが変更された場合は、分析を混乱させないように、その時点で注意する必要があります。
 The metrics catalog containing the above elements should be formalized per indicator/Metric as an “indicator identity card”.  以上の要素を含むメトリクス・カタログは、指標・メトリックごとに「指標のアイデンティティ・カード」として正式に作成されるべきである。
[1] A key metric is also known as a key performance indicator, or KPI. A key metric is a statistic which, by its value gives a measure of an organization’s, department’s or processes overall health and performance. [キーメトリックは、キー・パフォーマンス・インジケータ(KPI)とも呼ばれています。キーメトリクスとは、その値によって組織、部門、プロセスの全体的な健全性やパフォーマンスを測ることができる統計値のことです。



« Cloud Security Alliance 量子後の世界への実践的な備え at 2021.10.19 | Main | 個人情報保護委員会 中小規模事業者の安全管理措置に関する実態調査(報告書)(令和3年3月)を公表 »


Post a comment

(Not displayed with comment.)

Comments are moderated, and will not appear on this weblog until the author has approved them.

« Cloud Security Alliance 量子後の世界への実践的な備え at 2021.10.19 | Main | 個人情報保護委員会 中小規模事業者の安全管理措置に関する実態調査(報告書)(令和3年3月)を公表 »