NIST NISTIR 8409 (ドラフト) 共通脆弱性評点システムの基礎評点の計算式の測定

こんにちは、丸山満彦です。

NISTが、NISTIR 8409 (ドラフト) 共通脆弱性評点システムの基礎評点の計算式の測定を公表し、意見募集をしていますね。。。

なかなか興味深い報告書です。。。

● NIST - ITL

・2022.06.08 NISTIR 8409 (Draft) Measuring the Common Vulnerability Scoring System Base Score Equation

NISTIR 8409 (Draft) Measuring the Common Vulnerability Scoring System Base Score Equation	NISTIR 8409 (ドラフト) 共通脆弱性評点システムの基礎評点の計算式の測定
Announcement	発表
Calculating the severity of information technology vulnerabilities is important for prioritizing vulnerability remediation and helping to understand the risk of a vulnerability. The Common Vulnerability Scoring System (CVSS) is a widely used approach to evaluating properties that lead to a successful attack and the effects of a successful exploitation. CVSS is managed under the auspices of the Forum of Incident Response and Security Teams (FIRST) and is maintained by the CVSS Special Interest Group (SIG). Unfortunately, ground truth upon which to base the CVSS measurements has not been available. Thus, CVSS SIG incident response experts maintain the equations by leveraging CVSS SIG human expert opinion.	情報技術の脆弱性の深刻度を計算することは、脆弱性修正の優先順位付けや、脆弱性のリスクの把握に役立つため、重要です。共通脆弱性評点システム（CVSS）は、攻撃の成功につながる特性や悪用が成功した場合の影響を評価するためのアプローチとして広く利用されています。CVSSは、FIRSTの後援を受け、CVSS Special Interest Group (SIG)によって維持管理されています。残念ながら、CVSS測定の基礎となるグランド・トゥルースは利用可能ではありません。そのため、CVSS SIGのインシデントレスポンスの専門家が、CVSS SIGの人間の専門家の意見を活用し、数式を維持しています。
This work evaluates the accuracy of the CVSS “base score” equations and shows that they represent the CVSS maintainers' expert opinion to the extent described by these measurements. NIST requests feedback on the approach, the significance of the results, and any CVSS measurements that should have been conducted but were not included within the initial scope of this work. Finally, NIST requests comments on sources of data that could provide ground truth for these types of measurements.	この研究では、CVSSの「基礎評点」式の精度を評価し、この測定値がCVSSメンテナンス担当者の専門的な意見を表現していることを示しました。NISTは、このアプローチ、結果の重要性、およびこの作業の最初の範囲に含まれなかったが実施されるべきであったCVSS測定に関するフィードバックを求めます。最後に、NISTは、この種の測定にグランドトゥルースを提供できるデータソースについてのコメントを求めています。
Abstract	概要
This work evaluates the validity of the Common Vulnerability Scoring System (CVSS) Version 3 ``base score'' equation in capturing the expert opinion of its maintainers. CVSS is a widely used industry standard for rating the severity of information technology vulnerabilities; it is based on human expert opinion. This study is important because the equation design has been questioned since it has features that are both non-intuitive and unjustified by the CVSS specification. If one can show that the equation reflects CVSS expert opinion, then that study justifies the equation and the security community can treat the equation as an opaque box that functions as described.	この研究は、共通脆弱性評点システム(CVSS) 第3版 の「基礎評点」式の有効性を、その保守者の専門的な意見を反映させることで評価するものです。CVSSは、情報技術の脆弱性の深刻度を評価するために広く利用されている業界標準であり、人間の専門家の意見に基づいています。この研究は、CVSSの仕様から直感的でなく、正当化できない特徴を持つ方程式の設計が疑問視されているため、重要です。もし、数式がCVSS専門家の意見を反映していることを示すことができれば、その研究は数式を正当化し、セキュリティコミュニティは数式を説明どおりに機能する不透明な箱として扱うことができます。
This work shows that the CVSS base score equation closely though not perfectly represents the CVSS maintainers' expert opinion. The CVSS specification itself provides a measurement of error called ``acceptable deviation'' (with a value of 0.5 points). In this work, the distance between the CVSS base scores and the closest consistent scoring systems (ones that completely conform to the recorded expert opinion) is measured. The authors calculate that the mean scoring distance is 0.13 points and the maximum scoring distance is 0.40 points. The acceptable deviation was also measured to be 0.20 points (lower than claimed by the specification). These findings validate that the CVSS base score equation represents the CVSS maintainers' domain knowledge to the extent described by these measurements.	この研究は、CVSS基礎評点の式が、完全ではないものの、CVSS保守者の専門家の意見を忠実に反映していることを示しました。CVSS仕様自体は、「許容距離」（0.5点の値）と呼ばれる誤差の測定法を提供しています。この研究では、CVSSの基礎評点と、最も整合性の高い評点システム（記録された専門家の意見に完全に適合するもの）との間の距離を測定しています。著者らは、平均得点距離は0.13点、最大得点距離は0.40点であると計算しています。また、許容距離は0.20点と測定されました（仕様で主張されている値より低い）。これらの結果は、CVSSの基礎評点式がCVSS保守者のドメイン知識をこれらの測定で説明される程度に表していることを検証するものです。

・[PDF] NISTIR 8409 (Draft)

目次...

Executive Summary	エグゼクティブサマリー
1 Introduction	1 はじめに
2 Common Vulnerability Scoring System	2 共通脆弱性評点システム
2.1 CVSS Base Score Metrics	2.1 CVSS基礎評点の指標
2.2 CVSS Base Score Equations	2.2 CVSS 基礎評点の計算式
3 Rationale for the CVSS Base Score Equations	3 CVSS 基礎評点評点式の根拠
3.1 Development of the CVSS Base Score Equation	3.1 CVSS基礎評点評点式の開発
3.2 Acceptable Deviation	3.2 許容距離
4 Metrology Tools, Metrics, and Algorithms	4 計測ツール、計測指標、アルゴリズム
4.1 Knowledge Encoder Tool	4.1 知識エンコーダツール
4.2 Knowledge Constraint Graphs	4.2 知識制約グラフ
4.2.1 Equivalency Sets	4.2.1 等価性セット
4.2.2 Magnitude Measurements	4.2.2 マグニチュード測定
4.2.3 Simplifed Graphs	4.2.3 簡略化されたグラフ
4.3 Inconsistency Metrics for Knowledge Constraint Graphs	4.3 知識制約グラフの非整合性指標
4.4 Voting Unifcation Algorithm	4.4 投票統一アルゴリズム
4.4.1 Analysis of Votes	4.4.1 投票の分析
4.4.2 Priority Ordering	4.4.2 優先順位付け
4.4.3 Unifed Graph Construction	4.4.3 統一されたグラフの構築
4.4.4 Description of Constructed Graph	4.4.4 構築されたグラフの説明
5 Data Collection and Processing	5 データ収集と処理
5.1 Data Set of Analyzed Vectors	5.1 解析対象ベクターのデータセット
5.2 Volunteer Participants	5.2 ボランティア参加者
5.3 Produced Knowledge Constraint Graphs	5.3 作成された知識制約グラフ
5.4 Knowledge Constraint Graph Inconsistency Measurements	5.4 知識制約グラフの非整合性の測定
5.4.1 Graph f00	5.4.1 グラフf00
5.4.2 Graph 977	5.4.2 グラフ977
5.5 Unifed Knowledge Constraint Graph	5.5 統一された知識制約グラフ
5.6 Optimal Number of Equivalency Sets	5.6 最適な等価集合の数
6 Measurement Approach	6 測定方法
6.1 Consistent Scoring Systems	6.1 無矛盾な採点システム
6.1.1 Scoring System Defnition	6.1.1 評点リング・システムの定義
6.1.2 Consistent Scoring System Defnition	6.1.2 無矛盾な評点システムの定義
6.2 Generation of a Closest Consistent Scoring System	6.2 最も近い無矛盾性評点システムの生成
6.3 Measurement Methodology	6.3 測定方法
7 Measurement Results	7 測定結果
7.1 Mean Scoring Distance	7.1 平均得点距離
7.2 Maximum Scoring Distance	7.2 最大採点距離
7.3Acceptable Deviation	7.3 許容距離
7.4 Increasing Accuracy with More Data	7.4 より多くのデータによる精度の向上
8 Interpretation of Results and Related Work	8 結果の解釈と関連研究
9 Conclusion	9 まとめ
References	参考文献
List of Appendices	附属書一覧
Appendix A—Acronyms	附属書A - 頭字語
Appendix B- Set of Evaluated CVSS vectors	附属書B - 評価済みCVSSベクトル集合
Appendix C- Encoded Knowledge Constraint Graphs	附属書C - 符号化された知識制約グラフ

エグゼクティブサマリー

Executive Summary	エグゼクティブサマリー
The Common Vulnerability Scoring System (CVSS) Version 3 maintained by the CVSS Special Interest Group (SIG) is a widely used industry standard for characterizing the properties of information technology vulnerabilities and measuring their severity. It is based on human expert opinion. Vulnerability properties are characterized through a multidimensional vector. The severity is defned primarily through a multi-part “base score” equation, with 8 input metrics, that is not readily amenable to human comprehension.	CVSS Special Interest Group (SIG) によって維持されている 共通脆弱性評点システム、 (CVSS) 第3版 は、情報技術の脆弱性の特性を特徴付け、その深刻度を測定するために広く使用されている業界標準です。CVSSは、人間の専門家の意見に基づいています。脆弱性の特性は、多次元ベクトルによって特徴づけられます。深刻度は、主に8つの入力指標を持つ多部構成の「基礎評点」式によって定義されますが、これは人間の理解には容易ではありません。
To develop the equation, CVSS SIG members frst described a set of real vulnerabilities using CVSS vectors and assigned them one of fve severity levels. This created a partial lookup table mapping vectors to severity levels. They then defned a target score range for each severity level and created an equation to attempt to map each vector to a score within the specifed score range. Finally, they reviewed the equation’s scoring of vectors not included in the partial lookup table to evaluate the effectiveness of the equation on the full set of possible vectors. Since the equation could not perfectly map vectors to score ranges, the CVSS Version 3.1 specifcation provides a measurement of error (an ‘acceptable deviation’ of 0.5 points). However, suffcient information is not provided to reproduce the experiment.	この方程式を開発するために、CVSS SIGのメンバーはまず、CVSSベクトルを使用して一連の実際の脆弱性を記述し、5つの深刻度レベルのうちの1つを割り当てました。これにより、ベクターと重要度レベルを対応させた部分的なルックアップテーブルが作成されました。次に、各重要度レベルの目標評点範囲を定義し、各ベクトルを指定された評点範囲内の評点に対応付けることを試みる方程式を作成しました。最後に，部分ルックアップテーブルに含まれていないベクトルに対する方程式の評点を確認し，可能性のあるすべてのベクトルに対する方程式の有効性を評価した．この方程式はベクターを評点範囲に完全に対応付けることができないため、CVSSバージョン3.1の仕様では、誤差の測定値（0.5点の「許容距離」）を提供しています。しかし、実験を再現するのに十分な情報は提供されていない。
This work measures the degree to which the CVSS base score equation refects the CVSS SIG expert domain knowledge while providing a reproducible justifcation for the measurements. It starts not from a set of real vulnerabilities, as the CVSS SIG did, but from a set of 66 vulnerability types (i.e., CVSS vectors) that represent 90 % of the vulnerabilities published by the U.S. National Vulnerability Database. CVSS SIG experts then evaluate these vulnerability types and encode their knowledge as constraint graphs; sets of graphs are then unifed using a voting algorithm. These unifed graphs represent sets of consistent scoring systems (mappings of vectors to scores).	この研究では、CVSS基礎評点の式がCVSS SIG専門家のドメイン知識をどの程度反映しているかを測定し、測定値に対して再現可能な正当性を提供します。CVSS SIGのように実際の脆弱性の集合からではなく、米国の国家脆弱性データベースによって公開された脆弱性の90%を占める66種類の脆弱性（すなわちCVSSベクトル）の集合から開始します。次に、CVSS SIGの専門家がこれらの脆弱性の種類を評価し、その知識を制約グラフとして表現します。そして、グラフの集合は投票アルゴリズムを用いて単一化されます。これらの統一されたグラフは、一貫した採点システム（ベクトルと評点のマッピング）の集合を表します。
The consistent scoring system closest to the CVSS Version 3.1 scores was found, and the distance between the scores and the closest consistent scoring system scores was measured. These measurements represent the degree to which the CVSS v3.1 base score equation represents the CVSS SIG expert domain knowledge.	CVSS 第3.1版の評点に最も近い一貫した採点システムを見つけ、その評点と最も近い一貫した採点システムの評点との間の距離を測定した。これらの測定値は、CVSS v3.1の基礎評点式がCVSS SIG専門家のドメイン知識をどの程度表しているかを表しています。
Using this approach, the mean and maximum distance of the CVSS v3.1 scores compared to the closest consistent scoring system scores was measured and the acceptable deviation was recalculated. Unlike acceptable deviation, the new distance metrics measure the score values themselves separate from the severity levels. Using all 12 CVSS SIG inputs, the mean scoring distance is 0.13 points, the maximum scoring distance is 0.40 points, and the acceptable deviation is 0.20 points. Sets of 11 out of 12 of the inputs were used to calculate precision measurements (i.e., standard deviation).	この方法を用いて、最も近い一貫性のある採点システムの評点と比較したCVSS 第3.1版の評点の平均距離と最大距離が測定され、許容距離が再計算されました。許容距離とは異なり、新しい距離メトリックは、深刻度レベルとは別に評点値そのものを測定します。12のCVSS SIGインプットすべてを使用した場合、平均評点リング距離は0.13点、最大評点リング距離は0.40点、許容距離は0.20点となりました。12個の入力のうち11個の入力は、精度の測定（すなわち標準距離）を計算するために使用されました。
These fndings validate that the CVSS base score equation functions as described (to the extent described by these measurements); it represents the encoded CVSS SIG domain knowledge. The measurements support the equation as defned. The security community may use it as an opaque box without understanding the internal functionality.	これらの結果は、CVSS基礎評点の式が（これらの測定値によって記述される範囲において）記述されたとおりに機能することを検証するもので、それは符号化されたCVSS SIGドメイン知識を表しています。測定結果は、定義された方程式をサポートしています。セキュリティコミュニティは、内部機能を理解することなく、不透明な箱としてそれを使用することができます。

---

● まるちゃんの情報セキュリティ気まぐれ日記

CVSSが脆弱性についての数値をアウトプットとして出すのに対して、SSVCはとるべき対応をアウトプットして出すということで、具体的な対策に結びつける方法・・・

・2021.04.30 カーネギー大学 ソフトウェア工学研究所が「Stakeholder-Specific Vulnerability Categorization:SSVC 2.0」を発表していますね。。。

昔に遡り。。。

・2010.10.25 IPA 共通脆弱性評価システムCVSS概説

・2007.04.26 JVN は、名称をJP Vendor Status Notes (JVN) から、Japan Vulnerability Notes (JVN) と変更しました