NIST NISTIR 8409 共通脆弱性評点システムの基礎評点の計算式の測定 (2022.11.15)

こんにちは、丸山満彦です。

意見募集をしていた、NISTIR 8409 共通脆弱性評点システムの基礎評点の計算式の測定が確定のようですね。。。

● NIST - ITL

・2022.11.15 NISTIR 8409 Measuring the Common Vulnerability Scoring System Base Score Equation

NISTIR 8409 Measuring the Common Vulnerability Scoring System Base Score Equation	NISTIR 8409 共通脆弱性評点システムの基礎評点の計算式の測定
Abstract	概要
This work evaluates the validity of the Common Vulnerability Scoring System (CVSS) Version 3 "base score" equation in capturing the expert opinion of its maintainers. CVSS is a widely used industry standard for rating the severity of information technology vulnerabilities; it is based on human expert opinion across many sectors and industries. This study is important because the equation design has been questioned since it has features that are both unintuitive and unjustified by the CVSS specification. If one can show that the equation reflects CVSS expert opinion, then that study justifies the equation, and the security community can treat the equation as an opaque box that functions as described.	この研究では、共通脆弱性評点システム (CVSS) Version 3の「基礎評点」式が、その保守者の専門的な意見を反映する上で有効であるかどうかを評価する。CVSSは、情報技術の脆弱性の深刻度を評価するための業界標準として広く利用されており、多くの分野や産業における人間の専門的な意見に基づいている。この研究は、CVSSの仕様では直感的でなく、正当化できない特徴を持つ方程式の設計が疑問視されているため、重要である。もし、数式がCVSS専門家の意見を反映していることを示すことができれば、その研究は数式を正当化し、セキュリティコミュニティは数式を説明通りに機能する不透明な箱として扱うことができる。
This work shows that the CVSS base score equation closely -- though not perfectly -- represents the CVSS maintainers' expert opinion. The CVSS specification itself provides a measurement of error called "acceptable deviation" (with a value of 0.5 points). This work measures the distance between the CVSS base scores and the closest consistent scoring systems (ones that completely conform to the recorded expert opinion). The authors calculate that the mean scoring distance is 0.13 points, and the maximum scoring distance is 0.40 points. The acceptable deviation was also measured to be 0.20 points (lower than claimed by the specification). These findings validate that the CVSS base score equation represents the CVSS maintainers' domain knowledge to the extent described by these measurements.	この研究は、CVSSの基礎評点の式が、完全ではないものの、CVSSの保守者の専門家の意見を忠実に表していることを示している。CVSS仕様自体は、「許容偏差」（0.5ポイントの値を持つ）と呼ばれる誤差の測定法を提供している。この研究では、CVSSの基礎評点と、最も近い整合性のある評点システム（記録された専門家の意見に完全に適合するもの）との間の距離を測定している。著者らは、平均評点距離は0.13ポイント、最大評点距離は0.40ポイントと計算している。また、許容偏差は0.20ポイントと測定された（仕様で主張されている値より低い）。これらの結果から、CVSSの基礎評点式がCVSS保守者のドメイン知識をこれらの測定値で記述される程度に表していることが検証された。

・[PDF] NISTIR 8409

目次...

Executive Summary	エグゼクティブサマリー
1.  Introduction	1.  はじめに
2.  Common Vulnerability Scoring System	2.  共通脆弱性評点システ
2.1. CVSS Base Score Metrics	2.1. CVSS 基礎評点の評価基準
2.2. CVSS Base Score Equations	2.2. CVSS 基礎評点の計算式
3.  Rationale for the CVSS Base Score Equations	3.  CVSS基礎評点の算出根拠
3.1. Development of the CVSS Base Score Equation	3.1. CVSS基礎評点評価式の開発
3.2. Acceptable Deviation	3.2. 許容される偏差
4.  Metrology Tools, Metrics, and Algorithms	4.  測定ツール、測定基準、アルゴリズム
4.1. Knowledge Encoder Tool	4.1. ナレッジ・エンコーダ・ツール
4.2. Knowledge Constraint Graphs	4.2. 知識制約グラフ
4.2.1.  Equivalency Sets	4.2.1.  等価集合
4.2.2.  Magnitude Measurements	4.2.2.  マグニチュード測定
4.2.3.  Simplified Graphs	4.2.3.  簡略化されたグラフ
4.3. Inconsistency Metrics for Knowledge Constraint Graphs	4.3. 知識制約グラフの非整合性指標
4.4. Voting Unification Algorithm	4.4. 投票一元化アルゴリズム
4.4.1.  Analysis of Votes	4.4.1.  投票の解析
4.4.2.  Priority Ordering	4.4.2.  優先順位付け
4.4.3.  Unified Graph Construction	4.4.3.  ユニファイドグラフの構築
4.4.4.  Description of Constructed Graph	4.4.4.  構築されたグラフの記述
5.  Data Collection and Processing	5.  データの収集と処理
5.1. Data Set of Analyzied Vectors	5.1. 解析済みベクターのデータセット
5.2. Volunteer Participants	5.2. ボランティア参加者
5.3. Produced Knowledge Constraint Graphs	5.3. 作成された知識制約グラフ
5.4. Knowledge Constraint Graph Inconsistency Measurements	5.4. 知識制約グラフの非整合性測定
5.4.1.  Graph f00	5.4.1.  グラフf00
5.4.2.  Graph 977	5.4.2.  グラフ977
5.5. Unified Knowledge Constraint Graph	5.5. 統合知識制約グラフ
5.6. Optimal Number of Equivalency Sets	5.6. 最適な等価集合の数
6.  Measurement Approach	6.  測定アプローチ
6.1. Consistent Scoring Systems	6.1. 一貫した採点システム
6.1.1.  Scoring System Defnition	6.1.1.  採点システムの定義
6.1.2.  Consistent Scoring System Defnition	6.1.2.  一貫性のある採点システムの定義
6.2. Generation of a Closest Consistent Scoring System	6.2. 最接近型採点システムの生成
6.3. Measurement Methodology	6.3. 測定方法
7.  Measurement Results	7.  測定結果
7.1. Mean Scoring Distance	7.1. 平均得点距離
7.2. Maximum Scoring Distance	7.2. 最大評点距離
7.3. Acceptable Deviation	7.3. 許容偏差
7.4. Increasing Accuracy with More Data	7.4. より多くのデータによる精度の向上
8.  Interpretation of Results and Related Work	8.  結果の解釈と関連する研究
9.  Conclusion	9.  まとめ
References	参考文献
Appendix A. Acronyms	附属書A. 頭字語
Appendix B. Set of Evaluated CVSS vectors	附属書B. 評価済みCVSSベクタの集合
Appendix C. Encoded Knowledge Constraint Graphs	附属書C. 符号化された知識制約グラフ

エグゼクティブサマリー...

Executive Summary	エグゼクティブサマリー
The Common Vulnerability Scoring System (CVSS) Version 3 maintained by the CVSS Special Interest Group (SIG) is a widely used industry standard for characterizing the properties of information technology vulnerabilities and measuring their severity. It is based on human expert opinion. Vulnerability properties are characterized through a multidimensional vector. The severity is primarily defned through a multi-part “base score” equation with 8 input metrics that is not readily amenable to human comprehension.	CVSS Special Interest Group (SIG) によって維持されている 共通脆弱性評点システム (CVSS) Version 3 は、情報技術の脆弱性の特性を特徴付け、その深刻度を測定するために広く使用されている業界標準である。CVSSは、人間の専門家の意見に基づいている。脆弱性の特性は、多次元ベクトルによって特徴づけられます。深刻度は、主に8つの入力指標を持つ多部構成の「基礎評点」式によって定義されるが、これは人間の理解には容易ではない。
To develop the equation, CVSS SIG members frst described a set of real vulnerabilities using CVSS vectors and assigned them one of fve severity levels. This created a partial lookup table mapping vectors to severity levels. They then defned a target score range for each severity level and created an equation to attempt to map each vector to a score within the specifed score range. Finally, they reviewed the equation’s scoring of vectors that were not included in the partial lookup table to evaluate the effectiveness of the equation on the full set of possible vectors. Since the equation could not perfectly map vectors to score ranges, the CVSS Version 3.1 specifcation provides a measurement of error (an ‘acceptable deviation’ of 0.5 points). However, suffcient information is not provided to reproduce the experiment.	この方程式を開発するために、CVSS SIGのメンバーはまず、CVSSベクトルを使用して一連の実際の脆弱性を記述し、5段階の深刻度レベルのうちの1つを割り当てた。これにより、ベクターと重要度レベルを対応させた部分的なルックアップテーブルが作成された。次に、各重要度レベルの目標評点範囲を定義し、各ベクトルを指定された評点範囲内の評点に対応付けることを試みる方程式を作成した。最後に、部分ルックアップテーブルに含まれていないベクトルに対する方程式の評点を確認し、可能性のあるすべてのベクトルに対する方程式の有効性を評価した。この方程式はベクターを評点範囲に完全に対応付けることができないため、CVSSバージョン3.1の仕様では、誤差の測定値（0.5ポイントの「許容偏差」）を提供している。しかし、実験を再現するのに十分な情報は提供されていない。
This work measures the degree to which the CVSS base score equation refects CVSS SIG expert domain knowledge while providing a reproducible justifcation for the measurements. It starts not from a set of real vulnerabilities, as the CVSS SIG did, but from a set of 66 vulnerability types (i.e., CVSS vectors) that represent 90 % of the vulnerabilities published by the U.S. National Vulnerability Database. CVSS SIG experts evaluate these vulnerability types and encode their knowledge as constraint graphs; sets of graphs are then unifed using a voting algorithm. These unifed graphs represent sets of consistent scoring systems (mappings of vectors to scores). The consistent scoring system closest to the CVSS Version 3.1 scores was found, and the distance between the scores and the closest consistent scoring system scores was measured. These measurements represent the degree to which the CVSS v3.1 base score equation represents the CVSS SIG expert domain knowledge.	この研究は、CVSS基礎評点の式がCVSS SIG専門家のドメイン知識をどの程度反映しているかを測定し、測定値の再現可能な正当性を提供するものである。CVSS SIGのように実際の脆弱性の集合からではなく、米国の国家脆弱性データベースによって公開された脆弱性の90%を占める66種類の脆弱性（すなわちCVSSベクトル）の集合から出発している。CVSS SIGの専門家はこれらの脆弱性の種類を評価し、その知識を制約グラフとして符号化する。次に、グラフの集合は投票アルゴリズムを用いて単一化される。これらの統一されたグラフは、一貫した採点システム（ベクトルと評点の対応付け）の集合を表している。CVSS Version 3.1の評点に最も近い一貫した採点システムを見つけ、その評点と最も近い一貫した採点システムの評点との間の距離を測定した。これらの測定値は、CVSS v3.1の基礎評点式がCVSS SIG専門家のドメイン知識をどの程度表しているかを表している。
Using this approach, the mean and maximum distance of the CVSS v3.1 scores compared to the closest consistent scoring system scores were measured, and the acceptable deviation was recalculated. Unlike acceptable deviation, the new distance metrics measure the score values themselves separate from the severity levels. Using all 12 CVSS SIG inputs, the mean scoring distance is 0.13 points, the maximum scoring distance is 0.40 points, and the acceptable deviation is 0.20 points. Sets of 11 out of 12 of the inputs were used to calculate precision measurements (i.e., standard deviation).	この方法を用いて、最も近い一貫性のある採点システムの評点と比較したCVSS v3.1評点の平均距離と最大距離が測定され、許容偏差が再計算された。許容偏差とは異なり、新しい距離メトリックは、深刻度レベルとは別に評点値そのものを測定する。12のCVSS SIGインプットすべてを使用した場合、平均評点距離は0.13ポイント、最大評点距離は0.40ポイント、許容偏差は0.20ポイントとなった。12個の入力のうち11個の入力は、精度の測定（すなわち標準偏差）を計算するために使用された。
These fndings validate that the CVSS base score equation functions as described (to the extent described by these measurements), and it represents the encoded CVSS SIG domain knowledge. The measurements support the equation as defned. The security community may use it as an opaque box without understanding the internal functionality.	これらの結果は、CVSS基礎評点の式が（これらの測定値によって記述された範囲内で）記述されたとおりに機能し、符号化されたCVSS SIGドメイン知識を表していることを検証している。測定結果は、定義された方程式をサポートしている。セキュリティコミュニティは、内部機能を理解することなく、不透明な箱としてそれを使用することができる。

---

● まるちゃんの情報セキュリティ気まぐれ日記

・2022.11.17 CISA ステークホルダー別脆弱性分類 (SSVC) ガイド

・2022.06.11 NIST NISTIR 8409 (ドラフト) 共通脆弱性評点システムの基礎評点の計算式の測定

・2021.04.30 カーネギー大学 ソフトウェア工学研究所が「Stakeholder-Specific Vulnerability Categorization:SSVC 2.0」を発表していますね。。。

昔に遡り。。。

・2010.10.25 IPA 共通脆弱性評価システムCVSS概説

・2007.04.26 JVN は、名称をJP Vendor Status Notes (JVN) から、Japan Vulnerability Notes (JVN) と変更しました