英国 会計検査院 モデルをレビューするためのフレームワーク

こんにちは、丸山満彦です。

個人的には、米国、英国、カナダは監査に対する理解が深い国だなぁと思っているんですよね。。。

英国の会計検査院（国家監査室というのが直訳ですかねぇ・・・）の今回の文書も、監査に対する理解がないと生まれないようなものだと思いました。。。

● National Audit Office: NAO

・2022.01.26 Framework to review models

Framework to review models	モデルをレビューするためのフレームワーク
This framework provides a structured, flexible approach to reviewing models. It is intended to aid those commissioning or undertaking analysis of a model with the aim of determining whether the model is robust and reasonable.	このフレームワークは、モデルをレビューするための構造的かつ柔軟なアプローチを提供するものです。このフレームワークは、モデルが堅牢で合理的であるかどうかを判断するために、モデルの分析を依頼したり実施したりする人を支援することを目的としています。
Government departments and agencies rely on models for their day-to-day activities including estimating costs; distributing funding within organisations; and testing policy options. They routinely develop and use models to generate insight into a question or to better understand a problem related to their business. These models can vary in complexity from relatively simple spreadsheets to detailed forecasts using specialist software. Outputs from models underpin decisions made by departments and arm’s-length bodies that often have very real impacts on people’s lives and can involve large amounts of money and resources.	政府の各省庁は、コストの見積もり、組織内での資金配分、政策オプションの検証など、日々の活動においてモデルに依存しています。また、業務に関連する問題をより深く理解するために、モデルを開発して使用することもあります。これらのモデルは、比較的単純なスプレッドシートから、専門的なソフトウェアを使用した詳細な予測まで、その複雑さは様々です。モデルからの出力は、各省庁や独立行政法人による意思決定の基礎となりますが、これらの意思決定はしばしば人々の生活に非常に大きな影響を与え、多額の資金や資源を必要とすることがあります。
In our audit work across government, we continue to find weaknesses in models such as:	政府全体の監査では、以下のようなモデルの弱点が引き続き指摘されています。
・limited or poor-quality data;	・限定的、あるいは質の低いデータ
・unrealistic assumptions and optimism bias; and	・非現実的な仮定と楽観主義バイアス
・inadequate sensitivity and scenario analysis.	・感度分析やシナリオ分析が不十分であること
The framework provides a structured approach to review models, which organisations can use to determine whether the modelling outputs they produce are reasonable, robust and have a minimal likelihood of errors being made.	このフレームワークは、モデルをレビューするための構造的なアプローチを提供しており、組織はこれを利用して、作成したモデル出力が合理的で、堅牢であり、エラーが発生する可能性が最小限であるかどうかを判断することができます。

・[PDF]

目次

Introduction	序文
The framework	フレームワーク
Risk assessment	リスク評価
Controls	コントロール
Selection of methods	手法の選択
Application of methods	手法の適用
Data	データ
Assumptions	前提条件
Estimation uncertainty	推定の不確実性
Using the model outputs	モデル出力の使用

序文

Introduction	序文
Government departments and agencies rely on models for their day-to-day activities including estimating costs; distributing funding within organisations; and testing policy options. They routinely develop and use models to generate insight into a question or to better understand a problem related to their business. These models can vary in complexity from relatively simple spreadsheets to detailed forecasts using specialist software. Outputs from models underpin decisions made by departments and arm’s-length bodies that often have very real impacts on people’s lives and can involve large amounts of money and resources.	政府の各省庁は、コストの見積もり、組織内での資金配分、政策オプションの検証など、日々の活動にモデルを活用しています。また、業務に関連する問題をより深く理解するために、モデルを開発し使用することもあります。これらのモデルは、比較的単純なスプレッドシートから、専門的なソフトウェアを使用した詳細な予測まで、その複雑さは様々です。モデルからの出力は、各省庁や独立行政法人による意思決定の基礎となりますが、これらの意思決定はしばしば人々の生活に非常に大きな影響を与え、多額の資金や資源を必要とすることがあります。
In our audit work across government, we continue to find weaknesses in models such as: • limited or poor-quality data; • unrealistic assumptions and optimism bias; and	政府全体の監査では、以下のようなモデルの弱点が引き続き指摘されています。- 非現実的な仮定と楽観主義バイアス
• inadequate sensitivity and scenario analysis.	・不適切な感度とシナリオ分析
The framework provides a structured approach to review models, which organisations can use to determine whether the modelling outputs they produce are reasonable, robust and have a minimal likelihood of errors being made.	このフレームワークは、モデルをレビューするための構造的なアプローチを提供しています。このフレームワークを利用することで、組織は、作成したモデル出力が合理的で、堅牢であり、エラーが発生する可能性が最小限であるかどうかを判断することができます。
Evidence base	エビデンスベース
The framework to review models builds on the findings, conclusions and recommendations from our 2022 report on Financial modelling in government. It is also based on the evidence and guidance available from:	モデルをレビューするためのフレームワークは、2022年に発行されたレポート「Financial modelling in government」で得られた知見、結論、提言に基づいています。また、以下の証拠やガイダンスにも基づいています。
• HM Treasury’s review of quality assurance of government analytical models (2013)	・HM Treasury's review of quality assurance of government analytical models (2013)
• HM Treasury’s Aqua Book (2015)	・ HM Treasury's Aqua Book (2015)
• The Department for Business, Energy & Industrial Strategy (BEIS) Modelling Quality Assurance tools and guidance	・ビジネス・エネルギー・産業戦略省（BEIS）のモデリング品質保証ツール及びガイダンス
• International Standard on Auditing, ISA, (UK) 540  (Revised) Auditing Accounting Estimates and Related Disclosures (2018)	・国際監査基準（ISA）（英国）540号 (改訂版）会計上の見積りと関連する開示の監査（2018年）
• Office for Statistics Regulation Quality Assurance of Administrative Data	・Office for Statistics Regulation Quality Assurance of Administrative Data（統計局規則 行政データの品質保証
• The government’s Uncertainty Toolkit for Analysts in Government	・政府のアナリスト向け不確実性ツールキット
How to use the framework	フレームワークの使用方法
This framework is aimed at people who commission analysis, provide analytical assurance and deliver the analysis itself.	このフレームワークは、分析を依頼する人、分析の保証を行う人、分析そのものを提供する人を対象としています。
It is not intended to be a checklist; instead it is a flexible framework which can be tailored, taking into account: • the amount of time and resource available;	チェックリストとしてではなく、以下の点を考慮してカスタマイズできる柔軟なフレームワークです。- 利用可能な時間とリソースの量
• the complexity and risk associated with the model; and	・モデルに関連する複雑さとリスク,および
• the level of assurance needed to reach an overall judgement.	・総合的な判断を下すために必要な保証のレベル
This proportional approach is in line with HM Treasury’s review of quality assurance of government analytical models (see diagram overleaf). Additionally, please note the framework does not represent a comprehensive methodology for audits of models carried out to test compliance with the International Standard on Auditing (UK), where further requirements will apply.	このような比例的なアプローチは、政府の分析モデルの品質保証に関する財務省のレビューに沿ったものです（左図参照）。さらに、このフレームワークは、国際監査基準（英国）への準拠をテストするために実施されるモデルの監査のための包括的な方法論を示すものではなく、さらなる要件が適用されることに留意してください。
Deciding on whether a model and its outputs are robust, reasonable and used appropriately requires a proportionate, evidence-based judgement. It will often be the case that a review will identify issues and weaknesses in some aspect of how the model was designed, built and used. Crucially, the objective of a model review is to identify, in your opinion, whether those issues had an impact on the quality of the model, and whether there is a risk of material impact on the outputs and how they are interpreted and used for decision making, planning and/or disclosures.	モデルとその出力が堅牢であり、妥当であり、適切に使用されているかどうかを判断するには、証拠に基づいた適切な判断が必要です。多くの場合、レビューでは、モデルの設計、構築、使用方法のいくつかの側面における問題や弱点が特定されることになります。重要なことは、モデルレビューの目的は、それらの問題がモデルの品質に影響を与えたかどうか、また、アウトプットに重大な影響を与えるリスクがあるかどうか、そして、それらがどのように解釈され、意思決定、計画、および／または開示のために使用されるかを、あなたの意見で特定することです。
How the NAO can help	NAOの支援方法
If you have any queries about this framework or suggestions for how it can be improved, please use the contact form on our website.	このフレームワークについてのご質問や、改善のためのご提案などがございましたら、当ウェブサイトのお問い合わせフォームをご利用ください。