« サンプル数 in IT CO for SOX | Main | 2006年春版 404条対応コスト »

2006.05.06

内部統制監査とISMS認証審査の違い 私見途中版

 こんにちは、丸山満彦です。財務報告に係る内部統制の評価及び監査における評価プロセスと、ISMSなどの審査における評価プロセスとどの程度違うかは理解していてもよいのだろうと思います。「ISMSなどのJISのマネジメントシステムの評価プロセスと同じくらい・・・」などと思っていて、「ISMSの認証を取得しているから、コンピュータ全般統制のセキュリティ部分はほとんどすることないよね・・・」と考えていると、「え゙っ」となってしまうかもしれません。

 
 日本の場合がどうなるかはわからないので米国の例ということになります。日本の場合は、実施基準が公表されると明らかになるのでしょう・・・。

●内部統制を評価する際には、

1.内部統制の整備状況(Desaign)の評価
 1-1.有効に機能する設計されているか
 1-2.設計された内部統制は導入されているか
2.内部統制の運用状況(Operating)の評価
 2-1.整備された通りに運用されているか

 という感じですすめます。

1-1は、おもに文書で確認します。勘定科目毎に設定されたアサーションに対して、設計されたコントロールが有効であるかどうかを評定することになります。つまり、コントロールの有効性の判断は第一義的にはこの段階で行われます。

1-2は、「ウォークスルー」といって、現場で実際に決められた(設計された)コントロールが導入されているかを確認します。

2-1は、準拠性のテストとなります。導入されているコントロールが本当に運用(実践)されているかを確認することになります。1日何度も行われるコントロール活動については、たとえば25件のサンプルを抽出して評価します。

●これに対して、ISMSなどのJIS審査の場合は、

1.文書化されたマネジメントプロセスが標準(日本では、「規格」と言われていますが・・・)に合致しているかを書面審査し、

2.書面審査した内容のことが現場で行われていることを、実地審査する。

とよく説明されています。

●内部統制の評価とJIS審査を比較すると

1.【設計について】
・内部統制の評価では、アサーションに対して有効な内部統制が設計されているかどうかを評価する必要があるが、
・JIS審査では、標準に合致しているかどうかの評価を行い、それが有効なものであるかどうかについては明示的には評価していない。

2.【ウォークスルー】
・内部統制の評価のウォークスルーは、JIS審査の現地審査とほぼ同じと考えもよい。

3.【運用状況の評価について】
・内部統制の評価では、一定のサンプルを抽出し評価するが、
・JIS審査においては行われていない(ウォークスルーまでしか行われていない)。

という違いがあるのだろうと勝手に思っています。

ということで、JIS審査に比べると、だいぶヘビーな制度になるのだろうと思います。ちなみに、内部統制の不備(JIS審査では、指摘事項)の評価過程でも内部統制の制度のほうがよりヘビーです。

 ISMSの認証を取得していても、差が生じている部分については追加で作業が発生することになりますね。



このブログの中の意見は私見であり、所属・関係する組織の意見ではないことをご了承ください。

|

« サンプル数 in IT CO for SOX | Main | 2006年春版 404条対応コスト »

Comments

内部統制監査とISMS認証審査の違いについて、JIS審査(日本情報セキュリティ認証機構)の立場から次の2点について異議がありますので、コメントさせていただきます。

1.
JIS審査では、標準に合致しているかどうかの評価を行い、それが有効なものであるかどうかについては明示的には評価していない。
2.
内部統制の評価では、一定のサンプルを抽出し評価するが、JIS審査においては行われていない(ウォークスルーまでしか行われていない)。

コメント
1.
JIS審査では有効なものであるかを明示的に審査しないということですが、実務的にも、標準(いわゆる規格)上も有効性は一番重要なものとして審査しております。
標準との合致といっても、それは最低限であり、標準の解釈は受審される各企業それぞれです。
したがって、標準と合致しているかは最低限確認しますが、審査の付加価値はあくまで、「設計されたISMSがその企業で有効に働くか」と考えております。また、審査で一番気を使っております。
2.
JIS審査ではウォークスルーだけで、サンプリング抽出は行われていないということですが、実務的には実際行っています。
JIS審査の最後はエビデンスで確認することが義務ですので、審査員は運用状況を確認するため、例えば部門、時期などでサンプリングし、入退場等の記録を確認します。

いずれにしても、JIS審査で有効性がポイントですし、サンプリングはします。
ただし、審査機関によっては、手を抜いているところがあるかもしれませんが、私は分かりません。

こちらのブログは時々見ていますが、大変参考になります。
内部統制監査をされている方と、JIS審査機関としても、意見交換をさせていただければと思います。是非、よろしくお願いいたします。

Posted by: yamamoto.tomio | 2006.08.03 11:11

yamamoto.tomioさま、コメントありがとうございます!!!

非常に興味深く、勉強になります。教えてもらえる範囲で教えていただきたいことがあります。

1.に関して、私の興味はまさにyamamoto.tomioさまがおっしゃっている
=====
標準と合致しているかは最低限確認しますが、審査の付加価値はあくまで、「設計されたISMSがその企業で有効に働くか」と考えております。また、審査で一番気を使っております。
=====
の部分なんです。で、マネジメントシステムが標準に適合していることは前提として、有効に機能していると思わなければ、適合しているとは言わないのかどうかなんです。

監査人の心証が次の7つの場合、適合しているというのはどの場合なのかというのが興味がある部分です。

(1)標準に適合していて、マネジメントシステムは有効に働いているという心証をえている。
(2)標準に適合しているが、マネジメントシステムは必ずしも有効に働いているとは言えないという心証をえている。
(3)標準に適合しているが、マネジメントシステムはほとんど有効に働いているとは言えないという心証をえている。
(4)標準に適合しているが、マネジメントシステムは有効に働いているとは言えないという心証をえている。(標準がベストプラクティスから作られているので現実にはこのようなケースはほとんどないと思いますが・・・)
(5)標準に適合しているが、マネジメントシステムは有効に働いているかどうか、明確には言えないという状況である。
(6)標準に適合しているが、マネジメントシステムは有効に働いているかどうか、ほとんどわからないという状況である。
(7)標準に適合しているが、マネジメントシステムは有効に働いているかどうか、わからないという状況である。


2.運用状況の確認をするサンプル数はどの程度であるか。。

(1)アクセスログのように多数の記録がある場合
(2)日次に1件記録する場合
(3)週次に1件記録する場合
(4)月次に1件記録する場合
(5)年次に1件記録する場合

 これは、監査人の心証とも関係してきますね。

【参考】
■JAB
JAB R300-2004引用文書(IAF GD 2:2003)

■このブログ
・2006.03.02 準拠性検査のサンプル数
・2005.12.03 重要な不正を見抜けない監査・検査
・2005.11.29 検査機関、監査法人はトラストアンカーか・・・
・2005.04.29 「結果の保証」と「プロセスの保証」
・2005.02.10 ISMS Pマークと個人情報の委託先の選定
・2005.01.25 ISMSの形骸化

Posted by: 丸山満彦 | 2006.08.03 23:01

早速のレスポンス、感激しております。
最初にご質問の事項にお答えして、その後、ご参考に提示いただいたテーマでの私の思いを少し書いてみます。
いずれにしても、オフラインで意見を交換させていただく場が持てればと思っております。

1. 適合しているというのはどの場合なのか。

結論は次のケースだけです。(1)は文句なしのOKです。(2)はJIS審査では観察であり、少し怪しいと判断します。次回の審査でも変であれば本当に怪しいとします。(3)、(4)は不適合、(5)、(6)、(7)は審査員が判断できないのですから、審査方法に問題があるか、審査対象企業の非協力などの事情がある場合と思います。

(1)
標準に適合していて、マネジメントシステムは有効に働いているという心証をえている。
(2)
標準に適合しているが、マネジメントシステムは必ずしも有効に働いているとは言えないという心証をえている。

マネジメントシステムが有効に働いていない要件は次の二つだと考えております。
(1)
企業が標準と合致した規則を作っているが、順守していない。
(2)
企業が標準と合致した規則を順守しているが、情報漏えいが止まらないなど成果が出ていない。

審査員としては、特に上記の(2)を避けたいと思っています。汗をかいてPDCAを回しているのに、効果が出ないのは、本当にやるべきことをやらずに、どうでもよいことに注力しているからです。ISMSではこの軽重をリスクアセスメントで行うことになっています。ここの所を審査対象企業にうまく実施していただくために、標準に合致していないという「不適合」という判定だけではなく、「観察」という形式の指摘を使って、出来るだけ有効なマネジメントシステムに仕上げてもらうようにしています。

2. サンプリング数の決め方

参考に提示いただいた統計的に有意な判定方法がベストと思います。
しかし、JIS審査の現場では通常はそこまでできておりません。
この理由として、審査日程の制約などで最小限のエビデンスを把握することで精一杯という現実もあります。

JIS審査の世界でサンプリング基準を定めたものに、ISMSではありませんが、「品質システム審査登録機関に対する認定の基準についての指針 JAB R300-2006」の付属書3に「多数サイト審査登録」があります。
これは多数の拠点を持つ大企業を審査する際に、全部の拠点を同じ密度で審査することは実務的にできないので、初回審査はサイト数の√平方根、サーベイランスはその0.6掛けなどの基準が示されています。
当社JACO-ISでも、この基準を援用しています。ただし、何故、ルートなのか、理由は私も良く分かりません。しかし、一つの統一的な実務基準と思います。

大企業の財務諸表監査での無限定適正意見を付けるときに、監査法人も大変だと思います。ISMS審査でも大規模組織をどう実施するのか、リスクアプローチでやれと言われても、具体的にはどうするのかなど、悩んでおります。是非、会計監査の教訓、方法論など学ばせていただきたいと思います。

3. その他
(1)JIS審査の悩み
会計監査は当然、財務諸表を投資家に保証することが義務ですので結果の保証ですが、JIS審査は原理的にプロセスの保証です。しかし、JIS審査の悩みは、財務諸表という具体的な数字の出来上がりを保証するのではなく、「情報漏えいは起こらないはずだ、品質は企業が目標として品質の到達するはずだ」というプロセス全体を保証しなければならないことです。これは、「言うは易く、行いは難し」の典型です。一体、プロセスを保証することはどこまで保証することなのかです。
(2)内部統制の問題
会計監査の世界でも、JSOX法で内部統制監査が行われようとしています。内部統制は文字通り、マネジメントシステムですから、PDCAのプロセス全体を把握し、評価し、保証する必要があります。
したがって、従来の財務諸表監査の方法論に加え、マネジメントシステム審査の方法論をある程度取り込む必要があると思います。
この点については、会計監査の世界とJIS審査の世界で協力する余地があると思います。
(3)ISMSを委託業者に押し付ける不合理
私も同じ考えです。ISMSは絶対的なセキュリティレベルを表わすものではありません。
このレベルはマネジメントシステムというよりも、手段である管理策のレベルが企業によって必要性も違うし、実態も違うということです。
今、私はJISA(情報サービス産業協会)の検討会に参加しており、次の解決策を提案しております。
・JISAとしてISMSに沿ったリスクアセスメントのテンプレートを作る。
・ このテンプレートはJISAとして標準と考えるリスク対策を前提として、脆弱性、脅威を考えたものとする。
・ これをISMSに組み込むことにより、JISAが考えるある一定の管理策レベルを持っていることをISMSで保証する。

Posted by: yamamoto.tomio | 2006.08.04 18:02

yamamoto.tomioさん、コメントありがとうございます。あって話すと早い!ですね。。。了解です。
 今回は、ちょっと意識あわせ・・・。

私の問題意識は、

=====
1. 適合しているというのはどの場合なのか。

結論は次のケースだけです。
(1)は文句なしのOKです。
(2)はJIS審査では観察であり、少し怪しいと判断します。次回の審査でも変であれば本当に怪しいとします。
(3)、(4)は不適合

(1)標準に適合していて、マネジメントシステムは有効に働いているという心証をえている。
(2)標準に適合しているが、マネジメントシステムは必ずしも有効に働いているとは言えないという心証をえている。
(3)標準に適合しているが、マネジメントシステムはほとんど有効に働いているとは言えないという心証をえている。
(4)標準に適合しているが、マネジメントシステムは有効に働いているとは言えないという心証をえている。(標準がベストプラクティスから作られているので現実にはこのようなケースはほとんどないと思いますが・・・)
=====

で、(2)について、観察事項をつけるかどうかはどうでもよくて(だって、第三者からは観察事項がついているかどうかはわからないから。。。)、結局「適合」というわけですよね。
 逆に形だけ適合していてもだめで有効でないとだめなので(3)(4)は「不適合」なわけですね。

ということであれば、JIS審査機関によるマネジメント・システム認証審査(監査)は、
1.有効性についても保証している。
2.保証レベルは公認会計士監査の世界では、限定的保証レベル
といえそうです。
 マネジメント・システムの単なる適合性だけでなく、有効性(整備状況+運用状況)についても限定的な保証をしているというご意見ですね。なるほど・・・。


2. サンプリング数の決め方
の部分で、気になったのは、
=====
審査日程の制約などで最小限のエビデンスを把握することで精一杯という現実もあります。
=====
こういう場合は、審査員が心証をえれるまで審査日数を延ばさないとだめなんじゃないかなぁ・・・と思います。
もし、審査依頼会社が協力できないと言い出せば、単に「審査ができませんでしたので、認証はできません」ということになると思います。

あと、
=====
多数の拠点を持つ大企業を審査する際に、全部の拠点を同じ密度で審査することは実務的にできないので、初回審査はサイト数の√平方根、サーベイランスはその0.6掛けなどの基準が示されています。
=====
は、決め事だと思います。論理的につめると完全につめ切れない。それはサンプル数の決め方も同じです。


3. その他
=====
従来の財務諸表監査の方法論に加え、マネジメントシステム審査の方法論をある程度取り込む必要があると思います。
この点については、会計監査の世界とJIS審査の世界で協力する余地があると思います。
=====
そうなんですよ。内部統制監査はプロセス評価なんですよね。私も協力する余地はあると思います。


=====
JISAが考えるある一定の管理策レベルを持っていることをISMSで保証する。
=====
は、なるほど・・・と思います。どこまで詳細にするかがポイントになろうかと思います。

●パスワードの桁数は8文字以上である。

と、Howの部分について具体的な水準を示すのかどうかですね。
 一方、審査機関からすれば判断基準が明確になればなるほど、つまり、グレーゾーンが小さくなればなるほど審査ミスをした場合の言い逃れが難しくなるので、審査機関内の品質管理が重要となりますね。

パターン1:パスワード等により適切な認証を行うこと。
パターン2:パスワードによる認証を行う場合、8文字以上であること。

パスワードの設定が7文字であるシステムで事故があり利害関係者が被害を受けた場合、パターン1であれば、「7文字でも通常は適切な範囲と判断した」ということは可能ですが、パターン2ではそうはいえませんね。
 パスワードの設定が9文字以上であるシステムで事故があり利害関係者が被害を受けた場合、パターン2であれば、「最低限のラインはクリアしていた」といえますので、ちょっと楽です(もちろん、「通常のシステムなら8文字でもいいけど、そのシステムなら当然10文字以上でしょう。」というのが社会の常識であれば、いずれにせよつらくなるのですが・・・)

Posted by: 丸山満彦 | 2006.08.06 17:54

丸山様、
このようなお話ができる機会は業界ではほとんどありませんので、本当にありがたいと思います。ありがとうございました。
前回の私のコメントで少しご理解いただいたと思いますが、有用性という意味でJIS審査は問題を抱えており、私も正直悩んでおります。ISOの認証を受ける企業、組織の方も感じていると思います。
そういう意味で、公認会計士監査の世界の方法論、ノウハウをJIS審査の世界にも取り入れて、改善できればと思っているところです。

1. 「適合していること」の考え方
(ア)
「マネジメントシステムの単なる適合性だけでなく、有効性(整備状況+運用状況)についても限定的な保証をしている。」と丸山さんに簡潔に総括していただきましたが、その通りです。
他の審査機関は分かりませんが、どの程度実現しているかは別として、私以外の審査員も意識は同じと思います。
(イ)
ただし、標準に適合性を確かめることという内容が書いてある以上、「適合性判定」の中に、多分、「限定的な有効性の保証」が含まれているのだと思います。
標準ではこのように書いてあるから不適合だとデジタルに言えれば簡単です。法律は社会常識の変遷に応じて適切な解釈を求められますが、
標準も法律と同じで、適切な解釈が必要です。また、解釈が必須な2項で示すような書き方になっています。
しかし、法律と異なり裁判があるわけではありませんので、顧客と審査機関のお手盛りになる傾向があります。
これも法曹界とは異なり、JIS審査業界の問題と思います。
(ウ)
財務諸表監査の場合、限定的保証も公表されますから、公表の観点からは、JIS審査の「観察」をつけるかどうかは「どうでもよい」と言う事は理解できました。
そういう意味では、JIS審査で外部に見えることは、「認証されたか、取り消されたか」しかありません。
審査で「条件付認証」を出すことは良くありますが、最終の判定委員会までに改善を確認することにより、認証することが通常です。
外部に見えないところで、観察をつけて企業に改善してもらうことは一種のコンサルかもしれません。

2. サンプリングの決め方
(ア)
審査日程の制約などについては、「審査員が心証を得られるまで審査日数を延ばさないとだめなんじゃないかなぁ・」と私も思います。
実はこれが私の悩みの核心の一つです。JIS審査の問題はここにもあると思います。
(イ)
JIS審査では品質、環境などで審査日程などの基準がJAB(IAF)により定められています。
例えば品質では50人程度の企業では審査工数5人日と定められています。
もちろん、リスクを勘案し増減しても良いことになっていますが、実際には審査機関の競争により相場が決まってしまい、顧客に対する説得力が無い結果となっています。
これが、JIS審査の価値が下落している結果になっていると思います。
会計監査の場合は、監査法人が試査をおこない、見積もりを行い、監査契約をされると聞いています。
また、監査日程などの決め方もJIS審査よりは監査法人の意思が通るのではと推測しております。
このあたりの状況もご教示いただければと思っております。

3.
HOWの部分について具体的な基準を示すことについて
(ア)
ISMSは認定規格であるISMS VER2とそのHOWを示す実践基準とであるISO17799-2000の2階建てでした。
ご存知の通り、ISO化により認定規格JIS27001、実践基準JIS27002(ISO17799-2005)になっても、構造は変わりません。
(イ)
しかし、たまたまパスワードのお話でしたので、例を挙げますが、実践基準の書き方が新版では次のように変わっています。
これは、実践基準と言えども解釈が必要な抽象的表現に置き換えられているということです。
① 2000版:9.3.1d)最短6文字の質のよいパスワードを選択する。
② 2005版:11.3.1d)十分な最短文字数をもつ質の良いパスワードを選択する。
(ウ)
上記は技術、社会の変化などを考えると、標準としては適切な判断と思います。
したがって、法律と同じで社会状況に見合った解釈がどうしても他に必要になります。
例えば、プライバシーマークの認定はJISA(情報サービス産業協会)など業界団体に委託するのが原則であり、
業界団体はその業界に合った解釈を自分のPマークガイドラインとして定め、これに基づいて審査しています。
これも大きな問題があると思いますが、この標準の解釈としては毎年このようなガイドラインを改定していけば、審査機関も顧客も納得の行くHOWが定まるのかとも思います。
ただし、ガイドラインも業界、組織の規模別に数種類必要と思います。
(エ)
補足: Pマークは業界団体が無いところはJIPDEC自身が審査します。
しかし、JIPDEC自身は審査基準を公開していません。JISAはJISA基準とそれに対応した審査基準をある程度公開しています。
今度、JIPDECも審査基準を公開するそうですが、どの業種、どの程度の規模の組織を前提に審査基準であるのか見ものです。

Posted by: yamamoto.tomio | 2006.08.07 12:39

yamamoto.tomioさま
コメントありがとうございます。

1.
保証範囲を広げるとそれだけ責任範囲が拡大しますから、ある意味覚悟が必要となりますね。
適合性評価制度が有効性まで保証しているということは、ISMS認証を取得している組織が有効なISMSを構築していると思い取引をしたが、実はそうではなかった。つまり審査機関が審査ミスをしていた・・・ということになれば、審査機関は責任を負うことになりますよね。
個人的にはあまり、何でもできますと言わないほうがよいかも・・・と思ったりもしています。

2. サンプリングの決め方
ですが、やっぱり、保証をする以上、
1)赤字になっても審査員が心証をえれるまで作業をする
2)赤字がいやなら、審査を中断する。
ということだと思います。


Posted by: 丸山満彦 | 2006.08.11 04:23

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



TrackBack


Listed below are links to weblogs that reference 内部統制監査とISMS認証審査の違い 私見途中版:

« サンプル数 in IT CO for SOX | Main | 2006年春版 404条対応コスト »