東証システム障害について - 「再発防止策検討協議会」の設置について

こんにちは、丸山満彦です。

2020.10.01に東京証券取引所のシステムが停止し、売買が行えない状況となり、翌日には復活し、2020.10.05に独立社外取締役による「システム障害に係る調査委員会」が設置され、2020.10.16に金融庁に報告が行われましたね。。。

2020.10.19に経緯、原因及び再発防止措置等について公表が行われ、「再発防止策検討協議会」を設置することが公表されましたね。。。メンバーは発表されていません。。。再発防止策検討協議会の議論を経て2021年3月末には市場再開のためのルール等を作るようです。。。

一方、システムベンダーの富士通からも障害の原因と対策について公表されていますね。。。

マニュアルの不備（製品仕様と異なるマニュアルへの記載）が原因の１つとなっていますね。。。

● 東京証券取引所

・2020.10.19 10月1日に株式売買システムで発生した障害について

今回発生した事象に関し、経緯、原因及び再発防止措置等について公表を行いました。
また、今般、当社では、再発防止に向けたシステム障害対応やルール整備の在り方についての検討を行うため、「再発防止策検討協議会」を設置することとしました。

・ [PDF] 10月1日に株式売買システムで発生した障害について (downloaded) 
・ [PDF] （補足資料）NAS設定値について (downloaded)
・ [PDF]  システム障害に係る「再発防止策検討協議会」の設置について  (downloaded)

---

(1) NAS 2 号機への自動切替えが正常に動作しなかった理由

当社は、NAS 故障時でも 30 秒以内に切替えて、業務を継続できることをシステム要件として定めています。現行 arrowhead⁴ 構築時に、富士通の製品マニュアルを参照して NAS の設定値の妥当性を当社と富士通で共同検討しましたが、そこには切替えに関する設定値に拠らず自動切替えが動作すると記載されていたことから、同設定値におけるこれまでの arrowhead の稼働実績に鑑み、富士通の設定値を当社が確認のうえ、決定しました。

しかし実際には、arrowhead に設定した値ではメモリ障害時には自動的に切り替わらない製品仕様であることが、本障害後の調査で判明しました。マニュアルの不備により正しい仕様が把握できませんでした^{5 6}。

富士通では、通常、初期設定値でマニュアルどおりに動作することをテストしてから製品として出荷します。今回、arrowhead
に設定した値は初期設定値ではなかったため、出荷時、机上で仕様を確認したものの、テストは行われていませんでした。当社においても NAS の切替えテストは実施していましたが、切替え後の業務継続に確認の重きを置き、設定値とマニュアルの整合性については富士通内の製品出荷プロセスで検証されている前提であったことから、テスト時はネットワーク故障を疑似的に発生させることで、切替えが正常に行われ業務継続できることを確認していました。

なお、NAS の手動での切替え完了まで時間を要したのは、自動的に切り替えられる機構であることを前提として、障害対応手順を整備していたことに拠ります。

⁴ 現行システム＝2019 年 11 月稼働
⁵ 2015 年 9 月に稼働した 2 代目の arrowhead 開発時からマニュアルの不備が発生していました。
⁶ NAS 設定値の経緯については、別紙「（補足資料）NAS 設定値について」をご参照ください。

---

(2) 当日中の取引再開ができなかった理由

① システム面

売買停止のためにネットワークを遮断しましたが、arrowhead 内部では約定等の処理が動き続けました。その結果、再開に向けた手順や確認項目が多くなりました。不測の事態に備え、複数種類の売買停止手段は用意していましたが、NAS が使えない場合においても確実に売買を停止する手段を具備していなかったことが問題と認識しています。

② 運用面

arrowhead を再立ち上げして売買を再開するという手順については取引参加者との合意もなく、テストも実施していない中で、不安定な対応は市場開設者として採用すべきではないと判断しました。システム障害発生時の売買停止後の再開に係る取扱いルールが整備されていなかったことが問題と認識しています。

---

3. 再発防止のために講じる措置

再発防止策	内容
① システム対応と総点検 （2.(1)への対応）	・ NAS 切替え設定値の修正（10 月 5 日完了） ・ NAS 設定値の総点検（10 月末まで） ・ 確実に切り替える手段の確認・整備（11 月末まで） ・ 切替えテスト・訓練（NAS については 21 年 1 月まで：その後も継続）
② 確実に売買停止をするための手段の拡充 （2.(2)①への対応）	・ 売買停止できないケースの確認（10 月末まで） ・ （該当ケースがある場合）指示方法や運用手順の整備（11 月末まで） ・ NAS を経由しない売買停止機能の開発（11 月末まで）
③ 市場停止及び再開に係るルールの整備等 （2.(2)②への対応）	取引参加者・投資家・システムベンダー等から構成される「再発防止策検討協議会」を設置し、議論のうえルール等を整備（21 年 3 月末目途） ・ 当日中に売買を再開するために必要となるルール ・ 売買の再開に向けた手順の整備 ・ 売買停止・再開の基準の明確化 ・ 情報発信の在り方、等

---

● 富士通

・2020.10.19 東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について

[PDF] ページ印刷

---

（2）共有ディスク装置の自動切替が行われなかった原因

• 当該共有ディスク装置のマニュアルには、メモリ故障等に起因する特定事象が発生した場合は、必ず自動切替が行われる旨の記載がありました。
• 実際の製品では、設定によっては、メモリ故障等に起因する特定事象が発生した場合、自動切替が行われない仕様となっておりました。今回は特定事象発生時に自動切替が行われない設定になっておりました。
• マニュアルの記載と実際の仕様の齟齬が生じた原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによるものです。
• マニュアルの記載が変更されていなかったこと、およびその状況を製品出荷時等の試験で検出できなかったことは当社の試験・確認が不十分であったことによるものです。

---

 ・2020.10.19 [PDF]［重要］ストレージシステム「ETERNUS NR1000 series」におけるコントローラ自動切替の仕様に関する重要なお知らせ

---

■ 参考

● Piyolog

・2020.10.02  2020年10月に発生した東京証券取引所のシステム障害についてまとめてみた

● まるちゃんの情報セキュリティ気まぐれ日記

・2020.10.07 東証システム障害について　 - 「システム障害に係る調査委員会」の設置について