バックアップに依存しすぎていませんか？

携帯通信会社の大規模な機能障害のニュースを聞き、「現場の担当者は大変だろうなぁ」と想いを巡らしました。というのも、昔々のことですが私がある会社のシステム責任者だったときに、かなり大規模な（とは言っても、その会社にとって…ですが）システム障害事故が発生して大変な思いをしたことがあるからです。

大抵の企業のシステムでは、必ずといっていいほどデータベースのバックアップは定期的に保管されていると思います。毎日夜間バックアップしてそれを１週間分保存する…というサイクルが一般的でしょう。また、大手企業のクラウドサービスを使っている場合には、バックアップサービスが標準で付いているケースもありますね。

当時の私も障害への備えはバックアップで十分だと思っていましたし、それ以上の対策からは故意に目をそらしていました。何しろ面倒ですしお金もかかりそうだからです。サーバーは２４時間対応の保守サービスに加入していたので、ハードウェア故障は数時間で直してくれるはずだし、データはバックアップがあるから大丈夫だ。第一そんなに簡単に故障などしない。きっと…と。しかし、無情にも「その時」は来ました。

詳細を記述するのは避けますが、当時のトラブルは表面上何が起きているのかさっぱりわからないものでした。事の発端は、基幹システムのソフトウェアが停止しアクセスできなくなったことで社内が大騒ぎとなったことでした。ソフトウェアが動きませんので、言わばマニュアル通りにサーバーの再起動を試みます。しかしそれでは復旧しない。となると次に定期バックアップから戻す作業を試みることになりますが、ここで業務的なハードルに直面します。

それは「最新のバックアップ以降更新されたデータは戻らない（消える）」ということです。社内の責任者に集まってもらって、バックアップから戻す作業の可否を問いました。システム責任者としては針のむしろです。社内方々から「消えてしまうデータをなんとかならないのか？」とか「そもそも原因は解っているのか？」などの厳しい追及が続きます。しかし、「これしか方法が無い」旨を何回も丁寧に説明し、全員に半ば諦めてもらってバックアップから戻す作業に着手しました。

時間にして２時間ほどでしょうか。バックアップからデータを戻している間、食べることができなかった昼食をとりに外にでかけました。ところが食べている最中に電話がかかってきて、「バックアップから戻しても同じエラーが発生してしまい、正常動作しない」との連絡です。慌てて会社に戻り状況を見ましたが、皆目見当がつきません。各部署からは、矢の様な催促ですし、バックアップから戻したので最近のデータも消えてしまっていて厳しい追及の声が聞こえてきます。その後、様々な顛末があって、正常に再稼働するまで３日ほどを要しました。その間、会社に泊まり込み、飲まず食わずで対策を行い、なんとか復旧させることができましたが、その間は本当に胃の痛みが治まることはありませんでした。会社の販売も製造も止まってしまった為、業績にも大きな損失を与え、お客さまにも大変な迷惑をおかけしました。

この障害の原因はかなり複雑で、真因特定するために１ヶ月以上も要しましたが、ハードウェア故障が引き金となってデータベース内のデータが破壊される、というものでした。しかも、ハードウェア故障が一見正常に見える故障だったため、故障検出プログラムでも正常判定されてしまう、というたちの悪いものでした。サーバーがそんな状態ですから、バックアップからデータを戻しても正常に戻るはずもなく、無意味に時間をロスしていたことになります。

これ以上解説すると技術的な話に突入してしまうのでここでは避けておきますが、この時私が経験した障害は「バックアップがあってもあまり役に立たない障害」だったのです。会社の売上やお客さまの信用を支えている基幹システムでしたので、即刻復旧が必要だったのですがそれができず非常に大きな事態となったわけです。その後恒久的な対策を施しましたが、そもそも「長時間の停止は許されない」とか「データの欠落は絶対に許容できない」といったシステムの場合はバックアップを取るだけでは役に立たず、他の備えも組み合わせる必要があるものなのです。

さて、皆さんの会社のシステムはどうなっていますか？ほとんどが当時の私と同様、バックアップに頼り切っていると思います。バックアップから戻す訓練をやった企業も恐らく少数派でしょう。まずは、ハードウェアが故障した時、ネットワークが切断された時、データが破損した時、など考えられるケースを洗い出し、その対応を図上訓練でも良いのでやってみることをお勧めします。たいていの場合、単純バックアップだけでは経営的に受け入れられない結果が出てくると思います。バックアップ一辺倒はそれだけ危険な思想なのです。