障害から復旧したあと、記録に「再起動で解消」とだけ残っていたら、次に同じ通知を受けた人は何を頼りに動けばよいでしょうか。今回は、障害対応後の記録を考える技術コラムです。
「戻った」と「分かった」を分ける
たとえば、Webサービスの応答が遅くなり、プロセスの再起動後に応答時間が戻ったとします。これは説明用の例です。
この段階で確認できたのは、再起動の前後で状態が変わったことです。メモリの増え方、接続先の状態、アクセスの偏りなどを調べていなければ、原因までは決められません。
復旧した事実と、原因についての仮説を分けて書く。 それだけで、あとから読む人が調査の出発点を間違えにくくなります。
時系列に、判断の理由を添える
「通知を受けた」「ログを見た」「再起動した」という操作履歴に加えて、その時点で何が分かっていたかを残します。
影響と対応
どの機能で、誰に、どのような影響があったのか。確認できた範囲と未確認の範囲を分けます。対応については実施時刻、操作対象、承認や連絡の状況、実施後の確認結果をまとめます。
判断に使った情報
応答時間の推移、エラーの種類、直前の変更など、判断の根拠を記します。「負荷が高かった」だけで済ませず、比較した期間や対象も残すと読み直しやすくなります。ログの保管先を案内する場合は、閲覧権限や機密情報の扱いにも配慮します。
再発防止を、実施できる仕事にする
「監視を強化する」「確認を徹底する」では、何を終えればよいかが曖昧です。「特定のエラー増加を検知する条件を検討する」「変更手順に戻し方と実施後の確認項目を加える」のように、作業へ落とします。
担当者、確認期限、完了の判断方法まで置けば、記録を閉じたあとも追いやすくなります。対策が原因に届いているか分からないときは、調査を続ける項目として残します。
GoogleのSRE資料でも、障害の記録を個人への非難にせず、学びと改善につなげる考え方が紹介されています。参考:Postmortem Culture
次の人が同じ状況で判断できるか。 記録を読み返すときは、この問いを置いてみてください。復旧だけでなく調査や改善にも関わりたい方は、インフラの募集もご覧ください。