本文へスキップ

障害シナリオ① 消しても空かないディスク

Pro会員限定上級約39分6レッスン

/ が 100% になり、アプリも DB も書き込みに失敗しています。肥大化したログは今朝 rm したはずなのに、領域が空きません。df と du の差、lsof +L1 で削除済みファイルを掴むプロセスを突き止め、原因の設定を直してから再起動し、DB と API の復旧を確かめてポストモーテムを書くまでを通しで行います。

対象者: ディスク逼迫の一次対応をしたことがあり、「消したのに空かない」を自力で解決したい方

前提知識: シグナル・優先度・開いているファイル / LVM 拡張と inode 枯渇 修了程度

この教材を終えると、できるようになること

  • ディスクの使用率と、優先度の高いエラーの記録から、障害の影響範囲(どのサービスが困っているか)を短時間で洗い出せるようになる。
  • du で見えるファイルの合計と df の使用量の差に気づき、作業履歴から「削除したはずのファイル」を見つけられるようになる。
  • 削除済みなのに開かれたままのファイルを一覧し、掴んでいるプロセスとサイズを特定できるようになる。
  • 肥大化の原因となった設定を直してから再起動し、領域の解放と、影響を受けたサービスの復旧まで確認できるようになる。
  • 事象・影響・原因・対応・確認・再発防止の6項目で、証拠つきの責めない(ブレームレス)ポストモーテムを書けるようになる。

修了後の姿: 障害の根本原因をログとコマンドで突き止められる、チームに頼られる運用エンジニアへ。

この講座はPro会員限定です。無料の会員登録後、無料レッスンのあるコースから学習を始められます。