障害シナリオ① 消しても空かないディスク
Pro会員限定上級約39分6レッスン
/ が 100% になり、アプリも DB も書き込みに失敗しています。肥大化したログは今朝 rm したはずなのに、領域が空きません。df と du の差、lsof +L1 で削除済みファイルを掴むプロセスを突き止め、原因の設定を直してから再起動し、DB と API の復旧を確かめてポストモーテムを書くまでを通しで行います。
対象者: ディスク逼迫の一次対応をしたことがあり、「消したのに空かない」を自力で解決したい方
前提知識: シグナル・優先度・開いているファイル / LVM 拡張と inode 枯渇 修了程度
この教材を終えると、できるようになること
- ディスクの使用率と、優先度の高いエラーの記録から、障害の影響範囲(どのサービスが困っているか)を短時間で洗い出せるようになる。
- du で見えるファイルの合計と df の使用量の差に気づき、作業履歴から「削除したはずのファイル」を見つけられるようになる。
- 削除済みなのに開かれたままのファイルを一覧し、掴んでいるプロセスとサイズを特定できるようになる。
- 肥大化の原因となった設定を直してから再起動し、領域の解放と、影響を受けたサービスの復旧まで確認できるようになる。
- 事象・影響・原因・対応・確認・再発防止の6項目で、証拠つきの責めない(ブレームレス)ポストモーテムを書けるようになる。
修了後の姿: 障害の根本原因をログとコマンドで突き止められる、チームに頼られる運用エンジニアへ。
Chapter 1障害対応: / が 100%
状況把握から根本原因、再発防止の記録まで。障害対応の型をなぞります。
Chapter 2確認クイズ
削除済みファイルとディスク障害対応の理解度をチェック。