Date: 2014/5/11 Cate: 未分類 Tags:  

運用してるサーバーから「ディスクの空き容量がやばいよ!」ってアラートきたんで、

df -h

ってやったら確かに残り20%きってたので、

du -h --max-depth=1 /

ってやってどこのディレクトリが容量くってんのかな?って調べてみたら、 / は40%くらいしか使っていないことが判明。
duとdfで値が違うのか、と思ってググってみたところ、以下のブログが非常に参考になりました。
BRAIN: CentOS dfとdu 値が違うのはなぜ?

で、

 ls -al /proc/*/fd/* | grep deleted

ってやってみたら確かに

l-wx------ 1 td-agent td-agent 64 May 11 03:44 /proc/31975/fd/5 -> /var/log/td-agent/td-agent.log (deleted)
l-wx------ 1 td-agent td-agent 64 May 11 03:44 /proc/31978/fd/5 -> /var/log/td-agent/td-agent.log (deleted)

ってでてきた。
これはたしか先日、td-agentからログを送ってる先のサーバーが死んじゃって、ログを送れないー!っていうエラーログがめっちゃたまってしまった時に、そのログファイルを削除したやつだ。
td-agentのプロセスが動いた状態でログファイルを削除してしまったため、それがなんか原因だったっぽい。
td-agentを再起動したら、無事ディスクの空き容量が元に戻りました!

Leave a Reply