身近であった怖い話(Linux環境)#2

2019 年 5 月 15 日 by hiro-k

お疲れ様です。
身近であった怖い話(Linux環境)の第二段になります。

今回もディスクに関するもので、
皆さんもよく知っているNASでの問題となります。

ただ、よく言われているNASの伝播遅延での問題ではなく、
inodeでの問題です。

サーバリニューアルを行っているとき、
ファイル数は多いが、ファイルサイズが小さいため、
NASのディスク使用量はかなり余裕がありました。
その為、ディスク使用量について過去実績から
余裕が持てる程度に縮小することとなりました。

その後、実運用時にディスク使用量には余裕があるのに
ファイルが書き込めないという障害が発生しました。
何が起こったのか確認するとinodeが枯渇しているため、
ファイル作成ができない状態となっていました。

なぜこのようなことになったのか?なのですが、
簡単に言うとinode数はディスク容量の○○%という設定があります。
この○○%についてディスク縮小前と同じ場合、
ディスク縮小後はinode数が減ることになります。
そのため、inode枯渇という状況に陥りました。

ファイル出力が多い理由ですが、
対象ディスクはキューファイル出力ディスクで
一定期間経過すると処理される仕組みとなっているため、
基本的には多くは出力されることはないのですが、
何かのキャンペーンで大量にファイルが出力されることになったようでした。

ただ、キューファイル出力失敗となりましたが、
要求側がメンテナンス等の状況を考慮しており、
エラーとなると一定期間経過後に同要求がリトライされる仕組みとなっているため
ユーザ影響などはなく、inodeの設定を変更することもできました。

これが出力失敗するとユーザ様にエラーを返却する、
何かロストしてしまうなどあると問題ですが、
ひやり程度の問題で、大きな問題とはならなかったそうです。
(ただ、別の問題として、このディスク容量縮小は
 サーバ構築側が内々で実施して、システム側に連絡がなかったことが
 大きな問題としてあがりましたが・・・)

もし、皆さんの周りでディスクサイズを見直している等の情報がある場合、
inodeについても少しだけ気にしてもらえるとうれしいです。
 (もしかしたら大問題になる可能性もありますので)

タグ: , ,

TrackBack