サーバーのハードディスク、いかれる
また だ・・
またメールサーバーが故障しました。
2010/3/21に書いたばかり。
Turbo Linux 11 Server
メール送受信が出来なくなったという事で、会議の途中でみてみると確かにメールが反応しない。
WEBは見えてる。 sshはつながらない・・・
という事で、サーバーに直結してるモニタを見にいったら
sda とか i/o だとか fail だとか、エラーらしき文字が画面の下から上に流れつづけ・・・
こりゃまた面倒な事に・・・・
表示されている文面は今となっては覚えてません。だいたいそれを見たらまずは復旧に全力投球なもんですから。
とりあえず、一旦リセットしてみると、起動してしばらくは動作する様でしたが、少し経つとぽつりぽつりと同じ表示が。
結局ディスクがいかれたってことです。
表示にsdaって出てるからメインのドライブだな。今sda sdb sdc の３機が接続してあるから。
このサーバーは、RAID-1で組んだのでsdaがエラーって言うと、RAIDの１番目のドライブかぁ
なんでsdaなんだか？
RAIDだったらデバイスは /dev/ataraid ってのじゃないかな？
嫌な予感が少し走る。
もう、shutdown も受け付けてくれず、強制停止させて、ドライブの１番を外します。
SATA Seagate Baracuda 7200.10 80G
このままでsdbから立ち上がるのがRAID-1だろ、そしたらあとはRAIDを再構成するだけ。
立ち上がるか？
スイッチＯＮ
立ち上がったけど、プロンプトのサーバー名が localhost ってなってるのはなんで？
その答、せっかくRAID-1をセットしたのに、ミラーされてない。全くデータが書き込まれてない。
ハードウェアRAIDなのになぜか一番最初にRAID設定してduplicateした直後の状態。
だからsdaなのか・・・
うーむ
そうなると、簡単に復旧出来ないわけだ。
まいったな
と思いましたが、この前仕掛けたUSBドライブへ一日一回自分自身を転送するように仕掛けたもの、これが頼みの綱。
運良くLinuxでの起動は出来るので、あとは環境を戻すだけ。
sdbをメインにして、起動させて、mkdir /mnt/usbでusbドライブのマウントポイントを作って、
mount /dev/sdb1 /mnt/usb
でマウント。と思ったらsdb1はbootパーティションだった。
sdb3 が / ルート
mount /dev/sdb3 /mnt/usb
でそのusbドライブの中にあるコピースクリプト
rsync /tmp/ /mnt/usb/tmp -avzrpog --delete
rsync /home/ /mnt/usb/home -a -v -z -r -p -o -g --delete
rsync /var/ /mnt/usb/var -a -v -z -r -p -o -g --delete --exclude 'chroot/proc'
rsync /bin/ /mnt/usb/bin -avzrpog --delete
rsync /dev/ /mnt/usb/dev -avzrpog --delete
rsync /etc/ /mnt/usb/etc -avzrpog --delete
rsync /lib/ /mnt/usb/lib -avzrpog --delete
rsync /opt/ /mnt/usb/opt -avzrpog --delete
rsync /root/ /mnt/usb/root -avzrpog --delete
rsync /sbin/ /mnt/usb/sbin -avzrpog --delete
rsync /usr/ /mnt/usb/usr -avzrpog --delete
これを取り出して、コピー元と先を入替て復元用に。
そして実行。
データを書き戻すこと約30分、そして再起動。
Ｏｈ
無事最新のバックアップが７時間前の自動実行時。そこに戻りました。
危ない危ない。
特に何も調整することなく全く今までと同じに動作しています。
qmailでのメールの置き場である /homeだけは１時間ごとにバックアップするようにかえました。
RAIDもこの際やめました。この前の段階でRAIDはやめる方向で決意したんですけどね。
めでたしめでたし。