サーバーダウン顛末記＠あれもこれもぶっ飛んだ・・

今年は電源関係が鬼門のようです。

今度はサーバーの電源で使用していたUPSがぶっ飛びました。
バッテリが一瞬ショートしたような大きな音がして、
AC100Vが出力されていません。
いきなり電源が落ちたのですから、ぶら下がっていた２台の
サーバーがおかしくなっていないことを祈って、UPS交換後
スイッチオン・・・

１台は起動しましたがもう１台はブートできるディバイスが
ないと怒られ、全く起動しません。
レスキューモードからや、他のマシンにHDDをぶら下げて
ファイル救済を試みましたが、全く中身が見えません。
ファイルシステムが完全にブッ飛んだのでしょう。

幸運にも拙宅サーバーは、３０分おきにユーザー領域を
バックアップしてあるので、新しいマシンにFedoraを入れて
再構築することにしました。

ここで大きな問題が。
ブッ飛んだマシンはFedora17でしたが、すでにFedora18が
リリースされていたので18をインストール。
Webやメールサーバーを設定したあと、あとはユーザー
領域をバリバリコピーするだけで良いはずなのですが、
18のユーザーインターフェイスや設定ファイルのパスが
ガラリと様変わりして、いつものように簡単に、というわけには
いかなくなってしまいました。
設定ファイルの場所を検索しながら、なんとかインストール
・設定をしてみましたが完璧とは程遠く、何かやるたびに
エラーを吐くし、こんな調子でやっていたら復旧に10日も
かかりそうなので、思い切ってFedoraへのこだわりを捨てて
CentOSに鞍替えしました。

CentOSの最新バージョン6.4は、Fedoraの古めのバージョンと
ほぼ一緒なので、問題なく設定できましたが、ブッ飛んだ方の
サーバーにはユーザーが100人近くいて、SSLの認証ドメインも
複数抱えていたので、復旧動作確認だけでもかなりの時間を
要し、すごく焦った作業になったのでイージーミスの連発。
緊急事態ほど落ち着かなきゃダメってことですよね。

大丈夫だと思っていたもう１台ですが、実はまったく
大丈夫ではありませんでした。
メールやWebサーバーなどは活きていたので気づかなかった
のですが、久しぶりに自分のサイトを覗くと、データベース
接続エラーが出ていて、サイトが表示されてません。
mysql再起動・・・何をやっても起動しません。。。
プロセスを調べてもmysqlは立ち上がっていません。

mysqlのデータもバックアップしてあるので、思い切って
アンインストールしてしまい、新たにインストールを
しなおしましたが、起動するものの機能しません。
しかも一度起動すると、リロードができなくなり
プロセスがずっと残ってしまいます。
kill -9 プロセスナンバー　で殺すと再度起動しますが
状況は変わりません。

このサーバーもFedora17なので、直にサポートが切れるため、
こちらもCentOSに変更し、全てを構築しなおすことに。
（　CentOSもいずれFedora18と同様なものになるでしょうけど、
　バージョンは完全更新期限が2015年で、最終サポートは
　2020年まであるので、その間ゆっくりお勉強できそうです。）

別マシンにCentOS6.4をインストール、Web・Mail・FTP・DNS
MYSQL・など最小限の設定し、ユーザー領域やSSLのキー・
mysqlのデータなどをrsyncで移動させます。
バックアップからの復旧ではないので、かなり楽チンですが、
FTPサーバーなどはバージョンが異なることで、設定ファイルが
大幅に変更があったものもあり、手打ち設定作業も発生しましたが、
Fedoraの古いバージョンで経験しているので作業は順調でした。

バックアップしてあったデータを所定の位置に戻すと、
ブログのひとつは復旧しました。
ところが拙生のブログが復旧せず、相変わらずエラーを
履き続けます。
あんなことやこんなこと、思いつくこと全てを
やったのですがダメです。

あんなことやこんなことってのは具体的には
、
mysqlcheck -c データベース名 -u ユーザー名 -p
mysqlcheck –auto-repair -c -o データベース名 -u ユーザー名 -p
mysqlcheck -r データベース名 -u ユーザー名 -p
等々。

phpMyAdminからも修復や最適化をやってみましたがこれもNG。
エクスポートしてみると特にちゃんとSQL文が構成されているように
見えるので、それを新しい方にインポート・・・NGです。

そこでついに諦めました。
テキストでエキスポートしておいて、新たに構築したWordpressに
手作業でコピペしようと決心しました。
何年分もの投稿は一気には無理なので、とりあえず今年の分だけ
復旧させ、あとは少しずつやることにしますが、固定ページも
半端でないボリュームです。
固定ページのサーバー関係は自身の備忘録であり、拙宅以外の
サーバーをいじる時に役立つため、このあたりから復旧ですね。

無線やサーバーのカテゴリは、サーチエンジンから飛んでくる方が
多かったので、リンク切れになっちゃいますね。
パーマネントリンクを書き換える？（却下です。）
Facebookなんかに貼ったページリンクもかぁ。＠ため息

今回のトラブルは、いくらログを眺めても決定的な原因が
探し当てられなかったのですが、以前のマシンでmysqlが
全く稼働しなくなったことと、新たに構築したマシンに
データ移動しても一部のデータベース（拙性のブログ）が
NGであったことから、mysqlが拙生のデータベースへアクセス
している最中に電源が切れて、mysqlがぶっ飛び、データベースは
異常終了したため、InnoDBとの整合性が取れなくなったのでは
ないかと睨んでいます。

疲れたぁ～～～