Oba-Q's Free Space >  サーバーネットワーク > CentOS > サーバーダウン顛末記@あれもこれもぶっ飛んだ・・

サーバーダウン顛末記@あれもこれもぶっ飛んだ・・

今年は電源関係が鬼門のようです。

今度はサーバーの電源で使用していたUPSがぶっ飛びました。
バッテリが一瞬ショートしたような大きな音がして、
AC100Vが出力されていません。
いきなり電源が落ちたのですから、ぶら下がっていた2台の
サーバーがおかしくなっていないことを祈って、UPS交換後
スイッチオン・・・

1台は起動しましたがもう1台はブートできるディバイスが
ないと怒られ、全く起動しません。
レスキューモードからや、他のマシンにHDDをぶら下げて
ファイル救済を試みましたが、全く中身が見えません。
ファイルシステムが完全にブッ飛んだのでしょう。

幸運にも拙宅サーバーは、30分おきにユーザー領域を
バックアップしてあるので、新しいマシンにFedoraを入れて
再構築することにしました。

ここで大きな問題が。
ブッ飛んだマシンはFedora17でしたが、すでにFedora18が
リリースされていたので18をインストール。
Webやメールサーバーを設定したあと、あとはユーザー
領域をバリバリコピーするだけで良いはずなのですが、
18のユーザーインターフェイスや設定ファイルのパスが
ガラリと様変わりして、いつものように簡単に、というわけには
いかなくなってしまいました。
設定ファイルの場所を検索しながら、なんとかインストール
・設定をしてみましたが完璧とは程遠く、何かやるたびに
エラーを吐くし、こんな調子でやっていたら復旧に10日も
かかりそうなので、思い切ってFedoraへのこだわりを捨てて
CentOSに鞍替えしました。

CentOSの最新バージョン6.4は、Fedoraの古めのバージョンと
ほぼ一緒なので、問題なく設定できましたが、ブッ飛んだ方の
サーバーにはユーザーが100人近くいて、SSLの認証ドメインも
複数抱えていたので、復旧動作確認だけでもかなりの時間を
要し、すごく焦った作業になったのでイージーミスの連発。
緊急事態ほど落ち着かなきゃダメってことですよね。

大丈夫だと思っていたもう1台ですが、実はまったく
大丈夫ではありませんでした。
メールやWebサーバーなどは活きていたので気づかなかった
のですが、久しぶりに自分のサイトを覗くと、データベース
接続エラーが出ていて、サイトが表示されてません。
mysql再起動・・・何をやっても起動しません。。。
プロセスを調べてもmysqlは立ち上がっていません。

mysqlのデータもバックアップしてあるので、思い切って
アンインストールしてしまい、新たにインストールを
しなおしましたが、起動するものの機能しません。
しかも一度起動すると、リロードができなくなり
プロセスがずっと残ってしまいます。
kill -9 プロセスナンバー で殺すと再度起動しますが
状況は変わりません。

このサーバーもFedora17なので、直にサポートが切れるため、
こちらもCentOSに変更し、全てを構築しなおすことに。
( CentOSもいずれFedora18と同様なものになるでしょうけど、
 バージョンは完全更新期限が2015年で、最終サポートは
 2020年まであるので、その間ゆっくりお勉強できそうです。)

別マシンにCentOS6.4をインストール、Web・Mail・FTP・DNS
MYSQL・など最小限の設定し、ユーザー領域やSSLのキー・
mysqlのデータなどをrsyncで移動させます。
バックアップからの復旧ではないので、かなり楽チンですが、
FTPサーバーなどはバージョンが異なることで、設定ファイルが
大幅に変更があったものもあり、手打ち設定作業も発生しましたが、
Fedoraの古いバージョンで経験しているので作業は順調でした。

バックアップしてあったデータを所定の位置に戻すと、
ブログのひとつは復旧しました。
ところが拙生のブログが復旧せず、相変わらずエラーを
履き続けます。
あんなことやこんなこと、思いつくこと全てを
やったのですがダメです。

あんなことやこんなことってのは具体的には

mysqlcheck -c データベース名 -u ユーザー名 -p
mysqlcheck –auto-repair -c -o データベース名 -u ユーザー名 -p
mysqlcheck -r データベース名 -u ユーザー名 -p
等々。

phpMyAdminからも修復や最適化をやってみましたがこれもNG。
エクスポートしてみると特にちゃんとSQL文が構成されているように
見えるので、それを新しい方にインポート・・・NGです。

そこでついに諦めました。
テキストでエキスポートしておいて、新たに構築したWordpressに
手作業でコピペしようと決心しました。
何年分もの投稿は一気には無理なので、とりあえず今年の分だけ
復旧させ、あとは少しずつやることにしますが、固定ページも
半端でないボリュームです。
固定ページのサーバー関係は自身の備忘録であり、拙宅以外の
サーバーをいじる時に役立つため、このあたりから復旧ですね。

無線やサーバーのカテゴリは、サーチエンジンから飛んでくる方が
多かったので、リンク切れになっちゃいますね。
パーマネントリンクを書き換える?(却下です。)
Facebookなんかに貼ったページリンクもかぁ。@ため息

今回のトラブルは、いくらログを眺めても決定的な原因が
探し当てられなかったのですが、以前のマシンでmysqlが
全く稼働しなくなったことと、新たに構築したマシンに
データ移動しても一部のデータベース(拙性のブログ)が
NGであったことから、mysqlが拙生のデータベースへアクセス
している最中に電源が切れて、mysqlがぶっ飛び、データベースは
異常終了したため、InnoDBとの整合性が取れなくなったのでは
ないかと睨んでいます。

疲れたぁ~~~

This entry was posted in CentOS, Fedora, サーバーネットワーク. Bookmark the permalink.

5 Responses to サーバーダウン顛末記@あれもこれもぶっ飛んだ・・

  1. says:

    それで落ちてたんですね。てっきりまた入れ替えかとおもっていたのですが。

    焦ると、簡単なミス連発しますよね。
    ちょっとしたことがそのとき解らなくて・・
    後で見てみるとスペルミスとか。

    まー復旧してなによりでござんす。

  2. kakko says:

    お疲れ様でした!
    サイトが表示されなくて、何か大変な感じなんだなぁとは思ってたんですが、大事が起きてたんですね。

    自分のサイトが見れるようになったと思ったら、今度はQさんのサイトが見れないぞ?って。今日来てみたら、おお、見れるようになっている~
    まだ雪かきなどで北海道は大変で、思うように修理?できないんだろうなとか思ってました。

    そういえば、またあやうく忘れるところでしたが、、、
    今までkakko分とkamiko-piano分を別々に送金してましたが、今回は合算で送金しましたので~~

    あと、wordpressでログインしてブログの書き込みはできるんですが、FFFTPでの接続ができないんです。(wordpressでのftp接続はできています)
    今回の件で、何か設定が変わったりなどしていたらご指南くださいませ。

  3. mainte says:

    多忙のためのぞいていなかったので、コメントを承認してませんでした。(^^;;

    >よ様
     そろそろ入れ替え時期かなぁと思っていた矢先でした。
     入れ替える前に別マシンで新バージョンを検証するのですが、
     今回はそれも出来ずにいきなりだったので、大幅な
     変更があったことはその時に判明。。
     まったくもう!です。

    >KAKKO様

     ご迷惑おかけしました。
     FTPは接続できてますか?
     こちらでやってみましたが、大丈夫なようです。
     Web・メール・・・FTPの順番で設定していたので、
     Webが見れてからFTPが稼働するまでのタイムラグ
     だったと思います。

     電源関係は強化したので、今後こんなことはないと思います。

     

    • kakko says:

      3/30(土)から「ムームードメイン」っていうのが表示されちゃってkakkoもkamiko-pianoも見られないんです。。。

    • mainte says:

      レジストラのミスでドメインを期限切れ扱いに
      したようで、すぐに復帰させました。
      期限はあと361日残っているのに・・・