CentOS7移行作戦はどうなった?

インストール済みのスタンバイ機ではほとんど
検証が終わったので、そろそろ交換したいのですが、
現在お試し中のソフトがあって、ある理由で交換できません。

何をやっているかというと、ビッグデータ処理では
今や当たり前になってきた分散処理ってやつです。
マスターコンピュータが複数台のスレーブコンピューターに
処理を割り振って(データを千切って投げる)やり、計算結果を
拾い集めて一つにまとめるってやつです。

普通なら個人のパソにおいてビックデータなんぞを扱うことは
まず無いでしょうが、その昔自分のパソの余力をスレーブとして
参加した【intel-UD 白血病解析】は全世界的なプロジェクトでしたが、
まさにあれです。

拙宅ではノードを6台とし、Nameノードは稼働率が少ない方の
サーバー(CentOS6.5)にしました。
Dataノードは現用+予備機も動員し、合わせて5台です。

並列分散処理用のソフトはおなじみのApache Hadoopですが、
すべてのパソにインストールと設定を施すのは大変なので、CDH
というインストール補助ソフトを導入します。
実はこのCDHが残念ながらCentOS7では未対応なのであります。。。

今のところローカルネットワークでやっていますが、最終的に
インターネット経由でデーターをやりとりできるまでが目標です。

CentOS7への更新はこの技術をモノにしてからになりそうです。

それっていつ?って聞かないでください。。。^^;;

HOME

おすすめ