Googleクラウドの核心である「WSC」から、今後のビックデータの基盤を知る。

12987viewsvioletReadervioletReader

このエントリーをはてなブックマークに追加
Googleクラウドの核心

本書の定義

データセンター

  • データセンターとは、必要な環境や物理的なセキュリティの要件が共通する複数のサーバや通信装置を、保守しやすいように1箇所に集めて配置している建物のことである。

WSC(Warehouse-Scale Computer)

  • WSCは、新しく、急速に進化し続けている処理要求に対応するための、新しいタイプの大規模マシンである。

WSCについて

ハードウェア

  • 巨大で複雑なインターネットサービスは、複数のソフトウェアモジュールや階層によって構成されており、そこにはバグも潜んでいるため、ハードウェアよりもはるかに高い頻度で障害が起こる可能性すらある。
  • WSCで使用されるコンポーネントの基本となる信頼性と、一般的な処理で使用されるサーバ数の多さを考慮すれば、障害なしで運用する時間は、事実上皆無ということになる。システムはほぼ常に、復旧中の状態で運用するものと想定しなければならない。
  • たとえば、平均故障間隔(MTBF)が30年(10000日)ときわめて長い、最高の信頼性を備えたサーバノードでクラスタを構成するとしよう。とうてい現実的なコストで、これを実現できるものではない。そして、たとえそのような理想的な信頼性を備えたサーバを用いたとしても、1万台のサーバからなるクラスタでは、平均して一日に一台のサーバが故障する事になる。それゆえ、クラスタ全体が稼働していなくてはならないアプリケーションであれば、MTBFは最長でも1日になってしまうのである。

ソフトウェア

  • WSCの低レベルのハードウェアはそのまま使用するにはプログラムプラットフォームとして複雑で、プログラミングの生産性を低下させることもありうる。
  • 新しくソフトウェアを製品化しようとするたびに、データ分散や障害の検地と復旧、性能のばらつき経た対処を、効率的に行われなければならない。
  • Googleの場合、MapReduce、GFS、BigTable、Chubbyを使うことで、効率的利用を可能にしている。

経済

  • 電気・エネルギー関連のコストは、その大きさゆえに、WSCにとっては重要である。また、固定費としてのエンジニアリング費用は、多数の機器に分散することが可能であり、システムの管理費は高度の自動化によって抑えることができる。
  • その結果、WSCの「筐体」そのもの(データセンタ施設、電気、冷却装備)のコストが、総コストの大部分を占めることもありうるため、エネルギー効率と設備の利用率の最大化が最優先事項となる。
  • サーバやWSCのエネルギー効率は、処理ピーク時を想定したベンチマークを使用することで、過大評価される場合が多い。機器や電力変換システム、冷却設備は、利用率が低いときには(たとえば、プロダクションシステムで30パーセントの場合)はるかに効率が低くなる。

WSCの主要課題

  • 急激に変化する負荷。急激な負荷挙動の変化のタイムスケールと、WSCの設計サイクル、ライフサイクルとの厄介なズレを解決するにはハードウェアシステムとソフトウェアシステムの両面において、創造的な解決策が求められる。
  • アンバランスなコンポーネントによるバランスの取れたシステムの構築
  • 省エネルギー。将来的には、徐々にエネルギー使用のために処理能力の向上が抑制されるだろう。
  • アムダールの過酷な法則。半導体業界の動向を見れば、今後の性能向上は、CPUそのものの高速化でなく、主に、より多くのコアやスレッドを構成することによって実現されるものであることが分かる。
Googleクラウドの核心

Googleクラウドの核心

  • ルイス・アンドレ・バロッソ、ウルス・ヘルツル

関連まとめ

本のまとめカテゴリー


コメントを書く