Cloud Bigtable担当者に聞く、Googleのスケールアウトビッグデータ戦略：MapReduce導入から10年強

2004年にGoogleが導入したMapReduceは、ビッグデータに大きな影響を与えた。そして今、Googleはビッグデータに何をもたらそうとしているのか？Cloud Bigtable担当者にインタビューした。

　2004年、米Googleがビッグデータの初期イニシアチブとして「MapReduce」を世界に紹介した独創的なホワイトペーパーの根底にあるのは、遠い昔の1958年に考案されたプログラミング概念だ。このMapReduceを使って、Googleは検索データの処理を妨げる問題への対処を試みた。突き詰めると、MapReduceとは、ビッグデータをある程度分割し、低コストな市販ハードウェアで実行される「Hadoop」を使って処理できるようにするものだ。

Computer Weekly日本語版　7月1日号無料ダウンロード

本記事は、プレミアムコンテンツ「Computer Weekly日本語版　7月1日号」（PDF）掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。

• Computer Weekly日本語版　7月1日号：情報をまき散らすウェアラブルデバイス

なお、同コンテンツのEPUB版およびKindle（MOBI）版も提供しています。

　検索エンジンを提供する同社は、データ処理戦略の拡張を始めている。最近では、完全管理型のスケーラブルなNoSQLデータベースサービス「Cloud Bigtable」を発表した。

　インターネット検索、ソーシャルメディア、IoT（モノのインターネット）は、データ量の急増に直面しているIT分野だ。従来のリレーショナルデータベースでは、真のデジタル社会が必要とする、津波のように押し寄せるデータを処理できなくなると専門家は予測する。

　10年以上前に発表されたMapReduceのホワイトペーパーで、Googleのジェフリー・ディーン氏とサンジェイ・ゲマワット氏は、1つの共通インフラで種類の異なるジョブをスケジューリングして処理できる単一インフラはないと記述している。当時は、具体的な環境やアーキテクチャに合わせて、あらゆるものを手作業で作成する必要があった。

　Cloud Bigtableを担当する製品部長コリー・オコナー氏によると、同社は現在、このホワイトペーパーの発表から改訂されること3回目のビッグデータビジョンに取り組んでいるという。「2002〜2004年はビッグデータが盛んに議論された年で、当社がMapReduceに関するホワイトペーパーを執筆したのもこのころだ」

　「当社は、このような問題を解決するために巨大なコンピュータを構築するという手法を根本から見直した。市販のコンピュータのみを使用し、システムが失敗するであろうことを前提とした」

　極めてスケーラビリティが高い、低コストの汎用インフラを使用するという考え方は、ITサプライヤーのビッグ4がビッグデータに取り組む方法とはほぼ対極にある。もちろん、ビッグ4はNoSQLにも取り組んでいるし、クラウドでHadoopを提供してもいる。だが例えば、独SAPは「S/4 HANA」に数百万ドルを出費することを顧客に求め、米Oracleは「Exadata」や同社が設計したアプライアンスファミリーを押し付け、米IBMは「z13」メインフレームのメリットを売り込み、米Microsoftは「SQL Server」を勧める。

　例えば、z13メインフレームは金融取引における不正行為をリアルタイムに分析できる。オコナー氏によると、このような時系列のデータはCloud Bigtableで自然に処理できるという。「問題へのアプローチには、さまざまな方法があることを理解することが重要だ。時間がたてば、どの方法が最も効率的か実証されるだろう」

　オコナー氏によると、Googleが他社と違うのは「非常に大きなデータセットの管理方法を知っており、完全管理型のビッグデータアーキテクチャを有していることだ」という。

ストレージのコスト

　同氏はさらに次のように続けた。

続きはComputer Weekly日本語版　7月1日号にて

本記事は抄訳版です。全文は、以下でダウンロード（無料）できます。

• Computer Weekly日本語版　7月1日号：情報をまき散らすウェアラブルデバイス

■Computer Weekly日本語版 最近のバックナンバー

Computer Weekly日本語版　6月17日号：もうRAIDでは守れない

Computer Weekly日本語版　6月3日号：Windows XPサポート終了後のPCに市場

Computer Weekly日本語版　5月20日号：Windowsから脱却するときが来た？