2016年8月25日

イマ旬キーワード

データレイク

企業・組織の多種・大量なデータを蓄積する基盤として、データレイクという概念が近年注目を集めています。柔軟で機動的なデータ活用を実現するために有効なアプローチですが、その弱点も理解し、正しくデータ活用のアーキテクチャに組み込むことが必要です。

製造ITイノベーション事業本部 コンサルティング&マーケティング事業部 部長 新田 龍

背景と概要

データレイクという概念は、PentahoのCTOであるJames Dixonが2010年頃に提唱しました参考1。ビッグデータ時代の到来により、センサー、モバイル、SNSやウェブログ、さらには画像や音声など、データ分析の対象が従来の範囲を超える半構造・非構造化データに拡大し、そのボリュームも膨大になっています。従来はデータ分析の要件にもとづき、あらかじめデータ構造を設計し、集計・蓄積していましたが(データマート)、多種・大量のデータを機動的に活用することが求められる近年では、あらかじめ分析の観点(質問)を網羅しておくことはほぼ不可能であるため、生み出されたデータはそのままの形で蓄積し、データを活用するときに必要な構造で取り出せるようにするというのが、データレイクの基本的な考え方です。

Dixonは、従来のデータマートは「人が飲みやすいようにボトル詰めされている水」、データレイクは「水源から常に水が流れ込み、人々が自由に入って採水できる池」に例えています参考2

【図】

図:データマートとデータレイクの比較

データレイクを実現する技術

データレイクの具体的な実現方法は、特定の製品・ソフトウエアからクラウドサービスまでさまざまに提唱されていますが、その中でも主流は、Hadoopエコシステムを活用した方法です。データ蓄積は分散ファイルシステムであるHDFS(Hadoop Distributed File System)が担い、HadoopやSparkなどの分散処理基盤による大量データ分析の他、TableauなどのBIツールによるデータのビジュアル化や、データマートへのデータロード、Elasticsearchなどの検索エンジンによる非定型検索など、多様なデータ活用が可能です。

また、よりシンプルな例として、Amazon Web ServicesにおけるS3のような廉価なストレージサービス上に大量データを蓄積していく仕組みを「データレイク」と称するケースもあります。

データレイクの活用

データレイクはビッグデータ活用のために有効なアプローチですが、ビジネスでの活用を十分に考慮しないままIT部門主導での基盤構築そのものが目的になってしまい、手当たり次第にデータを貯めていくだけで、誰からも使われない「データの沼地」となってしまうケースが散見されます参考3。蓄積データを活用するために必要となるメタデータ(データの意味を説明するデータ)の整備や、業務部門とIT部門とが一体となって新たなデータ活用のシナリオを検討し蓄積すべきデータを見定める取り組みを、並行して立上げることが重要です。

NTTデータでは、お客さまのアナリティクス実現に向け、データ活用アーキテクチャの検討からデータ分析のトライアル、システム導入まで一気通貫でのサービスを提供しています参考4、5

著者プロフィール

【写真】

製造ITイノベーション事業本部 コンサルティング&マーケティング事業部 部長 新田 龍

2000年にNTTデータに入社し、2007年には北米拠点に赴任し現地企業へのBI導入に従事。その後一貫して、グローバル企業のBI・データウェアハウス導入の構想策定・導入・定着化コンサルティングを担当。2016年より現職。

お気軽に
お問い合わせ
ください

アナリティクスを支えるデータ蓄積基盤「データレイク」に関するお問い合わせ

お問い合わせフォーム

アナリティクスを支えるデータ蓄積基盤「データレイク」に関連する情報

サービス

詳細な分析で意思決定を迅速化、お客様のビジネスに変革をもたらす