変遷する企業の要望
「世の中に大量のデータがあふれ、いかにこれらのデータ(ビッグデータ)を上手く活用するかが今後の企業の競争力を分ける」と言われるにようになって久しい。データ活用の仕組みについて世の中に目を向けると、大量のデータを分散処理するためのHadoopや、発生したデータを蓄積することなくリアルタイムに分析処理するCEP(Complex Event Processing:複合イベント処理)など個別技術は揃ってきています。更に、これら技術の一部はオープンソースで提供されていることから、誰でも利用できる状況にあります。しかし、真にビジネスに活きるビッグデータ活用のためには、単に要素技術を取りそろえるだけではなく、これらの技術を上手く組み合わせ、仕組みを素早く構築し、柔軟に拡張、進化させていくことが重要です。
NTTデータ BigData Reference Architecture
このような背景のもと、NTTデータではこれまで培ったビッグデータシステム開発の知識・経験と技術開発を基に、ビッグデータに関する技術をビッグデータ・リファレンス・アーキテクチャ(BigData Reference Architecture。以下BDRA)として体系化しています(図)。これを基に、各企業の目的や状況に合わせ、ビッグデータ活用の在り方を提示することができます。
図:NTTデータ BigData Reference Architecture(BDRA)
ビッグデータ活用時のポイントとBigData Reference Architecture
これまで取り組んだ事例を基に、ビッグデータを活用する際の課題とBDRAの特徴を以下に示します。
- 1.複合的なIT基盤技術の組み合わせ
企業が求めるビッグデータ活用シーンをひもとくと、データの「取得、蓄積、処理、分析」のいずれか1つで事足りる訳ではなく、これが組み合わさっています。BDRAは7つに分けたビッグデータ活用に必要となる技術ブロック毎に深い知識を、そして組み合わせの妙を有しています。更に、使用頻度が高い組み合わせに関してはセット化しており、また既存ITシステムに合わせた取捨選択も可能です参考1、2。
- 2.多種多様な業界のデータ分析
ビッグデータ活用に取り組む企業は、金融、IT、社会インフラなど多岐に渡っています。また、企業が求めるデータ分析結果が高度化するにつれ、データ分析手法も複雑化します。BDRAは、「BICLAVIS」というNTTデータが体系化したデータ分析方法論を有しています。これにより、属人的になりがちなデータ分析のノウハウや有効な分析手法をシステマティックに収集・選択し適用することが可能です。
- 3.データ品質の担保
企業内に蓄積されたデータは、分析することを前提としているものではありません。そのため、データをプロファイリングし、分析に有効なものになっているかを早期に検証することが必要となります。BDRAは、ビッグデータ活用上必須となるデータの信頼性向上や、セキュリティの向上についてのガバナンスの考え方を有しています。中でもデータの信頼性向上のための機能については、データクレンジングの前にデータのプロファイリングを実施し、データ品質に関するルールを定めるなど、マスターデータに関しても管理のための体系が確立されています。
BDRAはビッグデータ活用のさまざまな仕組みを、多様な技術を統合して構築した際のノウハウを集約したものです。現在も、NTTデータはこのBDRA参考3を活用してさまざまな仕組みを提供しており、今後も大きく進化させる予定です。
参考文献
- 参考1In-Database Analyticsとリアルタイム処理
- 参考22015年4月27日ニュースリリース
- 独自のIn-Database Analytics技術により従来比1,000倍以上の件数の高速データ分析に成功
- Innovative In-Database Analytics Technology enables high-speed massive data processing - demonstrated its ability to analyze data volume 1000 times greater than conventionally
- 参考3NTTデータ BigData Reference Architecture
- NTTデータ ビッグデータ・リファレンス・アーキテクチャー(PDF:12ページ, 659KB)
- NTT DATA BigData Reference Architecture
注釈
- 本文中では"?(TM)"マーク、"?(R)"マーク等の表示を省略しています。
- ビッグデータ・リファレンス・アーキテクチャはNTTデータとEVERIS SPAIN, S.L.U.の共同著作物です。