絞り込み検索
キーワードで探す
カテゴリで探す
サービスで探す
業種で探す
トレンドで探す
キーワードで探す
カテゴリで探す
サービスで探す
業種で探す
トレンドで探す
2019.1.17技術ブログ

データ活用のスピードと生産性を改善するDataOps

データ活用ニーズの急速な拡大により、DataOpsと呼ばれる取組みが注目されつつある。DataOpsは、データの利用者(業務部門)と管理者(IT部門など)とが協調してプロセス・文化・ツール環境を改革し、データ活用のスピードと生産性を継続的に改善することを目指す。

背景と概要

DataOpsとは、データの利用者が、欲しいデータや分析結果を必要な時にすぐに、信頼できる形で入手できるようにするため、データの利用者と管理者とが協調してプロセス、ツール環境や組織文化を継続的に改善する取組みです。2014年が初出とされ(※1)、データ統合ソリューションを提供する企業であるTamr(※2)が積極的に提唱していましたが、2018年に入ってより認知が広がり、GartnerのHype Cycleにおいても”On the Rise”のキーワードとして掲載されました。(※3)

いま、企業におけるデータの利用側では、デジタル変革の進展と、データ分析ツールの進化・普及、さらにAI活用の取組みなどにより、業務部門でのデータ活用のすそ野が急速に広がり、よりクイックなデータ提供・分析・活用が求められています。一方、データの供給側では、スマートフォンやセンサーのログ、オープンデータの活用など、取り扱うべきデータは種類・量ともに爆発的に増えています。

このようにデータの利用側・供給側の双方でデータ活用ニーズが急速に拡大する一方、多くの組織において、データ抽出・加工・分析は部門ごと・担当者ごとの属人的なやり方で進められています。しかし、今後はデータ提供・分析・活用のスピード・生産性がビジネス全体のパフォーマンスを左右し得ることから、いまDataOpsの取組みが注目されています。

図1:データ活用の課題

DataOpsのポイント

DataOpsはアプリケーション開発におけるDevOpsと呼ばれる取組みをデータ活用のプロセスに応用したものであり、要求の発生からデータの提供までを扱い、その過程でのデータの利用者と管理者との協調を重視します。

そのプロセスについて、未だ明確に定義された標準はありませんが、DataOpsの前提となるデータ分析・活用のプロセスと、その実現のポイントをNTTデータでは下図のように考えています。

図2:データ分析・活用のプロセス

図3:DataOps実現のポイント

DataOpsを支えるテクノロジー

DataOpsを効果的に推進するためには、テクノロジーの活用が有効です。ただし、DataOpsの領域ではアプリケーション開発におけるDevOpsのように統合的なツールが整備されているわけではなく、下図に示すような目的別のツール群を使い分ける必要があります。これらのプロセス全体を統合するオーケストレーションツールなども出て来つつありますが、すべてのプロセスをカバーすることはできないため、高度に自動化を図るには、各ツールが備える管理用のAPIなどを利用し、スクリプトなどを組み合わせることも必要です。

図4:DataOpsを実現するテクノロジー

上図に示した領域の中では、特に蓄積しているデータの意味・内容を利用者に公開するためのデータカタログや、高度なスキルを必要とせずデータ加工を可能とするデータ準備ツールの領域は、昨今、弊社のお客様でもニーズが急速に高まっています。代表例として、Alteryxというツールはこの双方および機械学習による統計分析モデルの構築・実行までをカバーしており、その使い勝手の良さもあって好評を得ています。(※4)

DataOpsのもたらす効果

DataOpsの効果的な推進は、組織におけるデータ活用を高速化し生産性を向上させるのみでなく、業務担当・IT担当・分析担当の協働を活性化し、新たな分析・活用のアイディアを生み出すなど、データ活用の普及・定着を促進する土台となります。

図5:DataOpsのもたらす効果

まとめ

企業のデジタル化においてデータ活用の拡大が喫緊の課題となる今、その足腰を作るためのDataOpsの継続的な取り組みは、今後ますます必要とされてくると考えています。

※1 3 reasons why DataOps is essential for big data success
https://www.ibmbigdatahub.com/blog/3-reasons-why-dataops-essential-big-data-success
※2 Data Ops: What Is It? Do We Need It?
https://tdwi.org/articles/2018/04/16/diq-all-what-is-data-ops-1.aspx
※3 Gartnerがデータ管理分野の「3つの新興技術」に注目、いずれも急速に普及が進む
http://www.atmarkit.co.jp/ait/articles/1809/13/news054.html
※4 データ分析ソリューション「Alteryx」の提供について 米国Alteryx社とパートナー契約を締結
http://www.nttdata.com/jp/ja/news/release/2018/051400.html
お問い合わせ