Apache Sparkを活用したIoT実証実験により大規模データ分析処理基盤の有効性を確認 ～船舶から取得するGIS時系列データを処理し、港湾における混雑予測シミュレーションを題材に～

株式会社IHI（以下、IHI）と株式会社NTTデータ（以下、NTTデータ）は共同でApache Sparkを活用したIoTに関連する実証実験を行いました。実証実験では大規模データ分析基盤の有効性の確認を目的として、2015年10月～2015年12月までの2ヶ月間に、複数の船舶の位置情報としてGISデータを用い、港湾における混雑予測シミュレーションを行い、時系列データを処理する際のApache Sparkの特性を把握しました。その結果、データ量が増大した際の処理のスケーラビリティーや、時系列データの保持形式を変更することによる性能改善の実現および性能効率を上げるための記述に関する知見を得ることができました。今後IHIはApache Sparkを活用した製品・サービスの高度化の実現を行い、NTTデータはApache Sparkの時系列データの利用に関する機能の改善を推進することで、IHIにおけるイノベーションの実現に寄与していきます。

IHIは工業機械、航空エンジン、社会インフラ、エネルギープラント、物流システムなど幅広い製品・サービスを提供しています。これらの製品・サービスの価値を高めるためのICT活用を進めており、特に製品の予防保全に注力しています。予防保全を実現するためには製品の状態をリアルタイムにモニタリングすることが重要であり、ライフサイクル全体にわたりメンテナンスする必要があります。世界各地に製品・サービスを提供する中で、製品にセンサーを取り付け、リモートで情報を収集して予防保全を行うことを進めています。

IHIではセンサーデータを収集する仕組みをすでに構築しており、データの蓄積を始めています。次のステップとして、データの処理や利活用を推進しています。

一方、NTTデータは大規模なデータを並列に分散して処理する基盤として、Apache Hadoopを中心とするオープンソースソフトウエアに対する深い知見と、日本でも有数の商用システムへの導入実績を保有しています。近年Hadoop MapReduceでは実現が難しい機械学習やストリーム処理に対応するApache Sparkに対する取り組みを強化しており、2015年10月19日よりApache Sparkの適用を支援するサービスとして「Spark構築・運用ソリューション」を開始しています^注。

今回、大量データを処理できる並列分散基盤として、Hadoop MapReduceと比較して機械学習処理の性能向上が見込めるApache Sparkを採用し、IHIが保有するデータを効率よく処理できるかどうかを確認するための実証実験を2015年10月～2015年12月まで行いました。

具体的には、船舶から得られるGISの時系列データを処理し、港湾における混雑予測シミュレーションを行いました。船舶から収集するGISデータをApache Sparkで処理した際に「データ量が増えたときのスケーラビリティーの確認」「マシンリソースの有効活用」「最適なデータ保持形式の検討」を主に検証しました。

本実証実験では、IHIは既存のプログラムのSparkへの対応を担当し、NTTデータはApache Sparkを効率よく活用するための知見の提供を担当しました。

実証実験の結果、Apache Sparkにおける時系列データを処理する際の特性を把握しました。今回の具体的なユースケースを想定した本検証の範囲では、Apache Sparkに十分なスケーラビリティーがあること、およびマシンリソースを使い切る効率的な動作を確認できました。また、時系列データを柔軟に扱うためにはアプリケーション内でのデータ保持形式の検討が必要であり、今回のシナリオでも工夫の結果、処理時間が最大46%改善するケースを確認しました。

IHIは今回の検証を踏まえて、データ処理基盤としてApache Sparkの活用をさらに加速させ、当初の目的である各種製品・サービスの高度化、ものづくりの高度化の実現を目指します。またNTTデータは本取り組みに関する支援を継続的に行い、Apache Sparkを初めとするオープンソースソフトウエアに関する技術支援を行うことでIHIにおけるイノベーションの実現に寄与していきます。

2015年10月19日に「IHIにおけるICT活用およびApache Sparkへの取り組み」と題して、本取り組みの背景と目的およびIHIからNTTデータへの期待について発表しました。

また、2015年12月2日にシンガポールで開催されたStrata Hadoop World Singapore 2015にて「Application of Spark on analyzing massive GIS data for a large number of mobile objects」と題して本取り組みに関する技術的な内容を発表しました。