2．音響解析の検証

工場における「モーターの点検業務」をユースケースとし、ロボットに搭載したリアルタイム音響検知・定位技術の検証を行いました。

技術の概要
リアルタイム音響検知・定位技術は、注視したい複数の特定の音（装置の異常音など）の発生有無と、その方向（方位角、仰角）を推定します。音の到来方向は、複数チャネル（以下、ch）マイクを用いて、音源とマイクの配置による音量、音の到達時間、音の跳ね返り具合の違いを手掛かりに算出します。特に、音源の到来方向の算出精度を向上させるため、未知環境の特性を学習した上で、音の跳ね返りを考慮した発生源の推定を実施しました。雑音を事前に学習させることで、雑音の入りやすい非接触マイクにおいても性能を保てるよう工夫しました。

検証は、「学習」と「推論」の2段階で行います。まずは、実際の音のデータを「学習」させて、モデルの精度を確認。「推論」では、解析対象の音を入力し、特定の音の発生有無とその方向を出力します。

学習には、解析対象の装置の機械音を、現場またはそれに似た施設で収録し用います。音データを効率よく収集するために、解析対象の装置の音、環境音（雑音）、環境の特性を分けて収録しておき、それらを組み合わせて多様な音データを作成しました。

解析対象の装置の音と環境音（雑音）は、任意のマイクで集音できますが、マイクを含む環境特性を学習するための音は、推論時に用いるのと同じマルチchマイクで集音します。推論時には、マイクでの解析対象の音（現場の音）の集音が必要です。録音済みの音はもちろん、マイクからのリアルタイムな音データも解析できます。

図1：検証内容の概要

検証内容と結果
三菱ケミカルの実工場を想定したシミュレーション環境で、異常モーター音の検知可否を検証します。環境音（雑音）はホワイトノイズや人が歩く音、ドアを開閉する音などいくつかの音を揃えました。（1）工場の正常なモーター音の発生有無と方向を推定できるか、（2）工場の正常なモーター音と異常なモーター音を聞き分け、それぞれの発生有無と方向を推定できるか、2種類の検証を実施しています。

正常なモーター音と異常なモーター音は、初学者には違いを感知することが困難です。周波数解析してみると、異常なモーター音はスペクトログラムに低周波数の成分が多く見られ、正常なモーター音に比べるとSpectral Centroidも低いことが分かりました。

図2：正常なモーター音と異常なモーター音の違い

（1）工場の正常なモーター音の発生有無と方向を推定できるか
リアルタイム音響検知・定位技術を用いて、正常なモーター音のみを学習・推論したところ、モデルの精度確認では、推定した音の方位角の平均誤差は19.3度、音の発生有無の推定におけるF値は99.8％、recall値は99.8％でした。解析では、どの方向からモーター音が鳴っているのかを特定できる結果が得られました。12種類の音の学習を行った論文のF値（94.4％）より、良い精度です。一例では、モーター音を方位角150度、仰角18度で鳴らした動画を解析すると、方位角151度、仰角22度でモーター音が発生していると分かりました。

（2）工場の正常なモーター音と異常なモーター音を聞き分け、それぞれの発生有無と方向を推定できるか
さらに、正常なモーター音と異常なモーター音の2種類の音を学習・推論しました。精度確認では、推定した音の方位角の平均誤差は17.2度、音の種類の推定におけるF値は83.5％、recall値は90.3％でした。

（1）の検証と比べると解析対象の音が増えており、音の見分けも難しいことからF値が下がっていますが、十分な精度は得られています。

解析では、（1）の検証と同様に、どの方向からモーター音が鳴っているのかを特定できる結果が得られました。一例では、方位角140度、仰角0度で異常なモーター音を鳴らした動画を解析すると、異常なモーター音が方位角137度、仰角4度で発生したと分かりました。

3．今後の展開と期待

検証により、リアルタイム音響検知・定位技術の基本的な性能を確認。非接触マイクに入った雑音や複数の装置の音が混じっていても、特定の音の発生有無と方向を正確に把握することができました。

多くの機器の音や雑音が発生している工場の中で、人の耳では聞き逃してしまうような音の違いを検出できたということは、機器の異常音を正確に捉え、事故や故障につながりかねない特定の事象を早い段階で検知し、点検・修理に効果的な指示を出すことが可能になるということです。今後は工場に限らず、さまざまな実環境での適用可能性を見いだしたいと考えています。

リアルタイム音響検知・定位技術を導入したロボットを用いれば、遠隔地から、安全かつ正確な点検業務を実行することが可能となります。NTT DATAでは、軽量で安定した運動性能を持ち、高度なセンシング機能を有する4足歩行の犬型ロボットを用いた自動点検の実証実験を行っています。点検対象の設備に、あらかじめIDや位置座標の情報を組み込んだマーカーを設置しておくことで、ロボットが自動で検証エリアを巡回。自律的に対象物の位置を推定し、映像や音データを取得しながら点検作業を実行します。ロボットの背中に設置した小型のPCで映像や音データを解析し、最終的には点検時の映像と解析結果が、オペレーターのPCへ送信されます。

図3：ロボットによる自動点検の構成

本記事では、設備点検における音響解析の事例を紹介しました。NTTDATAでは、ロボットに人の作業の一部を代替させることで、製造現場の働き方改革を推進していきたいと考えています。進化したAI技術を活用し、人間にとって負担の大きい作業、さらには、人間ではできない作業をロボットで実現することを目標に取り組みを進めていきます。

最新のロボットとAI技術をベースにした「Smart Robotics」を技術的な強みとして、振動検知にもアクティブセンシングを広めていきたいと考えています。化学事業者様をはじめ、製造事業者様やインフラ事業者様との新たな協業も視野に入れ、引き続き三菱ケミカルの生産技術者との検証を進めていきます。