テクノロジーの発展とリスクの拡大

Agentic AI

Agentic AIとは、ユーザーから与えられた高レベルの目標に対し、自ら計画を立て、外部ツール等を利用し、結果を評価しながら行動を修正していくAIを指します。
従来のAIが主に人間の入力に応じて回答や生成物を返していたのに対し、Agentic AIは目標達成に向けた一連の行動を自律的に進める点に特徴があります。

AIの自律性は業務効率化や意思決定支援に大きな可能性をもたらす一方、リスクも複雑化させます。
Agentic AIには、その実行能力により引き起こされる従来のITリスクに加え、LLM固有のリスクと自律性によって引き起こされるリスクがあります。
例えば、外部APIの不正呼び出し、ユーザー指示の誤解、相互作用による予期せぬ挙動などが想定されます。
また、LLM固有のリスクであるプロンプトインジェクションの可能性も外部ツール実行と結びつくことで拡大し得ます。
そのため、従来型のセキュリティ対策に加え、AIの行動範囲、人間の介入点、モニタリングと制御の設計が必要です。

図1：Agentic AIの基本的な振る舞い

Physical AI

Physical AIは、物理環境と相互作用しながら自律的に判断・動作するAIです。
自律走行ロボット、自動運転車、人型ロボットなどが代表例であり、人間向けに設計された道具や設備を活用しながら、従来のロボットより広い範囲で動作できる可能性があります。

一方で、Physical AIも従来のルールベースのソフトウェアで制御されるロボットと比べてリスクの発生可能性が高まるほか、異なるリスクが存在します。
自律性や多様な環境で動作する特徴により、Physical AIの判断の誤りは直接人の生命・身体・財産、環境などに悪影響を及ぼす可能性があるため、Physical AIを想定した安全分析や安全設計が必要になります。
さらに、高度な自律性をもったロボットは雇用・社会への影響や、悪用・犯罪のリスクも高めます。また、事故が発生した場合に、AIベンダー、機器メーカー、利用企業、運用者など、どの主体が責任を負うのかという問題も生じます。
そのため、Physical AIを想定した国際的なルール作りや、社会での合意形成が必要となります。

図2：Physical AIの基本的な振る舞い

ニューロテクノロジー

脳波や脳血流を測定し、人間の脳活動や認知活動を分析する技術、あるいは、人間の脳に外部から電磁波などで干渉する技術がニューロテクノロジーです。
従来から脳活動の計測などは行われてきましたが、AIの発展により、より高度に人間の認知活動を分析できる可能性が出てきました。
医療・福祉などでの活用にとどまらず、広告やエンターテイメントでの活用などが期待されています。

一方で、認知活動情報が本人の望まない形で利用されるおそれがあります。
人間の認知を意図しない形で分析・利用する行為は、内心の自由やプライバシーなど人権に関わる問題につながります。
そのため、データ管理、情報の取り扱い、認知活動情報の利用範囲に関するルール整備が重要です。

図3：ニューロテクノロジーの例

テクノロジーが社会に受け入れられるために

ここまで3つの新しい技術の特徴とそのリスクを紹介してきましたが、リスクを過大に捉えると、新しい技術の活用に対する過剰な忌避感を生み出してしまいます。
生成AIを例にすると、「AIを使って生成した」という事実を開示するか否かだけでなく、誰が、どのように、なぜ生成したのかをどう説明するかが、社会受容性に影響を及ぼします。
社会受容性を高めるには、情報開示の設計が重要です。

ホワイトペーパーでは生成AIの活用に関する情報開示の設計について以下の4つの原則をまとめています。

• 第一の原則「帰属の明確化」：AIの関与を明確にする
• 第二の原則「人間関与の可視化」：人間が担った工程や判断・創意を示す
• 第三の原則「文脈整合の確認」：利用分野や感情的・象徴的価値に応じて説明を調整する
• 第四の原則「ガードレールの明示」：高リスク領域では、利用範囲や制限事項、監督体制を示す

図4：社会受容性の構成要素

テクノロジーガバナンスの企業実装

テクノロジーの進歩は企業活動を高度化させる一方、既存の統制や制度設計では十分に対応できないリスクを生みます。従来の統制をそのまま適用するだけでは、技術活用を必要以上に制限してしまう可能性もあります。
そこで企業全体で横断的に技術を統治するテクノロジーガバナンスが求められます。

ホワイトペーパーでは企業実装を三段階で整理しています。

• 第一段階「ガバナンス要否の判断」：リスクの不確実性・大きさ、既存のリスクマネジメントの有効性、社会実装のスピード等を踏まえ、新たな技術領域に対するガバナンスの必要性を判断する。
• 第二段階「守りのガバナンス」：新たな技術領域の特性に応じたリスクマネジメントを実装する。
• 第三段階「攻めのガバナンス」：リスクマネジメントから得た知見を、顧客への訴求、ルールメイキング、事業環境づくりに活用する。

図5：テクノロジーガバナンスのフレームワーク

このような三段階でテクノロジーガバナンスを企業内に実装することが、次世代テクノロジーの時代における企業の持続可能性と競争力獲得につながると考えます。

まとめ

新しい技術領域は、企業活動の可能性を広げる一方、従来の統制では対応しきれない新しいリスクを伴います。
テクノロジーガバナンスは、技術活用の加速と社会的信頼の確保を両立させ、企業の持続的成長と競争力を支えるために、リスクを制御可能な状態に置くことで企業が安心して挑戦できる環境を構築するためのものです。
本稿は、今回発行したホワイトペーパーの全体像を要約したものです。
テクノロジーガバナンスに興味を持たれましたら、ぜひホワイトペーパーをご一読ください。