2．AIエージェントを「管理する」とは何か

AIエージェントは高度なタスクを自律的に実行できる一方で、意図しない挙動や不適切なデータ利用、さらにはサイバー攻撃への悪用といったリスクがあることも指摘されています。このような背景から、AIエージェントの管理が求められています。

外部脅威からAIエージェントを守る

まず重要なのは、AIエージェントそのものを外部の脅威から守るための管理です。

• AIエージェントにアクセスする権限の管理
  AIエージェントへの不正アクセスは、サイバー攻撃に悪用される恐れがあります。
• AIエージェントが攻撃されないようにする管理
  プロンプトインジェクションなどの外部からの攻撃により、想定外の挙動を招くリスクがあります。

AIエージェントのアクセス権限管理および可視化

AIエージェントは一般的にMCP（※）を通じてデータソースへアクセスします。よって、AIエージェントに関するアクセス管理においては、以下の観点が重要です。

• エージェントごとに適切な権限が付与されていること
• どのエージェントが、どのデータにアクセスできるのかを把握できていること

図：各AIエージェントのアクセス制御と可視化

適切な権限管理が行われていない場合、本来アクセスできるはずのない人物やシステムへ、機密データが渡ってしまう可能性があります。

AIエージェントの判断根拠およびデータ利用に関するトレーサビリティの確保

AIエージェントを利用する場合、意思決定プロセスのトレーサビリティを確保する必要があります。具体的には、以下の情報を管理することが求められます。

• 判断に使用した根拠（ルール、モデル、プロンプト等）
• 参照したデータ（データソース、バージョン等）
• 生成結果の出力先（システム、媒体等）

これらの情報をAIエージェントの管理者が把握できない場合、企業は外部向けコンテンツやサービスに関して説明責任を果たせなくなるリスクがあります。

3．なぜAIエージェントの管理は難しいのか

上記で述べたように、AIエージェントの管理には複数の難しさがありますが、その他にも以下の2つが挙げられます。

想定外挙動に対する「検知」と「影響判断」の難しさ

AIエージェントは非決定論的な動作をするため、想定外の行動が生じることがあります。このとき、重要となる観点は以下の2点です。

• AIエージェントの想定外の行動を、どの程度の時間で検知できるか
• AIエージェントの想定外の行動が生じた際に、その影響を判断できるか

検知の観点では、AIエージェントは自律的に動作するため、想定外の挙動が発生することを前提とする必要があります。そのうえで、「問題とみなす想定外の行動」を事前に定義しておくことが求められます。

次に、影響判断の観点では、AIエージェントの権限設計が関係します。その対策や検証には複数のパターンが存在し、設計および評価が複雑になりがちです。これらへの対応が不十分な場合、原因特定に時間を要するだけでなく、影響の拡大を招くリスクが生じます。

法規制・ステークホルダー要件への継続的対応の難しさ

企業においては、AIエージェントの利用に対して、法規制およびステークホルダーとの契約への対応が求められます。一方で、以下の要因により、その対応は複雑化します。

• 契約・要件はステークホルダーごとに異なる
  例えば、成果物に対してAIエージェントの利用可否や利用の明記など、要件が課される可能性があります。
• 法規制は地域や国によって差異がある
  代表例として、EUのAI規制法などが挙げられます。
• 要件や法規制は時間とともに変化する
  技術の進展に伴い、新たな規制の導入や既存ルールの改定が行われます。

上記を踏まえた対応が不十分な場合、法規制への違反や契約違反のリスクが生じます。

4．AI対AIの時代と、人の介入が追いつかない現実

「AIエージェントのプロセス可視化」「未然の対応」「有事の対応」など、AIエージェントを活用する上で整備すべきことは多岐にわたります。その対応は、セキュリティだけでなく、法規制などへの対応も含まれます。

RSA Conferenceで参加した、とあるアナリストファームとの会議では、「AI対AI」の状況においては人の介入が追い付かない点も言及されていました。現時点では、リスクの洗い出しと必要な対策の把握が進められている段階です。また、セキュリティベンダーを中心に、リスクを分解したうえでの検証も進んでいます。

5．データ管理の重要性

RSA Conferenceにおいて特に論点だと感じたのは、「データの長期保存・管理・可視化」です。

セキュリティベンダーの中には、どの組織・人がどのデータを所持しているのか、ワンプラットフォームで管理する点をアピールしている企業や、データ管理に今後注力していく考えを示している企業が見られました。また、アナリストファームとの会議では、数十年にわたってデータを保存し、将来活用する可能性についても言及されました。

AIエージェントは複数のデータを参照します。この点を踏まえ、社内データについては、どのようなデータがどこに所在し、誰がアクセス権を有しているのかを体系的に把握する必要があります。今後のAIエージェントの活用拡大と、それに対する説明責任の観点からも、データ管理は重要になるでしょう。

6．まとめ

本稿では、RSA Conferenceで得た知見をもとに、AIエージェントに対するセキュリティおよびデータ管理の論点について整理しました。AIエージェントの活用が進む一方で、その管理は複雑化しています。AIエージェントの適用領域（どの業務で活用するか）の検討や、アクセス権限および意思決定の範囲の適切な設計にあたっては、業務プロセスおよびデータ管理の全体像を横断的に理解することが不可欠です。

NTT DATAでは、コンサルティングから実装・運用までを一貫して支援しています。今後ますます重要となるAI時代のセキュリティ対策についても、ぜひNTT DATAにご相談ください。