AIガバナンス:AIエージェントに何ができるかをコントロールする方法

6 min read

AIガバナンス:AIエージェントに何ができるかをコントロールする方法

AIエージェントが顧客に誤った返金を送ってしまった。あなたがそれに気づいたのは、監査ダッシュボードが1時間後にフラグを立てたからだ。問題は、エージェントが誤ったメールを送ったと知っても、その送信を取り消せないことにある。今日「AIガバナンス」として売られているものの大半は、エージェントが行動した「後」に監視するものだ。それはモニタリングであって、コントロールではない。

AIガバナンスとは、AIエージェントが行動する「前」に、それが何をできるかを決め、その制限を行動の瞬間に強制する規律である。今四半期中にエージェントを本番投入せよと迫る取締役会に向き合うCISOやエンジニアリング担当VPにとって、この区別こそが勝負のすべてだ。本ガイドでは、運用可能な定義、強制できる5つの柱からなるフレームワーク、調達チェックリスト、そして自社の現在地を測る成熟度モデルを示す。

TL;DR

  • AIガバナンスとは、インシデントの後に読むコンプライアンス報告書ではなく、エージェントが行動する前に、それが何をできるかをコントロールすることである。
  • 事後のモニタリングは失敗を記録する。設計段階からのガバナンスは、実行時に制限を強制することで失敗を未然に防ぐ。
  • 5つの運用上の柱とは、権限境界、認可ワークフロー、監査証跡、バージョン管理、そしてスコープ制限である。
  • プロンプトレベルのガードレールは脱獄(jailbreak)できる。真のガバナンスは、エージェントへの指示ではなく、データ層で権限を強制する。
  • ガートナーによれば、適切なAIエージェント・ガバナンスが整っていると考えている組織はわずか13%にすぎない(Gartner)。エージェント数が数千規模へと膨らんでいるにもかかわらず、だ。

AIガバナンスとは何か?

AIガバナンスとは、AIシステムに何ができるか、その行動に誰が責任を負うか、そしてすべての行動をどう記録するかを定める、ポリシー・コントロール・強制メカニズムの総体である。Gartnerはこれを、AIの適用に関する組織的な説明責任、意思決定権、リスク、ポリシー、投資判断を割り当て・保証するプロセスと定義している。

この定義が重要なのは、それが願望ではなく運用に根ざしているからだ。ガバナンス・プログラムとは、ポリシーのPDFや倫理声明ではない。それは、運用するすべてのエージェントについて次の3つの問いに答える、機能するコントロールである——それは何に触れられるか、何ができるか、そしてその制限の内側にとどまったことを証明できるか。3つ目に答えられないなら、あなたが持っているのはガバナンスではなく、良い意図だ。

リスクはエージェント数に比例して大きくなる。ガートナーは、グローバルなFortune 500企業が平均で2028年までに15万を超えるAIエージェントを運用すると予測している。2025年時点では15未満だったものが、である。ガバナンスされていないエージェントの一つひとつが、あなたのデータとシステムへの、地図に載っていない侵入経路になる。

事後のモニタリングがガバナンスでない理由

返金を発行する権限を持つサポートエージェントを想像してほしい。ある顧客が4,000ドルの注文について返金を求める。エージェントは要求を読み違え、本来は40ドルのクレジットで済むところを、全額を承認してしまう。モニタリングツールはその事象を捕捉し、タイムスタンプを打ち、ダッシュボードに表示する。だが、お金はすでに出ていってしまっている。

これは、ガバナンスを「観察」として扱うことの構造的な欠陥だ。モニタリングは設計上、回顧的である。それは、起きたことが起きた後に教えてくれる——決定論的なソフトウェアには十分だったが、推論するシステムに行動を許した瞬間から不十分になる。エージェントは、巧妙に作られた入力によって進路を変えられ、状況を読み違え、まったく正しく動いているように見えながら、それでも間違った行動を取りうる。

この可視性のギャップは仮説の話ではない。Cloud Security Allianceは2026年1月に418名のITおよびセキュリティ専門家を調査した。その結果、企業の82%が、セキュリティやITが把握していないAIエージェントが自社インフラ内で稼働していたことを発見したという。さらに65%が、過去1年間にAIエージェント関連のインシデントを経験していた。インシデントを経験した組織はすべて、実際の事業影響を報告しており、その多くはデータ漏洩だった。見えていない問題は、モニタリングでは解決できない。存在すら知らなかったエージェントを、ガバナンスできるはずがない。だからこそ、本番環境でのエージェントのモニタリングは、ガバナンスの代わりではなく、ガバナンスと並んで機能するのだ。

戦略的な要点:コントロールがダッシュボードだけなら、あなたのガバナンス・プログラムは、手遅れになった直後に初めて動き出す。

事後のモニタリング vs 設計段階からのガバナンス

違いは、コントロールがどこに存在するかにある。モニタリングはエージェントの外側に存在し、エージェントがしたことに反応する。設計段階からのガバナンスは、エージェントが動くインフラの内側に存在し、そもそもエージェントに何ができるかを制約する。

pasted-image.jpg
観点事後のモニタリング設計段階からのガバナンス
作用するタイミング行動が完了した後行動が実行される前
何をするか失敗を検知し記録する認可されていない行動を防ぐ
強制ポイントダッシュボードとアラートデータ層と行動ゲート
不適切な行動への対応調査して是正するブロックする、または承認を求める
後戻りできない行動記録されるが、止められない明示的な承認の背後にゲートされる
規制対応の姿勢何が問題だったかの証拠コントロールの証拠

要するに:モニタリングはエージェントがルールを破ったことを教えてくれる。一方、設計段階からのガバナンス(governance-by-design)は、そもそもルールを破らせない。両方が必要だが、インシデントを防ぐのはそのうち一方だけだ。

運用上のAIガバナンス、5つの柱

運用上のAIガバナンスは、エージェントへの指示ではなくインフラによって強制される、5つのコントロールの上に成り立つ。それぞれがエージェントの挙動に関する特定の問いに答え、監査に耐えるにはそれぞれが構造的でなければならない。以下に、その実装方法を示す。

pasted-image.jpg

1. 権限境界

権限境界は、エージェントがどのデータを読めて、どのシステムに触れられるかを正確に定義する。原則は最小権限だ——エージェントには、そのタスクに必要な最小限のアクセスだけを与え、それ以上は与えない。受注処理を担うエージェントが、経営層の契約を読めたり価格を変更できたりしてはならない。

決定的に重要なのは、境界がどこで強制されるかだ。「財務データにアクセスするな」といったプロンプトレベルの指示は、意図を持ったユーザーや進路を誤ったエージェントが回避できる「お願い」にすぎない。真の権限境界はデータ層で強制され、既存のIDプロバイダーやシステム・オブ・レコードから継承される。

2. 認可ワークフロー

認可ワークフローは、エージェントが処理を進める前に、いつ立ち止まって人間に確認を求めるべきかを決める。これはヒューマン・イン・ザ・ループのコントロールであり、後戻りできない地点——支払い、社外の顧客コミュニケーション、恒久的な記録変更、そして規制上の重みを持つあらゆる行動——に置かれるべきものだ。

肝心なのは、安価には元に戻せない箇所にだけチェックポイントを置く技術である。あらゆることに承認を求めれば、自動化しようとしていた手作業のプロセスを再現するだけになる。IBMが論じるように、ヒューマン・イン・ザ・ループはそれ自体がコントロールなのではない。介入でき、介入する意思を持ち、実際に介入していると示せる人間こそがコントロールなのだ。ワークフローは、その人物に形だけの承認印ではなく、本物の証拠と本物の権限を与えなければならない。

3. 監査証跡

監査証跡とは、エージェントが取るすべての行動——行動する主体、入力、判断、呼び出したツール、そして結果——の、改ざん不能で追記専用の記録である。エージェントが自らの監査記録を改変できるようなことは、決してあってはならない。

これは単なるコンプライアンス要件ではない。デバッグと信頼の基盤である。エージェントが返金を拒否したり、更新を「リスクあり」とフラグ付けしたりしたとき、その推論を再構成し、結果を規制当局に対して弁明できるようにするのが監査証跡だ。規制業界では、この水準のトレーサビリティがますます求められている。

4. バージョン管理

エージェントは変わる。その指示、スキル、権限は、チームが反復するにつれてすべて進化する。バージョン管理はすべての変更を追跡し、新しい構成が問題を起こしたときに、既知の正常な状態へロールバックできるようにする。

それがなければ、エージェントの更新は一方通行のドアになる。それがあれば、チームはいつでも元に戻せると分かっているからこそ、自由に実験できる。自動バージョニングは、ガバナンスをブレーキから推進力へと変える。

5. スコープ制限

スコープ制限は、エージェントが「決められること」と「到達できること」を分ける。Gartnerは、多くの企業が混同している区別を明確にしている——自律性(autonomy)とはエージェントに何ができるかであり、スコープ(scope)とはどのデータ・システム・権限に触れられるかである。顧客データベース全体にアクセスできる読み取り専用エージェントと、狭いスコープを持つトランザクション型エージェントとでは、リスクの性質がまったく異なる。画一的なガバナンスはその違いを平板にしてしまう。

ガートナーは、2027年までに40%の企業が自律型エージェントを廃止すると予測している。ガバナンスのギャップが、本番インシデントの後になって初めて表面化するからだ。スコープとリスクでエージェントを階層化することが、その統計値に含まれないための方法である。

調達に耐えるガバナンス・チェックリスト

購買委員会に必要なのは、機能一覧ではなく共通の基準だ。このチェックリストを使って、あらゆるAIエージェント・プラットフォームを、マーケティングの主張ではなく運用ガバナンスの観点で評価してほしい。

  1. 権限は、プロンプトの指示を通じてではなく、IDプロバイダーから継承され、データ層で強制されているか?
  2. すべてのエージェントが固有のアイデンティティを持ち、その行動が、そのエージェント自身と、それが代わって行動したユーザーに帰属できるようになっているか?
  3. 後戻りできない、あるいは高リスクな行動が実行される前に、プラットフォームは人間の承認を必須にできるか?
  4. すべてのデータアクセスと行動について、改ざん不能で追記専用の監査証跡があるか?
  5. 不適切な変更の後に、エージェントを以前のバージョンへロールバックできるか?
  6. 各エージェントを、そのタスクに必要な最小限のデータとツールにスコープ限定できるか?
  7. 問題を起こしたエージェントを即座に停止でき、かつ文書化された廃止プロセスがあるか?
  8. プラットフォームには、SOC 2、ロールベースのアクセス制御、規制への適合が、後付けではなく標準で備わっているか?

ベンダーがこれらに明確に答えられないなら、彼らはガバナンスの装いをまとったモニタリングを売っている。このギャップは現実だ。Insentraが引用した調査によれば、63%の組織がAIエージェントに対して目的の限定を強制できず、60%が問題を起こしたエージェントを速やかに停止できない。

ガバナンスを展開メカニズムにする

多くのチームは、ガバナンスを出荷前に通過するゲートとして扱う。その捉え方は逆さまであり、しかもコストが高い。ガバナンスが独立したレビュー工程になっていると、新しいエージェントを展開するたびに、手作業のリスク評価、その場しのぎの証拠収集、そしてフレームワークごとのコンプライアンス作業が発生し、それがエージェント数とともに膨れ上がっていく。

多くのプラットフォームがこの負債を生む理由は、アーキテクチャにある。既存システムの上にAIを載せ、後からコントロールを後付けしようとするのだ。これが「ボルトオン税」を生む——権限がAI層の内側で再実装され、ガードレールがプロンプトとして書かれる。プロンプトレベルのガードレールは脱獄されうる。データレベルの権限はされない。

DevRevは、ガバナンスを展開メカニズムそのものにするためにComputerを構築した。権限を意識するナレッジグラフであるComputer Memoryは、あなたのシステム・オブ・レコードからアクセス制御を継承し、それをノードのレベルで強制する。

Salesforce上で、ある担当者が経営層向けデータを見られないと定義されていれば、Computerのエージェントもそれを見ることはない。アクセスできないものは、どんなプロンプトを受け取ろうと漏らしようがない。エージェントを構築するノーコード環境であるAgent Studioでは、Safe Actionsがあらゆる行動を、実行される前に権限を意識し、監査可能で、取り消し可能なものにする。返金や記録の書き込みといった後戻りできない行動の前には、確認ゲートが置かれる。自動バージョニングがすべての変更を追跡し、監査ログは後付けの連携ではなくプラットフォームに標準で備わっている。エージェントは、あなたのデータを保持するのと同じシステムの内側で、AIナレッジマネジメントがガバナンスされたコンテキストをどう構造化するかを通じて動く。つまり5つの柱は、あなたが組み立てる機能ではない。それはエージェントがどう展開されるか、そのものなのだ。

これは机上の空論ではない。BILLは50万を超える中小企業にサービスを提供する財務オペレーション・プラットフォームだ。同社はComputerを導入する前に15を超えるAIプロバイダーを評価し、いまではサポート課題の70%を自律的に解決し、500万ドル超を削減している。しかもコントロールを緩めることなく、だ。ガバナンスがアーキテクチャそのものであるとき、ガバナンスと成果はトレードオフではない。

戦略的な要点:ガバナンスがあなたの追加する一工程なら、それは負債になる。ガバナンスがエージェントの作られ方そのものなら、それは武器になる。

AIガバナンス成熟度モデル

ほとんどの成熟度モデルは、同じ4つの段階に収束する。これを使って自社を正直に位置づけ、次の段階が何を求めるかを見てほしい。Witness AIの分析によれば、企業ガバナンス能力の観点で、およそ14%の組織がいまだ基礎的なレベルにとどまっている。

レベル段階どう見えるかリスク
L1場当たり的正式なポリシーがなく、シャドーAIが横行し、エージェントの棚卸しもない規制当局にAIの所在を問われても、答えは肩をすくめるだけ
L2定義済みポリシーは紙の上に存在するが、強制は一貫せず、棚卸しは部分的コントロールがインフラではなく個人の努力に依存する
L3管理された標準化されたプロセス、明示された責任者、リスク階層、稼働中の監査証跡ガバナンスは機能するが、まだ一部は手作業
L4最適化された継続的で、実行時に強制され、自動化され、取締役会から可視ガバナンスがエージェントの動き方に組み込まれ、事後にチェックされるものではない

重要なのはL2からL4への飛躍だ。L2では、ポリシー文書と希望的観測しかない。L4では、ポリシーが実行時に強制されるため、ルールに違反しようとするエージェントは、単にログに残されるのではなく、ブロックされる。設計段階からのガバナンスがあなたをそこへ運ぶ。なぜなら、それは書かれたポリシーを構造的なコントロールへと変換するからだ。

ガバナンス vs セキュリティ vs オブザーバビリティ

この3つの規律は互いに入れ替え可能なものとして使われがちだが、混同するとギャップが生まれる。それぞれは異なる問いに答える。

これらをきれいに切り分けるなら——ガバナンスはルールを決め、セキュリティは境界を守り、オブザーバビリティは挙動を見張る。シャドーAI(ITの可視範囲の外でチームがエージェントを導入すること)は、ガバナンスの弱さの症状であり、AIの利用を監査可能にするプラットフォームは、シャドー活動をガバナンスされたチームの仕事へと変える。

3つすべてが必要だが、許可されているが誤った行動を、着地する前に止められるのはガバナンスだけだ。これらの基準が本物のエージェントとチャットボットをどう分けるかを、より深く知りたければ、DevRevのAIエージェントの評価に関するガイドが、重要な5つのテストの一つとしてガバナンスを位置づけている。

エージェントが行動する前にガバナンスせよ、後ではなく

あらゆるガバナンス・プログラムは、いずれ一つの瞬間で試される——エージェントが、すべきでない何かをまさに行おうとする瞬間だ。重要なのはただ一つの問いだけだ。あなたのコントロールはそれを止めるのか、それとも単に記録するだけなのか。モニタリングはインシデント報告書を書く。設計段階からのガバナンスはインシデントを防ぐ。エージェントが行動する前にガバナンスを組み込む組織は、他社が事後対応に追われる中で自信を持って規模を拡大できる組織になる。

エージェントに本物のコントロールをかける方法を検討しているなら、DevRevがデータ層で権限・承認・監査証跡をどう強制するかを、ComputerのAgent Studioでご覧いただきたい。

Frequently Asked Questions

Akhil Kintali

Akhil Kintali

Product Marketing at DevRev

Product Marketer at DevRev, focusing on AI agents, GTM strategy, and user lifecycle. Passionate about storytelling and building meaningful experiences

DEVREV

See Computer work for you

Your AI teammate that finds answers, takes action, and gets work done across every tool.