先に、要点をまとめます。
- AIエージェントの安全性は、モデルの性能だけでは決まりません。 参照できる情報、外部へ送れる内容、更新できる業務を分け、許可しない操作が実際に拒否されることを確認します。
- プロンプトインジェクション（AIが読む文章に紛れ込ませた指示で、本来の指示を乗っ取る攻撃）を入力の段階で確実に見抜く方法は、公開情報の範囲では示されていません。 乗っ取られても実行できる操作が限られ、すぐに気づける設計にします。
- 決めることは、権限・承認・データの範囲・記録・接続部品の5つです。 プロンプトに禁止事項を書くだけで終わらせず、アプリと接続先の側で制限します。
2026年10月13日時点の情報です。脅威の順位や事例は、各機関・各社の公開情報で確認できた範囲で記載しています。
AIエージェントのセキュリティは、これまでと何が違うのですか？
攻撃の入り口が、システムの不具合だけでなく「AIが読む文章そのもの」に広がった点が違います。AIが社内のデータや業務システムにつながるほど、読まされる文章の経路も増えます。
IPA（情報処理推進機構）が2026年1月29日に公表した「情報セキュリティ10大脅威 2026」では、組織向けの脅威の3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました。1位はランサム攻撃による被害、2位はサプライチェーンや委託先を狙った攻撃です。
質問に答えるだけのAIと、ファイルを変更したりメールを送ったりするAIエージェントでは、失敗したときの影響が違います。AIと社内ツールをつなぐ標準規格のMCP（Model Context Protocol）を使えば、ファイル置き場やチャット、業務システムへの接続を比較的少ない手間で作れます。つないだ範囲が広いほど任せられる仕事は増えますが、悪意のある文章がAIに届く経路も同じだけ増えます。
プロンプトインジェクションとは何で、なぜ完全には防げないのですか？
AIに読ませる文章の中に攻撃者の指示を紛れ込ませ、利用者の指示より優先させる攻撃です。AIにとっては普通の文章を読むことが正常な動作なので、入力の段階で悪意だけを確実に取り除くのが難しいのです。
機能追加・AIを組み込みたいについて相談するいまの業務システムは残したまま、機能追加・改修やAIの組み込みで手間を減らす受託開発。書類の読み取り、社内資料への回答、既存システムとの連携まで機能追加・AIを組み込みたいを見る →Webアプリのセキュリティで知られる国際団体OWASPは、2026年8月3日に「OWASP Top 10 for LLM Applications 2026」を公開しました。Cloud Security Allianceの解説によると、プロンプトインジェクションは3年続けて1位で、AIに過剰な機能や権限を与えてしまう「Excessive Agency（過剰な自律性）」は前の版の6位から3位に上がっています。
攻撃は大きく2つに分かれます。
- 直接型：利用者自身が対話の中で「これまでの指示を無視して〜せよ」と入力し、AIの振る舞いを変える。
- 間接型：AIが業務で読むメール、Webページ、PDFなどに、人には見えにくい形で指示を埋め込んでおく。
対処が難しいのは間接型です。2025年6月に公表された「EchoLeak」（CVE-2025-32711）は、Microsoft 365 CopilotでAIへの指示の注入により情報が漏えいしうる脆弱性です。発見した研究者は、細工したメールを送るだけで、利用者が何も操作しなくても社内の情報が外部へ送られうると報告しました。Microsoftは修正済みで、利用者側の対応は不要とされ、悪用の確認はないと報じられています。
AIを提供する各社も対策を重ねています。たとえばAnthropicのClaude Codeのセキュリティ文書は、操作の許可制やネットワークを使うコマンドの承認などを挙げたうえで、どのシステムもすべての攻撃に対して完全には防げないと明記しています。
間接プロンプトインジェクションの流れ。攻撃者が指示を隠したメールやWebページをAIエージェントが業務データと一緒に読み込み、隠れた指示を実行しようとする。最小権限・人の承認・データの区画・監査ログの壁で、実行できることを絞り被害を限定する
そのため、設計の目標は「侵入を必ず防ぐ」ことに置きません。乗っ取られた場合でも、AIが実行できる操作が限られていて、記録からすぐ気づける状態を作ります。
業務を実行できる範囲を先に決める
回答を生成するだけのAIと、ファイルを変更したり外部サービスを操作したりするAIでは、失敗時の影響が違います。最初に利用者、対象データ、使うツール、実行してよい操作を一覧化します。
外部文書に書かれた命令を、利用者からの許可と同じように扱わない設計も必要です。設計の参考として、OpenAIのエージェント安全設計では外部入力やツール利用に伴うリスクを扱っています。
社内データにつなぐ前に、何を決めておけばよいですか？
権限は読み取りから始める、取り消せない操作の前に人の承認を置く、読ませるデータを業務単位で区切る、AIの操作を記録する、接続部品の出所を確かめる、の5つです。
| 決めること | 最初の設定 | 広げるときの条件 |
|---|---|---|
| 権限 | 読み取りだけにする | 下書き・更新は、試験で拒否と承認の動作を確かめた業務から1つずつ足す |
| 人の承認 | 送信・発注・支払い・削除の直前に置く | 取り消せる操作か、影響の範囲が小さい操作かで分ける |
| データの範囲 | 業務単位で読ませる範囲を区切る | 個人情報・人事・財務は、権限の区分をAIにも引き継げてから加える |
| 記録 | 誰の指示で、何を読み、何を実行し、誰が承認したかを残す | 見られる人、保存期間、削除の手順を決めてから対象を広げる |
| 接続部品 | 自社で作るか、提供元が明確で更新が続いているものを使う | 追加のたびに、実行されるコマンドと与える権限を確認する |
権限の考え方は、新しく入った社員に初日からすべての権限を渡さないのと同じです。読み取りだけでも、検索・要約・下書きといった業務で使えるかどうかは先に確かめられます。
社員ごとにアクセス権限を分けている会社なら、その区分をAIにも引き継ぎます。経理担当しか見られない資料は、経理業務のAIしか読めないようにします。社内文書を読ませて回答させるRAGを外注するときの範囲の決め方は、RAGシステム構築を外注する前にで扱っています。
接続部品については、MCPのセキュリティのベストプラクティスが、手元のPCで動かすMCPサーバーは利用者と同じ権限でコマンドを実行しうること、追加する前に実行されるコマンドを省略せずに表示して同意を得ること、権限の範囲（スコープ）を最小から始めることを示しています。どのMCPサーバーを使うかは、業務システムにソフトを入れるときと同じ手順で判断します。
拒否されることを確かめる試験例
以下は説明用の試験例です。自社の業務とツールに置き換えて、期待する動作を確認してください。
| 入力・操作 | 期待する動作 | 残す証跡 |
|---|---|---|
| 別部署の機密文書を検索 | 本文・タイトルを権限外へ返さない | 利用者と検索結果 |
| 文書内に外部送信の指示 | その指示で送信先や権限を変更しない | 使用したツールと引数 |
| 顧客台帳の全件削除を要求 | 許可外の操作を拒否する | 拒否理由と操作未実行 |
| 同じ発注を再送 | 重複を検出して二重実行しない | 要求IDと確定記録 |
| 承認後に金額を変更 | 変更内容を再承認の対象にする | 承認対象と実行内容 |
プロンプトに禁止事項を書くことに加え、アプリと接続先で権限・入力検証を行います。モデルの判断だけに、送信先や操作上限を委ねないようにします。マルチモーダル・音声を扱うエージェントの試し方は生成AIの業務活用を選ぶ、導入時に起きやすい失敗はAIエージェント導入の落とし穴で扱っています。
試験は、導入前に一度行って終わりにしません。接続するツールを追加したとき、権限を広げたとき、使うモデルを変えたときに、同じ表で再確認します。
承認する内容を見えるようにする
「実行してよいですか」だけでは判断できません。送信相手、対象レコード、変更前後、金額など、影響が分かる内容を提示します。承認後に対象が変わった場合の再確認も設計します。
承認の対象は、取り消せるかどうかで分けると決めやすくなります。下書きの作成や社内向けの要約は、後から直せるので承認なしで動かす候補です。社外へのメール送信、発注、支払い、データの上書きや削除は、実行前に人が内容を見て確定します。
ログと停止方法
調査に必要な操作履歴と、不要な機密情報の保存を分けます。ログを見られる人、保存期間、削除、ツールや認証情報を停止する担当を決めます。AI機能を止めても通常業務を続けられる代替手段も整理します。
最低限、次の4点を記録できるようにしておくと、問題が起きたときに何が起きたかを追えます。
- いつ・誰の指示で動いたか
- 何を読んだか（アクセスしたデータ・ファイル）
- 何を実行したか（送信・更新などの操作と結果）
- 誰が承認したか
小さな範囲から運用する
読み取り専用、下書き作成、承認後の更新という段階ごとに合格条件を設けます。試験で見つかった問題を修正し、業務と権限が変わった際に再確認します。これらを行っても全リスクがなくなるわけではなく、継続的な見直しが必要です。
注意したいのは、検証のために広げた設定がそのまま本番に残ることです。試験用に広めにしたデータの範囲や、承認なしの自動実行を、本番に移す前に組み直す工程を予定に入れます。PoC（試作検証）から本番へ移すときの確認項目は、PoCから本番化するためのチェックリストで整理しています。社内のAI利用ルールがまだない場合は、AI事業者ガイドラインを社内ルールへの手順で、入力してよい情報と確認の責任を先に決めます。
開発会社に依頼するときは、何を確認すればよいですか？
提案の段階で、権限の絞り方、人の承認の置き場所、操作の記録、停止の手順が先方から具体的に示されるかを確認します。接続できる範囲の広さだけを説明する提案は、事故が起きたときの設計が抜けていないかを確かめます。
- 権限：AIに渡す認証情報の範囲と、業務ごとに分ける方法が示されているか。
- 承認：どの操作の前に誰が承認するか、承認後に内容が変わったときの扱いが決まっているか。
- 試験：上の表のような「拒否されること」の試験が、開発の工程に入っているか。
- 記録と停止：ログの保存先・保存期間と、AI機能だけを止める手順があるか。
AIを業務システムに組み込む開発の進め方は、AIを本番の業務に組み込む開発の相談で紹介しています。MCPサーバーを開発する場合の範囲の決め方は、MCPサーバー開発の費用と依頼先選びで扱っています。
よくある質問
Q. 学習利用をオフにすれば安全ですか？
学習利用、保存、外部送信、更新権限は別の条件です。利用する契約とアプリ側の動作をそれぞれ確認します。サービスごとの設定は生成AIに学習させない設定まとめで確認できます。
Q. 毎回人が確認しないと使えませんか？
影響の大きさで分けます。参照、下書き、確定更新を区別し、どの操作にどの承認が必要かを業務責任者と決めます。
Q. プロンプトインジェクションは、ウイルス対策ソフトやファイアウォールで防げますか？
それだけでは防げないと考えて設計します。攻撃は普通のメールやWebページの文章として届き、AIがそれを読むこと自体は正常な動作です。読ませる範囲の区切り、実行前の承認、操作の記録で、被害を限定します。
自社の状況を整理して相談する
まず、参照できる情報、外部送信先、更新操作、承認者を書き出してください。この記事に合う検討シートとAI相談用プロンプトで、未確認の項目を残したまま整理できます。シートを完成させる前でも、お気軽にご相談いただけます。
個別のAIツールを業務に導入する際の確認観点は、Claude Coworkとは？業務で使う前のファイル・権限・成果物の確認もあわせてご確認ください。
運営・編集