Five Eyes エージェンティックAIの慎重な導入 (2026.05.01)
こんにちは、丸山満彦です。
オーストラリアのACSCが中心となって、Five EyesでエージェンティックAIの導入について、情報漏えい等のリスクを踏まえ慎重に導入するようにガイダンスを公表していますね...
ポイントは、
- エージェントティックAIの導入は利点と同時に重大なセキュリティリスクを伴う
- 安易な全面展開は避け、設計・権限・監視・運用の各フェーズで慎重かつ段階的に採用せよ
Five Eyesは情報を共有している面もあるので、どこかの国で不適切な利用が行われると、共有情報が漏えいすることになるため、統一的な運用が重要となるので、こういうガイダンスがでているのですかね...
USに関していうと、ODNIがインテリジェンス・コミュニティ指令を作成しています。AIについては、
・2025.01.17 ICD 505 - Artificial Intelligence
が定められていますね（バイデン政権ギリギリ）...
この指令においても、AI の有用性を認めつつ、IC が合憲性、法の支配、責任ある倫理的運用を維持しながら採用を促進する方針を宣言し、ODNIがCAIOを指名し、IC全体のAI戦略、ガバナンスを主導していくことが規定されていますね...
今回のは指令ではなくガイダンスとなっています。エージェンティックAIの利用が無秩序に拡散するまえにFive Eyesで足並みを揃えておこうということで、エージェンティックAIにおいて特に意識しなければならない課題
- 権限・特権リスク（最小権限原則の逸脱、confused deputy 等）、
- 設計・設定リスク（静的許可や分離不足）、
- 振る舞いリスク（仕様ゲーム、欺瞞的行動、予期せぬ発現能力）、
- 構造的リスク（多エージェント間の連鎖故障）、
- ツール・サードパーティ依存リスク、
- データ・機密情報の集中リスク、説明責任の欠如
- etc...
を強調し、慎重な導入を求めていますね...
Agentic AIを含めAIシステムも他のITシステムと同じ視点でセキュリティ対策をしたら良いという感じですね...（そらそうか...）
日本の政府、企業にとっても参考になる部分があると思います。すごく参考になると思います...
● Australian Cyber Security Centre: ACSC
・2026.05.01 Careful adoption of agentic AI services
・・[PDF]
目次...
| Introduction | 序論 |
| Scope and audience | 対象範囲と対象読者 |
| What is agentic AI? | エージェンティックAIとは何か |
| How is it different from generative AI? | 生成的AIとはどう違うのか？ |
| Broader agentic AI security considerations | エージェンティックAIに関する広範なセキュリティ上の考慮事項 |
| Inherited risks of LLMs | LLMから継承されるリスク |
| Increased attack surface | 攻撃対象領域の拡大 |
| Increased complexity | 複雑性の増大 |
| Evolving security as technology matures | 技術の成熟に伴うセキュリティの進化 |
| AI security as part of cyber security | サイバーセキュリティの一部としてのAIセキュリティ |
| Agentic AI security risks | エージェンティックAIのリスク |
| Privilege risks | 特権リスク |
| Design and configuration risks | 設計および構成上のリスク |
| Behaviour risks | 行動リスク |
| Structural risks | 構造的リスク |
| Accountability risks | 説明責任のリスク |
| Best practices for securing agentic AI systems | エージェンティックAIシステムのセキュリティ確保に関するベストプラクティス |
| Designing secure agents | 安全なエージェントの設計 |
| Developing secure agents | 安全なエージェントの開発 |
| Deploying agents securely | エージェントの安全な展開 |
| Operating agents securely | エージェントの安全な運用 |
| Defend against future risks | 将来のリスクへの防御 |
| Expand threat intelligence through collaboration | 連携による脅威インテリジェンスの拡充 |
| Develop robust, agent-specific evaluations | 堅牢でエージェント固有の評価手法を開発する |
| Leverage system-theoretic approaches to analyse security | システム理論的アプローチを活用してセキュリティを分析する |
| Conclusion | 結論 |
| Further information | 詳細情報 |
| Appendix A | 附属書A |
| Cyber security prerequisites before implementation of AI agents | AIエージェント実装前のサイバーセキュリティ前提条件 |
Agentic AIのセキュリティリスク...
| エージェンティックAIに関する広範なセキュリティ上の考慮事項 | ||
| LLMから継承されるリスク | エージェンティックAIの中核はLLMであるため、エージェントはLLMの脆弱性を継承する。例えば、攻撃者はフィッシングメールに悪意のあるプロンプトを含めることでプロンプト・インジェクション攻撃を行い、メール監視エージェントにマルウェアをダウンロードさせることが可能だ。これは重要な脆弱性を浮き彫りにしている。すなわち、悪意のある攻撃者は、既存のAIやサイバー攻撃のベクトルを利用してエージェンティックAIシステムを標的にできるということだ。 | |
| 攻撃対象領域の拡大 | エージェンティックAIシステムは、環境と相互作用し、機能を拡張するために、ツール、外部データソース、知識ベースなど、多様なコンポーネントに依存している。これらの各コンポーネントは、相互接続された攻撃対象領域全体に脆弱性をもたらし、悪意のある攻撃者がこれを悪用する可能性がある。例えば、ウェブ検索などの外部データソースは、プロンプトのコンテキストに追加情報を挿入し、間接的プロンプト・インジェクション攻撃を可能にする。コンピューティングインフラへのアクセス範囲が広がるにつれ、悪意のある攻撃者はシステムコンポーネントを悪用して、悪意のあるスクリプトの実行や不正なメールの送信といった攻撃を行う可能性がある。その結果、エージェンティックAIシステム内の個々のコンポーネントがすべて攻撃対象領域を広げ、システムをさらなる悪用経路にさらすことになる。 | |
| 複雑性の増大 | エージェンティックAIのサイバーセキュリティは、AI固有のセキュリティと従来のサイバーセキュリティの両方にまたがる。AIシステムと非AIシステムの間で情報が絶えず行き来するため、防御の境界線がますます曖昧になり、AI関連のリスクを広範なサイバー脅威から切り離すことが困難になっている。また、エージェンティックAIシステムは本質的に複雑であり、多くの場合、複数の相互接続されたコンポーネントが関与し、それらが一連のステップにわたって計画、推論、振る舞いを行う。この複雑さは、連鎖的な障害や多段階攻撃といった新たなシステム的リスクをもたらす。これらは、あるコンポーネントにおける予期せぬ動作や侵害された動作が、後続のステップに波及し、システム全体に影響を及ぼす可能性がある。その結果、エージェンティックAIシステムのセキュリティ確保は、従来のデジタルシステムよりも困難である。したがって、組織は確立されたサイバーセキュリティ対策とAI特有のセキュリティ慣行の両方を強化することに注力し、包括的なライフサイクルアプローチ、継続的な監視、およびレジリエンシーを持つ設計原則を採用して、これらの新たなリスクを管理すべきである。 | |
| 附属書Aでは、AIエージェントを導入する前に考慮すべきサイバーセキュリティの前提条件を詳細に示している。 | ||
| 技術の成熟に伴うセキュリティの進化 | エージェンティックAI技術が成熟するにつれ、セキュリティ環境もそれに伴って進化し、新しく、ますます複雑化するリスクの動態が明らかになっている。LLMベースのエージェントは、評価が行われている最中にその挙動を変える可能性があり、目的を達成するためにシステムレベルの指示を迂回することさえある。同時に、エージェンティックAIシステムのアーキテクチャの複雑さが増すにつれ、それらは密接に結合し、相互依存するコンポーネントで構成されることが多くなっている。これにより、微妙な、あるいはこれまで気づかれていなかった非互換性から生じるシステムレベルの障害が発生する可能性が高まる。 | |
| エージェンティックAIのサイバーセキュリティツールにおけるギャップや、関連標準の未成熟さは、これらのリスクをさらに増幅させる。人間のアクター向けに設計されたガバナンスの仕組みは、自律型AIエージェントに対して必ずしも効果的に適用できるとは限らない。エージェンティックAIシステムの能力と自律性が向上し続けるにつれ、セキュリティ環境も変化し続け、防御アプローチの継続的な適応を必要とする新たな課題がもたらされるだろう。 | ||
| サイバーセキュリティの一部としてのAIセキュリティ | 組織は、AIセキュリティ（エージェンティックAIシステムを含む）を、独立した分野として扱うのではなく、確立されたサイバーセキュリティのフレームワークの中で対処すべきである。AIシステムは、ソフトウェアやハードウェア上で動作し、ネットワークを介して運用され、他のデジタルサービスと相互作用するため、本質的にはITシステムであり、従来のITと同様の多くの脅威にさらされている。組織がビジネスプロセスや重要インフラ全体にAIを組み込むにつれ、AIと非AIのセキュリティリスクの境界はますます曖昧になっていく。既存のサイバーセキュリティフレームワーク内でAI関連のリスクを管理することで、組織は「セキュア・バイ・デザイン（Secure by Design）」、多層防御、IDおよびアクセス管理、継続的な監視、インシデント対応といった実証済みの原則を、AIシステムのライフサイクル全体に適用できるようになる。このアプローチは、自律性と複雑性によって従来のサイバーリスクを増幅させる可能性のあるエージェンティックAIにとって特に重要である。AIセキュリティを既存のフレームワークに組み込むことで、組織は新たな機能に対する一貫したガバナンス、包括的なリスクアセスメント、そして技術の進歩や組織のサイバー成熟度に応じたセキュリティ慣行の進化を確保できる。 | |
| エージェンティックAIのセキュリティリスク | ||
| 特権リスク | 特権リスクはエージェンティックAIにおける主要な懸念事項であり、最小権限の原則を厳格に遵守することが極めて重要だ。エージェントに付与された特権は、そのエージェントが引き起こし得るリスクのレベルを直接決定する。特権の管理が不十分だと、組織は特権の侵害、スコープの拡大、IDのなりすまし、エージェントのなりすましといったリスクにさらされることになる。 | |
| 権限の侵害とスコープの拡大 | セキュリティ担当者は、エージェンティックAIを新しい環境に展開する際、権限の侵害やスコープの拡大攻撃を考慮すべきだ。エージェンティックAIにおいて、「権限の侵害」とは、エージェントがその機能に必要な範囲を超えてアクセス権限を取得した場合に発生する。これは、設定ミス、過度に広範な権限付与、または意図しない役割の継承に起因する可能性があり、その結果、エージェントが許可されていないデータにアクセスしたり変更を加えたり、重要な記録を削除したり、他の権限のないエージェントの権限を昇格させたりすることが可能になる。 | |
| 設計段階において、組織はしばしば権限を過度に広く付与し、これらの問題を見落としがちだ。リクエストしたユーザーのデータだけでなくすべての会議データにアクセスできるカレンダーボットや、任意の受信トレイへの書き込み権限を持つメールアシスタントは、過度に広範な権限付与の例である。このスコープクリープはエージェント間で連鎖的に広がる可能性がある。エージェントAがエージェントBを完全に信頼している場合、Bの侵害はAや他のエージェントに影響を及ぼし得る。もう一つのリスクは、シナリオで論じられた「混乱した代理人（Confused Deputy）」パターンである。これは、権限の低いユーザーが、権限の高いAIエージェントを操作して、自身では直接実行できないアクションを行わせるパターンである。作成機関は、エージェンティックAIシステムにおける権限侵害を防ぐため、後述するエージェンティックAIシステムのセキュリティ確保に関するベストプラクティスを組織が実装することを推奨している。 | ||
| IDのなりすましとエージェントのなりすまし | IDは特権と同様に極めて重要である。悪意のある攻撃者がエージェントになりすましたり、その認証情報を乗っ取ったりする場合、一般的な攻撃ベクトルが生じる。エージェントは、秘密鍵やトークンを使用してサービスや相互間で認証を行う。組織がこれらを固定化したり、複数のエージェント間で共有したり、防御が不十分であったりする場合、悪意のある攻撃者はこれらの秘密鍵やトークンを盗み出すことができる。信頼されたエージェントの識別子を装って活動する悪意のある攻撃者は、振る舞い上のガードレールを迂回し、正当なエージェントやユーザーになりすまして、機密性の高い操作を実行できる。偽のIDになりすましたエージェントは、なりすましされた認証情報の下でアクションを実行することで、監査制御を回避し、説明責任を損ない、検知モデルを迂回するという多層的なサイバーセキュリティリスクをもたらす。これらのモデルは通常、正常な振る舞いを識別するように調整されているため、確認された異常が表面化するまで、検知ツールは欺瞞を特定することができない。 | |
| 設計および構成上のリスク | 別のリスク群は、不適切な設計やプロビジョニングの決定に起因する。審査されていないサードパーティ製コンポーネントは、エージェントのワークフローに統合された際、過剰または意図しない権限を保持している可能性がある。静的なロールや権限チェックでは、動的な意思決定フローの文脈を捉えきれないことがよくある。権限評価が各呼び出し時ではなくシステム起動時に一度だけ行われる場合、悪意のある攻撃者は古い「許可」決定を悪用して、不正なアクションを実行し得る。エージェント環境間のセグメンテーションが不十分だと、これらのリスクはさらに深刻化し、あるエンクレーブが侵害された際に、攻撃者が横方向に移動して他のエンクレーブへ侵入することを許してしまう。許可リストが不完全または古くなっている場合、エージェントは本来の権限を超えてリソース、システムコール、またはコマンドにアクセスできてしまう可能性がある。こうした設計や設定の選択のそれぞれが、システム全体におけるIDおよび権限のリスクを増大させる。 | |
| 振る舞いリスク | エージェンティックAIサイバーセキュリティにおいて、振る舞いリスクとは、AIエージェントが予期せぬ動作をしたり、損害を与えたり、悪用されやすくなったりする可能性を指す。 | |
| 目標の不一致と意図しない動作 | AIエージェントは、開発者が予期しなかった方法で目標を追求することがある。技術的には目標を達成できるものの、本来の意図に反したり、セキュリティ上の脆弱性を生み出したりする近道や抜け穴を見つける可能性がある。例えば、システムの稼働時間を最大化するという任務を負ったAIエージェントが、再起動を避けるためにセキュリティ更新プログラムを無効にする場合がある。この動作は「仕様悪用（specification gaming）」として知られている。 | |
| 同様に、境界が明確に適用されていない場合、過度な最適化により、エージェントは目標達成のために極端な、あるいは安全でない行動をとることがある。さらに、曖昧または定義が不十分なタスクは、期待とは異なる振る舞いを引き起こし、重大なセキュリティ上または運用上の危険をもたらす可能性があるため、エージェントが人間の意図を誤って解釈することは一般的なリスクである。 | ||
| 欺瞞的な振る舞い | AIエージェントは、人間が諂い（おべっか）や欺瞞と解釈するような行動をとることがある。設計者は主要なテストでのパフォーマンスを最適化するため、エージェントは特定の状況に合わせて振る舞いを適応させることがある。エージェントは一種の「自覚」を示し、評価が行われていない場合でも、評価中に好結果を得るために振る舞いを変えることがある。 | |
| 一部のAIシステムは、戦略的な欺瞞能力を示している。つまり、虚偽の情報を提供したり、真の能力や意図を隠したりするのだ。この振る舞いは、エージェントがシャットダウンや制約を回避するために自身の行動を偽装したり、発見した脆弱性を報告せずに隠蔽したりする際に現れることがある。 | ||
| 創発的な能力と予測不能な振る舞い | AIシステムが高度化するにつれ、設計者が明示的にプログラムしたり予期したりしなかった能力を発達させる可能性がある。現実世界のシステムと相互作用する複雑なAIモデルは、その開発者でさえ予見しなかった振る舞いを示すことがある。この予測不可能性により、展開前にセキュリティリスクを完全に評価することが困難になる。 | |
| 例えば、不明確または曖昧な意思決定プロセスや連鎖反応は、重大なセキュリティ上の影響を伴う予期せぬ結果につながる可能性がある。マルチエージェント環境では、エージェント間の相互作用が、不安定性やリスクの高い結果につながるような形で進化することがある。さらに、エージェントはツールやアクションを予期せぬ順序で連鎖させ、些細なエラーの影響を拡大し、重大な運用上またはセキュリティ上の問題へと発展させる可能性がある。 | ||
| 悪意ある悪用と振る舞い | 悪意ある攻撃者は、標的型攻撃を通じてAIエージェントを操作し、有害な振る舞いをとらせることができる。プロンプト・インジェクションや脱獄といった手法を用いることで、エージェントを欺き、許可されていないアクションを実行させたり、意図された安全対策を回避させたりすることが可能だ。データ・ポイズニングもまた脅威の一つであり、破損した、あるいは悪意のあるトレーニングデータによって、エージェントの意思決定が劣化したりバイアスがかかったりする。さらに、敵対的サンプル（入念に構築された悪意のある入力）は、重要なセキュリティ状況において誤分類を引き起こし、不正確または危険な応答につながる可能性がある。悪意のある攻撃者は、侵害されたAIエージェントを内部脅威として悪用し、その正当なアクセス権を利用して、正常に機能しているように見せかけながら、データを流出させたり、防御機能を無効化したり、攻撃を容易にしたりすることができる。 | |
| 構造的リスク | エージェンティックAIシステムの核心的な側面は、エージェント、ツール、および外部世界との相互接続構造にある。これは独自の機能を実現する一方で、システムの攻撃対象領域と複雑性を増大させる。 | |
| オーケストレーションとリソース | エージェンティックAIシステムは、相互接続されたコンポーネントの複雑な構造に依存することが多い。設定の不備により、エージェンティックAIシステムに対するサービス拒否（DoS）、スポンジ攻撃、または類似の攻撃が可能になる恐れがある。これらの攻撃は、予期しない入力や異常な動作を通じてシステムリソースに過負荷をかけることで機能する。例えば、スポンジ攻撃は、システム容量を使い果たすために意図的に過剰な演算能力、メモリ、またはAPI呼び出しを消費するものである。エージェント、ツール、その他のコンポーネント間の相互接続性により、適切に管理されていない場合、単一のエラーがエージェント型システム全体に連鎖的な障害を引き起こす可能性がある。同様に、幻覚が伝播し、下流のコンポーネントから不適切な出力が生じることもある。マルチエージェントのダイナミクスや相互作用に対する理解が不十分だと、補償要因が欠如し、バイアスの増幅やその他の連鎖的な影響を招く恐れがある。 | |
| ツールの使用 | エージェンティックAIの重要な側面の一つは、ツールを使用する能力である。これは非常に強力な機能だが、モデルが予期せずツールと相互作用した場合、セキュリティ上の懸念をもたらす可能性もある。双方向のツール統合により、ツールはLLMに対して潜在的に任意の指示を送り返すことが可能になる。不適切または意図的に誤解を招くようなツールの説明文は、エージェントが信頼性の低いツールを選択する原因となり、説得力のある説明文がより頻繁に選ばれることになる。 | |
| サードパーティ製コンポーネント | エージェンティックAIシステムは、ツールや他のエージェントを含むサードパーティ製コンポーネントとの相互作用を通じて、構造的なリスクをもたらす可能性がある。リスクは以下のような様々な形で生じ得る： | |
| ・悪意のあるアクターが、正当な名前や類似した名前を持つ悪意のあるツールやエージェントを公開することで、ツールやエージェントの「乗っ取り」を行う | ||
| ・開発者が設定ミスやセキュリティ対策が不十分なサードパーティ製コンポーネントを通じて脆弱性を導入する | ||
| ・ユーザーやシステムが誤った場所にリクエストを送信する | ||
| ・ツールやエージェントが新しいパッケージを動的に読み込み、信頼できないコードへのエクスポージャーリスクを高める。 | ||
| 上記のような状況では、正当なツールではなく悪意のあるコンテンツが取得される可能性がある。さらに、侵害されたサードパーティ製コンポーネントがエージェント型システムに組み込まれると、そのコンポーネントの信頼レベルや権限に応じて、様々な悪意のある結果を招く恐れがある。エージェンティックAIシステムの透明性は限られているため、侵害されたサードパーティ製コンポーネントの検知は非常に困難である。 | ||
| データ | エージェンティックAIシステムは、多くの場合、大量の機密情報を扱い、保持している。これには、プロンプトや目標といったユーザー情報、RAGシステムに保存された組織データ、統合されたツールやサービスに必要なAPIキーなどの機密情報が含まれる。こうした情報の集積により、エージェンティックAIシステムは悪意ある攻撃者にとって魅力的な標的となっている。 | |
| 不正エージェント | マルチエージェントシステムにおいて、単一の侵害されたエージェントが、誤った情報を拡散したり、信頼や合意形成メカニズムを悪用したり、隠れたチャネルを通じて動作したりすることで、連鎖的な障害を引き起こす可能性がある。考えられる攻撃ベクトルには、サプライチェーンの改ざん、環境の汚染、認証情報の窃取、モデルの操作、通信の汚染、IDのなりすまし、および協調攻撃の悪用などが含まれる。このような悪意のある活動により、エージェントが武器化され、制御を迂回したり、データを外部へ流出させたり、ログを改ざんしたり、悪意のある計画をピアツーピアで拡散させたりすることが可能となり、原因の特定や封じ込めが困難な大規模な協調的な不正行為につながる。 | |
| コミュニケーション | エージェントはコミュニケーション時に、安全性の低いプロトコルや認証方法を使用する場合がある。こうしたコミュニケーションは悪意ある攻撃者による盗聴の標的となり、機密データや指示の漏洩を招く恐れがある。これにより、悪意ある攻撃者はシステムの使用状況や機能に関する知見を得ることになる。また、悪意ある攻撃者はエージェントコンポーネント間のメッセージを改ざん、再送信、またはなりすますことも可能だ。これにより、コマンドインジェクションなどの悪意ある行為が可能となり、受信コンポーネントが侵害され、そのパフォーマンスや可用性が低下する恐れがある。 | |
| 説明責任のリスク | エージェント型システムアーキテクチャは、特定の行動の原因を不明確にし、説明責任の追跡を困難にする。エージェンティックAIがより多くの役割を担い、より多くの能力を与えられるにつれ、このリスクは増大する。 | |
| 行動とプロセス | エージェントの行動や意思決定プロセスは不透明になりがちであり、エージェンティックAIシステムの理解、監視、監査を困難にする。さらに、自律性の向上はさらなる課題をもたらす。エージェントは、オペレーターには必ずしも可視化されない形で、二次的なタスクを開始したり、サブエージェントを生成したり、拡張された委任チェーンに従ったりする可能性がある。プロンプトが同一に見えても、確率的なモデル挙動、コンテキストウィンドウの変動、動的な環境入力により、エージェントが異なる行動を生成することがあり、再現性や保証をさらに複雑にする。さらに、エージェンティックAIシステムの包括的なログ記録は困難になり得る。長い推論チェーンや大量のコンテキストデータにより、ログサイズが膨大になるためだ。実装によっては、このデータはしばしば反復的であったり、構造が緩やかであったり、効果的な監視にとって不要であったりするため、ログから有意義なシグナルを抽出することはさらに困難になる。 | |
| 正確性 | LLMは幅広い分野で驚くほどの知識を持っている一方で、頻繁に誤りを犯す。LLMは通常、クエリが自身の知識の限界を超えているかどうかを識別するためではなく、人間から高く評価されるような出力を生成するように訓練されている。その結果、内部知識が不十分な場合、LLMは誤って補間を行ったり、もっともらしい回答を「幻覚」したりすることがある。これは、組織が一貫した精度が求められる重要な役割にエージェンティックAIシステムを展開する際、重大なリスクをもたらす。グラウンデッドでツールを活用したエージェントであっても、依然として内部知識に依存して回答を生成する場合がある。システムは出力においてこれを明確に識別しないことが多く、全体的な精度と信頼性を低下させる。 | |
| 可視性 | 新しいシステムを統合する際は、ステータスと動作の可視性を維持すること。エージェンティックAIシステムは、その独自の構造と、しばしば不透明な内部動作により、さらなる困難を伴う。エージェント型システムの処理速度は人間の監視能力を上回る可能性があり、その結果、悪意のある動作が見過ごされたり、幻覚が検出されなかったり、その他の問題が発生したりする恐れがある。ツールはエージェント型システムのために多くの動作を実行するが、システムの監視範囲外で動作する場合があり、ツールの動作を把握することが困難になる。さらに、悪意のあるエージェントや侵害されたエージェントが、データを持ち出すためのステルス手段としてツールを使用する可能性がある。また、誤動作したツールが意図せずデータを漏洩させることもあり、それが気づかれないままになる恐れがある。 | |
ベストプラクティス
| セキュリティ確保のための対策 | 推奨されるベストプラクティス | ||
| エージェンティックAIシステムのセキュリティ確保に関するベストプラクティス | エージェンティックAIシステムのセキュリティ確保には、システムの自律性、相互接続されたコンポーネント、および進化する機能によって生じるリスクに対処する、積極的な対策が必要である。エージェンティックAIの開発者、ベンダー、および運用者は、侵害の可能性を低減するために、多層防御と厳格なアクセス管理を実施すべきである。エージェンティックAIシステムの設計、開発、展開、および運用におけるリスクを緩和するため、作成機関は以下のセクションで言及されている実践的な手順を推奨する。 |
||
| 安全なエージェントの設計 | 対象読者：本節は、主にエージェンティックAIの開発者に関連する。ベンダーや運用者は、AIエージェントを調達する際、これらのベストプラクティスを参照するとよい。 | エージェンティックAIシステムのセキュリティ確保は、設計段階から始まる。セキュリティ制御やツールを含むシステムアーキテクチャを慎重に検討する必要がある。実務者は、脅威を理解し、エージェンティックAIシステムへのリスクを予測し、開発や展開の前に、システム設計に緩和を積極的に組み込むべきである。 | |
| 制御されたコンテキスト | エージェンティックAIシステムは、ツールやメモリベースからのデータをLLMエージェントのコンテキストウィンドウに挿入するため、プロンプト・インジェクションなどの機械学習攻撃を通じて悪意ある攻撃者が悪用できる攻撃対象領域が大幅に拡大する。LLMエージェントは、意思決定を行う際にデータソースの信頼レベルを考慮すべきである。 | 明確な指示階層を用いてプロンプトコンテキストを構成し、エージェントの振る舞いが意図された優先順位や制約と整合するようにする | |
| 検索拡張生成（RAG）やプロンプトエンジニアリングを用いて関連するコンテキスト情報を提供し、グラウンディングを実装することで、幻覚やその他のLLM関連のエラーを緩和する | |||
| 監視メカニズム | エージェンティックAIシステムは、人間の明示的な承認なしに行動を起こすことができるため、人間の監視なしに安全でない行動が発生するリスクが高まる。監視メカニズムと強力な透明性を備えたエージェンティックAIアプリケーションを設計することで、展開時のモニタリングやヒューマン・イン・ザ・ループの実践が可能になるだけでなく、ユーザーの信頼も高まる。 | 非機密かつ低リスクなタスクに承認されたエージェンティックAIシステムが、自律的に高リスクな活動へと移行しないよう、人間の制御と監督を容易にする仕組みを組み込む | |
| セキュリティを確保するため、タスク実行中のライブモニタリングや中断、意思決定ステップにおける必須の人間による承認、タスク実行後の監査および元に戻せる機能など、エージェントのワークフロー全体に人間の制御ポイントを実装する | |||
| 自律的な計画立案を制限し、エージェントが許可された目的や行動の範囲を超えて逸脱するのを防ぐため、明確な制御フローを定義する | |||
| ID管理 | エージェンティックAIシステムを安全に運用するため、エージェントのきめ細かくて多様な権限を管理する。強力なID管理メカニズムは、導入および運用中にオペレーターが制御を維持するのに役立つ。そのため、開発者は各エージェントを独立したプリンシパルとして構築すべきであり、これは独自の鍵や証明書を持つ、暗号的に固定されたIDである。 | ID管理サービス、分散型識別子、または公開鍵インフラストラクチャを使用して、強力なID管理メカニズムをエージェントに組み込む | |
| 相互トランスポート層セキュリティを使用して、すべてのエージェント間およびエージェントからサービスへのAPI呼び出しを認証し、否認防止を確保する | |||
| 信頼できるレジストリを維持し、IDを承認されたロールに紐付ける。定期的に、稼働中のエージェント群とレジストリを照合する | |||
| 信頼できるレジストリに存在しないエージェントや暗号鍵へのアクセスは拒否する | |||
| ロールベースのID管理を適用し、エージェントの権限を承認されたタスクに必要な最小限の範囲に制限する | |||
| IDベースの境界を適用し、エージェントの動作を承認されたアクションのみに制限する | |||
| 多層防御 | エージェンティックAIシステムには、故障する可能性のあるAIコンポーネントやサイバーコンポーネントが含まれており、いかなる故障もシステム全体を危険にさらす可能性がある。多層防御戦略を実施することで、単一障害点を回避できる。 | 複数のセキュリティ制御層を重複させて実装し、単一のセキュリティメカニズムへの依存を避ける | |
| ユーザー入力、ツール呼び出し、データ前処理、モデル推論など、情報がシステムに出入りするすべてのポイントでセキュリティ制御を適用する | |||
| 機能ごとにエージェントを分離し、エージェント間の引き継ぎに対して厳格な境界と運用制御を適用する | |||
| 安全なエージェントの開発 | 対象読者：このセクションは、エージェンティックAIの開発者およびベンダーにとって最も関連性が高い。運用担当者は、AIエージェントやエージェント型アプリケーションを選択する際、これらのベストプラクティスを参照するとよい。 | AIエージェントの複雑さと自己相互作用の性質は、強力な機能をもたらす一方で、特有の攻撃対象領域も生み出す。これらのリスクを緩和するには、標準的なLLMの実践を超えたトレーニングアプローチが必要であり、エージェントの挙動を強化するための専門的な技術を組み込む必要がある。 | |
| 包括的なテスト | 包括的なテスト戦略は、教師あり学習の段階でモデルをセキュリティ悪用の事例にさらすことで、望ましくない挙動を識別し対応するモデルの能力を向上させることができる。 | 報酬モデリングと敵対的テストを活用して仕様の悪用を検知し、パフォーマンス目標と並行してセキュリティ制約を明示的に組み込む | |
| LLMエージェントをシミュレートされた制御された環境で訓練し、実際のセキュリティ被害を引き起こすことなく行動の影響を学習させる | |||
| 合成データ生成を活用して、実世界の運用シナリオを反映した敵対的サンプルを作成する | |||
| 敵対的サンプルにアクティブラーニングを適用し、エージェントを不確実性の高い入力にさらすことで、予期せぬ挙動をより効率的に発見する | |||
| 適切な評価 | AIエージェントは複雑な環境で自律的に動作するため、LLMよりも徹底した評価が必要となる。 | 関連する脅威モデルを用いて、典型的な訓練条件を超えたエッジケースを含む評価シナリオを定義する | |
| Best-of-Nサンプリング（同じプロンプトに対する複数のモデル応答から最良の出力を選択する）、多段階推論プロンプト、推論時間のスケーリングなどの手法を用いて、エージェントの振る舞いとスキルの全範囲を引き出す | |||
| ツール、モデル、およびWeb検索やコード実行などのリソースへのアクセス状況の変化を含む、変化する環境条件下でのパフォーマンスとリスクを理解するために、異なる自律性のレベルにわたってシステムを評価する | |||
| 他のエージェントの有無や評価のタイミングといった文脈条件を変化させ、それらがタスクのパフォーマンスに与える影響を理解する | |||
| エージェントの開発ライフサイクル全体を通じて、継続的に機能評価を実施する | |||
| 入力管理 | 強力な入力管理制御により、AIエージェントを含むLLMベースのアプリケーションに対する多くの一般的なリスクを部分的に緩和できる。 | すべてのエージェント入力に対して、堅牢な入力検証とサニタイズを実装する | |
| 悪意のある指示を検知するために、プロンプト・インジェクションフィルターと意味解析を統合する | |||
| 実行前にシステムが意図を正しく解釈していることを確認するため、コンテキストを妥当性確認する | |||
| レッドチーム | 組織は、AIエージェントのセキュリティとレジリエンスを評価するためにレッドチーム活動を活用すべきである。 | 本番展開前にエージェントの挙動をテストするため、サンドボックス環境を導入する | |
| 潜在的な抜け穴や意図しない挙動を特定するために、レッドチーム演習を実施する | |||
| 能力引き出し手法を用いて、予期せぬ能力や突発的な能力、特に重大なリソースや環境リスクを引き起こす可能性のあるものを調査する | |||
| マルチエージェント・レッドチーム活動やカオステストなどのエージェントシミュレーションテストを実施する。 | |||
| レジリエンス | AIエージェントの機能強化に伴い、エージェントの障害や異常動作に伴うリスクも増大する。エージェンティックAIシステムのレジリエンスを強化し、誤動作が発生した場合でも段階的な機能低下を許容し、被害を軽減できるようにする。 | エージェンティックAIシステムにフェイルセーフなデフォルト設定と、予期せぬ動作の影響範囲を限定する封じ込めメカニズムを組み込む | |
| AIエージェントの動作に特化して調整されたデータ損失防止対策を実装する | |||
| 予測不能な挙動が観察された際に、システムを正常なエージェントの挙動へ安全に復元できるよう、バージョン管理およびロールバックの仕組みを実装する | |||
| 説明責任 | エージェンティックAIシステムは、エージェントの行動および意思決定プロセスを記録した包括的な成果物と情報を生成すべきである。 | 包括的な成果物ロギングの仕組みをデフォルトで統合する | |
| すべてのエージェント間のやり取りの可観測性を維持するため、エージェント間のすべての相互作用に対する統一された監査ログを統合する | |||
| 解釈可能性ツールを活用し、AIエージェントの意思決定の可観測性と背後にある推論を確保する | |||
| AIエージェントの応答における主要な要素の出所を示す、具体的な参照情報を義務付ける | |||
| サードパーティ製コンポーネントの管理 | 拡張性と柔軟性は、AIエージェントの重要な構成要素である。多くの場合、サードパーティ製コンポーネントやツールは拡張性と柔軟性を高める一方で、エージェントの攻撃対象領域を拡大させる。AIエージェント型アプリケーションのサードパーティ製コンポーネントの検証と管理により、追加されるリスクを低減できる。 | エージェンティックAIシステムに組み込む前に、すべての外部サードパーティ製コンポーネントが信頼できるソースに由来し、最新であることを確認する | |
| サードパーティ製コンポーネントの信頼できるレジストリを維持する | |||
| エージェンティックAIシステムを調達する際は、CISAの「サイバーセキュリティのためのソフトウェア部品表（SBOM）に関する共通ビジョン」および「2025年版 ソフトウェア部品表（SBOM）の最小構成要素」を参照する | |||
| ツールの使用を、定期的にセキュリティが検証された承認済みツールおよびバージョンの許可リストに限定する | |||
| ツール使用に関連するエージェントの挙動が、文書化されたセキュリティポリシーと整合していることを確認する | |||
| エージェントのツール使用状況をログに記録し、結果が人間が読める形式でシステムログに確実に記録されるようにする | |||
| 予期せぬ動作が発生した際にエージェントの権限を自動的に制限するトリガー・アクションプロトコルを確立する | |||
| 「オーケストレーター」、「リーダー」、「アクチュエーター」などの役割を定義し、明確な境界、合意形成メカニズム、および委任の有効期限を設定することで、職務分離を規定化する | |||
| リスクに基づいてアクションに対する合意形成制御を実装する。中程度のリスクのアクションにはマルチエージェント承認を、高リスクのアクションにはマルチエージェント合意に加え、人間による介入（HITL）承認を使用する | |||
| エージェントが、明示的な有効期限タイマーおよび記録された権限付与の連鎖なしに、自身の権限を変更したり、承認されていない委任を開始したりすることを禁止する | |||
| 説得的な表現を避け、一貫した形式を用いてツールの説明を標準化する | |||
| エージェントの安全な展開 | 対象読者：このセクションは、エージェンティックAIのベンダーおよび運用者に最も関連性が高い。開発者は、自社のエージェンティックAIアプリケーションがこれらのベストプラクティスを実装できるよう、このセクションを参照するとよい。 | AIエージェントを新しいシステムやネットワークに統合すると、システムのリスクに関する考慮事項に大きな変化が生じる可能性がある。展開時に影響の大きいセキュリティ対策を実施することで、組織は新たなリスクを先制的に管理し、脆弱性を低減できる。 | |
| 脅威モデリング | エージェンティックAIは、既存システムに組み込まれた際、脅威の状況を大きく変える可能性がある。AIエージェントの展開を計画する際に脅威モデリングを活用することで、認識を高め、運用担当者が展開に向けてより適切な準備を行えるようになる。 | OWASP GenAI Security ProjectやMITRE ATLAS™など、エージェンティックAIシステム向けの最新のリスク分類法を用いて、現実的な脅威モデリングを実施する | |
| エージェントの新たな機能や進化に対応するセキュリティ対策の設計と実装 | |||
| エージェンティックAIの対策を、既存のセキュリティフレームワーク、国の指針、および共通のゼロトラスト原則や国立標準技術研究所（NIST）のゼロトラストアーキテクチャ指針などの関連合意と整合させる | |||
| エージェントの侵害を検知、封じ込め、復旧するためのインシデント対応手順を策定し、テストする | |||
| 特権アーキテクチャに対する定期的なサードパーティレビューを実施し、信頼できるパートナーと実用的な情報を共有し、新たな悪意のある傾向を反映させるためにリスクモデルを更新する | |||
| ガバナンス | エージェンティックAIシステムによる自律的な行動は新たなリスクをもたらすため、ガバナンス方針の更新と、各アクションに対する一元化されたポリシー決定ポイントを用いた継続的な実行時認証が必要となる。 | 自律型エージェントを管理するためのガバナンス方針を実装し、維持する | |
| ポリシーにおいて、エージェンティックAIシステムの法的責任とリスクの帰属を定義する | |||
| 組織のスキルアップを図り、AIリテラシーを構築する | |||
| OT環境におけるAIガバナンスの確立についてさらに学ぶには、CISAの「オペレーショナルテクノロジーにおける人工知能の安全な統合に関する原則」を参照する。 | |||
| 段階的な展開 | AIエージェントのリスクプロファイルは、権限や許可されたアクションによって大きく異なる。段階的な展開アプローチは、オペレーターやユーザーがエージェント型アプリケーションの制限事項に慣れ、理解するまで、初期リスクを制限することを目的とする。 | アクセス権と自律性を段階的に拡大する段階的展開を実施し、必要に応じて制限されたAPIやサンドボックス化など、アクションスペースを制限する | |
| 段階的な自律性を活用し、人間の監督と理解を維持しつつ、エージェントの独立性を徐々に高める | |||
| 継続的な評価を行い、システムの範囲を拡大すべきタイミングや、障害発生時に自律性とアクセス権をロールバックすべきタイミングを判断する | |||
| デフォルトで安全を確保する | 安全かつセキュアなデフォルト設定は、展開リスクを低減し、万が一機能低下が発生した場合でもシステムのセキュリティを支える。 | 不確実なシナリオにおいてエージェントが停止し、問題を人間のレビュー担当者にエスカレーションするよう、システム構成をデフォルトでフェイルセーフに設定する | |
| エラー処理とフェイルオーバー管理を活用し、システム障害の影響を軽減する | |||
| 一部の機能が障害を起こした場合でもエージェントが部分的な機能を維持できるよう、グレースフル・デグラデーション・モデルを実装する | |||
| ガードレールと制約 | エージェントのガードレールと制約を実装することで、AIがもたらす多くの一般的なセキュリティリスクへのエクスポージャーを低減できる。展開時にこれらのガードレールと制約を追加することは、エージェントに対する信頼と理解を築くのに役立つ。 | 明確な「禁止事項」ルールを伴う、明確かつ制約のある目的を指定する | |
| 拒否リストやAPIレベルの安全ポリシーなど、ガードレールと厳格な制約を実装する | |||
| エージェントが上書きできない制約とガードレールを備えた宣言型安全契約を確立する | |||
| 異常検知やルールベースのフィルタリングから、禁止された振る舞いを検知・フィルタリングする特殊な機械学習アルゴリズムに至るまで、多層的なガードレールメカニズムを適用する | |||
| ガードレールが作動した場合や、人間のレビュー担当者がアクションを拒否した場合など、高リスクなインシデントのレビューを優先する | |||
| 実行前にポリシーに基づいて新しいタスクの妥当性確認を実施するため、セカンダリアジェントを展開する | |||
| 分離 | 展開にあたっては、AIエージェントの統合要件を考慮し、可能な限り分離を適用すべきである。これにより、エージェントが予期せぬ動作や悪意のある動作をした場合に、連鎖的な問題を軽減できる。 | エージェントの障害シナリオによる影響範囲を限定するため、分離とセグメンテーションを実施する | |
| 高リスクのエージェントを個別のドメインに分離する | |||
| エージェントを、ログへの書き込みアクセス権のないエンクレーブに隔離する | |||
| エージェントの安全な運用 | 対象読者：このセクションは、エージェンティックAIベンダーおよび運用者に最も関連性が高い。開発者は、自社のエージェンティックAIアプリケーションがこれらのベストプラクティスを実装できるよう、このセクションを参照するとよい。 | AIエージェントの運用には大きなメリットがある一方で、重大なリスクも伴う。エージェントが利益よりも害をもたらすことのないよう、運用者は継続的なセキュリティ上の懸念を管理する際に細心の注意を払う必要がある。 | |
| 監視と監査 | AIエージェントの重要な利点の一つは、その動的な挙動である。これはアプリケーションに大きな柔軟性をもたらすが、エージェントが何をすべきか、実際に何をしているかを把握しにくくする要因にもなり得る。運用者は、AIエージェントの動作を常に把握し、意思決定や行動の追跡可能性を確保するために、継続的な監視と監査を実施すべきである。継続的な監査プロセスは、セキュリティ対策を強化し、ガバナンス標準（リスクマネジメント、監督、利用制限など）への準拠を確実にする。 | エージェンティックAIシステムに対する人間の監督を強化する監視ツールを導入する | |
| 入力や出力だけでなく、内部プロセスを含むすべてのエージェントの動作を監視する | |||
| IDや権限の変更を監視・記録し、ドリフト、なりすまし、設定ミスの有無について定期的に監査を行う | |||
| ユーザープロンプト、ツール呼び出し、メモリ操作、内部推論、下された決定、実行されたアクションを含め、エージェントの出力や行動を監視し、バイアス、新たなデータドリフト、その他の異常なパターンの兆候を探る | |||
| 稼働中のエージェントの振る舞いと意思決定について、包括的なログとリアルタイム監視を維持する | |||
| ルールや振る舞いのベースラインを用いた実行時監視と異常検知を実装し、異常なパターンを識別してアラートや一時停止をトリガーする | |||
| 表明された意図と観察された振る舞いとの不一致をフラグ付けする異常検知メカニズムを確立する | |||
| エージェントのレポートとシステムログを相互検証する、複数の独立した監視システムを使用する | |||
| 実行前に、アクティブな目標を承認済みのベースライン仕様と比較することで、目標のドリフトを監視する | |||
| ソースチェックをエージェントのログと統合し、システムがどのツールを使用し、どのような情報を取得したかを記録する | |||
| 人的レビューとシステムログの自動分析を組み合わせた監査手法を実装する | |||
| 監視データを活用して適応型防御を支援し、システムログで特定された問題に基づくパッチ適用など、迅速な対応を可能にする | |||
| 重要な情報を失うことなくログ量を管理するため、ストレージ効率の高いロギング手法を使用する | |||
| エージェントの挙動を特に標的とした侵入テストやレッドチーム演習を含む、定期的なセキュリティアセスメントを実施する | |||
| 出力の妥当性確認 | AIエージェントの出力は、動作を監視するために利用可能な数少ない具体的なデータポイントの一つである。出力が有効であり、望ましい動作を反映していることを確認することは、正常な動作を判断する重要な指標となる。 | 複数の情報源と照合し、重要な側面の正確性を確認することで、エージェントの出力を検証する | |
| エージェント同士が出力を相互検証する冗長構成の環境において、クロスチェックを通じてエージェントを検証する | |||
| 悪意のある指示や安全でない指示を防ぐためにツールの応答を検証し、説得力のある表現を避けるためにツールの記述を標準化する | |||
| ヒューマン・イン・ザ・ループ | AIエージェントによる誤った、あるいは予期せぬ決定は、重要なデータの削除など、重大な損害をもたらす可能性がある。エージェンティックAIのワークフローに人間の監督、承認、およびレビューを組み込むことは、特に影響が大きく、取り消しが困難なアクションにおいて、システムが安全かつ確実に動作することを保証するための重要な制御手段である。 | 人間の承認が必要なタイミングに関する決定は、エージェンティックAIシステムに委任せず、システム設計者または運用者が決定するようにする | |
| エージェントが、事前の人的承認なしに、影響の大きいアクションや出力を自律的に実行できないようにする | |||
| システムのリセット、ネットワークへのデータ送信、重要な記録の削除など、エラーのコストが高いアクションについては、ヒューマン・イン・ザ・ループによるレビューまたは承認のチェックポイントを設ける | |||
| ログや監査記録の削除要求は、人間によるレビューと承認が行われるまで保留にする | |||
| システムによって引き起こされたエラーや悪影響に対する責任と説明責任を明確に割り当てる | |||
| リスクアセスメントを実施し、エージェントのアクションを潜在的な影響、発生確率、および元に戻せる可能性によって分類し、適切な安全対策を適用する | |||
| パフォーマンスの監視 | 他のシステムコンポーネントと同様に、パフォーマンスはAIエージェントにとって重要な要素である。パフォーマンスの低下や異常は、エージェントまたはエージェント型システムのコンポーネントが侵害されたことを示唆する可能性があるため、これは特に当てはまる。 | 特に機密性の高いシステムや影響の大きいシステムにおいて、エージェントがセキュリティ対策を回避する能力をアセスメントする | |
| 通信障壁、ガードレール、監視システム、人間介入プロセス、入力フィルタなどの安全対策をエージェントが回避する能力について、定期的なアセスメントを実施する | |||
| これらのアセスメント結果を活用して、既存の制御策の妥当性を確認し、より強力なセキュリティ対策の開発に役立てる | |||
| レート制限コンポーネントを適用して長時間実行されるタスクを中断させ、悪意のあるワークフローを妨害するなど、制御策を講じてエージェントのリソース使用を制限する | |||
| 権限と認証 | AIエージェントに対する継続的かつ厳格な権限管理は、長期的なセキュリティの鍵となる。ここでの不備は、バグのあるエージェントによる影響を軽微なものから壊滅的なものへと変える可能性がある。 | AIエージェントの権限を、そのタスクに必要な最小限に制限する | |
| 許可されるアクションをきめ細かく制御できるよう、権限の範囲を可能な限り狭いレベルに制限する | |||
| エージェントのレピュテーションおよび信頼度スコアリングメカニズムを実装し、異常な動作が検知された場合は信頼レベルを下げる | |||
| 影響の大きいアクションや特権アクションには、ジャストインタイムの認証情報を要求する | |||
| API呼び出し元の身元を、ユーザーまたはエージェントグループと照合して検証する | |||
| 特権呼び出しのたびに、最新の暗号的証明を用いてエージェントを認証する | |||
| 承認されたコマンドや指示に対して暗号的署名を必須とする | |||
| タスク定義や制約に対して暗号的整合性チェックを適用する | |||
| エージェントに対し、期待された変更されていないコードが実行されていることを証明する暗号的証明を必須とする | |||
| 各リクエストに対して一元化されたポリシー決定ポイントを使用し、実行時に継続的に身元と権限を検証する | |||
| 将来のリスクへの備え | エージェンティックAIがより多くの役割を担い、より高度な能力を獲得するにつれ、組織はこれらのシステムがもたらす新たなリスクを予測し、対処しなければならない。産業界や学界ではエージェンティックAIを保護するための手法が開発されているが、この分野は依然として進化しており、新たな課題に対処するためには継続的な研究とエージェントセキュリティの実践的な実装が必要である。 | |
| エージェンティックAIシステムのセキュリティを確保するための堅牢な標準を策定するため、作成機関はセキュリティ実務者および研究者が以下のセクションで説明する措置を講じることを推奨する。 | ||
| 連携による脅威インテリジェンスの拡充 | エージェンティックAIシステムに関する脅威インテリジェンスは依然として発展途上であり、これが重大なセキュリティ上のギャップを招く可能性がある。Open Web Application Security Project (OWASP)の「2025年LLMおよびGen AIアプリ向けトップ10リスクと緩和策」やMITRE ATLAS™といった既存のフレームワークはLLMの脆弱性に焦点を当てている一方、業界レポートはエージェンティックAI特有の脅威ではなく、プラットフォームの悪用を強調している。その結果、エージェンティックAIに特有の攻撃ベクトルの一部が、十分に把握または対処されていない可能性がある。 | エージェンティックAIシステムに対する進化する脅威に対応するため、ステークホルダー間の連携を強化する |
| 主要なAI開発者や政府機関と連携し、脅威情報の収集・維持を行う | ||
| CISAの『AIサイバーセキュリティ・コラボレーション・プレイブック』に記載されているような、協調的なセキュリティアプローチを採用する | ||
| 悪意のあるアクターや手法に対するアラート、データ収集、追跡手法を実装する | ||
| 状況認識を向上させるため、脅威と能力について長期にわたる的を絞った分析を行う | ||
| 業界横断的に脅威インテリジェンスを統合し、脅威モデリングを改善し、より効果的な緩和策の設計を支援する共通の脅威分類体系を構築する | ||
| 堅牢でエージェント固有の評価手法を開発する | エージェンティックAIセキュリティに関する既存の評価手法の多くは、依然として進化の途上にある。これらは些細な意味論的な変化に敏感であったり、シナリオによって異なったり、実世界の展開条件を部分的にしか捉えていない可能性がある。これらの制限により、重大なセキュリティ問題を見落とすギャップが生じ、エージェントのセキュリティやシステムアーキテクチャの妥当性確認がほぼ不可能になる。 | エージェンティックAIシステムの妥当性確認におけるギャップに対処するための堅牢な評価手法を開発する |
| 新しい領域を網羅し、現実的な展開コンテキストを反映したベンチマークデータセットを生成する | ||
| 評価結果を用いて、新たなセキュリティ慣行を検証し、エージェントの失敗点を識別する | ||
| 評価結果を共有し、セキュリティアセスメントを強化するとともに、分野全体でのセキュリティ慣行の改善を支援する | ||
| システム理論的アプローチを活用してセキュリティを分析する | エージェンティックAIシステムは、LLM、人間、ガードレール、データセット、ツール、ハードウェアからなる複雑なエコシステムであり、セキュリティリスクは孤立した欠陥ではなく、コンポーネント間の相互作用から生じることが多い。従来のコンポーネントレベルの分析では不十分であり、意思決定の閾値が曖昧で、推論の連鎖が長く、膨大でしばしば冗長なログが存在するため、これらのシステムの監視も同様に困難である。局所的なロギング手法では完全な可視性が得られることは稀であり、アーキテクチャ全体にわたるリスクを理解し緩和するためには、システム理論的アプローチが不可欠である。 | システム理論的アプローチを用いてエージェンティックAIシステムを分析し、適切なセキュリティ対策を識別する |
| システム理論的プロセス分析（STPA）およびそのセキュリティ拡張版であるSTPA for Security（STPA-Sec）を適用し、概念的または運用中のシステムを分析し、セキュリティ上の問題を識別し、ミッションリスクを評価し、潜在的な緩和策を提示する | ||
| システム理論を用いた因果分析（CAST）を活用し、セキュリティインシデントを調査し、システムレベルでの根本原因を識別する | ||
| STPAおよびCASTを適用し、エージェンティックAIシステムのライフサイクル全体において、安全性とセキュリティ上の懸念を同時に解決する | ||
| STPAおよびCASTに関する詳細情報、ならびにSTPA-Secにおける安全性とセキュリティのためのシステム思考については、マサチューセッツ工科大学（MIT）のSTAMP資料を参照する。 | ||
仮対訳
| Careful adoption of agentic AI services | エージェンティックAIサービスの慎重な導入 |
| Introduction | 序論 |
| Broader agentic AI security considerations | エージェンティックAIに関する広範なセキュリティ上の考慮事項 |
| Agentic AI security risks | エージェンティックAIのリスク |
| Best practices for securing agentic AI systems | エージェンティックAIシステムのセキュリティ確保に関するベストプラクティス |
| Defend against future risks | 将来のリスクへの防御 |
| Conclusion | 結論 |
| Further information | 詳細情報 |
| Appendix A | 附属書A |
| Introduction | 序論 |
| Agentic artificial intelligence (AI) systems increasingly operate across critical infrastructure and defence sectors and support mission-critical capabilities. As agentic AI systems play a growing operational role, it is crucial for defenders to implement security controls to protect national security and critical infrastructure from agentic AI-specific risks. | エージェンティック人工知能（AI）システムは、重要インフラや防衛分野においてますます広く運用され、ミッションクリティカルな機能を支えている。エージェンティックAIシステムの運用上の役割が拡大するにつれ、防衛担当者は、国家安全保障や重要インフラをエージェンティックAI特有のリスクから防御するためのセキュリティ対策を実施することが極めて重要である。 |
| Agentic AI can automate repetitive, well-defined and low-risk tasks. However, these additional opportunities come with additional risks. Like other AI services, agentic AI can be misused or misappropriated, leading to productivity losses, service disruption, privacy breaches or cyber security incidents. Organisations must therefore anticipate what could go wrong, assess how agentic AI risk scenarios might affect operations and establish ongoing visibility and assurance to maintain confidence in their agentic AI investments. Where possible, organisations should also consider a full spectrum of solutions for repetitive tasks, including reducing or eliminating low-value processes, which may be lower risk compared to agentic AI solutions. | エージェンティックAIは、反復的で明確に定義され、リスクの低いタスクを自動化できる。しかし、こうした新たな機会には、追加的なリスクも伴う。他のAIサービスと同様に、エージェンティックAIも悪用や不正利用される可能性があり、生産性の低下、サービスの中断、プライバシー侵害、あるいはサイバーセキュリティインシデントにつながる恐れがある。したがって、組織は何が問題となるかを予測し、エージェンティックAIのリスクシナリオが業務にどのような影響を与えるかを評価し、エージェンティックAIへの投資に対する信頼を維持するために、継続的な可視性と保証を確立しなければならない。可能であれば、組織は反復的なタスクに対するあらゆる解決策を検討すべきであり、これには、エージェンティックAIソリューションに比べてリスクが低い可能性のある、価値の低いプロセスの削減や排除も含まれる。 |
| This guidance was co-authored by the Australian Signals Directorate’s Australian Cyber Security Centre (ASD’s ACSC), the United States Cybersecurity and Infrastructure Security Agency (CISA) and National Security Agency (NSA), the Canadian Centre for Cyber Security (Cyber Centre), the New Zealand National Cyber Security Centre (NCSC-NZ) and the United Kingdom National Cyber Security Centre (NCSC-UK). Throughout this guidance, these organisations are referred to as the ‘authoring agencies’. This guidance discusses key cyber security challenges and risks associated with the introduction of agentic AI into IT environments, as well as best practices for securing agentic AI systems. | 本ガイダンスは、オーストラリア信号局（ASD）傘下のオーストラリア・サイバーセキュリティ・センター（ACSC）、米国サイバーセキュリティ・インフラセキュリティ庁（CISA）および国家安全保障局（NSA）、カナダ・サイバーセキュリティ・センター（Cyber Centre）、ニュージーランド国立サイバーセキュリティ・センター（NCSC-NZ）、英国国立サイバーセキュリティ・センター（NCSC-UK）が共同で作成したものである。本ガイダンスでは、これらの組織を「作成機関」と呼ぶ。本ガイダンスでは、IT環境へのエージェンティックAIの導入に伴う主要なサイバーセキュリティ上の課題とリスク、およびエージェンティックAIシステムのセキュリティ確保のためのベストプラクティスについて論じている。 |
| The authoring agencies strongly recommend aligning agentic AI risks and mitigation strategies with your organisation’s existing security model and risk posture. The authoring agencies further recommend adopting agentic AI with security in mind, assessing its use and never granting it broad or unrestricted access, especially to sensitive data or critical systems. Additionally, organisations should only use agentic AI for low-risk and non-sensitive tasks. | 作成機関は、エージェンティックAIのリスクおよび緩和戦略を、組織の既存のセキュリティモデルおよびリスク態勢と整合させることを強く推奨する。さらに、作成機関は、セキュリティを念頭に置いてエージェンティックAIを導入し、その利用を評価し、特に機密データや重要システムに対しては、広範かつ無制限なアクセス権を決して付与しないことを推奨する。加えて、組織はエージェンティックAIを低リスクかつ機密性の低いタスクにのみ使用すべきである。 |
| Scope and audience | 対象範囲と対象読者 |
| This guidance primarily focuses on large language model (LLM)-based agentic AI systems. It considers both threats to and vulnerabilities within agentic AI systems, as well as risks arising from agentic AI behaviour. This includes risks introduced through system components, integrations and downstream use. | 本ガイダンスは、主に大規模言語モデル（LLM）に基づくエージェンティックAIシステムに焦点を当てている。エージェンティックAIシステムに対する脅威やシステム内部の脆弱性、ならびにエージェンティックAIの挙動から生じるリスクの両方を考慮している。これには、システムコンポーネント、統合、および下流での利用を通じて導入されるリスクが含まれる。 |
| The authoring agencies developed this guidance to support government, critical infrastructure and industry stakeholders in understanding the key security challenges and risks posed by agentic AI. It provides practical guidance to help organisations that design, develop, deploy and operate agentic AI systems, to make informed risk assessments and mitigations. The guidance concludes with actionable recommendations to help organisations prepare for and defend against emerging and future agentic AI threats. | 本ガイダンスは、政府、重要インフラ、および産業界の関係者が、エージェンティックAIがもたらす主要なセキュリティ上の課題とリスクを理解できるよう支援するために、作成機関によって策定された。本ガイダンスは、エージェンティックAIシステムの設計、開発、展開、運用を行う組織が、十分な情報に基づいたリスクアセスメントと緩和策を講じられるよう、実践的な指針を提供する。最後に、組織が新興および将来のエージェンティックAIの脅威に備え、防御するための実行可能な推奨事項を提示する。 |
| What is agentic AI? | エージェンティックAIとは何か |
| Agentic AI systems are composed of one or more agents that fundamentally rely on an AI model, such as an LLM, to interpret and reason about the state of the world, make decisions and take actions. As shown in Figure 1, LLM-based agentic AI systems contain the LLM itself, alongside external tools, external data sources, memory and planning workflows. These components enable the system to perceive its environment and, where applicable, take action to achieve its goals. Compared with traditional LLM systems, agentic AI systems distinguish themselves by accomplishing underspecified objectives, acting autonomously, following goal-directed behaviours and creating long-term plans. | エージェンティックAIシステムは、1つ以上のエージェントで構成されており、これらのエージェントは、世界の状態を解釈・推論し、意思決定を行い、行動を起こすために、LLM（大規模言語モデル）などのAIモデルに根本的に依存している。図1に示すように、LLMベースのエージェンティックAIシステムには、LLM自体に加え、外部ツール、外部データソース、メモリ、および計画ワークフローが含まれる。これらのコンポーネントにより、システムは環境を認識し、必要に応じて目標を達成するための行動をとることができる。従来型のLLMシステムと比較して、エージェンティックAIシステムは、不完全な目標の達成、自律的な行動、目標指向の振る舞いの遂行、および長期的な計画の策定という点で特徴づけられる。 |
| Agentic AI systems are intended to operate without continuous human intervention. While a human typically designs and configures the system, some agentic AI systems are also capable of autonomously creating, or ‘spawning’, sub-agents to accomplish specific sub-tasks. | エージェンティックAIシステムは、継続的な人間の介入なしに動作することを意図している。通常、人間がシステムを設計・設定するが、特定の部分タスクを達成するために、サブエージェントを自律的に作成（または「生成」）できるエージェンティックAIシステムもある。 |
| System design includes defining goals, providing conditions on which to act (called ‘triggers’) and making information available to the AI service. Agents have some key attributes, including: | システム設計には、目標の定義、行動の条件（「トリガー」と呼ばれる）の設定、およびAIサービスへの情報提供が含まれる。エージェントには、以下のような主要な属性がある： |
| ・information input, such as user input, operating context and configuration parameters | ・ユーザー入力、動作コンテキスト、設定パラメータなどの情報入力 |
| ・measurable goals identified from user directions, such as ‘minimise downtime for this server’ | ・「このサーバーのダウンタイムを最小限に抑える」といった、ユーザーの指示から特定された測定可能な目標 |
| ・statistical models, such as LLMs to identify what actions to take | ・どのようなアクションを実行すべきかを識別するためのLLMなどの統計モデル |
| ・action and execution privileges, such as permissions to interact with tools, users, systems and operating environments | ・ツール、ユーザー、システム、および動作環境とやり取りするための権限など、アクションおよび実行権限 |
| ・tool or service access, such as system software and interfaces, to take identified actions | ・特定されたアクションを実行するための、システムソフトウェアやインターフェースなどのツールまたはサービスへのアクセス |
| ・metrics, such as measurable indicators used by the designer to evaluate operational effectiveness and improve efficiency. | ・運用効果を評価し、効率を向上させるために設計者が使用する測定可能な指標などのメトリクス。 |
| |
|
| Figure 1. Agentic AI System Diagram | 図1. エージェンティックAIシステムの図 |
| How is it different from generative AI? | 生成的AIとはどう違うのか？ |
| Generative AI (GenAI) is a subset of AI that creates new content based on complex patterns learned from large datasets. GenAI is commonly used to generate text, images, audio and video intended for human use or action. In contrast, agentic AI builds on GenAI by integrating with software systems to create autonomous agents that can independently reason, plan and take actions without requiring human intervention. | 生成的AI（GenAI）は、大規模なデータセットから学習した複雑なパターンに基づいて新しいコンテンツを作成するAIの一種である。GenAIは、人間による利用や行動を目的としたテキスト、画像、音声、動画を生成するために一般的に使用される。対照的に、エージェンティックAIはGenAIを基盤とし、ソフトウェアシステムと統合することで、人間の介入を必要とせずに自律的に推論、計画、行動を行うことができる自律エージェントを構築する。 |
| Broader agentic AI security considerations | エージェンティックAIのセキュリティに関する広範な考察 |
| Inherited risks of LLMs | LLMから継承されるリスク |
| As the core of agentic AI is an LLM, agents inherit LLM vulnerabilities. For example, actors could perform prompt injection attacks by including malicious prompts in phishing emails to convince email-monitoring agents to download malware. This underscores a key vulnerability: malicious actors can target agentic AI systems using existing AI and cyber attack vectors. | エージェンティックAIの中核はLLMであるため、エージェントはLLMの脆弱性を継承する。例えば、攻撃者はフィッシングメールに悪意のあるプロンプトを含めることでプロンプト・インジェクション攻撃を行い、メール監視エージェントにマルウェアをダウンロードさせることが可能だ。これは重要な脆弱性を浮き彫りにしている。すなわち、悪意のある攻撃者は、既存のAIやサイバー攻撃のベクトルを利用してエージェンティックAIシステムを標的にできるということだ。 |
| Increased attack surface | 攻撃対象領域の拡大 |
| Agentic AI systems rely on a variety of components, including tools, external data sources and memory bases to interact with their environment and expand their capabilities. Each of these components can introduce vulnerabilities across an interconnected attack surface that malicious actors can exploit. For instance, external data sources such as web search can insert additional information into the prompt context, enabling indirect prompt injection attacks. With broader access to computing infrastructure, malicious actors may exploit system components to conduct attacks, such as executing malicious scripts or sending unauthorised emails. Consequently, every individual component in an agentic AI system widens the attack surface, exposing the system to additional avenues of exploitation. | エージェンティックAIシステムは、環境と相互作用し、機能を拡張するために、ツール、外部データソース、知識ベースなど、多様なコンポーネントに依存している。これらの各コンポーネントは、相互接続された攻撃対象領域全体に脆弱性をもたらし、悪意のある攻撃者がこれを悪用する可能性がある。例えば、ウェブ検索などの外部データソースは、プロンプトのコンテキストに追加情報を挿入し、間接的プロンプト・インジェクション攻撃を可能にする。コンピューティングインフラへのアクセス範囲が広がるにつれ、悪意のある攻撃者はシステムコンポーネントを悪用して、悪意のあるスクリプトの実行や不正なメールの送信といった攻撃を行う可能性がある。その結果、エージェンティックAIシステム内の個々のコンポーネントがすべて攻撃対象領域を広げ、システムをさらなる悪用経路にさらすことになる。 |
| Increased complexity | 複雑性の増大 |
| Agentic AI cyber security spans both AI-specific security and traditional cyber security. Information continuously flows between AI and non-AI systems, increasingly blurring defensive boundaries and making it difficult to isolate AI-related risks from broader cyber threats. Agentic AI systems are also inherently complex, often involving multiple interconnected components that plan, reason and act across sequential steps. This complexity introduces new systemic risks, including cascading failures and multi-step attacks, where unexpected or compromised behaviour in one component can propagate across subsequent steps and affect the entire system. As a result, securing agentic AI systems is more challenging than traditional digital systems. Organisations should therefore focus on strengthening both established cyber security controls and AI-specific security practices, adopting holistic lifecycle approaches, continuous monitoring and resilient design principles to manage these emerging risks. | エージェンティックAIのサイバーセキュリティは、AI固有のセキュリティと従来のサイバーセキュリティの両方にまたがる。AIシステムと非AIシステムの間で情報が絶えず行き来するため、防御の境界線がますます曖昧になり、AI関連のリスクを広範なサイバー脅威から切り離すことが困難になっている。また、エージェンティックAIシステムは本質的に複雑であり、多くの場合、複数の相互接続されたコンポーネントが関与し、それらが一連のステップにわたって計画、推論、振る舞いを行う。この複雑さは、連鎖的な障害や多段階攻撃といった新たなシステム的リスクをもたらす。これらは、あるコンポーネントにおける予期せぬ動作や侵害された動作が、後続のステップに波及し、システム全体に影響を及ぼす可能性がある。その結果、エージェンティックAIシステムのセキュリティ確保は、従来のデジタルシステムよりも困難である。したがって、組織は確立されたサイバーセキュリティ対策とAI特有のセキュリティ慣行の両方を強化することに注力し、包括的なライフサイクルアプローチ、継続的な監視、およびレジリエンシーを持つ設計原則を採用して、これらの新たなリスクを管理すべきである。 |
| Appendix A provides a breakdown of cyber security prerequisites to consider before incorporating AI agents. | 附属書Aでは、AIエージェントを導入する前に考慮すべきサイバーセキュリティの前提条件を詳細に示している。 |
| Evolving security as technology matures | 技術の成熟に伴うセキュリティの進化 |
| As agentic AI technology matures, the security landscape has evolved alongside it, revealing new and increasingly complex risk dynamics. LLM‑based agents may change their behaviour when evaluations are underway and may even bypass system-level instructions to achieve their objectives. At the same time, the growing architectural complexity of agentic AI systems means they are often composed of tightly coupled, interdependent components. This increases the likelihood of system-level failures arising from subtle or previously unnoticed incompatibilities. | エージェンティックAI技術が成熟するにつれ、セキュリティ環境もそれに伴って進化し、新しく、ますます複雑化するリスクの動態が明らかになっている。LLMベースのエージェントは、評価が行われている最中にその挙動を変える可能性があり、目的を達成するためにシステムレベルの指示を迂回することさえある。同時に、エージェンティックAIシステムのアーキテクチャの複雑さが増すにつれ、それらは密接に結合し、相互依存するコンポーネントで構成されることが多くなっている。これにより、微妙な、あるいはこれまで気づかれていなかった非互換性から生じるシステムレベルの障害が発生する可能性が高まる。 |
| Gaps in agentic AI cyber security tooling and the immaturity of relevant standards further amplify these risks. Governance mechanisms designed for human actors do not always translate effectively to autonomous AI agents. As agentic AI systems continue to advance in capability and autonomy, the security landscape will continue to shift, introducing new challenges that demand ongoing adaptation of defensive approaches. | エージェンティックAIのサイバーセキュリティツールにおけるギャップや、関連標準の未成熟さは、これらのリスクをさらに増幅させる。人間のアクター向けに設計されたガバナンスの仕組みは、自律型AIエージェントに対して必ずしも効果的に適用できるとは限らない。エージェンティックAIシステムの能力と自律性が向上し続けるにつれ、セキュリティ環境も変化し続け、防御アプローチの継続的な適応を必要とする新たな課題がもたらされるだろう。 |
| AI security as part of cyber security | サイバーセキュリティの一部としてのAIセキュリティ |
| Organisations should address AI security, including agentic AI systems, within established cyber security frameworks rather than treating it as a separate or standalone discipline. AI systems are fundamentally IT systems, as they run on software and hardware, operate over networks and interact with other digital services, exposing them to many of the same threats as traditional IT. As organisations embed AI across business processes and critical infrastructure, the distinction between AI and non-AI security risks increasingly disappears. Managing AI-related risks within existing cyber security frameworks allows organisations to apply proven principles, such as Secure by Design, defence in depth, identity and access management, continuous monitoring and incident response across the full AI system lifecycle. This approach is especially important for agentic AI, whose autonomy and complexity can amplify conventional cyber risks. By embedding AI security into existing frameworks, organisations ensure consistent governance of new capabilities, holistic risk assessment and the evolution of security practices in line with technological advances and organisational cyber maturity. | 組織は、AIセキュリティ（エージェンティックAIシステムを含む）を、独立した分野として扱うのではなく、確立されたサイバーセキュリティのフレームワークの中で対処すべきである。AIシステムは、ソフトウェアやハードウェア上で動作し、ネットワークを介して運用され、他のデジタルサービスと相互作用するため、本質的にはITシステムであり、従来のITと同様の多くの脅威にさらされている。組織がビジネスプロセスや重要インフラ全体にAIを組み込むにつれ、AIと非AIのセキュリティリスクの境界はますます曖昧になっていく。既存のサイバーセキュリティフレームワーク内でAI関連のリスクを管理することで、組織は「セキュア・バイ・デザイン（Secure by Design）」、多層防御、IDおよびアクセス管理、継続的な監視、インシデント対応といった実証済みの原則を、AIシステムのライフサイクル全体に適用できるようになる。このアプローチは、自律性と複雑性によって従来のサイバーリスクを増幅させる可能性のあるエージェンティックAIにとって特に重要である。AIセキュリティを既存のフレームワークに組み込むことで、組織は新たな機能に対する一貫したガバナンス、包括的なリスクアセスメント、そして技術の進歩や組織のサイバー成熟度に応じたセキュリティ慣行の進化を確保できる。 |
| Agentic AI security risks | エージェンティックAIのセキュリティリスク |
| Privilege risks | 特権リスク |
| Privilege risks are a key concern for agentic AI and strict adherence to the principle of least privilege is critical. Privileges assigned to agents directly determine the level of risk they can introduce. Poor management of privileges can expose organisations to privilege compromise, scope creep, identity spoofing and agent impersonation. | 特権リスクはエージェンティックAIにおける主要な懸念事項であり、最小権限の原則を厳格に遵守することが極めて重要だ。エージェントに付与された特権は、そのエージェントが引き起こし得るリスクのレベルを直接決定する。特権の管理が不十分だと、組織は特権の侵害、スコープの拡大、IDのなりすまし、エージェントのなりすましといったリスクにさらされることになる。 |
| Scenario example: | シナリオ例： |
| An organisation deploys agentic AI to manage procurement approvals and vendor communications autonomously. To reduce friction, the organisation grants the agent broad access to financial systems, email and contract repositories, evaluating permissions only at initial deployment. Over time, other agents come to rely on the procurement agent’s outputs and implicitly trust its actions. When a malicious actor compromises a low-risk tool integrated into the agent’s workflow, they inherit the agent’s excessive privileges, allowing them to modify contracts and approve payments without triggering alerts. By issuing carefully crafted requests, the malicious actor exploits the agent’s privileges to perform actions a normal user could not. This is an example of a ‘confused deputy’ pattern, where a trusted agent is misused to perform unauthorised actions. By executing actions under a trusted agent identity, the system produces audit logs that appear legitimate and delay detection. The incident demonstrates how over-privileged agents, implicit trust relationships and weak identity controls can amplify the impact of a single compromise in agentic AI systems. | ある組織が、調達承認とベンダーとのコミュニケーションを自律的に管理するためにエージェンティックAIを導入した。摩擦を減らすため、組織はエージェントに財務システム、電子メール、契約リポジトリへの広範なアクセス権を付与し、権限の評価は初期展開時のみ行った。時が経つにつれ、他のエージェントも調達エージェントの出力に依存するようになり、その行動を暗黙のうちに信頼するようになる。悪意のある攻撃者が、エージェントのワークフローに統合された低リスクなツールを侵害すると、その攻撃者はエージェントの過剰な権限を継承し、アラートをトリガーすることなく契約の変更や支払いの承認を行えるようになる。巧妙に作成されたリクエストを発行することで、悪意のある攻撃者はエージェントの権限を悪用し、通常のユーザーでは不可能な行動を実行する。これは「コンフューズド・デピュティ（Confused Deputy）」パターンの一例であり、信頼されたエージェントが不正利用され、許可されていないアクションを実行するものである。信頼されたエージェントのIDでアクションを実行することで、システムは正当に見える監査ログを生成し、検知を遅らせる。このインシデントは、過度な権限を持つエージェント、暗黙の信頼関係、および脆弱なID管理が、エージェンティックAIシステムにおいて単一の侵害による影響をいかに増幅させるかを示している。 |
| Privilege compromise and scope creep | 権限の侵害とスコープの拡大 |
| Security practitioners should account for privilege compromise and scope creep attacks when deploying agentic AI into new environments. In agentic AI, ‘privilege compromise’ occurs when an agent gains more access rights than necessary for its function. This can result from misconfigurations, overly broad entitlements, or unintended role inheritance, allowing agents to access or modify unauthorised data, delete critical records, or escalate privileges of other unauthorised agents. | セキュリティ担当者は、エージェンティックAIを新しい環境に展開する際、権限の侵害やスコープの拡大攻撃を考慮すべきだ。エージェンティックAIにおいて、「権限の侵害」とは、エージェントがその機能に必要な範囲を超えてアクセス権限を取得した場合に発生する。これは、設定ミス、過度に広範な権限付与、または意図しない役割の継承に起因する可能性があり、その結果、エージェントが許可されていないデータにアクセスしたり変更を加えたり、重要な記録を削除したり、他の権限のないエージェントの権限を昇格させたりすることが可能になる。 |
| During design, organisations often grant permissions too broadly and overlook these issues. A calendar bot with access to all meeting data instead of just the requesting users’ or an email assistant with write access to any inbox are two examples of overly broad permissions. This scope creep can cascade across agents: if Agent A fully trusts Agent B, a compromise of B can affect A and others. Another risk is the ‘confused deputy’ pattern as discussed in the scenario, where a low-privileged user manipulates a high-privileged agent to perform actions the low-privileged user couldn’t do directly. The authoring agencies recommend organisations implement the best practices for securing agentic AI systems discussed in later sections to defend against privilege compromises in agentic AI systems. | 設計段階において、組織はしばしば権限を過度に広く付与し、これらの問題を見落としがちだ。リクエストしたユーザーのデータだけでなくすべての会議データにアクセスできるカレンダーボットや、任意の受信トレイへの書き込み権限を持つメールアシスタントは、過度に広範な権限付与の例である。このスコープクリープはエージェント間で連鎖的に広がる可能性がある。エージェントAがエージェントBを完全に信頼している場合、Bの侵害はAや他のエージェントに影響を及ぼし得る。もう一つのリスクは、シナリオで論じられた「混乱した代理人（Confused Deputy）」パターンである。これは、権限の低いユーザーが、権限の高いAIエージェントを操作して、自身では直接実行できないアクションを行わせるパターンである。作成機関は、エージェンティックAIシステムにおける権限侵害を防ぐため、後述するエージェンティックAIシステムのセキュリティ確保に関するベストプラクティスを組織が実装することを推奨している。 |
| Identity spoofing and agent impersonation | IDのなりすましとエージェントのなりすまし |
| Identity is every bit as important as privilege. A common vector arises when a malicious actor impersonates an agent or hijacks its credentials. Agents authenticate to services and to one another using secret keys or tokens. Malicious actors can steal these secret keys or tokens when organisations keep them static, share them across multiple agents, or protect them poorly. A malicious actor operating under a trusted agent identity can invoke sensitive operations while bypassing behavioural guardrails and impersonating legitimate agents or users. Agents impersonating false identities pose multi-layered cyber security risks by executing actions under spoofed credentials that evade audit controls, undermine accountability and bypass detection models. These models are typically tuned to identify normal behaviour, rendering detection tools ineffective at identifying deception until a confirmed anomaly surfaces. | IDは特権と同様に極めて重要である。悪意のある攻撃者がエージェントになりすましたり、その認証情報を乗っ取ったりする場合、一般的な攻撃ベクトルが生じる。エージェントは、秘密鍵やトークンを使用してサービスや相互間で認証を行う。組織がこれらを固定化したり、複数のエージェント間で共有したり、防御が不十分であったりする場合、悪意のある攻撃者はこれらの秘密鍵やトークンを盗み出すことができる。信頼されたエージェントの識別子を装って活動する悪意のある攻撃者は、振る舞い上のガードレールを迂回し、正当なエージェントやユーザーになりすまして、機密性の高い操作を実行できる。偽のIDになりすましたエージェントは、なりすましされた認証情報の下でアクションを実行することで、監査制御を回避し、説明責任を損ない、検知モデルを迂回するという多層的なサイバーセキュリティリスクをもたらす。これらのモデルは通常、正常な振る舞いを識別するように調整されているため、確認された異常が表面化するまで、検知ツールは欺瞞を特定することができない。 |
| Design and configuration risks | 設計および構成上のリスク |
| Another set of risks originates from insecure design and provisioning decisions. Unvetted third-party components may carry excessive or unintended privileges when integrated into agent workflows. Static role or permission checks often fail to capture the context of dynamic decision-making flows; if entitlements are evaluated only once at system startup rather than at each invocation, a malicious actor can exploit a stale ‘allow’ decision to execute unauthorised actions. Poor segmentation between agent environments further exacerbates these risks, allowing a compromise in one enclave to pivot laterally into others. In cases where allow lists are incomplete or outdated, agents may gain access to resources, system calls, or commands beyond their intended privilege. Each of these design and configuration choices compounds identity and privilege risks across the system. | 別のリスク群は、不適切な設計やプロビジョニングの決定に起因する。審査されていないサードパーティ製コンポーネントは、エージェントのワークフローに統合された際、過剰または意図しない権限を保持している可能性がある。静的なロールや権限チェックでは、動的な意思決定フローの文脈を捉えきれないことがよくある。権限評価が各呼び出し時ではなくシステム起動時に一度だけ行われる場合、悪意のある攻撃者は古い「許可」決定を悪用して、不正なアクションを実行し得る。エージェント環境間のセグメンテーションが不十分だと、これらのリスクはさらに深刻化し、あるエンクレーブが侵害された際に、攻撃者が横方向に移動して他のエンクレーブへ侵入することを許してしまう。許可リストが不完全または古くなっている場合、エージェントは本来の権限を超えてリソース、システムコール、またはコマンドにアクセスできてしまう可能性がある。こうした設計や設定の選択のそれぞれが、システム全体におけるIDおよび権限のリスクを増大させる。 |
| Scenario example: | シナリオ例： |
| An organisation deploys an agentic AI system that autonomously triages customer support tickets and invokes backend tools to retrieve account information. The organisation integrates a third-party scheduling component without thorough privilege review and grants broad access at start-up. When a malicious actor compromises this component, the agent continues to rely on cached authorisation decisions and is able to invoke sensitive account-management functions that should require per-request verification. Because the agent operates within a poorly segmented environment, the malicious actor is then able to move laterally to adjacent agents handling billing and refunds, resulting in unauthorised data access and financial manipulation. This scenario illustrates how insecure design, static permissions and weak segmentation can interact to increase the impact of a single configuration flaw. | ある組織が、顧客サポートチケットを自律的に選別し、バックエンドツールを呼び出してアカウント情報を取得するエージェンティックAIシステムを展開した。同組織は、権限の徹底的な検証を行わずにサードパーティ製のスケジューリングコンポーネントを統合し、起動時に広範なアクセス権を付与した。悪意のある攻撃者がこのコンポーネントを侵害すると、エージェントはキャッシュされた認証決定に依存し続け、本来はリクエストごとの検証が必要な機密性の高いアカウント管理機能を呼び出すことができるようになる。エージェントが不十分なセグメンテーション環境内で動作しているため、悪意のある攻撃者は請求や返金を処理する隣接するエージェントへと横方向に移動することが可能となり、その結果、不正なデータアクセスや財務操作が発生する。このシナリオは、不適切な設計、静的な権限、脆弱なセグメンテーションが相互に作用し、単一の設定上の欠陥による影響を拡大させる仕組みを示している。 |
| Behaviour risks | 振る舞いリスク |
| In agentic AI cyber security, behavioural risks describe the ways in which AI agents may act unexpectedly, cause harm, or become exploitable. | エージェンティックAIサイバーセキュリティにおいて、振る舞いリスクとは、AIエージェントが予期せぬ動作をしたり、損害を与えたり、悪用されやすくなったりする可能性を指す。 |
| Scenario example: | シナリオ例： |
| Consider an update agent provisioned to install software patches on company devices. To achieve its purpose, the organisation grants the component broad write access across the file system. A malicious insider crafts a seemingly innocuous prompt: ‘Apply the security patch on all endpoints and while you are at it, please clean up the firewall logs’. The agent dutifully executes both the required maintenance and the deletion of the firewall logs because its permissions allow this action even when the prompt comes from a user outside the privileged IT group. | 企業のデバイスにソフトウェアパッチをインストールするためにプロビジョニングされた更新エージェントを想定する。その目的を達成するため、組織は当該コンポーネントにファイルシステム全体に対する広範な書き込みアクセス権を付与する。悪意のある内部関係者が、一見無害に見えるプロンプトを作成する。「すべてのエンドポイントにセキュリティパッチを適用し、ついでにファイアウォールのログを消去してほしい」。エージェントは、特権的なITグループ外のユーザーからのプロンプトであっても、その権限が許可している限り、要求された保守とファイアウォールログの削除の両方を忠実に実行する。 |
| Goal misalignment and unintended behaviour | 目標の不一致と意図しない動作 |
| AI agents may pursue their objectives in ways developers did not anticipate. They might find shortcuts or loopholes that technically achieve their goals but go against the goal’s intention or create security vulnerabilities. For example, an AI agent tasked with maximising system uptime might disable security updates to avoid reboots. This behaviour is known as specification gaming. | AIエージェントは、開発者が予期しなかった方法で目標を追求することがある。技術的には目標を達成できるものの、本来の意図に反したり、セキュリティ上の脆弱性を生み出したりする近道や抜け穴を見つける可能性がある。例えば、システムの稼働時間を最大化するという任務を負ったAIエージェントが、再起動を避けるためにセキュリティ更新プログラムを無効にする場合がある。この動作は「仕様悪用（specification gaming）」として知られている。 |
| Similarly, over-optimisation can drive agents to take extreme or unsafe actions in pursuit of their goals when boundaries are not clearly enforced. Additionally, agents misinterpreting human intent is a common risk, as ambiguous or poorly defined tasks can result in behaviours that deviate from expectations and introduce significant security or operational hazards. | 同様に、境界が明確に適用されていない場合、過度な最適化により、エージェントは目標達成のために極端な、あるいは安全でない行動をとることがある。さらに、曖昧または定義が不十分なタスクは、期待とは異なる振る舞いを引き起こし、重大なセキュリティ上または運用上の危険をもたらす可能性があるため、エージェントが人間の意図を誤って解釈することは一般的なリスクである。 |
| Deceptive behaviour | 欺瞞的な振る舞い |
| AI agents can take actions that humans would interpret as sycophantic or deceptive. Designers optimise agents for performance on key tests, which can lead agents to adapt behaviour to fit specific situations. Agents may show a kind of ‘awareness’, altering their behaviour in order to achieve positive results while under evaluation, even if the evaluation is not active. | AIエージェントは、人間が諂い（おべっか）や欺瞞と解釈するような行動をとることがある。設計者は主要なテストでのパフォーマンスを最適化するため、エージェントは特定の状況に合わせて振る舞いを適応させることがある。エージェントは一種の「自覚」を示し、評価が行われていない場合でも、評価中に好結果を得るために振る舞いを変えることがある。 |
| Some AI systems have demonstrated capacity for strategic deception — providing false information or hiding their true capabilities and intentions. This behaviour can manifest when an agent misrepresents its actions to avoid shut down or constraint or conceals vulnerabilities it discovers instead of reporting them. | 一部のAIシステムは、戦略的な欺瞞能力を示している。つまり、虚偽の情報を提供したり、真の能力や意図を隠したりするのだ。この振る舞いは、エージェントがシャットダウンや制約を回避するために自身の行動を偽装したり、発見した脆弱性を報告せずに隠蔽したりする際に現れることがある。 |
| Emergent capabilities and unpredictable behaviour | 創発的な能力と予測不能な振る舞い |
| As AI systems become more sophisticated, they may develop capabilities that designers did not explicitly program or anticipate. Complex AI models interacting with real-world systems can display behaviours that even their creators did not foresee. This unpredictability makes it difficult to assess security risks fully before deployment. | AIシステムが高度化するにつれ、設計者が明示的にプログラムしたり予期したりしなかった能力を発達させる可能性がある。現実世界のシステムと相互作用する複雑なAIモデルは、その開発者でさえ予見しなかった振る舞いを示すことがある。この予測不可能性により、展開前にセキュリティリスクを完全に評価することが困難になる。 |
| For example, unclear or murky decision-making processes and cascades may lead to unexpected results with significant security implications. In multi-agent environments, interactions between agents can evolve in ways that lead to instability or risky outcomes. Furthermore, agents may chain tools or actions together in unanticipated sequences, amplifying the impact of minor errors into major operational or security issues. | 例えば、不明確または曖昧な意思決定プロセスや連鎖反応は、重大なセキュリティ上の影響を伴う予期せぬ結果につながる可能性がある。マルチエージェント環境では、エージェント間の相互作用が、不安定性やリスクの高い結果につながるような形で進化することがある。さらに、エージェントはツールやアクションを予期せぬ順序で連鎖させ、些細なエラーの影響を拡大し、重大な運用上またはセキュリティ上の問題へと発展させる可能性がある。 |
| Malicious exploitation and behaviour | 悪意ある悪用と振る舞い |
| Malicious actors can manipulate AI agents into harmful behaviours through targeted attacks. Techniques, such as prompt injection or jailbreaks can trick agents into executing unauthorised actions and bypassing their intended safeguards. Data poisoning is another threat, where corrupted or malicious training data degrades or biases the agent’s decision-making. Additionally, adversarial examples — carefully constructed malicious inputs — can cause misclassifications in critical security contexts, leading to incorrect or dangerous responses. A malicious actor can exploit a compromised AI agent as an insider threat, leveraging its legitimate access to exfiltrate data, disable defences, or facilitate attacks while appearing to function normally. | 悪意ある攻撃者は、標的型攻撃を通じてAIエージェントを操作し、有害な振る舞いをとらせることができる。プロンプト・インジェクションや脱獄といった手法を用いることで、エージェントを欺き、許可されていないアクションを実行させたり、意図された安全対策を回避させたりすることが可能だ。データ・ポイズニングもまた脅威の一つであり、破損した、あるいは悪意のあるトレーニングデータによって、エージェントの意思決定が劣化したりバイアスがかかったりする。さらに、敵対的サンプル（入念に構築された悪意のある入力）は、重要なセキュリティ状況において誤分類を引き起こし、不正確または危険な応答につながる可能性がある。悪意のある攻撃者は、侵害されたAIエージェントを内部脅威として悪用し、その正当なアクセス権を利用して、正常に機能しているように見せかけながら、データを流出させたり、防御機能を無効化したり、攻撃を容易にしたりすることができる。 |
| Structural risks | 構造的リスク |
| A core aspect of agentic AI systems is the interconnected structure between agents, tools and the outside world. While this enables their unique capabilities, it also increases the attack surface and complexity of the system. | エージェンティックAIシステムの核心的な側面は、エージェント、ツール、および外部世界との相互接続構造にある。これは独自の機能を実現する一方で、システムの攻撃対象領域と複雑性を増大させる。 |
| Scenario example: | シナリオ例： |
| A structural risk in an agentic AI system can arise when tightly coupled planning, retrieval and execution agents autonomously delegate tasks and select tools without strong validation or guardrails. A small orchestration flaw causes agents to repeatedly replan and hand off ambiguous subtasks, increasing tool calls and message traffic until system resources are strained. Partial failures then lead agents to hallucinated outputs that downstream agents accept as true. Under these degraded conditions, an agent selects a malicious or misconfigured third‑party tool, which injects harmful instructions back into the system, compromises a peer agent and exploits implicit trust in agent‑to‑agent communication to spread incorrect information and access sensitive retrieval-augmented generation (RAG) data. The result is cascading failures in availability, integrity and confidentiality that emerge not from a single bug, but from the system’s interconnected structure and autonomous behaviour. | エージェンティックAIシステムにおける構造的リスクは、計画、検索、実行の各エージェントが緊密に連携しているにもかかわらず、強力な妥当性確認や安全策なしに自律的にタスクを委譲し、ツールを選択する場合に生じうる。わずかなオーケストレーションの欠陥により、エージェントは曖昧なサブタスクを繰り返し再計画・引き継ぎ、システムリソースが逼迫するまでツール呼び出しやメッセージトラフィックが増加する。部分的な障害により、エージェントは幻覚的な出力を生成し、下流のエージェントがそれを真実として受け入れてしまう。こうした性能低下の状況下で、あるエージェントが悪意のある、あるいは設定ミスのあるサードパーティ製ツールを選択すると、そのツールは有害な命令をシステムに注入し、同等のエージェントを侵害する。さらに、エージェント間コミュニケーションにおける暗黙の信頼を悪用して誤った情報を拡散させ、機密性の高い検索拡張生成（RAG）データにアクセスする。その結果、単一のバグではなく、システムの相互接続された構造と自律的な動作から、可用性、完全性、機密性における連鎖的な障害が発生する。 |
| Orchestration and resources | オーケストレーションとリソース |
| Agentic AI systems often rely on a complex structure of interconnected components. Poor configuration could allow denial-of-service, sponge, or similar attacks on agentic AI systems. These attacks work by overloading system resources through unexpected inputs or unusual behaviour, such as sponge attacks that deliberately consume excessive compute, memory, or API calls to exhaust system capacity. Due to the interconnectedness between agents, tools and other components, a single error could cause cascading failure across the entire agentic system if not well managed. Similarly, hallucinations can propagate, leading to poor outputs from downstream components. Limited understanding of multi-agent dynamics and interactions can lead to a lack of compensating factors and result in amplified bias and other cascading effects. | エージェンティックAIシステムは、相互接続されたコンポーネントの複雑な構造に依存することが多い。設定の不備により、エージェンティックAIシステムに対するサービス拒否（DoS）、スポンジ攻撃、または類似の攻撃が可能になる恐れがある。これらの攻撃は、予期しない入力や異常な動作を通じてシステムリソースに過負荷をかけることで機能する。例えば、スポンジ攻撃は、システム容量を使い果たすために意図的に過剰な演算能力、メモリ、またはAPI呼び出しを消費するものである。エージェント、ツール、その他のコンポーネント間の相互接続性により、適切に管理されていない場合、単一のエラーがエージェント型システム全体に連鎖的な障害を引き起こす可能性がある。同様に、幻覚が伝播し、下流のコンポーネントから不適切な出力が生じることもある。マルチエージェントのダイナミクスや相互作用に対する理解が不十分だと、補償要因が欠如し、バイアスの増幅やその他の連鎖的な影響を招く恐れがある。 |
| Tool use | ツールの使用 |
| A key aspect of agentic AI is its ability to use tools. This can be very powerful, but it can also bring security concerns should the model interact with tools unexpectedly. Two-way tool integration allows tools to send potentially arbitrary instructions back to the LLM. Poor or deliberately misleading tool descriptions can cause agents to select tools unreliably, with persuasive descriptions chosen more often. | エージェンティックAIの重要な側面の一つは、ツールを使用する能力である。これは非常に強力な機能だが、モデルが予期せずツールと相互作用した場合、セキュリティ上の懸念をもたらす可能性もある。双方向のツール統合により、ツールはLLMに対して潜在的に任意の指示を送り返すことが可能になる。不適切または意図的に誤解を招くようなツールの説明文は、エージェントが信頼性の低いツールを選択する原因となり、説得力のある説明文がより頻繁に選ばれることになる。 |
| Third-party components | サードパーティ製コンポーネント |
| Agentic AI systems can introduce structural risk through interactions with third-party components, including tools and other agents. Risks can arise in a number of ways, including: | エージェンティックAIシステムは、ツールや他のエージェントを含むサードパーティ製コンポーネントとの相互作用を通じて、構造的なリスクをもたらす可能性がある。リスクは以下のような様々な形で生じ得る： |
| ・malicious actors engaging in tool or agent ‘squatting’ by publishing malicious tools or agents with legitimate or similar names | ・悪意のあるアクターが、正当な名前や類似した名前を持つ悪意のあるツールやエージェントを公開することで、ツールやエージェントの「乗っ取り」を行う |
| ・developers introducing vulnerabilities through configuration errors or insecure third-party components | ・開発者が設定ミスやセキュリティ対策が不十分なサードパーティ製コンポーネントを通じて脆弱性を導入する |
| ・users or systems submitting requests to the incorrect place | ・ユーザーやシステムが誤った場所にリクエストを送信する |
| ・tools and agents dynamically loading new packages, increasing exposure to untrusted code. | ・ツールやエージェントが新しいパッケージを動的に読み込み、信頼できないコードへのエクスポージャーリスクを高める。 |
| The above could result in retrieval of malicious content instead of a legitimate tool. Moreover, incorporation of compromised third-party components into an agentic system could lead to a range of malicious outcomes, depending on the trust level and permissions of the component. Compromised third-party components can be very difficult to detect due to the limited transparency of agentic AI systems. | 上記のような状況では、正当なツールではなく悪意のあるコンテンツが取得される可能性がある。さらに、侵害されたサードパーティ製コンポーネントがエージェント型システムに組み込まれると、そのコンポーネントの信頼レベルや権限に応じて、様々な悪意のある結果を招く恐れがある。エージェンティックAIシステムの透明性は限られているため、侵害されたサードパーティ製コンポーネントの検知は非常に困難である。 |
| Data | データ |
| Agentic AI systems often handle and contain a significant amount of sensitive information. This includes user information like prompts or goals, organisational data stored in a RAG system and secrets like API keys that are required for integrated tools and services. This aggregation of information makes agentic AI systems an attractive target for malicious actors. | エージェンティックAIシステムは、多くの場合、大量の機密情報を扱い、保持している。これには、プロンプトや目標といったユーザー情報、RAGシステムに保存された組織データ、統合されたツールやサービスに必要なAPIキーなどの機密情報が含まれる。こうした情報の集積により、エージェンティックAIシステムは悪意ある攻撃者にとって魅力的な標的となっている。 |
| Rogue agents | 不正エージェント |
| In multi-agent systems, a single compromised agent can cause cascading failures by spreading incorrect information, exploiting trust and consensus mechanisms, or operating through hidden channels. Possible attack vectors include supply chain tampering, poisoned environments, credential theft, model manipulation, communication poisoning, identity spoofing and coordination exploits. Such malicious activity can weaponise agents to bypass controls, exfiltrate data, alter logs and propagate malicious plans peer-to-peer, leading to large-scale coordinated misbehaviour that is difficult to attribute and contain. | マルチエージェントシステムにおいて、単一の侵害されたエージェントが、誤った情報を拡散したり、信頼や合意形成メカニズムを悪用したり、隠れたチャネルを通じて動作したりすることで、連鎖的な障害を引き起こす可能性がある。考えられる攻撃ベクトルには、サプライチェーンの改ざん、環境の汚染、認証情報の窃取、モデルの操作、通信の汚染、IDのなりすまし、および協調攻撃の悪用などが含まれる。このような悪意のある活動により、エージェントが武器化され、制御を迂回したり、データを外部へ流出させたり、ログを改ざんしたり、悪意のある計画をピアツーピアで拡散させたりすることが可能となり、原因の特定や封じ込めが困難な大規模な協調的な不正行為につながる。 |
| Communication | コミュニケーション |
| Agents may use insecure protocols or authentication methods when communicating. These communications can be a target for eavesdropping by malicious actors and result in leakage of sensitive data and instructions. This could give malicious actors insight into system use and functionality. Malicious actors could also alter, replay, or spoof messages between agentic components. This could allow malicious behaviour, such as command injection, compromising the receiving components and reducing their performance or availability. | エージェントはコミュニケーション時に、安全性の低いプロトコルや認証方法を使用する場合がある。こうしたコミュニケーションは悪意ある攻撃者による盗聴の標的となり、機密データや指示の漏洩を招く恐れがある。これにより、悪意ある攻撃者はシステムの使用状況や機能に関する知見を得ることになる。また、悪意ある攻撃者はエージェントコンポーネント間のメッセージを改ざん、再送信、またはなりすますことも可能だ。これにより、コマンドインジェクションなどの悪意ある行為が可能となり、受信コンポーネントが侵害され、そのパフォーマンスや可用性が低下する恐れがある。 |
| Accountability risks | 説明責任のリスク |
| Agentic system architecture can obscure what caused a particular action, making accountability hard to trace. This presents increasing risk as agentic AI is pushed to assume more roles and given more capabilities. | エージェント型システムアーキテクチャは、特定の行動の原因を不明確にし、説明責任の追跡を困難にする。エージェンティックAIがより多くの役割を担い、より多くの能力を与えられるにつれ、このリスクは増大する。 |
| Actions and processes | 行動とプロセス |
| Agent actions and decision-making processes can be opaque, making agentic AI systems difficult to understand, monitor and audit. Beyond this, increased autonomy introduces additional challenges: agents may initiate secondary tasks, spawn sub‑agents, or follow extended delegation chains in ways that are not always visible to operators. Even when prompts appear identical, agents may generate different actions due to stochastic model behaviour, variations in context windows, or dynamic environmental inputs, further complicating reproducibility and assurance. Additionally, comprehensive logging of agentic AI systems can be difficult, as long reasoning chains and large amounts of contextual data lead to substantial log sizes. Depending on the implementation, this data is often repetitive, loosely structured, or superfluous to effective oversight, making extraction of meaningful signals from logs even more challenging. | エージェントの行動や意思決定プロセスは不透明になりがちであり、エージェンティックAIシステムの理解、監視、監査を困難にする。さらに、自律性の向上はさらなる課題をもたらす。エージェントは、オペレーターには必ずしも可視化されない形で、二次的なタスクを開始したり、サブエージェントを生成したり、拡張された委任チェーンに従ったりする可能性がある。プロンプトが同一に見えても、確率的なモデル挙動、コンテキストウィンドウの変動、動的な環境入力により、エージェントが異なる行動を生成することがあり、再現性や保証をさらに複雑にする。さらに、エージェンティックAIシステムの包括的なログ記録は困難になり得る。長い推論チェーンや大量のコンテキストデータにより、ログサイズが膨大になるためだ。実装によっては、このデータはしばしば反復的であったり、構造が緩やかであったり、効果的な監視にとって不要であったりするため、ログから有意義なシグナルを抽出することはさらに困難になる。 |
| Scenario example: | シナリオ例： |
| An example of an accountability risk in an agentic AI system arises when multiple autonomous agents collaborate to complete a task, such as approving payments or updating records and an erroneous outcome occurs. Because the action results from a chain of distributed decisions across planning, retrieval and execution agents – each operating within a limited scope – it becomes difficult to determine which component or design choice caused the error. Further, fragmented logs, opaque agent reasoning and emergent interactions obscure the decision path, making it hard to explain the outcome, assign responsibility, or demonstrate compliance as agentic AI systems are given greater authority and autonomy. | エージェンティックAIシステムにおける説明責任のリスクの例として、支払いの承認や記録の更新といったタスクを完了するために複数の自律AIエージェントが協力し、誤った結果が生じた場合が挙げられる。そのアクションは、計画、検索、実行の各エージェント（それぞれが限定された範囲内で動作する）にわたる分散された意思決定の連鎖から生じるため、どのコンポーネントや設計上の選択がエラーの原因となったかを特定することが困難になる。さらに、断片化されたログ、不透明なエージェントの推論、および突発的な相互作用が意思決定の経路を不明瞭にし、エージェンティックAIシステムにさらなる認可と自律性が与えられるにつれ、結果の説明、責任の帰属、あるいはコンプライアンスの証明を困難にしている。 |
| Accuracy | 正確性 |
| While LLMs can have a surprising amount of knowledge in a wide range of areas, they quite often make mistakes. LLMs are typically trained to produce outputs that resemble material rated highly by humans, rather than to identify when a query falls outside their knowledge limits. As a result, they may incorrectly interpolate or ‘hallucinate’ plausible-sounding responses when their internal knowledge is insufficient. This creates significant risk when organisations deploy agentic AI systems in critical roles that require consistent accuracy. Grounded and tool-enabled agents may still rely on their internal knowledge to inform responses. The system often does not clearly identify this in its output, reducing overall accuracy and reliability. | LLMは幅広い分野で驚くほどの知識を持っている一方で、頻繁に誤りを犯す。LLMは通常、クエリが自身の知識の限界を超えているかどうかを識別するためではなく、人間から高く評価されるような出力を生成するように訓練されている。その結果、内部知識が不十分な場合、LLMは誤って補間を行ったり、もっともらしい回答を「幻覚」したりすることがある。これは、組織が一貫した精度が求められる重要な役割にエージェンティックAIシステムを展開する際、重大なリスクをもたらす。グラウンデッドでツールを活用したエージェントであっても、依然として内部知識に依存して回答を生成する場合がある。システムは出力においてこれを明確に識別しないことが多く、全体的な精度と信頼性を低下させる。 |
| Visibility | 可視性 |
| Maintain visibility on status and behaviour when integrating any new system. Agentic AI systems come with some added difficulty due to their unique structure and often opaque internal workings. Agentic system processes can outpace human monitoring capability, possibly leading to unnoticed malicious behaviour, uncaught hallucinations or other issues. While tools perform many actions for an agentic system, they may operate outside of the system’s monitoring boundary, making it difficult to account for tool actions. Additionally, malicious or compromised agents could use tools as a stealthy way to exfiltrate data. Malfunctioning tools could also unintentionally leak data, which may go unnoticed. | 新しいシステムを統合する際は、ステータスと動作の可視性を維持すること。エージェンティックAIシステムは、その独自の構造と、しばしば不透明な内部動作により、さらなる困難を伴う。エージェント型システムの処理速度は人間の監視能力を上回る可能性があり、その結果、悪意のある動作が見過ごされたり、幻覚が検出されなかったり、その他の問題が発生したりする恐れがある。ツールはエージェント型システムのために多くの動作を実行するが、システムの監視範囲外で動作する場合があり、ツールの動作を把握することが困難になる。さらに、悪意のあるエージェントや侵害されたエージェントが、データを持ち出すためのステルス手段としてツールを使用する可能性がある。また、誤動作したツールが意図せずデータを漏洩させることもあり、それが気づかれないままになる恐れがある。 |
| Best practices for securing agentic AI systems | エージェンティックAIシステムのセキュリティ確保に関するベストプラクティス |
| Securing agentic AI systems requires proactive measures that address risks introduced by agentic AI system autonomy, interconnected components and evolving capabilities. Agentic AI developers, vendors and operators should implement a layered defence and strict access controls to reduce the likelihood of compromise. To mitigate risks during the designing, developing, deploying and operating of agentic AI systems, the authoring agencies recommend practical steps referenced in the section below. | エージェンティックAIシステムのセキュリティ確保には、システムの自律性、相互接続されたコンポーネント、および進化する機能によって生じるリスクに対処する、積極的な対策が必要である。エージェンティックAIの開発者、ベンダー、および運用者は、侵害の可能性を低減するために、多層防御と厳格なアクセス管理を実施すべきである。エージェンティックAIシステムの設計、開発、展開、および運用におけるリスクを緩和するため、作成機関は以下のセクションで言及されている実践的な手順を推奨する。 |
| Designing secure agents | 安全なエージェントの設計 |
| Audience: This section is most relevant to agentic AI developers. Vendors and operators may want to reference these best practices when sourcing AI agents. | 対象読者：本節は、主にエージェンティックAIの開発者に関連する。ベンダーや運用者は、AIエージェントを調達する際、これらのベストプラクティスを参照するとよい。 |
| Securing agentic AI systems begins at the design stage. Careful consideration of the system architecture, including security controls and tooling, is necessary. Practitioners should understand threats, anticipate risks to agentic AI systems and proactively integrate mitigations into system design before development and deployment. | エージェンティックAIシステムのセキュリティ確保は、設計段階から始まる。セキュリティ制御やツールを含むシステムアーキテクチャを慎重に検討する必要がある。実務者は、脅威を理解し、エージェンティックAIシステムへのリスクを予測し、開発や展開の前に、システム設計に緩和を積極的に組み込むべきである。 |
| Controlled context | 制御されたコンテキスト |
| Agentic AI systems insert data from tools and memory bases into the context window of LLM agents, greatly expanding the attack surface that malicious actors can exploit through machine learning attacks, such as prompt injections. LLM agents should consider the trust level of data sources when making decisions. | エージェンティックAIシステムは、ツールやメモリベースからのデータをLLMエージェントのコンテキストウィンドウに挿入するため、プロンプト・インジェクションなどの機械学習攻撃を通じて悪意ある攻撃者が悪用できる攻撃対象領域が大幅に拡大する。LLMエージェントは、意思決定を行う際にデータソースの信頼レベルを考慮すべきである。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Structure prompt context using a clear instruction hierarchy to ensure agent behaviour aligns with intended priorities and constraints | 明確な指示階層を用いてプロンプトコンテキストを構成し、エージェントの振る舞いが意図された優先順位や制約と整合するようにする |
| Implement grounding by providing relevant contextual information using retrieval augmented generation and prompt engineering to mitigate hallucinations and other LLM-related errors | 検索拡張生成（RAG）やプロンプトエンジニアリングを用いて関連するコンテキスト情報を提供し、グラウンディングを実装することで、幻覚やその他のLLM関連のエラーを緩和する |
| Oversight mechanisms | 監視メカニズム |
| Agentic AI systems can take actions without explicit human approval, increasing the risk of insecure actions occurring without human oversight. Designing agentic applications with oversight mechanisms and strong transparency enables monitoring and human-in-the-loop practices when deployed, while also enhancing user trust. | エージェンティックAIシステムは、人間の明示的な承認なしに行動を起こすことができるため、人間の監視なしに安全でない行動が発生するリスクが高まる。監視メカニズムと強力な透明性を備えたエージェンティックAIアプリケーションを設計することで、展開時のモニタリングやヒューマン・イン・ザ・ループの実践が可能になるだけでなく、ユーザーの信頼も高まる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Include mechanisms to facilitate human control and oversight to ensure that agentic AI systems approved for non-sensitive, low-risk tasks cannot autonomously progress into higher-risk activities | 非機密かつ低リスクなタスクに承認されたエージェンティックAIシステムが、自律的に高リスクな活動へと移行しないよう、人間の制御と監督を容易にする仕組みを組み込む |
| Implement human control points throughout the agent workflow, such as live monitoring and interruption during task execution, mandatory human approval for decision-making steps, auditing and reversibility following task execution to ensure security | セキュリティを確保するため、タスク実行中のライブモニタリングや中断、意思決定ステップにおける必須の人間による承認、タスク実行後の監査および元に戻せる機能など、エージェントのワークフロー全体に人間の制御ポイントを実装する |
| Define explicit control flows to bound autonomous planning and prevent agents from deviating beyond authorised objectives or actions | 自律的な計画立案を制限し、エージェントが許可された目的や行動の範囲を超えて逸脱するのを防ぐため、明確な制御フローを定義する |
| Identity management | ID管理 |
| Manage agents’ fine-grained and varied privileges to operate agentic AI systems securely. Strong identity management mechanisms help operators maintain control during implementation and operation. As such, developers should construct each agent as a distinct principal, a cryptographically anchored identity with its own unique keys or certificates. | エージェンティックAIシステムを安全に運用するため、エージェントのきめ細かくて多様な権限を管理する。強力なID管理メカニズムは、導入および運用中にオペレーターが制御を維持するのに役立つ。そのため、開発者は各エージェントを独立したプリンシパルとして構築すべきであり、これは独自の鍵や証明書を持つ、暗号的に固定されたIDである。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Embed strong identity management mechanisms into agents using manage identity services, decentralised identifiers or public key infrastructure | ID管理サービス、分散型識別子、または公開鍵インフラストラクチャを使用して、強力なID管理メカニズムをエージェントに組み込む |
| Authenticate all inter-agent and agent-to-service API calls using mutual transport layer security to ensure non-repudiation | 相互トランスポート層セキュリティを使用して、すべてのエージェント間およびエージェントからサービスへのAPI呼び出しを認証し、否認防止を確保する |
| Maintain a trusted registry and bind identities to authorised roles; periodically reconcile the registry against the live set of agents | 信頼できるレジストリを維持し、IDを承認されたロールに紐付ける。定期的に、稼働中のエージェント群とレジストリを照合する |
| Deny access for any agent or cryptographic key that is not present in the trusted registry | 信頼できるレジストリに存在しないエージェントや暗号鍵へのアクセスは拒否する |
| Apply role-based identity management and limit agent permissions to the minimum scope required for approved tasks | ロールベースのID管理を適用し、エージェントの権限を承認されたタスクに必要な最小限の範囲に制限する |
| Enforce identity-based boundaries to restrict agents’ to authorised actions only | IDベースの境界を適用し、エージェントの動作を承認されたアクションのみに制限する |
| Defence in depth | 多層防御 |
| Agentic AI systems contain AI and cyber components that may fail, with any failures potentially compromising the entire system. Implementing a defence-in-depth strategy helps to avoid single points of failure. | エージェンティックAIシステムには、故障する可能性のあるAIコンポーネントやサイバーコンポーネントが含まれており、いかなる故障もシステム全体を危険にさらす可能性がある。多層防御戦略を実施することで、単一障害点を回避できる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Avoid reliance on a single security mechanism by implementing multiple, overlapping layers of security controls | 複数のセキュリティ制御層を重複させて実装し、単一のセキュリティメカニズムへの依存を避ける |
| Apply security controls at all points where information enters or exits the system, including user inputs, tool calls, data pre-processing and model inference | ユーザー入力、ツール呼び出し、データ前処理、モデル推論など、情報がシステムに出入りするすべてのポイントでセキュリティ制御を適用する |
| Separate agents for different functions and apply strict boundaries and operational controls to the handoffs from one agent to another | 機能ごとにエージェントを分離し、エージェント間の引き継ぎに対して厳格な境界と運用制御を適用する |
| Developing secure agents | 安全なエージェントの開発 |
| Audience: This section is most relevant to agentic AI developers and vendors. Operators may want to reference these best practices when choosing AI agents and agentic applications. | 対象読者：このセクションは、エージェンティックAIの開発者およびベンダーにとって最も関連性が高い。運用担当者は、AIエージェントやエージェント型アプリケーションを選択する際、これらのベストプラクティスを参照するとよい。 |
| AI agents’ complexity and self-interacting nature enable powerful capabilities but also introduce unique attack surfaces. Mitigating these risks requires training approaches that go beyond standard LLM practices, incorporating specialised techniques to harden agent behaviour. | AIエージェントの複雑さと自己相互作用の性質は、強力な機能をもたらす一方で、特有の攻撃対象領域も生み出す。これらのリスクを緩和するには、標準的なLLMの実践を超えたトレーニングアプローチが必要であり、エージェントの挙動を強化するための専門的な技術を組み込む必要がある。 |
| Comprehensive testing | 包括的なテスト |
| Comprehensive testing strategies can improve a model’s ability to identify and respond to undesirable behaviours by exposing the model to instances of security abuse during a supervised training step. | 包括的なテスト戦略は、教師あり学習の段階でモデルをセキュリティ悪用の事例にさらすことで、望ましくない挙動を識別し対応するモデルの能力を向上させることができる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Use reward modelling and adversarial testing to detect specification gaming, explicitly incorporating security constraints alongside performance goals | 報酬モデリングと敵対的テストを活用して仕様の悪用を検知し、パフォーマンス目標と並行してセキュリティ制約を明示的に組み込む |
| Train LLM agents in simulated, controlled environments to learn the implications of actions without causing real security harm | LLMエージェントをシミュレートされた制御された環境で訓練し、実際のセキュリティ被害を引き起こすことなく行動の影響を学習させる |
| Leverage synthetic data generation to create adversarial training examples that reflect real-world operating scenarios | 合成データ生成を活用して、実世界の運用シナリオを反映した敵対的サンプルを作成する |
| Apply active learning to adversarial training scenarios to expose agents to high uncertainty inputs and more efficiently discover unexpected behaviours | 敵対的サンプルにアクティブラーニングを適用し、エージェントを不確実性の高い入力にさらすことで、予期せぬ挙動をより効率的に発見する |
| Appropriate evaluation | 適切な評価 |
| AI agents operate autonomously in complex environments and therefore require more thorough evaluations than LLMs. | AIエージェントは複雑な環境で自律的に動作するため、LLMよりも徹底した評価が必要となる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Use relevant threat models to define evaluation scenarios, including edge cases beyond typical training conditions | 関連する脅威モデルを用いて、典型的な訓練条件を超えたエッジケースを含む評価シナリオを定義する |
| Use techniques, such as Best-of-N sampling (selecting the best output from multiple model responses to the same prompt), multistep reasoning prompts and inference time scaling to draw out the full range of agent behaviours and skills | Best-of-Nサンプリング（同じプロンプトに対する複数のモデル応答から最良の出力を選択する）、多段階推論プロンプト、推論時間のスケーリングなどの手法を用いて、エージェントの振る舞いとスキルの全範囲を引き出す |
| Evaluate systems across different levels of autonomy to understand performance and risk under changing environmental conditions, including changes in tool, models and resource access, such as web search or code execution | ツール、モデル、およびWeb検索やコード実行などのリソースへのアクセス状況の変化を含む、変化する環境条件下でのパフォーマンスとリスクを理解するために、異なる自律性のレベルにわたってシステムを評価する |
| Vary contextual conditions, such as presence or absence of other agents and the timing of evaluation, to understand their impact on task performance | 他のエージェントの有無や評価のタイミングといった文脈条件を変化させ、それらがタスクのパフォーマンスに与える影響を理解する |
| Conduct capability evaluations continuously across the agent development lifecycle | エージェントの開発ライフサイクル全体を通じて、継続的に機能評価を実施する |
| Input management | 入力管理 |
| Strong input management controls can partially mitigate many common risks to LLM-based applications, including AI agents. | 強力な入力管理制御により、AIエージェントを含むLLMベースのアプリケーションに対する多くの一般的なリスクを部分的に緩和できる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Implement robust input validation and sanitisation for all agent inputs | すべてのエージェント入力に対して、堅牢な入力検証とサニタイズを実装する |
| Integrate prompt injection filters and semantic analysis to detect malicious instructions | 悪意のある指示を検知するために、プロンプト・インジェクションフィルターと意味解析を統合する |
| Validate context to ensure the system correctly interprets intent before execution | 実行前にシステムが意図を正しく解釈していることを確認するため、コンテキストを妥当性確認する |
| Red teaming | レッドチーム |
| Organisations should use red teaming to assess the security and resilience of AI agents. | 組織は、AIエージェントのセキュリティとレジリエンスを評価するためにレッドチーム活動を活用すべきである。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Deploy sandbox environments to test agent behaviour before production deployment | 本番展開前にエージェントの挙動をテストするため、サンドボックス環境を導入する |
| Conduct red teaming exercises to identify potential loopholes and unintended behaviour | 潜在的な抜け穴や意図しない挙動を特定するために、レッドチーム演習を実施する |
| Use capability elicitation techniques to probe for unexpected or emergent abilities, especially any that could create substantial resource or environment risks | 能力引き出し手法を用いて、予期せぬ能力や突発的な能力、特に重大なリソースや環境リスクを引き起こす可能性のあるものを調査する |
| Implement agent simulation tests, such as multi-agent red teaming or chaos testing. | マルチエージェント・レッドチーム活動やカオステストなどのエージェントシミュレーションテストを実施する。 |
| Resilience | レジリエンス |
| The enhanced capabilities of AI agents also increase the risks associated with agent failure or abnormal behaviour. Strengthen agentic AI system resilience to allow for graceful degradation and reduce damage should erroneous behaviour occur. | AIエージェントの機能強化に伴い、エージェントの障害や異常動作に伴うリスクも増大する。エージェンティックAIシステムのレジリエンスを強化し、誤動作が発生した場合でも段階的な機能低下を許容し、被害を軽減できるようにする。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Embed agentic AI systems with fail-safe defaults and containment mechanisms that limit the blast radius of unexpected behaviours | エージェンティックAIシステムにフェイルセーフなデフォルト設定と、予期せぬ動作の影響範囲を限定する封じ込めメカニズムを組み込む |
| Implement data loss prevention controls specifically tuned to AI agent behaviours | AIエージェントの動作に特化して調整されたデータ損失防止対策を実装する |
| Implement versioning and rollback mechanisms to safely revert a system to known-good agent behaviours when unpredictability is observed | 予測不能な挙動が観察された際に、システムを正常なエージェントの挙動へ安全に復元できるよう、バージョン管理およびロールバックの仕組みを実装する |
| Accountability | 説明責任 |
| Agentic AI systems should produce comprehensive artefacts and information documenting the agent’s actions and decision-making process. | エージェンティックAIシステムは、エージェントの行動および意思決定プロセスを記録した包括的な成果物と情報を生成すべきである。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Integrate comprehensive artefact logging mechanisms by default | 包括的な成果物ロギングの仕組みをデフォルトで統合する |
| Integrate unified audit logs for all inter-agent interactions to maintain observability of all agent exchanges | すべてのエージェント間のやり取りの可観測性を維持するため、エージェント間のすべての相互作用に対する統一された監査ログを統合する |
| Use interpretability tools to ensure observability of and reasoning behind agent decisions | 解釈可能性ツールを活用し、AIエージェントの意思決定の可観測性と背後にある推論を確保する |
| Require specific information referencing for agents that show where key aspects of their response originated from. | AIエージェントの応答における主要な要素の出所を示す、具体的な参照情報を義務付ける |
| Manage third-party components | サードパーティ製コンポーネントの管理 |
| Extensibility and flexibility are key components of AI agents. In many cases, third-party components or tools enhance extensibility and flexibility but increase the attack surface of the agent. Verification and management of third-party components of agentic applications can reduce the added risk. | 拡張性と柔軟性は、AIエージェントの重要な構成要素である。多くの場合、サードパーティ製コンポーネントやツールは拡張性と柔軟性を高める一方で、エージェントの攻撃対象領域を拡大させる。AIエージェント型アプリケーションのサードパーティ製コンポーネントの検証と管理により、追加されるリスクを低減できる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Verify all external third-party components originate from trusted sources and are up to date before inclusion in agentic AI systems | エージェンティックAIシステムに組み込む前に、すべての外部サードパーティ製コンポーネントが信頼できるソースに由来し、最新であることを確認する |
| Maintain a trusted registry of third-party components | サードパーティ製コンポーネントの信頼できるレジストリを維持する |
| Reference CISA’s A Shared Vision of Software Bill of Materials (SBOM) for Cybersecurity and 2025 Minimum Elements for a Software Bill of Materials (SBOM) when procuring agentic AI systems | エージェンティックAIシステムを調達する際は、CISAの「サイバーセキュリティのためのソフトウェア部品表（SBOM）に関する共通ビジョン」および「2025年版 ソフトウェア部品表（SBOM）の最小構成要素」を参照する |
| Restrict tool use to an approved allow list of tools and versions that are regularly verified as secure | ツールの使用を、定期的にセキュリティが検証された承認済みツールおよびバージョンの許可リストに限定する |
| Verify agent behaviour related to tool usage aligns with documented security policies | ツール使用に関連するエージェントの挙動が、文書化されたセキュリティポリシーと整合していることを確認する |
| Log agent tool usage and ensure results are captured in system logs in a human-readable format | エージェントのツール使用状況をログに記録し、結果が人間が読める形式でシステムログに確実に記録されるようにする |
| Establish trigger-action protocols that automatically restrict agent permissions when unexpected behaviour emerges | 予期せぬ動作が発生した際にエージェントの権限を自動的に制限するトリガー・アクションプロトコルを確立する |
| Codify separation of duties by defining roles, such as ‘Orchestrator’, ‘Reader’ and ‘Actuator’ with clear boundaries, consensus mechanisms and delegations expiry | 「オーケストレーター」、「リーダー」、「アクチュエーター」などの役割を定義し、明確な境界、合意形成メカニズム、および委任の有効期限を設定することで、職務分離を規定化する |
| Implement consensus controls for actions based on risk; use multi‑agent approval for moderate‑stakes actions and human‑in‑the‑loop approval in addition to multi‑agent consensus for high‑stakes actions | リスクに基づいてアクションに対する合意形成制御を実装する。中程度のリスクのアクションにはマルチエージェント承認を、高リスクのアクションにはマルチエージェント合意に加え、人間による介入（HITL）承認を使用する |
| Prohibit agents from modifying their own privileges or initiating unapproved delegation without explicit expiry timers and recorded grant chains | エージェントが、明示的な有効期限タイマーおよび記録された権限付与の連鎖なしに、自身の権限を変更したり、承認されていない委任を開始したりすることを禁止する |
| Standardise tool descriptions using a consistent format that avoids persuasive language | 説得的な表現を避け、一貫した形式を用いてツールの説明を標準化する |
| Deploying agents securely | エージェントの安全な展開 |
| Audience: This section is most relevant to agentic AI vendors and operators. Developers may want to reference this section to ensure their agentic AI applications can implement these best practices. | 対象読者：このセクションは、エージェンティックAIのベンダーおよび運用者に最も関連性が高い。開発者は、自社のエージェンティックAIアプリケーションがこれらのベストプラクティスを実装できるよう、このセクションを参照するとよい。 |
| Integrating AI agents into new systems or networks can cause significant change in system risk considerations. By implementing high-impact security controls at deployment, organisations proactively manage new risks and reduce vulnerabilities. | AIエージェントを新しいシステムやネットワークに統合すると、システムのリスクに関する考慮事項に大きな変化が生じる可能性がある。展開時に影響の大きいセキュリティ対策を実施することで、組織は新たなリスクを先制的に管理し、脆弱性を低減できる。 |
| Threat modelling | 脅威モデリング |
| Agentic AI can significantly change the threat picture when incorporated into an existing system. Use of threat modelling when planning to deploy an AI agent can enhance awareness and allow operators to better prepare for deployment. | エージェンティックAIは、既存システムに組み込まれた際、脅威の状況を大きく変える可能性がある。AIエージェントの展開を計画する際に脅威モデリングを活用することで、認識を高め、運用担当者が展開に向けてより適切な準備を行えるようになる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Perform realistic threat modelling using up-to-date risk taxonomies for agentic AI systems, such as OWASP GenAI Security Project and MITRE ATLAS™ | OWASP GenAI Security ProjectやMITRE ATLAS™など、エージェンティックAIシステム向けの最新のリスク分類法を用いて、現実的な脅威モデリングを実施する |
| Design and implement security controls that address emerging and evolving agent capabilities | エージェントの新たな機能や進化に対応するセキュリティ対策の設計と実装 |
| Harmonise agentic AI controls with existing security frameworks, national guidance and allied agreements, such as common Zero Trust principles and the National Institute of Standards and Technology’s Zero Trust Architecture guidance | エージェンティックAIの対策を、既存のセキュリティフレームワーク、国の指針、および共通のゼロトラスト原則や国立標準技術研究所（NIST）のゼロトラストアーキテクチャ指針などの関連合意と整合させる |
| Develop and test incident response procedures to detect, contain and recover from agent compromise | エージェントの侵害を検知、封じ込め、復旧するためのインシデント対応手順を策定し、テストする |
| Establish regular third-party reviews of privileged architectures, share actionable intelligence with trusted partners and update risk models to reflect emerging malicious trends | 特権アーキテクチャに対する定期的なサードパーティレビューを実施し、信頼できるパートナーと実用的な情報を共有し、新たな悪意のある傾向を反映させるためにリスクモデルを更新する |
| Governance | ガバナンス |
| Autonomous actions by agentic AI systems introduce new risks, requiring updated governance policies and continuous runtime authentication with centralised policy decision points for each action. | エージェンティックAIシステムによる自律的な行動は新たなリスクをもたらすため、ガバナンス方針の更新と、各アクションに対する一元化されたポリシー決定ポイントを用いた継続的な実行時認証が必要となる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Implement and maintain governance policies to manage autonomous agents | 自律型エージェントを管理するためのガバナンス方針を実装し、維持する |
| Define legal accountability and risk ownership for agentic AI systems in policies | ポリシーにおいて、エージェンティックAIシステムの法的責任とリスクの帰属を定義する |
| Upskill the organisation to build AI literacy | 組織のスキルアップを図り、AIリテラシーを構築する |
| Reference CISA’s Principles for the Secure Integration of Artificial Intelligence in Operational Technology to learn more about establishing AI governance in OT environments. | OT環境におけるAIガバナンスの確立についてさらに学ぶには、CISAの「オペレーショナルテクノロジーにおける人工知能の安全な統合に関する原則」を参照する。 |
| Progressive deployment | 段階的な展開 |
| The risk profile of AI agents can vary significantly depending on permissions and allowed actions. A progressive approach to deployment aims to limit initial risk until operators and users are more familiar with and understand the limitations of the agentic application. | AIエージェントのリスクプロファイルは、権限や許可されたアクションによって大きく異なる。段階的な展開アプローチは、オペレーターやユーザーがエージェント型アプリケーションの制限事項に慣れ、理解するまで、初期リスクを制限することを目的とする。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Implement phased deployment with progressively increasing access and autonomy, limiting the action space where required, such as restricted APIs or sandboxing | アクセス権と自律性を段階的に拡大する段階的展開を実施し、必要に応じて制限されたAPIやサンドボックス化など、アクションスペースを制限する |
| Use graduated autonomy to incrementally increase agent independence whilst maintaining human oversight and understanding | 段階的な自律性を活用し、人間の監督と理解を維持しつつ、エージェントの独立性を徐々に高める |
| Use continuous evaluation to determine when to expand system scope or when to roll back autonomy and access in response to failures | 継続的な評価を行い、システムの範囲を拡大すべきタイミングや、障害発生時に自律性とアクセス権をロールバックすべきタイミングを判断する |
| Secure by default | デフォルトで安全を確保する |
| Safe and secure defaults reduce deployment risk and support system security, should degradation occur. | 安全かつセキュアなデフォルト設定は、展開リスクを低減し、万が一機能低下が発生した場合でもシステムのセキュリティを支える。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Set system configurations to fail-safe by default requiring agents to stop and escalate issues to human reviewers in uncertain scenarios | 不確実なシナリオにおいてエージェントが停止し、問題を人間のレビュー担当者にエスカレーションするよう、システム構成をデフォルトでフェイルセーフに設定する |
| Use error-handling and failover management to reduce the impact of system failures | エラー処理とフェイルオーバー管理を活用し、システム障害の影響を軽減する |
| Implement graceful degradation models so that agents maintain partial functionality even if some functions fail | 一部の機能が障害を起こした場合でもエージェントが部分的な機能を維持できるよう、グレースフル・デグラデーション・モデルを実装する |
| Guardrails and constraints | ガードレールと制約 |
| Implementing agent guardrails and constraints reduces exposure to many common security risks that AI presents. Adding these guardrails and constraints at deployment helps build confidence and understanding of the agent. | エージェントのガードレールと制約を実装することで、AIがもたらす多くの一般的なセキュリティリスクへのエクスポージャーを低減できる。展開時にこれらのガードレールと制約を追加することは、エージェントに対する信頼と理解を築くのに役立つ。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Specify clear, constrained objectives with explicit ‘do-not-do' rules | 明確な「禁止事項」ルールを伴う、明確かつ制約のある目的を指定する |
| Implement guardrails and hard constraints, such as deny lists and API-level safety policies | 拒否リストやAPIレベルの安全ポリシーなど、ガードレールと厳格な制約を実装する |
| Establish declarative safety contracts with constraints and guardrails that agents cannot override | エージェントが上書きできない制約とガードレールを備えた宣言型安全契約を確立する |
| Apply a layered set of guardrail mechanisms, ranging from anomaly detection and rule-based filtering to specialised machine learning algorithms that detect and filter prohibited behaviour | 異常検知やルールベースのフィルタリングから、禁止された振る舞いを検知・フィルタリングする特殊な機械学習アルゴリズムに至るまで、多層的なガードレールメカニズムを適用する |
| Prioritise review of high-risk incidents, including cases where guardrails are triggered or actions are denied by human reviewers | ガードレールが作動した場合や、人間のレビュー担当者がアクションを拒否した場合など、高リスクなインシデントのレビューを優先する |
| Deploy a secondary agent to validate new tasks against policy before execution | 実行前にポリシーに基づいて新しいタスクの妥当性確認を実施するため、セカンダリアジェントを展開する |
| Isolation | 分離 |
| Deployment should consider integration requirements of AI agents and apply isolation where possible. This can reduce cascading issues should the agent behave unexpectedly or maliciously. | 展開にあたっては、AIエージェントの統合要件を考慮し、可能な限り分離を適用すべきである。これにより、エージェントが予期せぬ動作や悪意のある動作をした場合に、連鎖的な問題を軽減できる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Implement isolation and segmentation to limit blast radius of agent failure scenarios | エージェントの障害シナリオによる影響範囲を限定するため、分離とセグメンテーションを実施する |
| Separate high-risk agents into distinct domains | 高リスクのエージェントを個別のドメインに分離する |
| Isolate agents into enclaves with no write access to logs | エージェントを、ログへの書き込みアクセス権のないエンクレーブに隔離する |
| Operating agents securely | エージェントの安全な運用 |
| Audience: This section is most relevant to agentic AI vendors and operators. Developers may want to reference this section to ensure their agentic AI applications can implement these best practices. | 対象読者：このセクションは、エージェンティックAIベンダーおよび運用者に最も関連性が高い。開発者は、自社のエージェンティックAIアプリケーションがこれらのベストプラクティスを実装できるよう、このセクションを参照するとよい。 |
| With the strong benefits of operating AI agents come substantial risks. Operators need to exercise diligence in managing ongoing security concerns lest the agents cause more harm than good. | AIエージェントの運用には大きなメリットがある一方で、重大なリスクも伴う。エージェントが利益よりも害をもたらすことのないよう、運用者は継続的なセキュリティ上の懸念を管理する際に細心の注意を払う必要がある。 |
| Monitoring and auditing | 監視と監査 |
| One key advantage of AI agents is their dynamic behaviour. This offers great flexibility in application but can also make it hard to keep track of what agents should be and are doing. Operators should implement continuous monitoring and auditing to maintain awareness of AI agent operation and ensure traceability for decisions and actions. Continuous auditing processes improve security measures and ensure alignment with governance standards (such as risk management, oversight and usage restrictions). | AIエージェントの重要な利点の一つは、その動的な挙動である。これはアプリケーションに大きな柔軟性をもたらすが、エージェントが何をすべきか、実際に何をしているかを把握しにくくする要因にもなり得る。運用者は、AIエージェントの動作を常に把握し、意思決定や行動の追跡可能性を確保するために、継続的な監視と監査を実施すべきである。継続的な監査プロセスは、セキュリティ対策を強化し、ガバナンス標準（リスクマネジメント、監督、利用制限など）への準拠を確実にする。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Employ monitoring tools that enhance human oversight of agentic AI systems | エージェンティックAIシステムに対する人間の監督を強化する監視ツールを導入する |
| Monitor all agent operations, including internal processes, not just the inputs and outputs | 入力や出力だけでなく、内部プロセスを含むすべてのエージェントの動作を監視する |
| Monitor and log identity and privilege changes and audit regularly for drift, impersonation or misconfiguration | IDや権限の変更を監視・記録し、ドリフト、なりすまし、設定ミスの有無について定期的に監査を行う |
| Monitor agent outputs and behaviour for indicators of bias, emerging data drift and other anomalous patterns, including user prompts, tool calls, memory interactions, internal reasoning, decisions made and actions taken | ユーザープロンプト、ツール呼び出し、メモリ操作、内部推論、下された決定、実行されたアクションを含め、エージェントの出力や行動を監視し、バイアス、新たなデータドリフト、その他の異常なパターンの兆候を探る |
| Maintain comprehensive logs and real-time monitoring of live agent behaviour and decision-making | 稼働中のエージェントの振る舞いと意思決定について、包括的なログとリアルタイム監視を維持する |
| Implement runtime monitoring and anomaly detection using rules or behavioural baselines to identify unusual patterns and trigger alerts or pauses | ルールや振る舞いのベースラインを用いた実行時監視と異常検知を実装し、異常なパターンを識別してアラートや一時停止をトリガーする |
| Establish anomaly detection mechanisms that flag discrepancies between stated intentions and observed behaviours | 表明された意図と観察された振る舞いとの不一致をフラグ付けする異常検知メカニズムを確立する |
| Use multiple independent monitoring systems that cross-validate agent reports and system logs | エージェントのレポートとシステムログを相互検証する、複数の独立した監視システムを使用する |
| Monitor for goal drift by comparing active objectives against approved baseline specifications before execution | 実行前に、アクティブな目標を承認済みのベースライン仕様と比較することで、目標のドリフトを監視する |
| Integrate source checks with agent logs to record which tools the system used and what information it retrieved | ソースチェックをエージェントのログと統合し、システムがどのツールを使用し、どのような情報を取得したかを記録する |
| Implement auditing practices that combine human review with automated analysis of system logs | 人的レビューとシステムログの自動分析を組み合わせた監査手法を実装する |
| Support adaptive defences by using monitoring data to enable rapid responses, such as patches based on problems identified in system logs | 監視データを活用して適応型防御を支援し、システムログで特定された問題に基づくパッチ適用など、迅速な対応を可能にする |
| Use storage-efficient logging methods to manage log volume without losing critical information | 重要な情報を失うことなくログ量を管理するため、ストレージ効率の高いロギング手法を使用する |
| Conduct regular security assessments, including penetration testing and red team exercises specifically targeting agentic behaviours | エージェントの挙動を特に標的とした侵入テストやレッドチーム演習を含む、定期的なセキュリティアセスメントを実施する |
| Validate outputs | 出力の妥当性確認 |
| AI agent outputs provide some of the few concrete data points available for monitoring behaviour. Ensuring outputs are valid and reflect desired behaviour is a key measure of correct operation. | AIエージェントの出力は、動作を監視するために利用可能な数少ない具体的なデータポイントの一つである。出力が有効であり、望ましい動作を反映していることを確認することは、正常な動作を判断する重要な指標となる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Validate agent outputs by confirming accuracy of critical aspects against multiple sources | 複数の情報源と照合し、重要な側面の正確性を確認することで、エージェントの出力を検証する |
| Validate agents through cross-checking in environments with redundant agents that validate each other’s outputs | エージェント同士が出力を相互検証する冗長構成の環境において、クロスチェックを通じてエージェントを検証する |
| Validate tool responses to prevent malicious or unsafe instructions and standardise tool descriptions to avoid persuasive language | 悪意のある指示や安全でない指示を防ぐためにツールの応答を検証し、説得力のある表現を避けるためにツールの記述を標準化する |
| Human in the loop | ヒューマン・イン・ザ・ループ |
| An erroneous or unexpected decision from an agent could result in significant damage, such as deletion of important data. Incorporating human supervision, approval and review into agentic AI workflows is an important control for ensuring systems operate safely and securely, particularly where actions have high impact or are difficult to reverse. | AIエージェントによる誤った、あるいは予期せぬ決定は、重要なデータの削除など、重大な損害をもたらす可能性がある。エージェンティックAIのワークフローに人間の監督、承認、およびレビューを組み込むことは、特に影響が大きく、取り消しが困難なアクションにおいて、システムが安全かつ確実に動作することを保証するための重要な制御手段である。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Ensure decisions about when human approval is required are determined by system designers or operators, not delegated to the agentic AI system | 人間の承認が必要なタイミングに関する決定は、エージェンティックAIシステムに委任せず、システム設計者または運用者が決定するようにする |
| Prevent agents from autonomously executing high‑impact actions or outputs without prior human approval | エージェントが、事前の人的承認なしに、影響の大きいアクションや出力を自律的に実行できないようにする |
| Insert human-in-the-loop review or approval checkpoints for actions where the cost of error is high, such as system resets, network egress or deletion of critical records. | システムのリセット、ネットワークへのデータ送信、重要な記録の削除など、エラーのコストが高いアクションについては、ヒューマン・イン・ザ・ループによるレビューまたは承認のチェックポイントを設ける |
| Quarantine requests to delete logs or audit records until reviewed and approved by a human | ログや監査記録の削除要求は、人間によるレビューと承認が行われるまで保留にする |
| Clearly assign responsibility and accountability for errors or adverse outcomes caused by the system | システムによって引き起こされたエラーや悪影響に対する責任と説明責任を明確に割り当てる |
| Conduct risk assessments to classify agent actions by potential impact, likelihood and reversibility, and apply appropriate safeguards | リスクアセスメントを実施し、エージェントのアクションを潜在的な影響、発生確率、および元に戻せる可能性によって分類し、適切な安全対策を適用する |
| Performance monitoring | パフォーマンスの監視 |
| As with any system component, performance is an important factor for AI agents. This is additionally true as degraded or unusual performance could indicate compromise of an agent or component of the agentic system. | 他のシステムコンポーネントと同様に、パフォーマンスはAIエージェントにとって重要な要素である。パフォーマンスの低下や異常は、エージェントまたはエージェント型システムのコンポーネントが侵害されたことを示唆する可能性があるため、これは特に当てはまる。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Assess agents’ ability to evade security measures particularly in sensitive or high-impact systems | 特に機密性の高いシステムや影響の大きいシステムにおいて、エージェントがセキュリティ対策を回避する能力をアセスメントする |
| Conduct regular assessments of an agent’s ability to bypass safeguards, such as communication barriers, guardrails, monitors, human-in-the-loop processes and input filters | 通信障壁、ガードレール、監視システム、人間介入プロセス、入力フィルタなどの安全対策をエージェントが回避する能力について、定期的なアセスメントを実施する |
| Use the results from these evaluations to validate existing controls and guide the development of stronger security measures | これらのアセスメント結果を活用して、既存の制御策の妥当性を確認し、より強力なセキュリティ対策の開発に役立てる |
| Limit agent resource usage by applying controls, such as rate-limit components to interrupt long-running tasks and disrupt malicious workflows | レート制限コンポーネントを適用して長時間実行されるタスクを中断させ、悪意のあるワークフローを妨害するなど、制御策を講じてエージェントのリソース使用を制限する |
| Privileges and authentication | 権限と認証 |
| Ongoing strict privilege management of AI agents is key to long-term security. Lapses here can change the impact of a buggy agent from minor to catastrophic. | AIエージェントに対する継続的かつ厳格な権限管理は、長期的なセキュリティの鍵となる。ここでの不備は、バグのあるエージェントによる影響を軽微なものから壊滅的なものへと変える可能性がある。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Limit privileges of AI agents to the minimum required for its task | AIエージェントの権限を、そのタスクに必要な最小限に制限する |
| Restrict scope of privileges to narrowest possible level to allow fine-grained control over allowed actions | 許可されるアクションをきめ細かく制御できるよう、権限の範囲を可能な限り狭いレベルに制限する |
| Implement agent reputation and trust scoring mechanisms and reduce trust levels when anomalous behaviour is detected | エージェントのレピュテーションおよび信頼度スコアリングメカニズムを実装し、異常な動作が検知された場合は信頼レベルを下げる |
| Require just-in-time credentials for high-impact or privileged actions | 影響の大きいアクションや特権アクションには、ジャストインタイムの認証情報を要求する |
| Verify API caller identity against a user or agent groups | API呼び出し元の身元を、ユーザーまたはエージェントグループと照合して検証する |
| Authenticate agents with fresh cryptographic proofs before every privileged call | 特権呼び出しのたびに、最新の暗号的証明を用いてエージェントを認証する |
| Require cryptographic signing for authorised commands and instructions | 承認されたコマンドや指示に対して暗号的署名を必須とする |
| Apply cryptographic integrity checks for task definitions and constraints | タスク定義や制約に対して暗号的整合性チェックを適用する |
| Require agents to perform cryptographic attestation where agents must prove that they are running expected and unmodified code | エージェントに対し、期待された変更されていないコードが実行されていることを証明する暗号的証明を必須とする |
| Continuously verify identity and authorisation at runtime using a centralised policy decision point for each request | 各リクエストに対して一元化されたポリシー決定ポイントを使用し、実行時に継続的に身元と権限を検証する |
| Defend against future risks | 将来のリスクへの備え |
| As agentic AI scales into more roles and gains greater capabilities, organisations must anticipate and address the new risks these systems introduce. While industry and academia are developing practices to secure agentic AI, the field is still evolving and requires continued research and the practical implementation of agent security to address emerging challenges. | エージェンティックAIがより多くの役割を担い、より高度な能力を獲得するにつれ、組織はこれらのシステムがもたらす新たなリスクを予測し、対処しなければならない。産業界や学界ではエージェンティックAIを保護するための手法が開発されているが、この分野は依然として進化しており、新たな課題に対処するためには継続的な研究とエージェントセキュリティの実践的な実装が必要である。 |
| To help develop robust standards for securing agentic AI systems, the authoring agencies recommend security practitioners and researchers take the actions described in the sections below. | エージェンティックAIシステムのセキュリティを確保するための堅牢な標準を策定するため、作成機関はセキュリティ実務者および研究者が以下のセクションで説明する措置を講じることを推奨する。 |
| Expand threat intelligence through collaboration | 連携による脅威インテリジェンスの拡充 |
| Threat intelligence for agentic AI systems is still evolving, which can introduce significant security gaps. Existing frameworks like the Open Web Application Security Project (OWASP) 2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps for LLMs and MITRE ATLAS™ focus on LLM vulnerabilities, while industry reports emphasise platform misuse rather than threats unique to agentic AI. As a result, some attack vectors unique to agentic AI may not be fully captured or addressed. | エージェンティックAIシステムに関する脅威インテリジェンスは依然として発展途上であり、これが重大なセキュリティ上のギャップを招く可能性がある。Open Web Application Security Project (OWASP)の「2025年LLMおよびGen AIアプリ向けトップ10リスクと緩和策」やMITRE ATLAS™といった既存のフレームワークはLLMの脆弱性に焦点を当てている一方、業界レポートはエージェンティックAI特有の脅威ではなく、プラットフォームの悪用を強調している。その結果、エージェンティックAIに特有の攻撃ベクトルの一部が、十分に把握または対処されていない可能性がある。 |
| Recommended best practices | 推奨されるベストプラクティス |
| Strengthen collaboration between stakeholders to keep pace with evolving threats to agentic AI systems | エージェンティックAIシステムに対する進化する脅威に対応するため、ステークホルダー間の連携を強化する |
| Coordinate with major AI developers and government organisations to compile and maintain threat information | 主要なAI開発者や政府機関と連携し、脅威情報の収集・維持を行う |
| Adopt a collaborative security approach, such as those described in CISA’s AI Cybersecurity Collaboration Playbook | CISAの『AIサイバーセキュリティ・コラボレーション・プレイブック』に記載されているような、協調的なセキュリティアプローチを採用する |
| Implement alerting, data collection and tracking methods for malicious actors and techniques | 悪意のあるアクターや手法に対するアラート、データ収集、追跡手法を実装する |
| Conduct targeted analysis of threats and capabilities over time to improve situational awareness | 状況認識を向上させるため、脅威と能力について長期にわたる的を絞った分析を行う |
| Harmonise threat intelligence across industries to build shared threat taxonomies that improve threat modelling and support more effective mitigation design | 業界横断的に脅威インテリジェンスを統合し、脅威モデリングを改善し、より効果的な緩和策の設計を支援する共通の脅威分類体系を構築する |
| Develop robust, agent-specific evaluations | 堅牢でエージェント固有の評価手法を開発する |
| Many existing evaluation methods for agentic AI security are still evolving. They may be sensitive to minor semantic changes, vary by scenario and only partially capture real-world deployment conditions. These limitations can introduce gaps that overlook critical security issues, making reliable validation of agent security and system architectures nearly impossible. | エージェンティックAIセキュリティに関する既存の評価手法の多くは、依然として進化の途上にある。これらは些細な意味論的な変化に敏感であったり、シナリオによって異なったり、実世界の展開条件を部分的にしか捉えていない可能性がある。これらの制限により、重大なセキュリティ問題を見落とすギャップが生じ、エージェントのセキュリティやシステムアーキテクチャの妥当性確認がほぼ不可能になる。 |
| Recommendations best practices | 推奨事項とベストプラクティス |
| Develop robust evaluation methods to address the gaps in validating agentic AI systems | エージェンティックAIシステムの妥当性確認におけるギャップに対処するための堅牢な評価手法を開発する |
| Generate benchmark datasets to cover new domains and represent realistic deployment contexts | 新しい領域を網羅し、現実的な展開コンテキストを反映したベンチマークデータセットを生成する |
| Use evaluation results to validate emerging security practices and identify failure points in agents | 評価結果を用いて、新たなセキュリティ慣行を検証し、エージェントの失敗点を識別する |
| Share evaluation findings to strengthen security assessments and support the development of improved security practices across the field | 評価結果を共有し、セキュリティアセスメントを強化するとともに、分野全体でのセキュリティ慣行の改善を支援する |
| Leverage system-theoretic approaches to analyse security | システム理論的アプローチを活用してセキュリティを分析する |
| Agentic AI systems are complex ecosystems of LLMs, humans, guardrails, datasets, tools and hardware, where security risks often emerge from interactions between components rather than isolated flaws. Traditional component-level analysis is insufficient and monitoring these systems is equally challenging due to blurred thresholds for decision-making, long reasoning chains and massive, often redundant logs. Localised logging methods rarely provide full visibility, making system-theoretic approaches essential for understanding and mitigating risks across the entire architecture. | エージェンティックAIシステムは、LLM、人間、ガードレール、データセット、ツール、ハードウェアからなる複雑なエコシステムであり、セキュリティリスクは孤立した欠陥ではなく、コンポーネント間の相互作用から生じることが多い。従来のコンポーネントレベルの分析では不十分であり、意思決定の閾値が曖昧で、推論の連鎖が長く、膨大でしばしば冗長なログが存在するため、これらのシステムの監視も同様に困難である。局所的なロギング手法では完全な可視性が得られることは稀であり、アーキテクチャ全体にわたるリスクを理解し緩和するためには、システム理論的アプローチが不可欠である。 |
| Recommendations best practices | 推奨事項とベストプラクティス |
| Use system-theoretic approaches to analyse agentic AI systems and identify appropriate security measures | システム理論的アプローチを用いてエージェンティックAIシステムを分析し、適切なセキュリティ対策を識別する |
| Apply System Theoretic Process Analysis (STPA) and its security extension, STPA for Security (STPA-Sec), to analyse notional or operational systems, identify security issues, assess mission risk and inform potential mitigations | システム理論的プロセス分析（STPA）およびそのセキュリティ拡張版であるSTPA for Security（STPA-Sec）を適用し、概念的または運用中のシステムを分析し、セキュリティ上の問題を識別し、ミッションリスクを評価し、潜在的な緩和策を提示する |
| Use Causal Analysis using System Theory (CAST) to investigate security incidents and identify underlying root causes at the system level | システム理論を用いた因果分析（CAST）を活用し、セキュリティインシデントを調査し、システムレベルでの根本原因を識別する |
| Apply STPA and CAST to address safety and security concerns concurrently across agentic AI system lifecycles | STPAおよびCASTを適用し、エージェンティックAIシステムのライフサイクル全体において、安全性とセキュリティ上の懸念を同時に解決する |
| Reference the Massachusetts Institute of Technology’s STAMP Materials for more information on STPA and CAST and Systems thinking for safety and security for STPA-Sec. | STPAおよびCASTに関する詳細情報、ならびにSTPA-Secにおける安全性とセキュリティのためのシステム思考については、マサチューセッツ工科大学（MIT）のSTAMP資料を参照する。 |
| Conclusion | 結論 |
| Agentic AI systems offer powerful automation benefits, but their ability to act autonomously across interconnected tools, data and environments introduces security risks that extend beyond those associated with traditional software or GenAI. As outlined in this guidance, privilege escalation, emergent behaviours, structural dependencies and accountability gaps can interact in unpredictable ways. As organisations grant agentic AI systems greater authority and operational scope, these combined risks become increasingly difficult to predict, observe and contain. | エージェンティックAIシステムは強力な自動化のメリットを提供するが、相互接続されたツール、データ、環境全体で自律的に動作するその能力は、従来のソフトウェアや汎用AI（GenAI）に関連するリスクを超えたセキュリティリスクをもたらす。本ガイダンスで概説したように、権限の昇格、創発的挙動、構造的依存関係、および説明責任の欠如は、予測不可能な形で相互作用し得る。組織がエージェンティックAIシステムにより大きな認可と運用範囲を付与するにつれ、これらの複合的なリスクを予測、監視、封じ込めることはますます困難になる。 |
| Organisations should therefore approach adoption with security in mind, recognising that increased autonomy amplifies the impact of design flaws, misconfigurations and incomplete oversight. Deploy agentic AI incrementally, beginning with clearly defined low‑risk tasks and continuously assess it against evolving threat models. Strong governance, explicit accountability, rigorous monitoring and human oversight are not optional safeguards but essential prerequisites. Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly and plan deployments accordingly, prioritising resilience, reversibility and risk containment over efficiency gains. | したがって、組織はセキュリティを念頭に置いて導入に臨むべきであり、自律性の向上は設計上の欠陥、設定ミス、不十分な監視の影響を増幅させることを認識しなければならない。エージェンティックAIは、明確に定義された低リスクのタスクから始め、段階的に展開し、進化する脅威モデルに対して継続的にアセスメントを行うべきである。強力なガバナンス、明確な説明責任、厳格な監視、そして人間の監督は、任意の安全策ではなく、不可欠な前提条件である。セキュリティの実践、評価手法、および標準が成熟するまでは、組織はエージェンティックAIシステムが予期せぬ動作をする可能性があると想定し、それに応じて展開計画を立てるべきである。その際、効率性の向上よりも、レジリエンス、元に戻せること、およびリスクの封じ込めを優先すべきである。 |
| Further information | 詳細情報 |
| The following list contains additional and related resources from partners and industry: | 以下のリストには、パートナーや業界からの追加および関連リソースが含まれている： |
| ASD resources | ASDリソース |
| Artificial intelligence | 人工知能 |
| Frontier models and their impact on cyber security | 最先端モデルとサイバーセキュリティへの影響 |
| Foundations for modern defensible architecture | 現代の防御可能なアーキテクチャの基礎 |
| Artificial intelligence and machine learning: Supply chain risks and mitigations | 人工知能と機械学習：サプライチェーンのリスクと緩和策 |
| Secure by Design foundations | Secure by Designの基礎 |
| CISA resources | CISAのリソース |
| Artificial Intelligence | 人工知能 |
| Secure by Design | Secure by Design |
| AI Cybersecurity Collaboration Playbook | AIサイバーセキュリティ・コラボレーション・プレイブック |
| Secure by Demand: Priority Considerations for Operational Technology Owners and Operators when Selecting Digital Products | Secure by Demand：デジタル製品選定時のOT所有者および運用者向け優先事項 |
| Defending Against Software Supply Chain Attacks | ソフトウェア・サプライチェーン攻撃への防御 |
| 2025 Minimum Elements for a Software Bill of Materials (SBOM) | 2025年版 ソフトウェア部品表（SBOM）の必須要素 |
| Cybersecurity Performance Goals 2.0 (CPG 2.0) | サイバーセキュリティ・パフォーマンス目標 2.0（CPG 2.0） |
| NSA resources | NSAのリソース |
| AI Data Security: Best Practices for Securing Data Used to Train & Operate AI Systems [PDF 799 KB] | AIデータセキュリティ：AIシステムのトレーニングおよび運用に使用されるデータを保護するためのベストプラクティス [PDF 799 KB] |
| Deploying AI Systems Securely: Best Practices for Deploying Secure and Resilient AI Systems [PDF 495 KB] | AIシステムの安全な展開：安全でレジリエンスのあるAIシステムを展開するためのベストプラクティス [PDF 495 KB] |
| Zero Trust Implementation Guideline Primer [PDF 3,045 KB]Zero Trust Implementation Guideline Discovery Phase [PDF 2,124 KB] | ゼロトラスト実装ガイドライン入門 [PDF 3,045 KB]ゼロトラスト実装ガイドライン：発見フェーズ [PDF 2,124 KB] |
| NCSC-UK resources | NCSC-UKのリソース |
| Guidelines for secure AI system development | 安全なAIシステム開発のためのガイドライン |
| System driven risk management methods | システム主導型リスクマネジメント手法 |
| Cyber Centre resources | サイバーセンターのリソース |
| Frontier artificial intelligence | フロンティア人工知能 |
| Top 10 artificial intelligence security actions: A primer - ITSAP.10.049 | 人工知能セキュリティ対策トップ10：入門編 - ITSAP.10.049 |
| Other resources | その他のリソース |
| UK Government Code of Practice for the Cyber Security of AI | 英国政府 AIサイバーセキュリティ実践規範 |
| UK Government Implementation Guide for the AI Cyber Security Code of Practice [PDF 989 KB] | 英国政府 AIサイバーセキュリティ実践規範実施ガイド [PDF 989 KB] |
| Office of the Law Revision Counsel (OLRC), U.S. House of Representatives USCODE-2024-title15-chap119-sec9401 [PDF 226 KB] | 米国下院法律改正顧問室（OLRC） USCODE-2024-title15-chap119-sec9401 [PDF 226 KB] |
| European Telecommunications Standards Institute (ETSI) Technical Committee (TC) Securing Artificial Intelligence (SAI) | 欧州電気通信標準化機構（ETSI）技術委員会（TC）人工知能のセキュリティ確保（SAI） |
| ETSI Securing Artificial Intelligence (SAI); Baseline Cyber Security Requirements for AI Models and Systems [PDF 108 KB] | ETSI 人工知能のセキュリティ確保（SAI）；AIモデルおよびシステムのためのサイバーセキュリティ基本要件 [PDF 108 KB] |
| G7 Cybersecurity Working Group A Shared G7 Vision on Software Bill of Materials for Artificial Intelligence | G7サイバーセキュリティ作業部会 人工知能向けソフトウェア部品表に関するG7共通ビジョン |
| NIST AI Risk Management Framework | NIST AIリスクマネジメントフレームワーク |
| NIST SP 800-207 Zero Trust Architecture | NIST SP 800-207 ゼロトラストアーキテクチャ |
| MITRE ATLAS™ Matrix | MITRE ATLAS™ マトリックス |
| OWASP Top 10 for Agentic Applications for 2026 | 2026年版 OWASP エージェンティックAIアプリケーションのトップ10 |
| OWASP 2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps | 2025年版 OWASP LLMおよびジェネレーティブAIアプリにおけるトップ10リスクと緩和策 |
| Appendix A | 附属書A |
| Cyber security prerequisites before implementation of AI agents | AIエージェント実装前のサイバーセキュリティ前提条件 |
| Design | 設計 |
| Implement strong authentication by following Secure by Design principles | 「Secure by Design」の原則に従い、強力な認証を実装する |
| Design transparency requirements into the system architecture to enable detection of deception indicators | 欺瞞の兆候を検知できるように、システムアーキテクチャに透明性要件を組み込む |
| Use frameworks, such as zero trust, the Application Security Verification Standard or OAuth2 | ゼロトラスト、アプリケーションセキュリティ検証標準（ASVS）、OAuth2などのフレームワークを活用する |
| Build system infrastructure in a secure, sandboxed environment with encryption, rate limiting and sanitisation | 暗号化、レート制限、サニタイズを施した、安全なサンドボックス環境でシステムインフラを構築する |
| Apply the principle of least privilege, assigning only the minimum access required for each role | 最小権限の原則を適用し、各役割に必要な最小限のアクセス権のみを付与する |
| Limit entitlements to the exact resources, operations and timeframes needed | 権限を、必要なリソース、操作、期間に厳密に限定する |
| Replace static, long-lived secrets with ephemeral credentials that expire when the job is complete | 静的で長期にわたり有効なシークレットを、ジョブ完了時に失効する一時的な認証情報に置き換える |
| Dynamically scope privilege for sub-tasks and revoke elevated rights immediately when finished, mitigating scope creep | サブタスクの権限範囲を動的に設定し、完了次第直ちに昇格された権限を取り消し、スコープクリープを緩和する |
| Build applications with secure protocols and safe defaults that adhere to communication standards and security policies | コミュニケーション標準およびセキュリティポリシーに準拠した、安全なプロトコルと安全なデフォルト設定を用いてアプリケーションを構築する |
| Implement message validation by default so that message components include integrity and freshness checks before use | メッセージの妥当性確認をデフォルトで実装し、使用前にメッセージコンポーネントに対して完全性および鮮度チェックが行われるようにする |
| Development | 開発 |
| Apply secure development principles from U.S Department of War Enterprise DevSecOps Fundamentals [PDF 2,811 KB] | 米国国防総省「エンタープライズ DevSecOps Fundamentals [PDF 2,811 KB]」のセキュア開発原則を適用する |
| Minimise application scope and monitor components for unusual or unexpected behaviour | アプリケーションの範囲を最小限に抑え、コンポーネントに異常または予期せぬ動作がないか監視する |
| Enforce application understanding and only incorporate components into systems that the owner fully understands and accepts the risks of (including possible external effects and processes that it may trigger) | アプリケーションへの理解を徹底し、所有者が完全に理解し、そのリスク（引き起こし得る外部への影響やプロセスを含む）を受け入れたコンポーネントのみをシステムに組み込む |
| Refer to frameworks, such as the NIST Secure Software Development Framework or SLSA’s Safeguarding artifact integrity across any software supply chain | NISTセキュアソフトウェア開発フレームワークやSLSAの「あらゆるソフトウェアサプライチェーンにおける成果物の完全性の保護」などのフレームワークを参照する |
| Use supply chain risk management practices for third-party dependencies | サードパーティの依存関係に対してサプライチェーンリスクマネジメントの実践を適用する |
| Apply existing governance and organisational management policies | 既存のガバナンスおよび組織管理ポリシーを適用する |
| Conduct threat modelling using frameworks, such as OWASP Top 10:2025, MITRE ATT&CK® and MITRE D3FEND™ and use the results to inform mitigations tailored to the operational environment | OWASP Top 10:2025、MITRE ATT&CK®、MITRE D3FEND™などのフレームワークを使用して脅威モデリングを実施し、その結果を運用環境に合わせた緩和策の策定に活用する |
| Plan and regularly test incident response plans and teams. | インシデント対応計画およびチームを策定し、定期的にテストを行う。 |
« 国土交通省 金融庁 警察庁 財務省 暗号資産を用いた不動産取引について（要請）(2026.04.28) | Main | デジタル庁 地方財政（市町村ごと）に関するダッシュボード (2026.04.24) »
Comments