英国 NCSC AIモデルを使って脆弱性を発見する際に確認すべき10の質問 (2026.05.11)
こんにちは、丸山満彦です。
英国のNCSCのブログ...AIの脅威に関する冷静で端的な指摘...
とても良い内容だと思います。
● UK NCSC
・2026.05.11 10 questions to ask when using AI models to find vulnerabilities
| 10 questions to ask when using AI models to find vulnerabilities | AIモデルを使って脆弱性を発見する際に確認すべき10の質問 |
| Using artificial intelligence to find vulnerabilities can bring added security considerations. | 人工知能を用いて脆弱性を発見する場合、セキュリティ面での考慮事項が増える可能性があります。 |
| By now, most people will have heard the news. There is a new AI model in town, and you are feeling under pressure to use AI to to find vulnerabilities. Everyone is saying it will improve your security, and the board want to hear how many vulnerabilities you have found. | 今や、ほとんどの人がこのニュースを耳にしていることでしょう。新しいAIモデルが登場し、AIを使って脆弱性を発見しなければならないというプレッシャーを感じているはずです。誰もが「セキュリティが向上する」と言い、経営陣はあなたがどれだけの脆弱性を発見したかを知りたがっています。 |
| So you set up an account with a popular AI model, hand over access to all your code, historic bugs and documentation, and give it access to your production environment.... | そこで、あなたは人気のあるAIモデルにアカウントを作成し、すべてのコード、過去のバグ、ドキュメントへのアクセス権を渡し、本番環境へのアクセスも許可してしまいます……。 |
| HOLD ON! Let’s stop and think for a minute. Before you start using an AI model to find vulnerabilities, there are some important questions you should consider. | ちょっと待ってください! ここで一旦立ち止まって考えてみましょう。AIモデルを使って脆弱性を発見し始める前に、検討すべき重要な質問がいくつかあります。 |
| 1. What are you trying to achieve by using AI? | 1. AIを使って何を達成しようとしているのか? |
| Hopefully your answer is ‘to improve security within my organisation’. However it’s important to remember that just finding vulnerabilities does nothing to improve your security. You could even make your security worse. | 答えは「組織内のセキュリティを向上させるため」であることを願います。しかし、単に脆弱性を見つけるだけではセキュリティの向上にはつながらないことを忘れてはなりません。むしろ、セキュリティを悪化させてしまう可能性さえあります。 |
| 2. Is using AI the best way to improve security? | 2. AIの利用は、セキュリティを向上させる最善の方法でしょうか? |
| The most important tool to improve your organisation’s security is the application of fundamental cyber security hygiene. A vulnerability on a system where a patch for it exists (but has not yet been deployed) or unauthorised access are much more likely to affect security than the exploitation of zero-days. So ask yourself, is your organisation carrying out best practice? Do you understand what software you rely on. What IT is in your estate? | 組織のセキュリティを向上させるための最も重要なツールは、基本的なサイバーセキュリティの衛生管理を実践することです。パッチが存在する(しかしまだ適用されていない)システム上の脆弱性や、不正アクセスは、ゼロデイ攻撃の悪用よりもはるかにセキュリティに影響を与える可能性が高いのです。ですから、自問してみてください。あなたの組織はベストプラクティスを実践していますか? どのソフトウェアに依存しているか理解していますか? 組織内のIT資産には何が含まれていますか? |
| 3. Do I have a process to manage any vulnerabilities that AI finds? | 3. AIが発見した脆弱性を管理するプロセスはありますか? |
| You need to be able to manage vulnerabilities well, whether found using AI or not, especially as the number of reported vulnerabilities increases. You want to know how to receive, prioritise and fix issues, without teams being overwhelmed. Make sure you consider fixing the cause of the vulnerability too. The NCSC’s Vulnerability management guidance is a useful resource for those looking to set up and improve their process . | 報告される脆弱性の数が増加している今、AIによる発見か否かにかかわらず、脆弱性を適切に管理できる体制が必要です。チームが対応に追われることなく、問題をどのように受け付け、優先順位をつけ、修正するかを把握しておく必要があります。また、脆弱性の根本原因の修正も考慮するようにしてください。プロセスの構築や改善を検討している方には、NCSCの「脆弱性管理ガイダンス」が有用なリソースとなります。 |
| 4. How should I prioritise vulnerabilities? | 4. 脆弱性の優先順位はどのように付けるべきか? |
| A system or product might have a lot of vulnerabilities, but the ones that attackers can exploit are the ones that need prioritising. Some vulnerabilities you might fix immediately, others might indicate you need a major rewrite to parts of code, or that you need to remove that attack service from your environment. There were over 40,000 vulnerabilities assigned CVEs in 2025. The CISA KEV says only about 400 new vulnerabilities were tracked as exploited, and only around 40 of those were zero-days when initially exploited. This is why prioritised patching is so important. | システムや製品には多くの脆弱性が存在するかもしれませんが、攻撃者が悪用できるものこそが優先的に対処すべきものです。すぐに修正すべき脆弱性もあれば、コードの一部を大幅に書き直す必要がある場合や、環境からその攻撃対象となるサービスを削除する必要がある場合もあります。2025年には、CVEが割り当てられた脆弱性が4万件以上ありました。CISAのKEVによると、悪用されたと追跡された新規脆弱性は約400件のみであり、そのうち最初に悪用された時点でゼロデイだったものは約40件に過ぎません。これが、優先順位に基づいたパッチ適用が極めて重要である理由です。 |
| 5. What are the risks when using AI to find vulnerabilities? | 5. AIを使用して脆弱性を検出する際のリスクは何ですか? |
| Using AI isn’t risk free and there are many security implications to consider. These include: | AIの使用にはリスクが伴わず、考慮すべき多くのセキュリティ上の影響があります。これには以下が含まれます: |
| ・How could I leak information? | ・どのように情報が漏洩する可能性があるか? |
| ・How will I secure the infrastructure used? | ・使用するインフラをどのように保護するか? |
| ・Have I sandboxed my system so that it can only talk to the LLM and my code base? | ・システムをサンドボックス化し、LLMと自身のコードベースとのみ通信できるようにしているか? |
| ・Will I give access to my production environment? | ・本番環境へのアクセス権を付与するか? |
| ・What permissions have I given the LLM? | ・LLMにどのような権限を与えているか? |
| ・How can I avoid spending all my money/time/people finding vulnerabilities, and have nothing left to fix them? | ・脆弱性の発見に資金・時間・人員をすべて費やしてしまい、修正するためのリソースが何も残らない状況をどう回避するか? |
| ・Do I understand the terms and conditions, and data retention policies? | ・利用規約やデータ保持ポリシーを理解していますか? |
| ・How will I ensure the activity is legal? | ・活動の合法性をどのように確保しますか? |
| 6. What AI model should I use? | 6. どのAIモデルを使用すべきですか? |
| Different models have different properties. You don’t necessarily need access to the latest model; you can start using any model as this will build your experience and gives you an idea of the model’s capabilities. Before using a hosted model, the NCSC recommend you consider: | モデルによって特性は異なります。必ずしも最新のモデルにアクセスする必要はありません。どのモデルから始めても、経験を積み、モデルの能力を把握することができます。ホスト型モデルを使用する前に、NCSCは以下の点を検討することを推奨しています: |
| the physical location and legal jurisdictions which apply to the hosted models | ホスト型モデルに適用される物理的な場所および法的管轄区域 |
| any laws in that location and jurisdictions related to vulnerabilities | その場所および管轄区域における脆弱性に関連するあらゆる法律 |
| 7. Where should I start? | 7. どこから始めればよいでしょうか? |
| When using AI to find vulnerabilities prioritise your external attack surface. You should also look for ways to verify the results, by using both AI and humans. | AIを使用して脆弱性を発見する際は、外部攻撃対象領域を優先してください。また、AIと人間の両方を活用して、結果を確認する方法も模索すべきです。 |
| 8. What’s my long term plan to deal with new AI models? | 8. 新しいAIモデルに対処するための長期的な計画は? |
| The NCSC's view is that keeping pace with frontier AI cyber developments will almost certainly be critical to cyber resilience for the decade to come. New models will come out, they will have different capabilities, and we expect these to improve. Therefore, you need to consider: | NCSCの見解では、最先端のAIサイバー技術の発展に歩調を合わせることが、今後10年間のサイバーレジリエンスにとって極めて重要になることはほぼ確実です。新しいモデルが登場し、それらは異なる能力を持ち、さらに改善されていくことが予想されます。したがって、以下の点を検討する必要があります: |
| ・How you are going to resource this long term? | ・長期的にどのようにリソースを確保するか? |
| ・How will you respond to new models? | ・新しいモデルにどのように対応するか? |
| ・How are you going to engage with your customers? | ・顧客とどのように連携するか? |
| ・How are you going to help customers if they are reluctant to install any updates? | ・顧客が更新プログラムの導入に消極的な場合、どのように支援するか? |
| ・How are you going to respond to vulnerabilities found in devices/libraries/services you use? | ・使用するデバイス/ライブラリ/サービスで脆弱性が発見された場合、どのように対応するか? |
| 9. Where do I need to invest in people? | 9. 人材への投資はどこに注力すべきか? |
| AI is a tool that attackers and defenders will use. Organisations will benefit from combining the capabilities of AI models with staff who understand security. We believe that AI models accelerate the skills of cyber security staff; they don’t replace them. | AIは、攻撃者も防御側も使用するツールです。組織は、AIモデルの機能とセキュリティを理解するスタッフを組み合わせることで恩恵を受けるでしょう。私たちは、AIモデルがサイバーセキュリティ担当者のスキルを加速させるものであり、彼らに取って代わるものではないと考えています。 |
| 10. Do I know how everything we develop or use is patched? | 10. 開発または使用しているすべてのものに、どのようにパッチが適用されているか把握していますか? |
| It’s really important to understand the patching regime in your organisation, and think about how it’s going to change over the next few years. The first step for many organisations involves understanding the entirety of their estate, and identifying the critical products and services. Good asset management and dependency management are crucial. | 組織内のパッチ適用体制を理解し、今後数年間でそれがどのように変化するかを考えることは非常に重要です。多くの組織にとって最初のステップは、保有資産全体を把握し、重要な製品やサービスを特定することです。適切な資産管理と依存関係管理が不可欠です。 |
| These are the questions to ask yourself before using AI to find exploitable vulnerabilities. In the meantime, the NCSC will continue to publish content to help security professionals make sense of the fast-moving world of frontier AI. | これらは、AIを活用して悪用可能な脆弱性を発見する前に自問すべき質問です。その間、NCSCは、セキュリティ専門家が急速に進化する最先端AIの世界を理解できるよう支援するコンテンツを引き続き公開していきます。 |
| Ruth C | ルース・C |
| Head of Vulnerability Management Group, NCSC | NCSC 脆弱性管理グループ長 |














Recent Comments