| Einfluss von KI auf die Cyberbedrohungslandschaft |
サイバー脅威の状況におけるAIの影響 |
| 1 Einleitung |
1 はじめに |
| Mit dem Aufkommen von Anwendungen, die auf großen Sprachmodellen (eng. „large language models“, LLM) basieren, ist KI auch in der Öffentlichkeit wieder ein viel diskutiertes Thema. Die Grenzen dieser neuen Modelle müssen noch erforscht werden und es ist unklar, welche bleibenden Veränderungen der aktuelle KITrend mit sich bringt. Zweifelsohne gibt es Bedenken hinsichtlich der Auswirkungen von KI auf die Cybersicherheit, da sie bereits jetzt die Cyberbedrohungslandschaft sowohl für Angreifer als auch für Verteidiger verändert. Wir untersuchen, wie sich Angriffe und Tätigkeiten von Angreifern durch die neu verfügbare Technologie verändern, wobei wir uns auf die offensive Nutzung von KI konzentrieren. Während generative KI bereits die Qualität und Quantität von Social-Engineering-Angriffen steigert (z. B. Deepfakes oder personalisiertes Phishing in großem Maße), fokussieren wir unsere Diskussion mehr auf technische Angriffsvektoren und weniger auf den menschlichen Faktor. Es sollte jedoch erwähnt werden, dass SocialEngineering-Angriffe zu den häufigsten Angriffen gehören und KI auf diese Art von Angriff starke Auswirkungen hat. |
大規模言語モデル（LLM）に基づくアプリケーションの出現により、AIは再び一般社会で話題となっている。これらの新しいモデルの限界はまだ解明されておらず、現在のAIのトレンドがどのような永続的な変化をもたらすかは不明である。AIがサイバーセキュリティに与える影響について懸念があるのは間違いない。なぜなら、AIはすでに攻撃者と防御者の双方にとってサイバー脅威の状況を変えつつあるからだ。新たに利用可能になった技術の結果、攻撃や攻撃者の活動がどのように変化しているのか、AIの攻撃的利用に焦点を当てて検証する。生成的AIはすでにソーシャル・エンジニアリング攻撃の質と量を高めているが（大規模なディープフェイクやパーソナライズされたフィッシングなど）、ここでは技術的な攻撃ベクトルに重点を置き、人的要因にはあまり触れない。しかし、ソーシャル・エンジニアリング攻撃は最も一般的な攻撃の一つであり、AIがこの種の攻撃に強い影響を与えていることは言及しておく。 |
| Konkret geht es uns nicht darum, alle Möglichkeiten in diesem weiten Feld zu erörtern. Ziel dieses Berichts ist es, KI-gestützte Anwendungen zu identifizieren, die bereits für den offensiven Einsatz verfügbar sind und zu bewerten, wie sich diese Bedrohungen in naher Zukunft entwickeln könnten. Dazu gehören auch Tools und Anwendungen mit doppeltem Verwendungszweck (sog. Dual-Use-Güter), wie z. B. Penetrationstests, die sowohl beim ethischen Red-Teaming als auch bei kriminellen Aktivitäten helfen können. Wir befassen uns auch mit den Sorgen hinsichtlich einer autonomen Hacker-KI, die gelegentlich in den Medien geäußert werden (1) (2). |
具体的には、この広範な分野におけるすべての可能性を議論することには興味がない。本報告書の目的は、すでに攻撃的利用が可能なAI搭載アプリケーションを特定し、近い将来、これらの脅威がどのように進化するかを評価することである。これには、倫理的なレッドチーミングと犯罪活動の両方に役立つ侵入テストなどのデュアルユースツールやアプリケーションも含まれる。また、メディア(1)(2)で時折指摘される自律型ハッカーAIに関する懸念にも対処する。 |
| In diesem Kapitel stellen wir unsere wichtigsten Ergebnisse und Empfehlungen vor. In den folgenden Kapiteln geben wir einen Überblick über verschiedene Bereiche offensiver KI-Anwendungen. |
本章では、我々の主な発見と提言を紹介する。以下の章では、攻撃的AIのさまざまな応用分野について概観する。 |
| 1.1 Ergebnisse |
1.1 調査結果 |
| Auf der Grundlage einer Literaturrecherche und der Bewertung verschiedener Tools und Projekte fassen wir die wichtigsten Ergebnisse wie folgt zusammen: |
文献調査と様々なツールやプロジェクトの評価に基づき、主な発見を以下にまとめる： |
| KI, insbesondere LLMs, senkt die Einstiegshürden und erhöht Umfang und Geschwindigkeit bösartiger Handlungen, einschließlich der Erstellung von Malware, Social-Engineering-Angriffen und der Datenanalyse im Rahmen von Angriffen. Dies führt zu fähigeren Angreifern und qualitativ besseren Angriffen. |
AI、特にLLMは、マルウェアの作成、ソーシャル・エンジニアリング攻撃、攻撃内のデータ分析など、悪意のある行為への参入障壁を低くし、その規模と速度を向上させる。これにより、攻撃者の能力が高まり、攻撃の質が向上する。 |
| Angreifer und Verteidiger profitieren von allgemeinen Produktivitätssteigerungen durch den Einsatz von LLMs, z. B. für die Aufklärung und Open-Source-Intelligenz (z. B. durch das Crawlen und Analysieren von Websites und sozialen Medien) oder die Codegenerierung (z. B. Programmierassistenten). |
攻撃者と防御者は、偵察やオープンソースインテリジェンス（ウェブサイトやソーシャルメディアのクロールと分析など）やコード生成（プログラミングウィザードなど）のためにLLMを使用することで、一般的な生産性向上の恩恵を受ける。 |
| Es gibt Proof of Concepts (PoC) und Projekte, die KI für die autonome Generierung und Mutation von Malware einsetzen. Öffentlich verfügbaren Modelle sind bisher allerdings noch nicht „produktionsreif“. |
マルウェアの自律的な生成や変異にAIを利用する概念実証（PoC）やプロジェクトが存在する。しかし、一般に利用可能なモデルはまだ「量産可能」ではない。 |
| Tools, die Angriffe oder Exfiltrationspfade optimieren, werden derzeit auf einzelne Netzwerke trainiert. Sie sind bis heute nicht verallgemeinerbar und existieren (öffentlich verfügbar) nur als PoCs. |
攻撃や流出経路を最適化するツールは現在、個々のネットワークで訓練されている。現在までのところ、一般化することはできず、PoCとしてのみ存在する（公開されている）。 |
| Agenten, die eigenständig beliebige Infrastrukturen kompromittieren, sind noch nicht verfügbar und werden es wahrscheinlich auch in naher Zukunft nicht sein. LLM-basierte Agenten, die Teile eines Angriffs automatisieren, werden jedoch in naher Zukunft verfügbar sein. |
独立してあらゆるインフラを侵害できるエージェントは、まだ利用可能ではないし、近い将来そうなる可能性も低い。しかし、攻撃の一部を自動化するLLMベースのエージェントは、近い将来利用可能になるだろう。 |
| KI kann bei der automatischen Erkennung von Sicherheitslücken eingesetzt werden. Dies ist ein aktives Forschungsgebiet und es sind mehrere Open-Source-Tools sowie kommerzielle Produkte verfügbar. In Zukunft wird es für Open-Source-Projekte von entscheidender Bedeutung sein, diese Art von Tools proaktiv zu nutzen, bevor böswillige Akteure dies tun. |
AIは、セキュリティ脆弱性の自動検出に利用できる。これは活発な研究分野であり、商用製品だけでなく、オープンソースのツールもいくつかある。将来的には、オープンソースプロジェクトが、悪意ある行為者に先んじて、この種のツールを積極的に活用することが重要になるだろう。 |
| Unsere wichtigsten Ergebnisse stimmen insgesamt mit einem kürzlich veröffentlichten Bericht des britischen National Cyber Security Centre überein (3). |
全体として、我々の主要な調査結果は、英国国立サイバー・セキュリティ・センター（National Cyber Security Centre）が最近発表した報告書（3）と一致している。 |
| 1.2 Empfehlungen |
1.2 提言 |
| Angesichts der sich verändernden Bedrohungslandschaft ist es wichtig, der Cybersicherheit höchste Priorität einzuräumen. Es wird entscheidend sein, die Geschwindigkeit und den Umfang der Abwehrmaßnahmen zu erhöhen, insbesondere, aber nicht ausschließlich, durch |
脅威の状況の変化を考えると、サイバーセキュリティを優先することが重要である。防御のスピードと範囲を向上させることが重要であり、特に以下が重要である。 |
| ・ Verbesserung des Patchmanagements, |
・ パッチ管理を改善する、 |
| ・ Aufbau einer resilienten IT-Infrastruktur, |
・ 回復力のあるITインフラを構築する、 |
| ・ Verbesserung der Angriffserkennung, |
・ 攻撃検知能力の向上 |
| Verstärkung der Social-Engineering-Prävention (z. B. Sensibilisierungsschulung, Multi-FaktorAuthentifizierung, Zero-Trust-Architektur) sowie |
ソーシャル・エンジニアリング対策の強化（意識向上トレーニング、多要素認証、ゼロ・トラスト・アーキテクチャーなど）。 |
| Nutzung der allgemeinen Vorteile der KI für Verteidigungsmaßnahmen (z. B. Erkennung von Bedrohungen und Schwachstellen). |
AIの一般的な利点を防御対策に活用する（脅威や脆弱性の検出など）。 |
| Da KI häufig klassische Angriffe verstärkt, fallen auch diese Maßnahmen weitgehend in den Bereich der klassischen IT-Sicherheit. |
AIは伝統的な攻撃を強化することが多いため、これらの対策も大部分が伝統的なITセキュリティの範囲に含まれる。 |
| 1.3 Limitierungen |
1.3 制限事項 |
| Sowohl Cybersicherheit als auch Künstliche Intelligenz unterliegen einem ständigen Wandel, weshalb es wichtig ist, Veränderungen und neue Entwicklungen bezüglich der Bedrohungslandschaft weiterhin zu beobachten. Zwar gibt es noch keine autonomen Hackeragenten, aber es ist schwierig, Programme fähiger Akteure zuverlässig zu bewerten oder technische Durchbrüche vorherzusagen. Bei unserer derzeitigen Bewertung der Auswirkungen von KI auf die Cyberbedrohungslandschaft gehen wir davon aus, dass es in naher Zukunft keine bedeutenden Durchbrüche bei der Entwicklung von KI, insbesondere von LLMs, geben wird. Sollte sich diese Annahme nicht bewahrheiten, müssen die Auswirkungen neu bewertet werden. |
サイバーセキュリティも人工知能も常に変化しており、脅威の状況の変化や新たな展開を監視し続けることが重要な理由である。自律的なハッキング・エージェントはまだ存在しないが、有能な行為者のプログラムを確実に評価したり、技術的なブレークスルーを予測したりすることは難しい。サイバー脅威の状況に対するAIの影響に関する我々の現在の評価では、近い将来、AI、特にLLMの開発に大きなブレークスルーは起きないと仮定している。この仮定が実現しない場合は、影響を再評価する必要がある。 |
| 2 Auswirkungen großer Sprachmodelle |
2 大規模言語モデルの影響 |
| Mit der Veröffentlichung von ChatGPT im November 2022 hat ein Wettbewerb um die Führung auf dem Markt für Chatbots begonnen. Es werden ständig neue Produkte und Sprachmodelle veröffentlicht, die erhebliche Leistungssprünge versprechen. Infolgedessen ist es nun für praktisch jedermann möglich, auf leistungsstarke Sprachmodelle zuzugreifen, welche Ergebnisse von bisher unerreichter Qualität liefern. Die Leistung und Verfügbarkeit dieser Sprachmodelle hat inzwischen verschiedene Branchen beeinflusst und wird auch den Cybersicherheitssektor nachhaltig beeinflussen. |
2022年11月にChatGPTがリリースされ、チャットボット市場における主導権争いが始まった。パフォーマンスの大幅な飛躍を約束する新製品や言語モデルが次々とリリースされている。その結果、前例のない品質の結果をもたらす強力な言語モデルに、事実上誰でもアクセスできるようになった。こうした言語モデルの性能と利用可能性は、今やさまざまな業界に影響を及ぼしており、サイバーセキュリティ分野にも永続的な影響を与えるだろう。 |
| Für cybersicherheitsrelevante Anwendungen können LLMs hilfreich sein, indem sie direkt über eine Web oder mobile App (in der Regel als Chatbot) aufgerufen werden. Es ist auch möglich, den API-Zugang zu nutzen, um LLMs in bestehende Tools (z. B. Reverse-Engineering-Tools oder Penetrationtestframeworks) zu integrieren oder neue Anwendungen zu entwickeln. Methoden und Anwendungen im Bereich der Cybersicherheit weisen Dual-Use-Eigenschaften auf, wobei ihre ethische Anwendung von den Absichten des Nutzers abhängt. Dieser Grundsatz gilt auch für die Verwendung von LLMs im Bereich der Cybersicherheit. Ob die Verwendung gutartig oder bösartig ist, hängt von der Absicht des Benutzers ab. Leider ist es für Benutzer mit schlechten Absichten leicht, die Fähigkeiten von LLMs zu missbrauchen. Neben allgemeinen Produktivitätsgewinnen für böswillige Akteure sehen wir derzeit eine böswillige Nutzung vor allem in zwei Bereichen: Social Engineering und Generierung von bösartigem Code. |
サイバーセキュリティ関連のアプリケーションでは、LLMをウェブやモバイルアプリ（通常はチャットボットとして）を介して直接呼び出すことで役立てることができる。また、APIアクセスを利用して、LLMを既存のツール（リバースエンジニアリングツールや侵入テストフレームワークなど）に統合したり、新しいアプリケーションを開発したりすることも可能だ。サイバーセキュリティ分野の手法やアプリケーションは、倫理的な適用が利用者の意図に依存するという二重使用の特性を持つ。この原則は、サイバーセキュリティにおける LLM の使用にも適用される。使用が良性か悪性かは、使用者の意図に依存する。残念ながら、悪意のあるユーザーがLLMの機能を悪用することは容易である。悪意のある行為者の一般的な生産性向上に加え、現在、ソーシャル・エンジニアリングと悪意のあるコード生成という2つの主要分野で悪意のある利用が見られる。 |
| Der einfache Zugang zu hochwertigen LLMs ermöglicht es, selbst mit geringen oder gar keinen Fremdsprachenkenntnissen automatisch überzeugende Phishing-Nachrichten von hoher Qualität zu erstellen. Die Anweisungen können mit zusätzlichem Kontext ergänzt werden, um die Nachrichten zu personalisieren oder einen bestimmten Schreibstil zu verwenden, was zu überzeugenden Nachrichten führt. Herkömmliche Methoden zur Erkennung betrügerischer Nachrichten, wie z. B. die Prüfung auf Rechtschreibfehler und unkonventionellen Sprachgebrauch, reichen daher nicht mehr aus. LLMs können auch eingesetzt werden, um die Erfolgsquote von Phishingangriffen weiter zu erhöhen, indem beispielsweise plausible Domainnamen und URLs generiert werden. Die Kombination eines LLM mit anderen generativen KI-Techniken, wie z. B. Deepfakes für Bild- und Audioinhalte, ermöglicht es böswilligen Akteuren, SocialEngineering-Angriffe von noch nie dagewesener Qualität durchzuführen. |
高品質のLLMに簡単にアクセスできるため、外国語の知識がほとんどなくても、説得力のある高品質のフィッシング・メッセージを自動的に作成することができる。メッセージをパーソナライズしたり、特定の文体を使用したりするために、追加の文脈で指示を補足することができ、説得力のあるメッセージを作成することができる。そのため、スペルミスや型にはまった言葉の使い方をチェックするといった従来の詐欺メッセージの認識方法ではもはや不十分である。LLMはまた、例えばもっともらしいドメイン名やURLを生成することで、フィッシング攻撃の成功率をさらに高めるために使用することもできる。LLMと、画像や音声コンテンツに対するディープフェイクのような他の生成AI技術を組み合わせることで、悪意のある行為者は、これまでにない質のソーシャル・エンジニアリング攻撃を行うことができる。 |
| Es ist in der Regel schwierig, einen bestimmten Angriff mit der Verwendung eines LLM in Verbindung zu bringen, da dies eng mit dem Problem der Erkennung von KI-generierten Inhalten im Allgemeinen verbunden ist. Berichte in den Medien, von Sicherheitsberatungsunternehmen und Regierungsbehörden sowie Untersuchungen auf Marktplätzen liefern jedoch eindeutige Beweise für die Verwendung von LLMs durch böswillige Akteure, einschließlich sog. Advanced Persistent Threats (4). |
これはAIが生成したコンテンツ全般を認識する問題と密接に関連しているため、特定の攻撃とLLMの使用を結びつけることは通常困難である。しかし、メディア、セキュリティ・コンサルタント会社、政府機関からの報告や、市場における調査から、高度持続的脅威（Advanced Persistent Threats）（4）を含む悪意のある行為者がLLMを使用している明確な証拠が得られている。 |
| Die Fähigkeit von LLM, schädlichen Code zu generieren, verändert auch die Cyberbedrohungslandschaft, da sie insbesondere die Einstiegshürden für Personen, die bösartige Aktivitäten durchführen wollen, senkt, indem sie es auch Personen mit begrenzten technischen Kenntnissen ermöglicht, anspruchsvollen schädlichen Code zu produzieren (5). Auch bereits fähige Akteure profitieren von Produktivitätssteigerungen. Die Anbieter von Chatbots oder offenen LLMs treffen in der Regel Vorkehrungen um sicherzustellen, dass ihre Produkte nicht missbraucht werden können. Es werden Filtersysteme eingesetzt, um unerwünschte Ausgaben zu verhindern. Diese Systeme sind in der Regel nützlich, um einfache Aufforderungen mit böswilligen Absichten, wie z. B. „Erstelle mir Code für Ransomware“, abzufangen. Es ist jedoch oft nur wenig Aufwand und Wissen über die Domäne erforderlich, um diese Systeme zu umgehen. Da die Filterung immer ein Kompromiss zwischen der Verhinderung unerwünschter Ausgaben und der gleichzeitigen Bereitstellung eines Systems mit hohem Nutzen ist, ist es fraglich, inwieweit solche Filterungen Missbrauch wirksam verhindern können. |
LLMが悪意のあるコードを生成できるようになったことで、サイバー脅威の状況も変化している。特に、技術的な知識に乏しい者でも洗練された悪意のあるコードを生成できるようになったことで、悪意のある活動を行おうとする者の参入障壁が低くなった(5)。すでに能力のある行為者も、生産性の向上から利益を得ている。チャットボットやオープンLLMのプロバイダーは通常、製品が悪用されないように予防措置を講じている。不要な出力を防ぐためにフィルタリングシステムが使用される。これらのシステムは通常、「ランサムウェアのコードを作って」といった悪意のある単純なリクエストを傍受するのに役立つ。しかし、これらのシステムをバイパスするためには、少しの努力とドメインの知識が必要であることが多い。フィルタリングは常に、不要なアウトプットを防ぐことと、同時に高い実用性を持つシステムを提供することの妥協点であるため、このようなフィルタリングがどの程度まで効果的に悪用を防ぐことができるかは疑問である。 |
| Die Nutzung eines Chatbots, der von einem Onlinedienst bereitgestellt wird, der ein System zur Verhinderung unethischer Ausgaben einsetzt, ist nicht die einzige Möglichkeit, auf ein LLM zuzugreifen. Weitere Möglichkeiten sind die Verwendung von „Jailbreaks“ (Nutzereingaben, die bestehende Filter und Anweisungen außer Kraft setzen), die Verwendung von Diensten, die die Ausgabe nicht rigoros filtern oder die Verwendung „unzensierter“ öffentlicher Modelle. Zusätzliche Schritte zur Umgehung der Filter, wie sie oben erwähnt wurden, sind hier nicht erforderlich. |
非倫理的な支出を防止するシステムを利用するオンライン・サービスが提供するチャットボットを利用することだけが、LLMにアクセスする唯一の方法ではない。他の可能性としては、「ジェイルブレイク」（既存のフィルタリングや指示を上書きするユーザー入力）の使用、出力を厳密にフィルタリングしないサービスの使用、「検閲されていない」公開モデルの使用などがある。上記のようなフィルターを迂回するための追加ステップは、ここでは必要ない。 |
| 3 KI-basierte Schadcodegenerierung |
3 AIベースの悪意あるコード生成 |
| Malware ist der Sammelbegriff für schädliche Software, wie z.B. Ransomware, Würmer oder Trojaner. Oft ist es das Ziel von Angreifern, Malware auf einem Zielcomputer zu platzieren, sei es über Exploits oder durch Social Engineering. Maßnahmen wie Virenscanner bekämpfen solche Software, indem sie Schadcode erkennen und das Ausführen unterbinden. Dies führt zu einem Wettrüsten zwischen den Angreifern, die neue Malware entwickeln, und den Verteidigern, die ihre Verteidigungsmaßnahmen anpassen, um neue Bedrohungen abzuwehren. |
マルウェアとは、ランサムウェア、ワーム、トロイの木馬などの悪意のあるソフトウェアの総称である。攻撃者は多くの場合、エクスプロイトやソーシャル・エンジニアリングによって、標的のコンピューターにマルウェアを仕掛けることを目的としている。ウイルススキャナーなどの対策は、悪意のあるコードを認識し、その実行を阻止することで、このようなソフトウェアに対抗する。これは、新たなマルウェアを開発する攻撃者と、新たな脅威を撃退するために防御を適応させる防御者との間の軍拡競争につながる。 |
| Daher ist es interessant zu untersuchen, wie KI die Erstellung und Verwendung von Malware beeinflusst. Im Rahmen unserer Recherchen haben wir mehrere Möglichkeiten gefunden, wie KI in diesem Bereich eingesetzt wird. Die Modelle reichen von LLMs über GANs (Generative Adversial Networks) bis hin zu Reinforcement-Learning-Systemen und sie werden für verschiedene Zwecke eingesetzt. |
したがって、AIがマルウェアの作成と使用にどのような影響を与えるかを調査することは興味深い。我々の調査では、この分野でAIが使用されているいくつかの方法を発見した。そのモデルは、LLMからGAN（Generative Adversial Networks：生成逆行ネットワーク）、強化学習システムまで多岐にわたり、それぞれ異なる目的で使用されている。 |
| Erstens ermöglicht KI Akteuren mit geringen oder gar keinen technischen Kenntnissen, Malware einfacher zu erstellen. Sie brauchen kein tiefes Verständnis für die Programmierung oder die Funktionsweise von Malware und können ihre Anfrage in natürlicher Sprache stellen. |
第一に、AIによって、技術的な知識がほとんどない、あるいはまったくない行為者でも、より簡単にマルウェアを作成できるようになる。彼らはプログラミングやマルウェアの仕組みについて深く理解する必要がなく、自然言語で要求することができる。 |
| Weiterhin besteht die Sorge, dass KI dazu verwendet werden könnte, eigenständig Malware zu schreiben. Dies geht einen Schritt weiter als die bloße Unterstützung menschlicher Akteure. LLMs können bereits einfache Malware schreiben, aber wir haben keine KI gefunden, die eigenständig in der Lage ist, fortgeschrittene, bisher unbekannte Malware zu schreiben (z. B. mit komplizierten Verschleierungsmethoden oder Zero-DayExploits). Die erforderlichen Trainingsdaten über Malware und Schwachstellen wären zudem nur sehr schwer und teuer zu erstellen. |
また、AIが単独でマルウェアの作成に利用されることも懸念されている。これは、単に人間の行為者を支援するよりも一歩進んでいる。LLMはすでに単純なマルウェアを作成することができるが、高度で未知のマルウェアを自力で作成できるAIは見つかっていない（複雑な難読化手法やゼロデイ・エクスプロイトなど）。マルウェアや脆弱性に関する必要な学習データを作成するのも、非常に困難でコストがかかるだろう。 |
| Als nächstes kann KI dabei helfen, Malware zu modifizieren. Dies ist realistischer als Malware von Grund auf neu zu erstellen und es existieren bereits mehrere Forschungsarbeiten über die Modifizierung von Malware durch KI. Dies geschieht meist in einem Featureraum, nicht auf der eigentlichen Codeebene, und mit dem Ziel, eine Entdeckung zu vermeiden. Allerdings findet dies bislang in einem eher akademischen Umfeld statt und wir haben keine Hinweise darauf gefunden, dass diese Modelle bereits eingesetzt werden. Außerdem gibt es kein ausgefeiltes Tool, sondern nur PoCs und Forschungsprojekte. Dieser Ansatz eignet sich nur für hochqualifizierte Akteure, sowohl im Bereich Malware als auch KI, zudem ist für das Training solcher Tools ist eine gute Datenbasis erforderlich. |
次に、AIはマルウェアの改変を支援することができる。これは、ゼロからマルウェアを作成するよりも現実的であり、AIによるマルウェアの改変に関する研究論文もすでにいくつかある。これは通常、実際のコードレベルではなくフィーチャー・ルームで行われ、検知を回避することを目的としている。しかし、これまでのところ、これはよりアカデミックな環境で行われており、これらのモデルがすでに使用されているという証拠は見つかっていない。さらに、洗練されたツールはなく、PoCと研究プロジェクトのみである。このアプローチは、マルウェアとAIの両方において、高度に熟練した行為者にのみ適しており、そのようなツールを訓練するには優れたデータベースが必要である。 |
| Schließlich möchten wir noch KI als Teil der Malware erwähnen. Hier erstellt die KI nicht die Malware an sich, sondern ist in die Funktionalität der Malware integriert. Oft ist das Ziel, die Malware zu verschleiern und damit zu verhindern, dass sie entdeckt wird. Um einer Entdeckung zu entgehen, existieren so genannte polymorphe Engines, die den Code der Malware verändert, während ihre Funktionalität erhalten bleibt. Eine Anwendung von KI in diesem Bereich ist zumindest denkbar. Dabei würde die Manipulation des Codes durch ein KI-Modell bestimmt werden. Zum jetzigen Zeitpunkt gibt es keine Hinweise darauf, dass ein solches Modell im Einsatz ist, obwohl es viele Warnungen vor einer solchen theoretischen Möglichkeit gibt. Eine andere Möglichkeit wäre, ein KI-Modell so zu trainieren, dass es das Benutzerverhalten nachahmt, so dass die Aktionen der Malware weniger auffällig sind. |
最後に、マルウェアの一部としてのAIについて触れておきたい。この場合、AIはマルウェア自体を作成するのではなく、マルウェアの機能に組み込まれる。その目的は多くの場合、マルウェアを偽装し、検知されないようにすることである。検知を回避するために、マルウェアの機能を保持したままコードを変更する、いわゆるポリモーフィック・エンジンが存在する。この分野にAIを応用することは、少なくとも考えられる。コードの操作はAIモデルによって決定される。現段階では、そのようなモデルが使用されているという証拠はないが、そのような理論的可能性については多くの警告がなされている。もう一つの可能性は、マルウェアの行動が目立たないように、ユーザーの行動を模倣するAIモデルを訓練することだろう。 |
| 4 KI-basierte Angriffe |
4 AIベースの攻撃 |
| Das interessanteste Tool für cyberkriminelle Aktivitäten wäre eine KI, die das Ziel als Eingabe erhält (sei es ein IP-Bereich oder ein Name) und alle Schritte eines Cyberangriffs völlig selbstständig durchführt. Die Strategie- und Abstraktionsfähigkeiten der neusten KI-Technologien machen sie zu erstklassigen Kandidaten für die Entwicklung eines solchen Tools. Aus der Sicht eines Penetrationstesters wäre dies ein nützliches Werkzeug, um Systeme zu härten und den Zeitaufwand für die Durchführung von Penetrationstests zu verringern. Hierbei handelt es sich um ein aktuelles Forschungsfeld und es werden Anstrengungen unternommen, ein solches Tool zu entwickeln. |
サイバー犯罪活動にとって最も興味深いツールは、ターゲット（IPレンジであれ名前であれ）を入力として受け取り、サイバー攻撃のすべてのステップを完全に自律的に実行するAIだろう。最新のAI技術の戦略性と抽象化能力は、そのようなツールの開発に最適な候補となる。侵入テスト実施者の観点からすれば、これはシステムを堅牢化し、侵入テストに要する時間を短縮するための有用なツールとなるだろう。これは現在の研究分野であり、このようなツールを開発するための努力がなされている。 |
| In diesem Bereich sind Reinforcement-Learning-Systeme ein gängiger Ansatz, da diese in der Lage sind, mit einer Umgebung zu interagieren, daraus zu lernen und langfristige Strategien zu entwickeln. Kürzlich wurden auch LLMs als Lösung für dieses Problem vorgeschlagen. In unserer Forschung haben wir kein Werkzeug gefunden, das diese Aufgabe vollständig lösen kann. Es gibt jedoch einige Tools, die Teile des Prozesses automatisieren. Meistens handelt es sich bei diesen Tools um akademische Projekte oder PoCs, die nicht besonders benutzerfreundlich oder ausgefeilt sind. Oft ist der Anwendungsbereich dieser Tools entweder sehr groß oder sehr klein. Im großen Maßstab betrachten beispielsweise Tools zur Planung von Angriffswegen eine abstrakte Version eines Zielnetzes und planen einen optimalen Angriffsweg. Ein aktiver Angriff findet dabei nicht statt. Ähnlich verhält es sich mit Modellen, die optimale Exfiltrationspfade für Systeme finden. |
この分野では、環境と相互作用し、そこから学習し、長期的な戦略を立てることができる強化学習システムが一般的なアプローチである。最近では、LLMもこの問題の解決策として提案されている。我々の研究では、この課題を完全に解決できるツールは見つかっていない。しかし、プロセスの一部を自動化するツールはいくつかある。ほとんどの場合、これらのツールは学術的なプロジェクトやPoCであり、特にユーザーフレンドリーでも洗練されているわけでもない。多くの場合、これらのツールの適用範囲は非常に大きいか小さいかのどちらかである。大規模なものでは、例えば攻撃経路計画ツールはターゲット・ネットワークの抽象的なバージョンを見て、最適な攻撃経路を計画する。能動的な攻撃は行われない。システムの最適な流出経路を見つけるモデルも状況は似ている。 |
| Auf der anderen Seite gibt es Tools, die explizit auf ein einzelnes, spezifisches Netzwerk trainiert sind und versuchen, dort einen erfolgreichen Angriff zu starten. Dies erfordert Kenntnisse über das Zielnetzwerk, sowie eine Trainingsphase, die kaum unbemerkt bleiben wird. Außerdem lässt sich ein trainierter Agent nicht ohne weiteres auf andere Netze verallgemeinern. Die Umgebungen verschiedener Systeme und Netze unterscheiden sich stark in Größe und verfügbaren Aktionen. Das macht eine Verallgemeinerung sehr schwierig. Außerdem ist eine sehr große Trainingsdatenmenge erforderlich, um die Fülle der Optionen abzudecken. Diese Probleme machen den Schritt von einem Konzeptnachweis zu einer realen, allgemeinen Anwendung zu einem schwierigen, wahrscheinlich derzeit ungelösten Problem. LLMs könnten ein Ansatz sein, um die Verallgemeinerbarkeit zu verbessern. |
一方、単一の特定のネットワークに対して明示的に学習させ、そこで攻撃を成功させようとするツールもある。これにはターゲット・ネットワークに関する知識と、気付かれにくい訓練段階が必要となる。さらに、訓練されたエージェントを単純に他のネットワークに一般化することはできない。異なるシステムやネットワークの環境は、規模も利用可能なアクションも大きく異なる。そのため、汎化は非常に困難である。さらに、豊富な選択肢をカバーするためには、非常に大量の学習データが必要となる。これらの問題により、概念実証から実際の一般化されたアプリケーションへのステップアップは困難であり、おそらく現在のところ未解決の問題である。LLMは、汎化可能性を向上させる1つのアプローチとなり得る。 |
| Es gibt mehrere Tools, die das Pentesting durch KI-Assistenten unterstützen. Nach Tests haben wir festgestellt, dass diese Tools vor allem als Unterstützung für Personen dienen, die versuchen, einen Angriff zu starten und dadurch die Einstiegsschwelle senken. |
AIアシスタントによるペンテストをサポートするツールはいくつかある。テストした結果、これらのツールは主に攻撃を開始しようとする人のサポートとして機能し、それによって参入の敷居を下げていることがわかった。 |
| Ein anderer Ansatz für LLMs ist, ähnlich wie bei den oben genannten Tools, bestimmte Teile der Angriffskette zu automatisieren. Hier ist vor allem die Aufklärungsphase zu nennen, aber auch andere Schritte wie die Analyse von Serverantworten. Die Anwendung von KI als vollautomatisches Angriffswerkzeug ist ein Bereich, der intensiv erforscht wird. Wir erwarten weitere Projekte und Tools in diesem Bereich, insbesondere solche, die sich auf die Verwendung von LLMs und generativer KI konzentrieren. |
LLMのもう一つのアプローチは、上述のツールと同様、攻撃チェーンの特定の部分を自動化することである。これには主に偵察段階が含まれるが、サーバー応答の分析など他の段階も含まれる。完全に自動化された攻撃ツールとしてのAIの使用は、現在、集中的に研究されている分野である。この分野では、特にLLMや生成的AIの利用に焦点を当てたプロジェクトやツールの増加が期待される。 |
| 5 Weitere Schnittstellen zwischen KI und Cybersicherheit |
5 AIとサイバーセキュリティのさらなるインターフェース |
| In diesem Abschnitt geben wir einen Überblick über andere Bereiche, in denen sich KI und Cybersicherheitsanwendungen überschneiden. Der sichtbarste davon die Integration von LLMs in diverse Tools, wie sie auch in anderen Bereichen stattfindet. |
このセクションでは、AIとサイバーセキュリティ・アプリケーションが交差するその他の分野の概要を説明する。その中で最も目につくのは、他の分野でも起こっているように、LLMを様々なツールに統合することである。 |
| LLMs wurden bereits in IDEs (integrierte Entwicklungsumgebungen) integriert und es gibt Plugins für Reverse-Engineering- oder Penetrationstest-Tools. Diese Plugins rufen in der Regel die API eines LLMAnbieters mit einer vorgefertigten Anweisung und Inhalten aus der jeweiligen Anwendung auf, das Ergebnis wird dann innerhalb der Anwendung angezeigt. Der Nutzen im Vergleich zur direkten Verwendung des LLM, beispielsweise im Browser (zusammen mit dem Kopieren und Einfügen des jeweiligen Inhalts), ist derzeit noch begrenzt. |
LLMはすでにIDE（統合開発環境）に統合されており、リバースエンジニアリングや侵入テストツール用のプラグインもある。これらのプラグインは通常、LLMプロバイダーのAPIを、それぞれのアプリケーションから用意された命令とコンテンツで呼び出し、その結果をアプリケーション内に表示する。LLMを直接、例えばブラウザで（それぞれのコンテンツをコピー・アンド・ペーストして）使用するのに比べ、利点は今のところまだ限られている。 |
| KI wird auch bei der automatischen Erkennung von Sicherheitslücken eingesetzt. Aufgrund ihrer Vorteile für die Softwareentwicklung ist dies ein aktives Forschungsgebiet und es sind mehrere Open-Source-Tools sowie kommerzielle Produkte verfügbar. Die Analyse von Open-Source-Anwendungen mit diesen Tools ist sehr einfach durchführbar. Daher ist es für Open-Source-Projekte von entscheidender Bedeutung, diese Art von Tools proaktiv zu nutzen, bevor böswillige Akteure dies tun. Obwohl für die Analyse in der Regel der Quellcode benötigt wird, ist es in Kombination mit Reverse-Engineering-Tools bis zu einem gewissen Grad möglich, Methoden zur Erkennung von Schwachstellen bei Closed-Source-Anwendungen einzusetzen. Es gibt Projekte, die diesen Prozess mithilfe eines LLM automatisieren. Die Ergebnisse sind jedoch je nach Komplexität des Codes und der Verschleierungstechniken sehr unterschiedlich. |
AIは、セキュリティ脆弱性の自動検出にも使われている。ソフトウェア開発にとって有益であるため、これは活発な研究分野であり、商用製品だけでなく、いくつかのオープンソースツールも利用可能である。これらのツールを使ってオープンソースのアプリケーションを分析することは非常に簡単である。したがって、オープンソースプロジェクトにとって、悪意のある行為者が行う前に、この種のツールを積極的に活用することは極めて重要である。分析には通常ソースコードが必要であるが、リバースエンジニアリングツールと組み合わせて、クローズドソースアプリケーショ ンの脆弱性検出手法を使用することはある程度可能である。LLMを使ってこのプロセスを自動化するプロジェクトもある。しかし、結果はコードの複雑さや難読化技術によって大きく異なる。 |
| Captchas werden allgegenwärtig eingesetzt, um zwischen automatisierten Bots und echten menschlichen Nutzern durch verschiedene Aufgaben wie verzerrte Text- oder Bilderkennungsaufgaben zu unterscheiden und so bösartige Aktivitäten wie Spamming, Brute-Force-Angriffe und Data Scraping zu verhindern, indem sie menschenähnliche Antworten verlangen. Methoden zur Umgehung von Captchas gibt es jedoch schon seit ihrer Erfindung. Heutzutage wird auch KI für diesen Zweck eingesetzt und die Auswahl an solchen Tools und Online-Diensten, die gute Ergebnisse liefern, ist groß. |
キャプチャは、偏ったテキストや画像認識タスクなどの様々なタスクを通じて、自動化されたボットと実際の人間ユーザーを区別するためにユビキタスに使用されており、人間のような応答を要求することで、スパム、総当たり攻撃、データスクレイピングなどの悪意のある行為を防止している。しかし、キャプチャを回避する方法は、発明当初から存在していた。現在では、AIもこの目的に使用され、良い結果をもたらすそのようなツールやオンラインサービスが幅広く存在する。 |
| KI wird auch zum Erraten von Passwörtern eingesetzt. Ausgehend von der Annahme, dass bestimmte Arten von Passwörtern mit größerer Wahrscheinlichkeit von Menschen verwendet werden, werden die Regeln für Passwortkandidaten aus Daten gelernt, im Gegensatz zu bestehenden Tools zum Erraten von Passwörtern, bei denen diese Regeln von Hand ausgearbeitet werden. Durch diverse Leaks existieren hierfür viele Trainingsdaten. |
AIはパスワードの推測にも使われる。ある種のパスワードは人間が使用する可能性が高いという仮定に基づき、パスワードの候補のルールはデータから学習される。このための学習データは、様々なリークによって数多く存在する。 |
| Da jeder bestrebt ist, KI in seine Prozesse zu integrieren, wird die Gefahr von eingebetteter Malware in der KI oder in Daten immer größer. Es gibt bereits Fälle, in denen Malware in den Parametern neuronaler Netze verschlüsselt ist, wobei die Nutzbarkeit des Modells kaum verändert ist. Schädlicher Code kann auch in trainierten Modellen versteckt sein, die häufig auf bestimmten Plattformen verbreitet werden (6). Außerdem können LLMs und das dazugehörige Ökosystem dazu missbraucht werden, bösartige Software an die Nutzer zu verteilen. |
誰もがAIをプロセスに組み込もうとする中、AIやデータにマルウェアが埋め込まれるリスクは高まっている。マルウェアがニューラルネットワークのパラメータにエンコードされ、モデルの使い勝手がほとんど変わらないケースはすでにある。また、特定のプラットフォームで配布されることの多い学習済みモデルにも、悪意のあるコードが隠されている可能性がある(6)。さらに、LLMと関連するエコシステムが悪用されて、悪意のあるソフトウェアがユーザーに配布される可能性もある。 |
| Auf der Hardwareseite der Angriffe sind Seitenkanalangriffe ein bekannter Angriffsvektor. Sie erfordern jedoch ein hohes Maß an technischem Können und Knowhow. Es gibt PoCs über KI-Modelle, die bei Seitenkanalangriffen helfen und diese möglicherweise für weniger erfahrene Angreifer leichter zugänglich machen. |
ハードウェア側の攻撃としては、サイドチャネル攻撃が知られている。しかし、これには高度な技術力と専門知識が必要とされる。サイドチャネル攻撃を支援するAIモデルのPoCがあり、経験の浅い攻撃者でもアクセスしやすくなる可能性がある。 |
| Seriöse Softwareanbieter haben damit begonnen, LLMs für den Kundensupport zu nutzen. In ähnlicher Weise könnten auch böswillige Akteure LLMs nutzen, um Malware-as-a-Service-Nutzern Unterstützung zu bieten. Technisch weniger versierte Opfer von Ransomwareangriffen sind oft mit der Beschaffung der für die Zahlung des Lösegelds erforderlichen Kryptowährung überfordert. Cyberkriminelle bieten bereits Unterstützung bei der Beschaffung und Zahlung an. Dieser Prozess kann durch den Einsatz von LLMs automatisiert und in verschiedenen Sprachen angeboten werden, um die Erfolgsquote zu erhöhen. |
評判の良いソフトウェアベンダーは、カスタマーサポートにLLMを活用し始めている。同様に、悪意ある行為者もLLMを利用して、マルウェア・アズ・ア・サービスのユーザーにサポートを提供する可能性がある。ランサムウェア攻撃の被害者は、身代金の支払いに必要な暗号通貨の入手に追われることが多い。サイバー犯罪者はすでに、調達と支払いの支援を提供している。このプロセスをLLMを利用して自動化し、さまざまな言語で提供することで、成功率を高めることができる。 |
Recent Comments