ENISA CTFの分析(^^)
こんにちは、丸山満彦です。
ENISAがCTFの分析をした報告書を公表していますね。。。CTFを設計する人には参考になると思います。。。これは面白い視点ですね。。。主要な22のCTFとトータル879のCTFの分析をしています。。。
ENISAも毎年CTF (EUROPEAN CYBER SECURITY CHALLENGE) を開催していて、今年は2021.09.28に開催予定のようですね。。。
● ENISA
・ 2021.05.10 (news) Capture-The-Flag Competitions: all you ever wanted to know!
The report reviews the current formats of Capture-The-Flag (CTF) competitions at a global scale. Find out how they operate and what experts recommend for designing such events.
・2021.05.10 (publications) CTF Events
・[PDF] CTF EVENTS - Contemporary Practices and State-of-the-Art in Capture-the-Flag Competitions
主要なCTFとして取り上げた22のCTFは
European Cyber Security Challenge
Cyber Centurion - CSC UK
ACSC-ASEAN
Cambridge 2 Cambridge Cyber Competition
Country 2 Country
Cyber Challenge Italia
Cyber Security Challenge Canada
Cyber Security Challenge Germany
Cyber Security Challenge SA
DEF CON CTF
Midnight Sun Capture the Flag (AFCEA Sweden)
PicoCTF
Pwn2Own
US Cyber Challenge
WCTF (Qihoo 360)
CyberTalents Arab and Africa Regional CTF
National Collegiate Cyber Defense Competition
International Collegiate Cyber Defense Competition
Global Cyberlympics
PlaidCTF
HITCON
Google CTF
です。。。
概要は、
| EXECUTIVE SUMMARY | 要旨 |
| This report addresses the contemporary use of capture-the-flag (CTF) competitions around the world. It first provides background on such competitions, their structure and variations. Analyses of recent competitions is then conducted, comprising an in-depth qualitative analysis of notable events (22 in total) and a high-level statistical analysis of a large dataset of public events of all levels (879 in total). | 本報告書は、世界各地で行われている「旗を取る」（CTF）競技の現状を取り上げています。まず、このような競技の背景、その構造やバリエーションについて説明している。続いて、最近の大会の分析を行った。注目すべきイベント（合計22件）の詳細な質的分析と、あらゆるレベルの公共イベント（合計879件）の大規模なデータセットのハイレベルな統計分析からなります。 |
| The results show a great deal of variation in some areas: | その結果、いくつかの分野で非常に大きなばらつきが見られました。 |
| • team size | • チームサイズ |
| • challenge categories | • 課題のカテゴリー |
| • scoring methodology | • 点数付方法 |
| • hosting of event online vs. in-person | • オンラインと対面式のイベントの開催 |
| • use of qualifier rounds | • 予選ラウンドの使用 |
| • inclusion of peripheral activities | • 併設活動の組み込み |
| • communication channels for media strategy | • メディア戦略におけるコミュニケーションチャネル |
| By contrast, little variation was seen in: | 一方、次の項目についてはほとんど違いが見られませんでした。 |
| • entry restrictions (usually only upon location) | • 入場制限（通常は場所による制限のみ） |
| • diversity policy (mostly absent) | • ダイバーシティ・ポリシー（ほとんど存在しない） |
| • format (typically a ‘Jeopardy’ format) | • 形式（通常は「Jeopardy」形式） |
| • prizes (usually provided) | • 賞品（通常は提供される） |
| • duration (events typically spanning a single day or a few days) | • 期間（イベントは通常、1日または数日で終わる） |
| The report discusses the findings and proposes topics for consideration during event design. In particular: | 本報告書では、調査結果を考察し、イベント設計時に検討すべきテーマを提案しています。具体的には |
| Team sizes: Hard limits may not be necessary and unbounded team sizes are seen in notable events. | チームサイズ：難しい制限は必要ないかもしれませんが、注目すべきイベントでは制限のないチームサイズが見られます。 |
| Formats: Recognised formats promote east of understanding among participants. | フォーマット：認知されたフォーマットは、参加者間の理解を深める。 |
| Formats have commonly-associated scoring methodologies and challenge categories, which can act as a starting point for event design. | フォーマットには、一般的に関連付けられたスコアリング方法やチャレンジカテゴリーがあり、イベントデザインの出発点となります。 |
| Parallel Competitions: Running parallel events with a different focus (different audience or different challenge type) can broaden appeal easily. | 併設競技：並行して開催されるイベントは、異なる焦点（異なる対象者、異なる種類の課題）を持つことで、アピールの幅を広げることができます。 |
| Range of Media: Public engagement strategies benefit from a range of media. Inclusion of CTF specific venues (such as that used in the statistical analysis) is recommended to best reach the CTF community. | 様々なメディア：パブリックエンゲージメント戦略には、さまざまなメディアが有効です。CTFコミュニティに最もリーチできるよう、CTF専用の会場（統計分析に使用した会場など）を含めることをお勧めします。 |
| Release of Data: Retrospective release of challenges, solutions, competition metrics and lessons-learned are helpful to the wider community. | データの公開：課題、解決策、競技の評価指標、得られた教訓などを過去にさかのぼって公開することで、より広いコミュニティに貢献することができます。 |
目次は、、、
| 1. INTRODUCTION | 1. 序論 |
| 1.1 SUMMARY | 1.1 概要 |
| 1.2 STRUCTURE | 1.2 構造 |
| 2. BACKGROUND | 2. 背景 |
| 2.1 JEOPARDY | 2.1 JEOPARDY |
| 2.1.1 Format | 2.1.1 フォーマット |
| 2.1.2 Scoring | 2.1.2 点数付け |
| 2.1.3 Discussion | 2.1.3 議論 |
| 2.1.4 Variants | 2.1.4 バリエーション |
| 2.2 ATTACK-DEFENCE | 2.2 アタック・ディフェンス |
| 2.2.1 Format | 2.2.1 フォーマット |
| 2.2.2 Scoring | 2.2.2 点数付け |
| 2.2.3 Discussion | 2.2.3 議論 |
| 2.2.4 Variants | 2.2.4 バリエーション |
| 3. REPORT METHODOLOGY | 3. 報告方法 |
| 3.1 MANUAL ANALYSIS | 3.1 マニュアル分析 |
| 3.1.1 Selection criteria | 3.1.1 選定基準 |
| 3.1.2 Data sources | 3.1.2 データソース |
| 3.1.3 Themes | 3.1.3 テーマ |
| 3.1.4 Coding and aggregation | 3.1.4 コーディングと集計 |
| 3.2 STATISTICAL ANALYSIS | 3.2 統計的分析 |
| 3.2.1 Dataset structure | 3.2.1 データセットの構造 |
| 4. ANALYSIS RESULTS | 4. 分析結果 |
| 4.1 MANUAL ANALYSIS | 4.1 マニュアル分析 |
| 4.2 PER-THEME ANALYSIS | 4.2 テーマ別分析 |
| 4.2.1 Entry requirements | 4.2.1 エントリー要件 |
| 4.2.2 Diversity and inclusion | 4.2.2 ダイバーシティとインクルージョン |
| 4.2.3 Challenge format | 4.2.3 チャレンジの形式 |
| 4.2.4 Competition format | 4.2.4 競技会の形式 |
| 4.2.5 Event organisation | 4.2.5 イベント組織 |
| 4.2.6 Post-event | 4.2.6 イベント後 |
| 4.3 STATISTICAL ANALYSIS | 4.3 統計分析 |
| 5. DISCUSSION | 5. 考察 |
| 5.1 PARTICIPATION AND INVOLVEMENT | 5.1 参加と関与 |
| 5.1.1 Popularity | 5.1.1 人気度 |
| 5.1.2 Online and in-person | 5.1.2 オンラインと対面式 |
| 5.1.3 Mentors and coaches | 5.1.3 メンターとコーチ |
| 5.2 COMPETITION AND CHALLENGE | 5.2 競争と挑戦 |
| 5.2.1 Format | 5.2.1 フォーマット |
| 5.2.2 Challenge categories | 5.2.2 チャレンジカテゴリー |
| 5.2.3 Challenge sources | 5.2.3 チャレンジソース |
| 5.2.4 Jeopardy variants | 5.2.4 Jeopardyの亜種 |
| 5.3 STRUCTURE AND ORGANISATION | 5.3 構造と組織 |
| 5.3.1 Event length | 5.3.1 イベントの長さ |
| 5.3.2 Peripheral activities | 5.3.2 併設活動 |
| 5.3.3 Organiser communication | 5.3.3 主催者のコミュニケーション |
| 5.4 QUALIFICATION AND POST-EVENT | 5.4 資格認定およびイベント後の活動 |
| 5.4.1 Qualification | 5.4.1 予選 |
| 5.4.2 Team allocation | 5.4.2 チームの割り当て |
| 5.4.3 Resultant publications | 5.4.3 結果としての出版物 |
| 5.4.4 Data Sharing | 5.4.4 データの共有 |
| 5.4.5 Writeups | 5.4.5 ライトアップ |
| 6. CONCLUSIONS | 6. 結論 |
| 6.1 COMPETITION FORMAT | 6.1 競技形式 |
| 6.2 TEAM REQUIREMENTS | 6.2 チーム要件 |
| 6.3 TEAM SIZES | 6.3 チームサイズ |
| 6.4 SCORING AND RULES | 6.4 点数付とルール |
| 6.5 PARALLEL COMPETITIONS | 6.5 併設競技 |
| 6.6 CHALLENGE FORMATS | 6.6 チャレンジフォーマット |
| 6.7 COMMUNICATION AND MEDIA | 6.7 コミュニケーションとメディア |
| 6.8 POST-EVENT | 6.8 イベント後 |
| 7. BIBLIOGRAPHY | 7. 参考文献 |
| A ANNEX: CTF EVENT PROFILES | 附属書A：CTFイベントのプロフィール |
| B ANNEX: MANUAL ANALYSIS DATA TABLES | 附属書B：マニュアル分析データテーブル |
■ 関連
カリキュラムとルール
・EUROPEAN CYBER SECURITY CHALLENGE
- [PDF] 2020 ECSC 2020 CURRICULUM
- [PDF] ECSC 2020 RULES
過去のECSC結果報告
・2021.04.12 ECSC 2020 Analysis Report
・2020.01.20 ECSC 2019 Analysis Report
・2019.01.31 ECSC 2018 Analysis Report
Comments