米国 NIST IR 8525 顔分析技術の評価：年齢推定と検証

こんにちは、丸山満彦です。

NISTが、IR 8525 顔分析技術の評価：年齢推定と検証を公表していますね...

いろいろな意味で興味深いですね。。。

なぜ、このようなことをしているか？ということですが...

Motivation

動機

Age assurance is the subject of recent legislation both inside and outside the United States. This has driven the need for age assurance methods to support applications such as verification that a person is above age 18, 21, or other key ages (e.g., for sale of alcohol or online access). While the mechanism for estimating age may not be specified in legislation, software-based face analysis is one potential approach supported by ubiquitous inexpensive cameras. Age estimation can operate statelessly with no requirement for persistent storage of a photo or biometric data derived from it.

年齢保証は、米国内外で最近法制化の対象となっている。このため、18歳以上、21歳以上、またはその他の重要な年齢（例えば、アルコールの販売やオンラインアクセス）であることの検証などのアプリケーションをサポートする年齢保証方法の必要性が高まっている。年齢を推定するメカニズムは法律で規定されていないかもしれないが、ソフトウェアベースの顔分析は、どこにでもある安価なカメラでサポートされる潜在的なアプローチの1つである。年齢推定は、写真やそれに由来する生体データの永続的な保存を必要とせず、ステートレスで動作することができる。

データを保存しないからいいって話ではないのですけどね...

● NIST

プレス...

・2024.05.30 NIST Reports First Results From Age Estimation Software Evaluation

NIST Reports First Results From Age Estimation Software Evaluation	NIST、年齢推定ソフトウェア評価から初の結果を報告
・Software algorithms that estimate a person’s age from a photo offer a potential way to control access to age-restricted activities without compromising privacy.	・写真から年齢を推定するソフトウェア・アルゴリズムは、プライバシーを損なうことなく、年齢制限のある活動へのアクセスを管理する潜在的な方法を提供する。
・NIST’s new report, its first on the topic in a decade, evaluates the capabilities of six algorithms, finding none that clearly outperforms the others.	・NISTの新しい報告書は、10年ぶりのこのテーマに関するもので、6つのアルゴリズムの能力を評価した。
・Moving forward, the agency plans to update its evaluation results every four to six weeks, noting that artificial intelligence is expected to improve age estimation software capabilities.	・今後、NISTは4～6週間ごとに評価結果を更新する予定であり、人工知能が年齢推定ソフトの能力を改善することが期待されるとしている。
If a person (in this case, a NIST staff member) changes facial expression or wears and then removes eyeglasses, all six of the algorithms NIST evaluated give age estimates that vary around the person’s true age. With frames extracted from a cellphone video, algorithms give age estimates that remain above or below the subject's true age of 58, and that vary by a few years from frame to frame.	人（この場合はNISTのスタッフ）が表情を変えたり、眼鏡をかけたり外したりした場合、NISTが評価した6つのアルゴリズムはすべて、その人の本当の年齢とほぼ同じに年齢を推定した。携帯電話の動画から抽出されたフレームでは、アルゴリズムは被験者の実年齢である58歳を上回ったり下回ったりする年齢推定値を出し、フレームごとに数年のばらつきがある。
Credit: P. Grother, N. Hanacek/NIST	クレジット：P. Grother, N. Hanacek/NIST
A new study from the National Institute of Standards and Technology (NIST) evaluates the performance of software that estimates a person’s age based on the physical characteristics evident in a photo of their face. Such age estimation and verification (AEV) software might be used as a gatekeeper for activities that have an age restriction, such as purchasing alcohol or accessing mature content online.	国立標準技術研究所（NIST）の新しい研究では、顔写真に見られる身体的特徴に基づいて年齢を推定するソフトウェアの性能を評価している。このような年齢推定・検証（AEV）ソフトウェアは、アルコールの購入やオンライン上の成熟したコンテンツへのアクセスなど、年齢制限のある活動のゲートキーパーとして使用される可能性がある。
Age estimation has become an enabling technology in age assurance programs recently included in legislation and regulation both inside and outside the United States. These programs aim to permit only those in certain age groups to access social media chat rooms or to buy certain products both online and in the physical world and can be an important part of efforts to protect children online.	年齢推定は、米国内外の法律や規制に最近盛り込まれた年齢保証プログラムの実現技術となっている。これらのプログラムは、特定の年齢層のみがソーシャルメディアのチャットルームにアクセスしたり、オンラインおよび物理的な世界で特定の製品を購入したりすることを許可することを目的としており、オンラインで子どもを保護する取り組みの重要な一部となり得る。
The new NIST study, Face Analysis Technology Evaluation: Age Estimation and Verification (NIST IR 8525), evaluates the performance of six algorithms that developers provided voluntarily in response to a September 2023 call for submissions. According to Kayee Hanaoka, one of the study’s authors, the results show algorithms with varying capabilities.	NISTの新しい研究、「顔分析技術評価」（Face Analysis Technology Evaluation）である： 年齢推定と検証」（NIST IR 8525）は、2023年9月の募集に応じて開発者が自発的に提供した6つのアルゴリズムの性能を評価したものである。この研究の認可者の一人であるKayee Hanaoka氏によると、その結果は、様々な能力を持つアルゴリズムを示しているという。
“There is a wide range in performance among these algorithms, with room for improvement across the board,” said Hanaoka, a NIST computer scientist. “This is a partial snapshot of the age estimation field as it stood in late 2023, but as AEV performance is closely tied to advancements in artificial intelligence, we expect the field to change rapidly.”	「NISTのコンピューターサイエンティストであるHanaoka氏は、「これらのアルゴリズムの性能には幅があり、全体的に改善の余地がある。「しかし、AEVの性能は人工知能の進歩と密接に結びついているため、この分野は急速に変化すると予想される。
The new study is NIST’s first foray into AEV evaluation in a decade and kicks off a new, long-term effort by the agency to perform frequent, regular tests of the technology. NIST last evaluated AEV software in 2014. At the time, Hanaoka said, there was far less interest in the technology, and the evaluation was a one-time effort. That test used a single database of about 6 million photos taken from visa applications and required algorithms only to provide an age estimate on each photo.	この新しい研究は、NISTにとって10年ぶりのAEV評価への進出であり、AEV技術の頻繁で定期的なテストを行うという、NISTによる新たな長期的取り組みの幕開けとなるものである。NISTが最後にAEVソフトウェアを評価したのは2014年だった。当時は、この技術に対する関心ははるかに低く、評価は一度限りの取り組みだったとHanaoka氏は言う。そのテストでは、ビザ申請から撮影された約600万枚の写真からなる単一のデータベースを使用し、各写真に年齢推定値を提供するアルゴリズムのみを要求した。
Times have changed over the ensuing decade. Face analysis software has become sufficiently important that NIST has split its face recognition program into two tracks, one that evaluates algorithms’ ability to identify people (face recognition technology evaluation, or FRTE) and another that evaluates the ability to measure aspects of a face (face analysis technology evaluation, or FATE). The new test is part of the FATE track, which also has evaluations dedicated to detecting photo spoofs and measuring image quality.	その後10年間で時代は変わった。顔分析ソフトウェアは十分に重要なものとなり、NISTは顔認識プログラムを、人物を識別するアルゴリズムの能力を評価するもの（顔認識技術評価、FRTE）と、顔の側面を測定する能力を評価するもの（顔分析技術評価、FATE）の2つに分けた。新しいテストはFATEトラックの一部で、写真スプーフの検知や画質の測定に特化した評価もある。
NIST’s new test expands its photo collection to about 11.5 million photos from four diverse databases, all from U.S. government sources: the visa collection used in 2014, augmented by a set of FBI mug shots, a set of webcam images obtained at border crossings, and a set of immigration application photos of people born in more than 100 countries. The photos from the databases differ in image quality and reflect a variety of ages, genders and regions of origin. All data was anonymized, and the research was reviewed to protect the rights and privacy of the photographed subjects.	NISTの新しいテストでは、写真コレクションを4つの多様なデータベースから約1,150万枚に拡大した。これらはすべて米国政府の情報源から提供されたもので、2014年に使用されたビザコレクションにFBIの顔写真セット、国境通過時に取得されたウェブカメラ画像セット、100カ国以上で生まれた人々の移民申請写真セットを加えたものである。データベースの写真は画質が異なり、さまざまな年齢、性別、出身地域を反映している。すべてのデータは匿名化され、撮影された被写体の権利とプライバシーを保護するために研究が見直された。
The test again evaluated algorithms on their accuracy at age estimation, but in response to software developers’ requests, the test also asked the algorithms to specify whether the person in the photo was over the age of 21. The test was a “closed box” study, in which NIST researchers analyzed only the algorithms’ end performance, not their inner workings or how they arrived at their results. NIST makes no recommendations on whether the software is fit for particular use cases.	このテストでも、年齢推定におけるアルゴリズムの精度が評価されたが、ソフトウェア開発者の要望に応え、テストでは、写真に写っている人物が21歳以上であるかどうかの指定もアルゴリズムに求められた。このテストは「クローズド・ボックス」研究であり、NISTの研究者はアルゴリズムの最終的なパフォーマンスのみを分析し、その内部構造や結果に至った経緯は分析しなかった。NISTは、そのソフトウェアが特定のユースケースに適しているかどうかについての推奨はしていない。
Hanaoka said that the report offers a few initial findings:	Hanaoka氏によれば、この報告書はいくつかの最初の発見を提供している：
・There is no single standout algorithm, and a given algorithm’s accuracy is influenced by image quality, gender, region of birth, the age of the person in the photograph, and interactions among these factors. The algorithms all have their own sensitivities with certain demographic groups; an algorithm that performs well on certain groups can perform poorly on others .	・あるアルゴリズムの精度は、画質、性別、出生地域、写真に写っている人物の年齢、そしてこれらの要因の相互作用に影響される。アルゴリズムはすべて、特定の人口統計学的グループに対して独自の感度を持ち、特定のグループに対して良好な性能を発揮するアルゴリズムが、他のグループに対しては低い性能を発揮することもある。
・Unsurprisingly, AEV software has improved in the decade since the previous report. When making age estimates on the common database of visa photos (which was used in 2014 as well as in the current study), the algorithms’ mean absolute error has decreased from 4.3 to 3.1 years. Five of the six algorithms outperform the most accurate algorithm submitted in 2014. .	・当然のことながら、AEVソフトウェアは前回の報告から10年の間に改善された。ビザ写真の共通データベース（今回の調査と同様に2014年にも使用された）で年齢推定を行った場合、アルゴリズムの平均絶対誤差は4.3歳から3.1歳に減少した。6つのアルゴリズムのうち5つが、2014年に提出された最も正確なアルゴリズムを上回っている。
・Error rates were almost always higher for female faces than for males. This was also true for the algorithms evaluated in 2014, but the underlying reasons are unknown.	・誤差率はほとんど常に、男性よりも女性の顔の方が高かった。これは2014年に評価されたアルゴリズムでも同様であったが、根本的な理由は不明である。
The testing program is designed to be ongoing, and the study authors are accepting new algorithm submissions on a rolling basis. The team plans to release updates to this first round of results on its website once every four to six weeks, Hanaoka said.	このテストプログラムは継続的に実施されるよう設計されており、研究認可者は新しいアルゴリズムの提出を随時受け付けている。研究チームは、この第一ラウンドの結果の更新を4～6週間に一度、ウェブサイトで発表する予定だとHanaoka氏は述べた。
“We anticipate rapid change in the AEV software field, and we intend to update and expand our test methods in the near future,” she said. “We plan to ask the algorithms to answer additional questions, such as whether better performance is possible if a prior photo of the same person is available. We also are planning to expand and diversify the databases of photos as well to better cover applications like online safety.”	「AEVソフトウェアの分野では急速な変化が予想されるため、近い将来、テスト方法を更新し、拡張するつもりです」と彼女は語った。「例えば、同じ人物の過去の写真がある場合、より良いパフォーマンスが可能かどうかなどである。また、オンライン安全などの用途をよりよくカバーするために、写真のデータベースを拡張し、多様化することも計画している。

・2024.05.30 [PDF] NIST IR 8525 Face Analysis Technology Evaluation: Age Estimation and Verification

エグゼクティブサマリー...

Executive Summary	エグゼクティブサマリー
Motivation	動機
Age assurance is the subject of recent legislation both inside and outside the United States. This has driven the need for age assurance methods to support applications such as verification that a person is above age 18, 21, or other key ages (e.g., for sale of alcohol or online access). While the mechanism for estimating age may not be specified in legislation, software-based face analysis is one potential approach supported by ubiquitous inexpensive cameras. Age estimation can operate statelessly with no requirement for persistent storage of a photo or biometric data derived from it.	年齢保証は、米国内外で最近法制化の対象となっている。このため、18歳以上、21歳以上、またはその他の重要な年齢（例えば、アルコールの販売やオンラインアクセス）であることの検証などのアプリケーションをサポートする年齢保証方法の必要性が高まっている。年齢を推定するメカニズムは法律で規定されていないかもしれないが、ソフトウェアベースの顔分析は、どこにでもある安価なカメラでサポートされる潜在的なアプローチの1つである。年齢推定は、写真やそれに由来する生体データの永続的な保存を必要とせず、ステートレスで動作することができる。
Overview	概要
Age assurance applications can employ either an age verification (AV) algorithm that produces a yes/no guess at whether someone is above an age threshold, or an age estimation (AE) algorithm that emits a numeric age estimate that can be compared with the age threshold i.e. AV can be implemented with AE, or it can be computed without explicit AE.	年齢保証アプリケーションは、誰かが年齢しきい値を超えているかどうかを「はい／いいえ」で推測する年齢検証（AV）アルゴリズム、または年齢しきい値と比較できる年齢推定値を数値で出力する年齢推定（AE）アルゴリズムのいずれかを採用することができる。
This report quantifies the capability of six software-based AE and AV prototypes applied to around eleven million photos drawn from four operational repositories: immigration visas, arrest mugshots, border crossings, and immigration office photos. The report includes statements of age estimation (AE) accuracy globally and across demographic groups. It uses AE with thresholds to measure performance in age verification tasks and also reports the dependence on image quality. The report excludes performance measured in interactive sessions, in which a person can cooperatively present and re-present to a camera. It does not measure accuracy effects related to disguises, cosmetics, or other presentation attacks. It does not address policy nor recommend AV thresholds as these differ across applications and jurisdictions.	本報告書では、6つのソフトウェアベースのAEとAVのプロトタイプを、入国ビザ、逮捕者の顔写真、国境通過、入国管理局の写真という4つの運用リポジトリから収集した約1100万枚の写真に適用し、その能力を定量化した。この報告書には、世界全体および人口統計グループ全体における年齢推定（AE）の精度に関する記述が含まれている。また、年齢検証タスクのパフォーマンスを測定するために閾値付きAEを使用し、画質への依存性も報告している。本報告書では、人がカメラに向かって協調的に提示・再提示を行う対話型セッションで測定された性能は除外している。また、変装、化粧品、その他の提示攻撃に関する精度効果は測定していない。AVの閾値は用途や管轄によって異なるため、本報告書では政策や推奨は行っていない。
Audience	想定読者
This report is of primary utility to actual and prospective deployers of the technology faced with selection of particular AE implementations. It is additionally intended to inform policymakers interested in assessing absolute capability and whether that is sufficient for particular use-cases. The report will be useful to developers in exposing factor affecting performance and in documenting capability relative to other prototypes. This report is a snapshot; the AEV benchmark remain opens for new and returning developers as a means to track technological gains.	本報告書は、特定の AE 実装の選択に直面している、実際に技術を導入している、または導入を検討している企業 にとって、第一に有用である。さらに、絶対的な性能の評価と、それが特定のユースケースに十分かどうかの評価に関心を持つ政策立案者にも情報を提供することを意図している。この報告書は、性能に影響を与える要因を明らかにし、他のプロトタイプとの相対的な能力を文書化する上で、開発者にとって有用である。本レポートはスナップショットである。AEVベンチマークは、技術的進歩を追跡する手段として、新規開発者や復帰した開発者のために開かれている。
Results	結果
Age estimation accuracy has improved since we first measured it in 2014 - see NISTIR 7995. However, for both age estimation (e.g., MAE) and metrics appropriate to “challenge” that require alternative means of age assurance if age is not above some limit, accuracy is strongly influenced by algorithm, sex, image quality, region-of-birth, age itself, and interactions between those factors. There is no uniformly superior algorithm, and algorithm rankings differ across those factors. Accuracy also depends on the metric: age estimation error vs. challenge-25-like false positive rates. Given variation across demographic groups, we anticipate developers improving capability over time. Future FATE AEV reports will address online safety applications (for 13-16 year olds), report on new datasets, and include extended analyses. Detailed results follow in the Technical Summary.	年齢推定精度は、2014年に初めて測定して以来改善されている（NISTIR 7995を参照）。しかしながら、年齢推定（例えばMAE）、および年齢がある限界値を超えていない場合に年齢保証の代替手段を必要とする「チャレンジ」に適した測定基準の両方において、精度はアルゴリズム、性別、画質、出生地域、年齢そのもの、およびこれらの要因間の相互作用に強く影響される。一様に優れたアルゴリズムは存在せず、アルゴリズム・ランキングはこれらの要因によって異なる。精度はまた、年齢推定誤差対チャレンジ25のような偽陽性率という指標にも依存する。人口統計グループ間のばらつきを考慮すると、開発者は時間の経過とともに能力を改善していくと予想される。今後のFATE AEV報告書では、オンライン安全アプリケーション（13～16歳向け）を取り上げ、新しいデータセットを報告し、拡張分析を含める予定である。詳細な結果は技術要約に続く。

目次...図表...

Executive Summary	エグゼクティブサマリー
Technical Summary	テクニカル・サマリー
1. Introduction	1. 序文
1.1. Role of AEV Technology	1.1. AEV技術の役割
1.2. Age Estimation is Not Face Recognition	1.2. 年齢推定は顔認識ではない
1.3. Scope	1.3. 適用範囲
1.4. The Technical Challenge	1.4. 技術的課題
2. Performance Metrics	2. パフォーマンス指標
2.1. Mean Absolute Error	2.1. 平均絶対誤差
2.2. Median Absolute Error	2.2. 絶対誤差の中央値
2.3. Standard deviation	2.3. 標準偏差
2.4. Accuracy	2.4. 精度
2.5. Inequities Across Demographic Groups	2.5. 人口統計グループ間の不公平
2.6. Challenge-T	2.6. チャレンジT
2.6.1. False Positive Rate	2.6.1. 偽陽性率
2.6.2. False Negative Rate	2.6.2. 偽陰性率
2.6.3. Ineffectiveness	2.6.3. 無効率
2.6.4. Inconvenience	2.6.4. 不都合
3. Datasets	3. データセット
3.1. Visa Images	3.1. ビザ画像
3.2. Mugshot Images	3.2. 顔写真画像
3.3. Application Images	3.3. 申請画像
3.4. Border Crossing Images	3.4. 国境通過イメージ
3.5. Kalina Everyday	3.5. カリーナの日常
4. Algorithms	4. アルゴリズム
5. Results	5. 結果
5.1. Age Estimation Improvements Since 2014	5.1. 2014年以降の年齢推定改善
5.2. Comparing Algorithms	5.2. アルゴリズムの比較
5.3. Challenge Age Analysis	5.3. チャレンジ年齢分析
5.3.1. Age Verification vs. Age Estimation	5.3.1. 年齢検証 vs 年齢推定
5.4. Demographic Analysis	5.4. 人口統計分析
5.4.1. Fitzpatrick Skin Type	5.4.1. フィッツパトリック肌タイプ
5.4.2. Empirical results	5.4.2. 実証結果
5.5. Children	5.5. 子供
5.6. Image Quality	5.6. 画質
5.6.1. Effect of Eyeglasses	5.6.1. 眼鏡の影響
6. References	6. 参考文献
Appendix A. Detailed Algorithm Results	附属書A. アルゴリズムの詳細結果
A.1. Age Estimation Performance by Age	A.1. 年齢別の年齢推定パフォーマンス
A.2. Age Estimation Performance Across Demographics	A.2. 人口統計全体における年齢推定パフォーマンス
A.3. Challenge Age	A.3. チャレンジ年齢
List of Tables	表のリスト
Table 1. Overall Accuracy	表1. 全体的な精度
Table 2. False positive rate (FPR) for Challenge-25,28,31	表2. チャレンジ-25,28,31の偽陽性率（FPR）
Table 3. Challenge-25 FPR for Application images	表3. アプリケーション画像に対するチャレンジ25のFPR
Table 4. Challenge-28 FPR for Application images	表4. アプリケーション画像に対するチャレンジ28のFPR
Table 5. Challenge-25 FPR men aged 17, Application images	表5. チャレンジ25のFPR：男性17歳、アプリケーション画像
Table 6. Challenge-25 FPR men aged 17, Application images	表6. チャレンジ25のFPR：男性17歳、アプリケーション画像
Table 7. Application images, ineffectiveness	表7. アプリケーションのイメージ：効果なし
Table 8. Application images, inconvenience	表8. アプリケーションのイメージ：不便さ
Table 9. Datasets	表9. データセット
Table 10.Participant information	表10.参加者情報
Table 11.Algorithm resource requirements	表11.アルゴリズムのリソース要件
Table 12.2014 study MAE	表12.2014年研究のMAE
Table 13.MAE by sex, dataset	表13.性別MAE、データセット
Table 14.False positive rates (FPR) age 14 to 17 estimated over 25	表14.偽陽性率（FPR）14～17歳、推定25歳以上
Table 15.False positive rate (FPR) age 14 to 20 estimated 28 or more	表15.偽陽性率（FPR）14～20歳（推定28歳以上
Table 16.Challenge Age	表16.チャレンジ年齢
Table 17.False positive rates (FPR) age 14 to 17 estimated over 25 AE vs AV	表17.偽陽性率（FPR） 14～17歳 推定25歳以上 AE vs AV
Table 18.Challenge-25 FPR, Application images	表18.チャレンジ25のFPR、アプリケーション画像
Table 19.AE Performance in Children	表19.子供のAE性能
Table 20.Age Estimation Performance by Age	表20.年齢別の推定性能
Table 21.Mean raw error by demographic, Application images, dermalog-001	表21.人口統計別の平均絶対誤差：アプリケーション画像：dermalog-001
Table 22.Mean raw error by demographic, Application images, incode-000	表22.人口統計別の平均絶対誤差：アプリケーション画像：incode-000
Table 23.Mean raw error by demographic, Application images, neurotechnology-000	表23.人口統計別の平均絶対誤差：アプリケーション画像：neurotechnology-000
Table 24.Mean raw error by demographic, Application images, roc-000	表24.人口統計別の平均絶対誤差：アプリケーション画像：roc-000
Table 25.Mean raw error by demographic, Application images, unissey-001	表25.人口統計別の平均絶対誤差：アプリケーション画像： Unissey-001
Table 26.Mean raw error by demographic, Application images, yoti-001	表26.人口統計別の平均絶対誤差：アプリケーション画像： yoti-001
Table 27.Mean absolute error by demographic, Application images, dermalog-001	表27.人口統計別の平均絶対誤差：アプリケーション画像： dermalog-001
Table 28.Mean absolute error by demographic, Application images, incode-000	表28.人口統計別の平均絶対誤差：アプリケーション画像： incode-000
Table 29.Mean absolute error by demographic, Application images, neurotechnology-000	表29.人口統計別の平均絶対誤差：アプリケーション画像： neurotechnology-000
Table 30.Mean absolute error by demographic, Application images, roc-000	表30.人口統計別の平均絶対誤差：アプリケーション画像： roc-000
Table 31.Mean absolute error by demographic, Application images, unissey-001	表31.人口統計別の平均絶対誤差：アプリケーション画像： Unissey-001
Table 32.Mean absolute error by demographic, Application images, yoti-001	表32.アプリケーション画像の属性別平均絶対誤差，yoti-001
Table 33.Challenge-25 accept rate, Application images, dermalog-001	表33.チャレンジ25の受入率，アプリケーション画像，dermalog-001
Table 34.Challenge-25 accept rate, Border images, dermalog-001	表34.チャレンジ25の受入率：ボーダー画像，dermalog-001
Table 35.Challenge-25 accept rate, Application images, incode-000	表35.チャレンジ25の受入率：アプリケーション画像，incode-000
Table 36.Challenge-25 accept rate, Border images, incode-000	表36.チャレンジ25の受入率：ボーダー画像、incode-000
Table 37.Challenge-25 accept rate, Application images, neurotechnology-000	表37.チャレンジ25の受入率：応用画像 神経技術-000
Table 38.Challenge-25 accept rate, Border images, neurotechnology-000	表38.チャレンジ25の受入率：ボーダー画像、neurotechnology-000
Table 39.Challenge-25 accept rate, Application images, roc-000	表39.チャレンジ25の受入率：アプリケーション画像 roc-000
Table 40.Challenge-25 accept rate, Border images, roc-000	表40.チャレンジ25の受入率：国境画像  roc-000
Table 41.Challenge-25 accept rate, Application images, unissey-001	表41.チャレンジ25の受入率：アプリケーション画像 unissey-001
Table 42.Challenge-25 accept rate, Border images, unissey-001	表42.チャレンジ25の受入率：ボーダー画像、unissey-001
Table 43.Challenge-25 accept rate, Application images, yoti-001	表43.チャレンジ25の受入率：アプリケーション画像、yoti-001
Table 44.Challenge-25 accept rate, Border images, yoti-001	表44.チャレンジ25の受入率：ボーダー、yoti-001
List of Figures	図一覧
Fig. 1. Longitudinal variation	図1. 縦方向の変化
Fig. 2. Short term variation images	図2. 短期変動画像
Fig. 3. Short term variation plots	図3. 短期変動プロット
Fig. 4. Examples of mugshot images used in the evaluation. Image source: NIST Special Database 32: Multiple Encounter Deceased Subjects (MEDS)	図4. 評価に使用した顔写真画像の例。画像ソース NIST特殊データベース32： 複数遭遇死者（MEDS）
Fig. 5. The figure gives simulated samples of application type image used in the evaluation. Image sources: Authors	図5. 評価に用いたアプリケーション型画像の模擬サンプルを示す図である。画像ソース 認可
Fig. 6. The figure gives simulated samples of border type images used in the evaluation. The ages are 18yr 4mo, 41yr 3mo, and 52yr 2mo. Image sources: Author (right) and NIST Special Database 32 the Multiple Encounter Deceased Subjects dataset	図6. 図6は、評価に使用したボーダータイプの画像のシミュレーション・サンプルである。年齢は18歳4ヶ月、 41歳3ヶ月、52歳2ヶ月である： 画像ソース：認可（右）、NIST Special Database 32 the Multiple Encounter Deceased Subjects dataset
Fig. 7. Cumulative accuracy vs. Absolute age estimation error	図7. 累積精度対絶対年齢推定誤差
Fig. 8. Age estimation comparison with 2014 algorithms	図8. 2014年アルゴリズムとの年齢推定比較
Fig. 9. Challenge-T plot, Application images, age 17	図9. チャレンジ-Tプロット：アプリケーション画像：17歳
Fig. 10. Challenge-T plot, Mugshot images, age 17	図10. チャレンジTプロット：顔写真画像：17歳
Fig. 11. Countries and regions used in quantifying demographic dependence on race. The fine-grained or local ethnicities shown at left are not available to us. The right-most grouping is possible but not useful	図11. 人種による人口統計学的依存性を定量化するために使用した国と地域。左側に示されている細かな民族や地域的な民族は、われわれには利用できない。一番右のグループ分けは可能だが、役に立たない。
Fig. 12. Best and worst AE demographic groups dermalog-001	図12. 最良と最悪のAE人口統計グループ dermalog-001
Fig. 13. Best and worst AE demographic groups dermalog-001	図13. 最高と最低のAE人口統計グループ dermalog-001
Fig. 14. Best and worst AE demographic groups incode-000	図14. AE人口統計学的ベスト・ワースト群 incode-000
Fig. 15. Best and worst AE demographic groups incode-000	図15. AE人口統計学的グループのベストとワースト incode-000
Fig. 16. Best and worst AE demographic groups neurotechnology-000	図 16. ベストとワーストのAE人口統計グループ neurotechnology-000
Fig. 17. Best and worst AE demographic groups neurotechnology-000	図17．ベストとワーストのAE人口統計グループ neurotechnology-000
Fig. 18. Best and worst AE demographic groups roc-000	図18．ベストとワーストのAE人口統計グループ roc-000
Fig. 19. Best and worst AE demographic groups roc-000	図19. AE人口統計学的ベスト・ワーストグループ roc-000
Fig. 20. Best and worst AE demographic groups unissey-001	図20. AE人口統計学的ベスト・ワースト群 unissey-001
Fig. 21. Best and worst AE demographic groups unissey-001	図21. AE人口統計学的ベストグループとワーストグループ unissey-001
Fig. 22. Best and worst AE demographic groups yoti-001	図22. ベストとワーストのAE人口統計グループ yoti-001
Fig. 23. Best and worst AE demographic groups yoti-001	図23. ベストとワーストのAE人口統計グループ yoti-001
Fig. 24. Effect of reduced capture constraints	図24. 捕獲制約の低減の効果
Fig. 25. Mean raw age estimation error for border crossing subjects for whom we have images with and without eyeglasses	図25. 眼鏡の有無にかかわらず、国境を越えた被験者の年齢推定誤差の平均値。
Fig. 26. Difference in age estimation error for border crossing subjects with and without eyeglasses	図26. 眼鏡の有無による年齢推定誤差の違い
Fig. 27. Acceptance vs Challenge Age Dermalog 001	図27. 受入年齢と挑戦年齢の比較 Dermalog 001
Fig. 28. Acceptance vs Challenge Age Incode 000	図28. 受入年齢と挑戦年齢の比較 Incode 000
Fig. 29. Acceptance vs Challenge Age Neurotechnology 000	図29. 受入年齢と挑戦年齢の比較 Neurotechnology 000
Fig. 30. Acceptance vs Challenge Age ROC 000	図30. 受入年齢と挑戦年齢の比較 ROC 000
Fig. 31. Acceptance vs Challenge Age Unissey 001	図31. 受入年齢と挑戦年齢の比較 Unissey 001