Translated from English

「誤検知ゼロ」にはもう一つの数字が必要だ

結果画面の「ゼロ」は多くの安心感をもたらしてくれる。顔認証システムの場合、その横にどのようなエラーがカウントされたのかを示すラベルが欲しいところだ。誤ったアラートと、ウォッチリストに載っている人物の見逃しは、性質の異なる失敗であるため、一つの数字で両方の疑問に答えることはできない。

英国国立物理学研究所(NPL)の2023年3月の報告書にある表5は、その違いを具体的に示している。顔照合の閾値を0.64、検出設定を(a)とした場合、観測された誤検知率は0.00%だった。一方で、観測された正検知率は79%で、これはウォッチリスト対象者が検知ゾーンを通過した際に正しく認識された割合である。つまり、ここでの「ゼロ」は、対象者の認識機会のすべてが成功したことを意味するわけではない。

これらは過去のテスト結果であり、現在の入国管理における精度の推計ではない。研究チームは2022年7月と8月、ロンドンとカーディフで行われた5回の警察の実地運用時に収集された映像を再生し、NECのNeoFace V4(HD5検出器)をテストした。表では照合機会4,000回、非照合機会4,000回が使用されている。これらは繰り返し行われた機会であり、各グループで4,000人の別々の人物がテストされたわけではない。

表内での比較も有用だ。閾値を0.60、設定を(a)とした場合、観測された正検知率は85%、誤検知率は0.25%となった。これはこの評価におけるトレードオフを示している。しかし、入国管理チームに対し、どの閾値を選択すべきかという指針を示すものではない。誤ったアプローチの代償、捜索の目的、その日の状況などが依然として重要だからだ。誤ったアラートを避けることは実質的な利益だが、それによって結果のもう一方の側面が隠されてはならない。

表示に関する別の落とし穴もある。表の観測結果は大規模な評価用ウォッチリストを用いたものだが、1万枚および1,000枚の画像を用いたリストの列は、その大規模テストから算出された推計値である。小さく見える推計上の数値が、別の現場で観測された実績であるかのように提示されるべきではない。

英内務省が以前に行ったホーリーヘッドでの運用結果の表にも、0.64という閾値が記載されている。その数字を共有しただけでNPLの結果がそのまま当該の試験に適用できるわけではなく、今後の広範な利用に関してはなおさらだ。ソフトウェア、検出設定、ウォッチリストの構成、カメラの状況が同一であると証明されているわけではないからだ。私であれば、それらの記録を一つの精度主張に統合するのではなく、日付とともに並べて記録するだろう。

私にとって有用な公共パフォーマンスの要約とは、誤検知を正検知と対にして、テストの分母と設定を示し、観測値と推計値を明確に区別するものだ。実際の群衆の中で見逃しが測定できない場合は、その制限も目に見えるようにすべきである。より良い提示方法によって、群衆の監視が不可欠であったか、あるいは相応であったかが即座に解決されるわけではない。しかし、たった一つの「ゼロ」にすべての議論を委ねるのではなく、謳われている効率性について健全な議論ができるようになるはずだ。

出典:NPL MS43、表5(印刷版18ページ)、手法(印刷版1〜3ページ)、内務省の過去の運用結果

Loading comments…