Translated from English

“0건의 잘못된 알림”에는 두 번째 숫자가 필요합니다

결과 화면에 표시된 0은 큰 안심을 줄 수 있습니다. 안면 인식의 경우, 그 옆에 표시되는 라벨에 어떤 종류의 오류가 계산되었는지 명시되어야 합니다. 잘못된 알림과 감시 대상자를 놓치는 것은 서로 다른 실패이므로, 하나의 숫자로 두 질문에 모두 답할 수는 없습니다.

영국 국립물리연구소(NPL)의 2023년 3월 보고서에 있는 표 5는 이러한 구분을 구체적으로 보여줍니다. 탐지 설정 (a)를 적용하고 안면 일치 임계값을 0.64로 설정했을 때, 관찰된 위양성 식별률(false-positive identification rate)은 0.00%였습니다. 관찰된 진양성 식별률(true-positive identification rate)은 79%였는데, 이는 감시 대상자가 인식 구역을 통과할 때 성공적으로 인식되었음을 의미합니다. 즉, 0이라는 숫자가 모든 인식 기회에서 성공했다는 의미는 아니었습니다.

이는 과거의 테스트 결과일 뿐, 오늘날의 이민 단속 정확도를 추정한 것이 아닙니다. 연구진은 2022년 7월과 8월, 런던과 카디프에서 진행된 5번의 경찰 배치 현장에서 수집한 영상을 재생하여 HD5 탐지기가 탑재된 NEC NeoFace V4를 테스트했습니다. 해당 표는 4,000건의 일치 기회와 4,000건의 불일치 인식 기회를 사용했습니다. 이는 각 그룹당 4,000명의 서로 다른 사람을 대상으로 한 것이 아니라, 반복된 기회를 의미합니다.

표 내부의 비교 또한 유용합니다. 설정 (a)와 임계값 0.60에서 관찰된 성공적인 인식률은 85%였고, 위양성률은 0.25%였습니다. 이는 이번 평가 내의 상충 관계(trade-off)를 보여줍니다. 이 결과가 이민 단속 팀에게 어떤 임계값을 선택해야 할지 알려주지는 않습니다. 잘못된 접근의 결과, 검색의 목적, 당일의 현장 조건은 여전히 중요하기 때문입니다. 잘못된 알림을 피하는 것은 확실한 이점이지만, 그것이 결과의 다른 측면을 지워버려서는 안 됩니다.

또 다른 흔한 표시상의 함정이 있습니다. 표의 관찰 결과는 대규모 평가 감시 목록을 사용한 반면, 1만 개 및 1천 개의 이미지 감시 목록에 대한 열은 대규모 테스트에서 추정한 값입니다. 더 작아 보이는 추정 수치를 마치 실제 배치 결과인 것처럼 제시해서는 안 됩니다.

내무부의 이전 홀리헤드(Holyhead) 배치 표에도 0.64 임계값이 나열되어 있습니다. 그 숫자를 공유하는 것만으로는 NPL의 결과를 해당 시험에 적용할 수 없으며, 더 광범위하게 활용하려는 계획은 더더욱 그렇습니다. 이는 동일한 소프트웨어, 탐지 설정, 감시 목록 구성 또는 카메라 조건을 입증하지 않습니다. 저는 이러한 기록을 하나의 정확도 주장으로 합치기보다는, 날짜별로 구분하여 별도로 보관할 것입니다.

개인적으로 유용한 공개 성과 요약은 잘못된 알림과 성공적인 인식을 결합하고, 테스트 분모와 설정을 보여주며, 관찰된 값과 추정된 값을 명확히 구분해야 한다고 생각합니다. 실제 군중 속에서 놓친 사례를 측정할 수 없는 경우, 그러한 한계점은 계속 표시되어야 합니다. 더 나은 제시 방식은 해당 군중을 스캔하는 것이 필요한지 또는 비례적인지 여부를 결정해주지는 않겠지만, 하나의 '0'이라는 수치가 전체 주장을 짊어지게 하지 않고도 주장된 효율성에 대해 논의할 수 있게 해 줄 것입니다.

출처: NPL MS43, 표 5(인쇄된 18페이지), 방법론(인쇄된 1~3페이지); 내무부 과거 배치 결과.

Loading comments…