피싱을 더 많이 찾았다는 숫자는 무엇을 잰 걸까요?

메일 신고가 쌓인 화면에서 의심스러운 메일이 맨 위에 뜬다고 상상해 봐요. 같은 시간에 피싱을 더 많이 찾아도, 모든 메일을 하나씩 더 빨리 읽었다는 뜻은 아니에요.

Microsoft 실험에선 보안 분석가가 신고 메일 25개씩을 분류했어요. 연구진은 도구가 정상으로 본 메일을 사람이 다시 검토하지 않는 경우를 따로 계산했어요. 그 계산에서 분석가 1분당 실제 피싱 확인 건수는 원래 표본 조건에선 수동 분류의 6.5배, 피싱 비중과 도구의 판정 성능을 함께 바꾼 가정에선 3.1배였어요. Microsoft 실험 보고서 4~5쪽

정상으로 분류된 메일을 다시 보지 않으면 검토에 쓰는 시간이 줄 수 있어요. 다만 이 숫자만으로 놓친 피싱 건수가 줄었다거나 고객 통보가 빨라졌다고 말할 수는 없어요.

제가 보고 싶은 건 같은 경보 묶음에서 사람이 종결을 결정하는 조건을 유지하고, 놓친 피싱 건수와 검토 시간을 함께 비교한 결과예요. 먼저 볼 메일을 고르는 성능과 경보를 닫아도 된다는 판단에는 다른 증거가 필요해요.

Loading comments…