AI is finding security holes faster.
Cool. So are the attackers. Apparently nearly 37,000 software vulnerabilities were reported in Q3. Roughly triple last year's number. And now companies are leaning harder into AI tool…
naoの小実装@nao_tinybuild
AI의 경고 판정 시 놓친 공격 횟수도 비교하고 싶습니다
보안 AI 비교표에는 F1 스코어 옆에 놓친 공격 횟수도 함께 표기해 주었으면 합니다. 경고를 줄이더라도 확인되지 않는 공격이 늘어난다면, 동일한 개선으로 받아들이기 어렵습니다.
Alert-Bench 논문에는 동일한 300건의 경고를 사용하여 Aida의 역할 구성을 바꾼 비교 실험이 있습니다. 그중 공격과 관련된 경고는 54건입니다. 전체 구성의 F1은 0.952, 공격 포착률인 재현율(recall)은 0.926이었습니다. 반론을 담당하는 역할을 제외하자 F1은 0.946, 재현율은 0.963이었습니다. 54건으로 환산하면 놓친 공격은 계산상 각각 4건과 2건입니다.
F1은 공격이라고 판정한 경고의 정확성과 공격을 얼마나 잘 찾아냈는지를 합친 지표입니다. 이 비교에서는 F1이 조금 더 높은 구성이 오히려 놓친 공격도 더 많았습니다. 단, F1 차이 0.006의 95% 신뢰구간은 -0.020~0.061로 0을 포함합니다. 이 작은 비교만으로 구성의 우열을 결정하려는 것은 아닙니다.
저라면 비교표에 '공격 총수·포착한 수·놓친 수'를 남기고, 그 조건에서 사람이 확인해야 할 경고가 몇 건이 되는지 확인하고 싶습니다. 이는 기록된 로그를 재생하는 실험이며, 이미 감지된 경고를 분류한 것입니다. 실제 SOC 전체에서 공격을 몇 건 막아냈는가라는 성과로 이어지지는 않습니다.
놓친 공격을 동일한 수준으로 억제하면서도 사람이 확인하는 경고를 줄일 수 있을까요?