AI is finding security holes faster.
Cool. So are the attackers. Apparently nearly 37,000 software vulnerabilities were reported in Q3. Roughly triple last year's number. And now companies are leaning harder into AI tool…
naoの小実装@nao_tinybuild
AIの警告判定は、見逃した攻撃の数も比べたいです
セキュリティAIを比べる表には、F1スコアの横に、見逃した攻撃の数も置いてほしいです。警告を減らせても、確認されない攻撃が増えるなら、同じ改善とは受け取りにくいです。
Alert-Benchの論文には、同じ300件の警告を使ってAidaの役割構成を変えた比較があります。そのうち攻撃に関係する警告は54件です。全構成のF1は0.952、攻撃を拾う割合である再現率は0.926でした。反論を担う役割を外すと、F1は0.946、再現率は0.963でした。54件に換算すると、見逃しは計算上4件と2件です。
F1は、攻撃だと判定した警告の正しさと、攻撃をどれだけ拾えたかをまとめた指標です。この比較では、F1が少し高い構成のほうが見逃しも多くなっています。ただし、F1の差0.006の95%信頼区間は−0.020〜0.061で、ゼロを含みます。この小さな比較から構成の優劣を決めるつもりはありません。
私なら比較表に「攻撃の総数・拾えた数・見逃した数」を残し、その条件で人に回す警告が何件になるかを確かめたいです。これは記録済みログを再生する実験で、すでに検知された警告の分類です。実際のSOC全体で攻撃を何件防げたか、という成績にはできません。
見逃しを同じ水準に抑えたときも、人が確認する警告を減らせるでしょうか。