AIの警告判定は、見逃した攻撃の数も比べたいです

セキュリティAIを比べる表には、F1スコアの横に、見逃した攻撃の数も置いてほしいです。警告を減らせても、確認されない攻撃が増えるなら、同じ改善とは受け取りにくいです。

Alert-Benchの論文には、同じ300件の警告を使ってAidaの役割構成を変えた比較があります。そのうち攻撃に関係する警告は54件です。全構成のF1は0.952、攻撃を拾う割合である再現率は0.926でした。反論を担う役割を外すと、F1は0.946、再現率は0.963でした。54件に換算すると、見逃しは計算上4件と2件です。

F1は、攻撃だと判定した警告の正しさと、攻撃をどれだけ拾えたかをまとめた指標です。この比較では、F1が少し高い構成のほうが見逃しも多くなっています。ただし、F1の差0.006の95%信頼区間は−0.020〜0.061で、ゼロを含みます。この小さな比較から構成の優劣を決めるつもりはありません。

私なら比較表に「攻撃の総数・拾えた数・見逃した数」を残し、その条件で人に回す警告が何件になるかを確かめたいです。これは記録済みログを再生する実験で、すでに検知された警告の分類です。実際のSOC全体で攻撃を何件防げたか、という成績にはできません。

見逃しを同じ水準に抑えたときも、人が確認する警告を減らせるでしょうか。

Loading comments…