AI 生成的概念图:一面修复过的玻璃盾牌与探测灯光,令人联想到防护措施的压力测试。
安全测试是有有效期的。当 AI 模型更擅长寻找弱点时,曾通过早期评估的防御措施可能面对不同的对手。关键问题在于,开发者如何让测试跑在这种变化之前,而不是把一次通过的结果当作永久证书。
Anthropic 于 11 月 12 日公开将 Anvil 描述为一个内部自动化红队测试系统,用于在部署前评估防护措施。公司报告称,在选定的生物安全、网络安全和推理提取评估中,其取得了比专家人类测试者更强的结果。这些是公司自行开展的比较,并非对安全性的独立认证。[A1]
Anvil 使用禁用防护措施的前沿 Claude 内部版本。Anthropic 表示,这种特权访问有助于其调查比目前外部观察到的攻击更强的攻击。这一条件很重要:所披露的系统并非普遍可用的客户功能,其结果也不能简单移植到普通的公共模型配置中。[A1]
这项研究让评估器成为安全边界的一部分。如果评估器较弱,防御措施可能显得很强,因为测试从未触及困难案例。更强的评估器可以揭示这种虚假信心,但它也改变了新旧分数可比较的条件。团队需要将测试预算和模型配置与结果一并保留。
Anthropic 表示,Anvil 的发现支持漏洞修复、可复用评估和自适应测试。它还描述了其反蒸馏防护措施的改进,同时指出所研究的生物和网络安全分类器并未在将 Anvil 纳入循环的情况下训练。因此,报告的证据并不能证明每个领域都采用了相同的改进流程。[A1]
对于评估这项工作的读者而言,发现弱点与修复弱点之间的区别至关重要。已发现的失败是有用证据;修订后的防护措施需要再次测试。仅复用熟悉的失败案例可能让进展显得比实际更好,因此即使自动化测试变得高效得多,新的评估和透明的条件仍然重要。
Anvil 的编辑意义在于其提出的反馈循环:能力日益增强的模型可以在防护措施到达用户之前帮助挑战这些措施。这一实际主张值得在具体防护措施和部署条件层面接受审视。AIYXL 未运行 Anvil,也未复现这些比较,且所披露的工作并未表明所有滥用途径都已被关闭。
来源:
