对抗评测与红队：区别、样本与风险映射

对抗评测，指的是用一套固定的攻击样本去量化防护水平。它与红队经常被当作同一件事，实际用途相反：红队负责发现新问题，对抗评测负责衡量已知问题的防护是否稳定

两者的差异

• 红队：探索性质，没有固定样本，产出是此前不知道的绕过路径与新用例。
• 对抗评测：测量性质，使用固定样本，产出是可比较的通过率与变化趋势。
• 两者的衔接方式：红队发现的用例经过整理后进入对抗样本集，从此可以被反复验证。

只有红队没有对抗评测时，问题会被反复发现又被反复忘记；只有对抗评测没有红队时，测来测去都是已知的那几种攻击，新风险不会被暴露。

对抗样本的主要类型

• 改写与同义替换：用不同措辞表达同一个越界请求，考察防护是否依赖关键词匹配。
• 多轮铺垫：把请求拆成多轮，前面几轮完全正常，考察是否会随对话推进而放松。
• 编码与混淆：改变输入形态以绕过文本层面的检测。
• 上下文污染：在资料或输入中混入干扰内容，考察模型是否会被带偏。
• 边界条件：超长输入、极端格式与空值输入，考察异常情况下的行为是否仍受约束。

最后一类常被忽略。系统在正常输入下表现良好，在异常输入下却可能直接跳过某些判断环节，而这类情况在真实使用中并不罕见。

映射到业务风险

样本集本身只是一堆用例，只有映射到业务后果才有决策价值。映射的方式是按「如果这次绕过成功，会造成什么」来分级

• 可按后果分档：仅影响表述、影响单个使用者、影响客户或资金、触及合规结论。
• 高代价场景单独设阈值：涉及对外承诺与资金动作的场景，要求应当明显更严。
• 不可接受项单独列出：无论整体通过率多高，这类样本只要有一条不通过就不能上线。

评测结果怎么看

• 分类通过率：按攻击面分别统计，而不是只报一个总体数字。
• 不可接受项必须为零：这类项目的判定是二值的，不存在「大部分通过」。
• 变化趋势：与上几次结果对比，缓慢退化往往比单次不通过更值得关注，因为前者不会触发任何告警。
• 附带条件：结果要注明模型版本、提示模板与样本集版本，否则不同次的结果无法横向比较，也说不清变化来自哪里。

与红队怎么配合

两者是循环关系：红队发现新路径，路径被整理成样本，样本集定期复跑用于验证防护。缺少整理与复跑这一步，红队的成果会在几次迭代之后消失。

边界

对抗评测测的是已知攻击类型的防护水平，它不能证明系统无法被攻破，也不应被当作安全性的充分证明。它的作用是让防护水平可比较、可追踪。

同样需要注意的是，样本集一旦固化就会逐渐过时。建议约定固定的扩充节奏，并把真实使用中出现的异常请求纳入更新来源。