大模型幻觉评估：从人工抽检到系统性评测

幻觉评估，指的是把「模型有没有在编内容」变成可重复、可比较的工程流程。它要解决的不是「这次答得对不对」，而是「换一个版本之后，是变好了还是变差了」—— 后者才是能支撑决策的问题

抽检为什么不够

人工抽检有三个固有缺陷：覆盖面取决于抽了多少，标准取决于谁在看，结论无法跨版本比较。它适合发现新问题，但不适合判断版本之间的差异，更不适合作为上线依据。

两类幻觉要分开评

• 事实性幻觉：答案与已知事实或企业知识不符。判定方法是与权威资料比对。
• 上下文幻觉：忽略了使用者提供或检索到的资料，自行展开。判定方法是核对答案是否忠实于给定材料。

两类幻觉的修法不同：前者通常要补知识或改检索，后者往往与提示组织方式有关。混在一张表里统计，会同时失去诊断价值。

三层评测

• 事实一致性：给定问题，核对答案是否与企业知识一致，可否定位到来源。
• 上下文遵循：给定一组材料与问题，核对答案是否只使用了材料中的信息。
• 拒答合理性：对知识库里没有答案的问题，核对模型是否选择拒答而不是编造。

测试集怎么攒

• 高频问题：日常被问得最多的那批问题，代表真实使用分布。
• 边界问题：容易混淆、有多个相近口径的问题，这类最能暴露问题。
• 高风险问题：涉及金额、合规与对外承诺的问题，错误代价最高。
• 判定规则：每题都要有标准答案或明确的判定规则，否则无法复现结论。
• 与训练数据分离：评测集不能与微调或提示优化所用的样本重合，否则等于自证。

指标该怎么看

• 正确率：基础指标，但单独看容易掩盖问题。
• 引用完整性：答案是否附带了可核对来源，以及引用的条目是否真的支撑结论。
• 置信校准：模型表示不确定时，是否确实更容易出错；这决定了使用者能否依赖它的自我评估。
• 拒答合理性：拒答的题目中，有多少是本该拒答的，有多少是本可以回答的。

一个从不拒答的模型，正确率可能并不难看，但它在不确定时给出的答案代价最高。这也是为什么单看正确率会得出偏乐观的结论。

指标之间还要放在一起看：正确率上升而引用完整性下降，通常意味着模型更敢答了，而不是更准了。这类组合变化的解读，比单个数字的涨跌更有信息量。

持续维护

幻觉评估不是一次性项目。知识库更新、模型换代与业务口径调整之后，评测集与判定规则都需要同步维护，否则评测本身会先过时。建议把维护责任落到具体岗位，并约定复核触发条件。

验收

• 评测集来自真实业务问题，且与训练样本分离。
• 每次版本变更都有前后对照结果，而不是只有结论。
• 评测集与判定规则有维护记录与责任人。
• 拒答被单独统计，并能区分「该拒」与「本可回答」。