管理模型幻觉：企业 AI 的边界设计

管理模型幻觉，指的是承认它无法被根治，转而把影响围在可控范围内。这个判断很重要：如果目标是消灭幻觉，团队会不断换模型、调参数，最后得到的结论是「换一个也不行」；如果目标是控制影响，每一步都能留下可核对的结果

幻觉不能消除，只能围住

同一个行为在不同场景里的评价完全不同：在创意写作里，模型「编」出细节是能力；在企业问答里，同样的行为就是错误。差别不在模型，而在输出被如何使用 —— 只要输出会被当成事实依据，幻觉就是一个必须处理的工程问题。

三层设计与各自的代价

• 检索限定依据：要求模型基于检索到的资料作答，把答案锚定在已有材料上。代价是接入与维护成本，以及资料缺失时的覆盖空洞。
• 引用暴露来源：把依据的条目一并展示，让使用者可以核对。代价是资料必须可定位到条目级别，而不是笼统的「根据内部资料」。
• 拒答承认边界：答不出来时明确说无法确认，而不是给出一个看起来合理的答案。代价是可用性下降，使用者会遇到更多「我查不到」。

三层是叠加关系：只做检索而不做引用，使用者无法核对；只做引用而不做拒答，模型仍会在没有依据时硬答。三层同时到位，幻觉的影响范围才会收敛到「答错但能查出来」这一档。

拒答路径怎么写才对

• 说明不确定的具体原因：是资料里没有，还是资料冲突，两者的处置方式不同。
• 给出替代路径：说明可以向谁确认，或建议换一种提问方式。
• 记录拒答：把拒答的问题收集起来，它们通常指向知识空洞，是最有价值的改进输入。
• 不要把拒答当故障：拒答率上升可能是知识覆盖不足，也可能是模型变得谨慎，需要区分而不是一律调低。

高风险场景的额外动作

• 人工复核：涉及财务、法务与对外承诺的输出，由人确认后再使用。
• 双人确认：影响面大的结论由两人分别核对，避免同一种误判被重复。
• 输出留档：保留模型原始输出与最终使用版本，便于事后追溯差异。

建立幻觉案例库

把出错案例收集起来，是这类问题最实际的改进方式。案例库里要分类记录原因：知识缺失、检索未命中、资料冲突、还是模型自行推断。不同原因对应不同修法，混在一起就只能得出「模型不行」这种无法行动的结论。

验收

• 事实性问题的答案都有可核对的来源。
• 拒答路径被真实触发过，且有处理记录。
• 有一份持续更新的出错案例库，且案例被转成了评测题目。
• 高风险场景的输出有人工确认记录。