跳到主要内容
指南WHITEHOLE

知识库持续评估:三条可自动化的巡检规则

知识库的退化是渐进的:内容过期、检索未命中、答案依据过时,都不会立刻暴露。持续评估的做法,是把这三类问题变成可定期自动运行的巡检规则,再配一套谁看谁处理的流程。本文说明三条规则各自的判定方式与处理流程,以及让巡检真正跑起来的几个前提

知识库模型评估AI 治理

知识库持续评估,指的是把「知识库是不是在变差」这件事变成可以定期自动检查的规则。它存在的理由是:知识库的退化几乎从不突然发生,而是随着内容过期、口径调整与人员变动一点点累积,等到使用者抱怨时,往往已经积累了很久

为什么需要巡检而不是年度评审

年度评审的问题在于反馈太慢。一次评审能发现问题清单,但清单本身很快会过时;而巡检是把发现问题的动作变成常态,每次跑出来的结果都可以直接指派处理。

另一个区别是责任落点。评审通常是项目制,结束后责任自动消失;巡检是流程制,谁看谁处理可以写进岗位职责,退化因此有了固定的接住的人。

三条规则

  • 未命中:高频问题连续多次答不出来,说明材料缺失或叫法对不上。
  • 低分:候选排序得分长期偏低,说明内容与问题之间缺少有效的表述。
  • 过期:有效期已过或来源已撤下的内容仍能被检索到,说明清理没有跟上。

三条规则对应三类完全不同的原因,因此处理人也不一样:未命中要找内容责任人补材料,低分要找内容责任人改表述,过期要找维护人清理。混在一起处理,很容易变成让技术团队再看一遍。

规则一:未命中怎么判定

  • 以问题为单位统计:同一个问题在一段时间内触发拒答或空结果的次数。
  • 按问法聚合:同一件事的不同说法应当归到一起,避免把同一个空洞算成多个问题。
  • 排除权限因素:先确认不是权限把它挡住了,否则会把权限问题误判为内容缺失。

规则二:低分怎么判定

  • 看被引用条目的排序位置:正确答案长期排在靠后位置,说明表述与问法不匹配。
  • 区分表述问题与内容问题:材料确实答得上但总排不到前面,才属于这一类。
  • 按内容归并:把低分条目按来源文档汇总,避免同一条规则被反复挑出来。

规则三:过期怎么判定

  • 有效期触发:到期的内容自动退出检索范围,而不是继续参与排序。
  • 来源失效:源文档被撤下或替换后,索引侧应当有对应的清理记录。
  • 版本落后:同一主题出现新版本时,旧版本应当被标记而不是继续并存。

谁看谁处理

  • 内容责任人:负责确认是否需要补材料或改表述,并对改动结果负责。
  • 知识运营:负责汇总巡检结果、分派任务并跟踪处理状态。
  • 技术侧:负责巡检规则本身的运行与检索机制,不替业务方决定内容怎么写。
  • 业务负责人:对长期无法解决的问题给出决策,例如统一口径或明确不再回答。

处理流程

  • 记录:巡检结果按固定格式落地,包含问题、命中情况与时间。
  • 分类:按未命中、低分、过期三类归入不同处理队列。
  • 指派:每一条都有责任人与期望完成时间,而不是只挂一个状态。
  • 复核:处理完成后用同一批问题复跑一次,确认问题确实消失。

让巡检跑起来的前提

  • 能记录问题:检索入口需要留下问题文本与结果状态,否则无从统计。
  • 有高频问题集:没有固定的问题集,巡检就只能在噪声里找信号。
  • 有明确的字段:有效期、来源与责任人写进元数据,规则才有判断依据。
  • 有接受方:每条巡检结果都有人认领,否则报告会变成无人处理的清单。

验收

  • 三条规则都能按固定周期自动跑出结果。
  • 每条结果都有责任人与处理状态,且历史记录可查。
  • 处理后的复跑结果与处理前有对照,能证明问题确实减少。

FAQ

常见问题

与这篇相关、并且被问得最多的几个问题

巡检多久跑一次
取决于使用量与内容更新频率。高频使用的知识库建议按周跑一次,更新不频繁的可以按月,但要保证结果有人处理
没有条件做自动化怎么办
可以先手工跑同一批高频问题,把结果记在固定表格里。规则与责任先立起来,再谈自动化
长期无法解决的问题怎么办
由业务负责人给出决策:补齐材料、统一口径,或者明确这类问题不回答。悬而不决本身会持续消耗检索的可信度