知识库持续评估:三条可自动化的巡检规则
知识库的退化是渐进的:内容过期、检索未命中、答案依据过时,都不会立刻暴露。持续评估的做法,是把这三类问题变成可定期自动运行的巡检规则,再配一套谁看谁处理的流程。本文说明三条规则各自的判定方式与处理流程,以及让巡检真正跑起来的几个前提
知识库持续评估,指的是把「知识库是不是在变差」这件事变成可以定期自动检查的规则。它存在的理由是:知识库的退化几乎从不突然发生,而是随着内容过期、口径调整与人员变动一点点累积,等到使用者抱怨时,往往已经积累了很久
为什么需要巡检而不是年度评审
年度评审的问题在于反馈太慢。一次评审能发现问题清单,但清单本身很快会过时;而巡检是把发现问题的动作变成常态,每次跑出来的结果都可以直接指派处理。
另一个区别是责任落点。评审通常是项目制,结束后责任自动消失;巡检是流程制,谁看谁处理可以写进岗位职责,退化因此有了固定的接住的人。
三条规则
- 未命中:高频问题连续多次答不出来,说明材料缺失或叫法对不上。
- 低分:候选排序得分长期偏低,说明内容与问题之间缺少有效的表述。
- 过期:有效期已过或来源已撤下的内容仍能被检索到,说明清理没有跟上。
三条规则对应三类完全不同的原因,因此处理人也不一样:未命中要找内容责任人补材料,低分要找内容责任人改表述,过期要找维护人清理。混在一起处理,很容易变成让技术团队再看一遍。
规则一:未命中怎么判定
- 以问题为单位统计:同一个问题在一段时间内触发拒答或空结果的次数。
- 按问法聚合:同一件事的不同说法应当归到一起,避免把同一个空洞算成多个问题。
- 排除权限因素:先确认不是权限把它挡住了,否则会把权限问题误判为内容缺失。
规则二:低分怎么判定
- 看被引用条目的排序位置:正确答案长期排在靠后位置,说明表述与问法不匹配。
- 区分表述问题与内容问题:材料确实答得上但总排不到前面,才属于这一类。
- 按内容归并:把低分条目按来源文档汇总,避免同一条规则被反复挑出来。
规则三:过期怎么判定
- 有效期触发:到期的内容自动退出检索范围,而不是继续参与排序。
- 来源失效:源文档被撤下或替换后,索引侧应当有对应的清理记录。
- 版本落后:同一主题出现新版本时,旧版本应当被标记而不是继续并存。
谁看谁处理
- 内容责任人:负责确认是否需要补材料或改表述,并对改动结果负责。
- 知识运营:负责汇总巡检结果、分派任务并跟踪处理状态。
- 技术侧:负责巡检规则本身的运行与检索机制,不替业务方决定内容怎么写。
- 业务负责人:对长期无法解决的问题给出决策,例如统一口径或明确不再回答。
处理流程
- 记录:巡检结果按固定格式落地,包含问题、命中情况与时间。
- 分类:按未命中、低分、过期三类归入不同处理队列。
- 指派:每一条都有责任人与期望完成时间,而不是只挂一个状态。
- 复核:处理完成后用同一批问题复跑一次,确认问题确实消失。
让巡检跑起来的前提
- 能记录问题:检索入口需要留下问题文本与结果状态,否则无从统计。
- 有高频问题集:没有固定的问题集,巡检就只能在噪声里找信号。
- 有明确的字段:有效期、来源与责任人写进元数据,规则才有判断依据。
- 有接受方:每条巡检结果都有人认领,否则报告会变成无人处理的清单。
验收
- 三条规则都能按固定周期自动跑出结果。
- 每条结果都有责任人与处理状态,且历史记录可查。
- 处理后的复跑结果与处理前有对照,能证明问题确实减少。