从文档到知识单元:建模的四步
文档建模,指的是把一份文件从「一个整体」拆成一组可被检索、引用与授权的最小知识单元。文档能读不等于知识可用 —— 一份 80 页的制度汇编能被打开,却回答不了「这个流程谁签字」。本文给出建模四步、它与元数据的分工,以及验收口径
文档建模,指的是把一份文件从「一个整体」拆成一组可被检索、可被引用、可被授权的最小知识单元。文档能读,不等于知识可用 —— 一份 80 页的制度汇编能被完整打开,却回答不了「这个流程谁签字」这样一句话的问题,差别就在有没有做建模
为什么文档不能直接当知识用
把整份文件直接投喂给检索系统,会遇到三个具体障碍,而且都不是靠换模型能解决的:
- 找不到:问题指向一句话,返回的却是一整份文件,用户还要自己进去翻。
- 引不准:回答引用的是整份文档,无法定位到具体条款,业务方无法核对。
- 授权不了:权限只能给到文件粒度,一份文件里既有公开内容也有受限内容时,只能整份收紧或整份放开。
建模的四步
这四步是顺序关系,前一步没做完,后一步会反复返工。
- 一、定单元:确定最小的知识单元是什么 —— 一条制度条款、一个操作步骤、一组参数,还是一问一答。
- 二、定边界:明确单元从哪里开始、到哪里结束,尤其要处理跨页续表、附录与例外说明的归属。
- 三、定字段:为每个单元记录来源、时效、密级、责任人,缺哪一项都会在后面某个环节暴露。
- 四、定关系:记录单元之间的引用与上下级,例如条款属于哪一章、参数适用于哪一型号。
最容易省掉的是第四步。省掉之后,单个单元看起来都对,但一旦问「这条规则有没有例外」,系统就答不出来,因为例外与正文之间没有连线,检索不到彼此。
与元数据的分工
建模与元数据常被混在一起谈。可以这样区分:建模回答「知识被切成什么形状」,元数据回答「每一块知识归谁管、什么时候有效、谁能看」。形状错了,元数据无从附着;元数据缺了,形状再整齐也无法治理。两件事都是入库前必须做好的,很难靠上线后再补。
三种常见的建模误判
建模阶段最费的往往不是手工量,而是口径上的分歧。下面三种判断出现频率最高:
- 按页码切:把每页当一个单元,看起来整齐,实际上把跨页的条款与续表切断了。
- 按导出格式切:以表格文件或文档的格式边界作为知识单元,忽略了同一条规则可能分散在表格与正文两处。
- 按部门切:以归档部门划分单元,忽略了同一条流程横跨多个部门的实际情况。
这三种误判的共同点,是把「方便归档」当成了「方便使用」。建模的判据应当来自使用侧:谁会在什么问题下需要这一段,以及他需要看到多少上下文才不会误解。
验收口径
- 随机取一个业务问题,系统返回的是能直接读的片段,而不是一份文件。
- 每条片段都能追溯到具体文件的具体位置。
- 同一份文件里的不同片段可以有不同的密级与责任人。
- 提问「这条规则有没有例外」时,系统能带回关联单元,而不是直接答没有。