跳到主要内容
指南WHITEHOLE

RAG 还是微调:企业该怎么选

RAG 与微调的选择,本质上是一个问题:你要改变的是模型「知道什么」,还是模型「怎么回答」。知识频繁变化时用检索接入,风格与格式稳定、知识相对固定时再考虑微调,两者并不互斥。本文给出两条路线的成本结构、三个决策问句,以及合成数据与对齐在企业里的真实落点

RAG微调大模型

RAG 与微调,指的是两种把企业信息带进模型的方式:RAG 在推理时把相关资料放进上下文,微调则把信息或行为倾向固化进权重。选错方向通常不会立刻失败,而是在知识更新或效果复核时才暴露成本

两条路线的成本结构不同

  • RAG:前期投入在文档接入、切分与检索质量上;知识更新只需重建索引,成本低;答案可附引用,便于核对。
  • 微调:前期投入在数据准备、训练与评测上;知识更新往往需要重新训练;输出风格更稳定,但来源可追溯性较弱。
  • 两者共同的部分:都需要一套来自真实业务问题的评测集,也都需要人工确认「正确」的标准。

把这张表看完,多数企业会发现 RAG 的更新成本更贴合业务现实 —— 企业知识每天都在变,而模型权重不会因为一份制度更新而改变。

三个决策问句

  • 知识会变吗:会频繁变动的知识应当走检索;相对固定的口径与术语可以酌情固化。
  • 需要引用来源吗:需要让使用者看到依据的,走检索;能把依据展示出来,信任成本会显著降低。
  • 这是知识问题还是行为问题:答不出来通常是知识没接上;答得出来但格式、口径、语气不对,才是行为问题。

第三个问句最容易被跳过。很多团队在格式不对时去补知识库,在知识缺失时去做微调,结果两边都没解决 —— 先把问题归类,再选手段,通常能省掉一轮返工。

什么时候微调才是对的

微调不是被淘汰的选项,它有几个明确的适用位。判断标准是:这件事能不能用少量稳定的样本描述清楚,且答案是否长期不变

  • 输出格式固定:例如必须按固定字段生成结构化结果,且字段含义长期稳定。
  • 口径需要统一:同一类问题在全公司应当得到同一种表述方式,而不是每个使用者看到不同版本。
  • 术语与缩写有内部约定:通用模型不认识的内部说法,可以通过少量样本收敛。

合成数据与对齐的实际落点

当团队确认要走行为侧调整时,合成数据与对齐方法会进入视野。它们在企业里有明确的适用位置,也有明确的边界

  • 适合的场景:统一输出格式、稳定意图分类、补齐罕见边界样本 —— 这些任务的正确答案容易构造,也容易核对。
  • 主要风险:合成数据会继承生成它的模型的偏差,分布偏移会把错误放大,若用合成数据评自己,评测结论等于自证。
  • 对齐方法的定位:这类方法通常用于收敛输出风格与拒答行为,而不是往里灌知识 —— 用它替代知识接入,效果会很有限。
  • 评测纪律:评测集必须保留真实业务问题,且与训练数据分离。

组合起来用更现实

两条路线不互斥。常见的组合是:用检索解决知识,用少量对齐样本解决格式与拒答行为,再各自用对应的评测集验收。

  • 先做检索:让答案有依据,再判断是否还有行为问题需要处理。
  • 再定行为:只对稳定、可核对的行为目标做调整,不要用一句话描述模糊的风格要求。
  • 分开验收:知识准确率与行为合规率分别设指标,混在一起会让改进方向失真。

边界与验收

  • 评测集来自真实业务问题,正确标准由业务方确认。
  • 知识更新后,答案能在约定时间内反映新版本,并有更新记录。
  • 答案附带的来源可被点击或核对,而不是只写「根据资料」。
  • 拒答与转人工路径被真实触发过,且有处理记录。

边界要说清:微调同样受许可条款约束,微调产物的归属与发布条件需要单独核对。相关口径见开源模型许可那一篇。

FAQ

常见问题

与这篇相关、并且被问得最多的几个问题

能不能先微调,效果不好再上 RAG
顺序反过来更省成本。检索解决的是知识覆盖,微调解决的是行为表现;先补知识通常能更快看到可用结果
合成数据能直接当训练集吗
可以用于特定任务,但需要人工核对一部分样本,并用真实业务问题做评测集,避免用同一来源自证效果
两条路线能不能同时上
可以,而且常见。关键是分开验收:知识准确率与行为合规率各自有指标,否则分不清是哪一边在起作用