企业私有大模型部署：从 POC 到生产的清单

企业私有大模型部署，指的是把模型权重、推理服务与企业数据全部放在企业可控的基础设施内运行，再把它接入真实业务流程。POC 阶段的结论几乎从不等于生产结论 —— 差别不在模型有多强，而在约束有多真实

为什么 POC 的结论搬不到生产

POC 通常跑在干净的环境里：几十上百条样本、没有并发压力、没有历史权限体系、没有人在等答案。这种环境回答的是「模型能不能答对」，而生产要回答的是另外四个问题：数据在真实权限体系里怎么流动、并发峰值下延迟是什么分布、模型要换版本时上层要不要跟着改、输出被当成事实使用后错了谁来兜。

所以 POC 的设计本身就要改：用真实业务单据而不是公开数据集；由业务方定义「正确」，而不是由技术方按相似度打分；把权限与拒答路径一起纳入评测。否则 POC 越顺利，上线越容易翻车 —— 因为它测的根本不是生产要用的那件事。

上线前必须回答的八项约束

• 数据边界：哪些数据可以进入推理上下文、哪些绝对不可以。这条要写进配置与审批流，不能停留在口头约定。
• 算力基线：以真实并发峰值与模型规模推算显存下限，不为「未验证的峰值」提前采购一整套设备。
• 检索层：知识更新后索引多久生效，这个时间差业务方能否接受；不能接受时，改的是流程不是模型。
• 权限：同一份知识库，不同岗位看到的内容不同。过滤放在检索前还是检索后，直接决定漏答率与实现成本。
• 灰度与回滚：新模型先影子流量、再小流量、再全量，每一步的晋级判据要事先写清楚，而不是看感觉。
• 幻觉兜底：答不出来时是拒答还是转人工、由谁处理、留下什么记录 —— 这条路径必须被真实触发过。
• 可观测：首字延迟分位、队列深度、检索命中率、抽样评估这四项谁在看、多久看一次。
• 运维责任：补丁、模型版本、索引重建、数据保留期限，分别由谁负责，交接点写在哪。

三个不可让步的边界

私有部署的价值不在「模型装在自己机房」，而在三条边界同时成立。它们的作用是——任何一条被压掉时，项目就该停下来重谈范围，而不是先上线再说。

• 数据不出域：训练与推理都发生在企业可控的基础设施内，这也意味着「先传到外部服务转一圈」的方案不成立。
• 权限可追溯：每一次调用都能对应到具体的人、具体的业务场景与所用的知识条目，而不是只知道「系统问过」。
• 模型可替换：上层业务不依赖某一家模型厂商的接口细节，换模型时改的是配置与评测，不是重做系统。

验收口径：怎么判断真的做成了

「跑通了」不是验收。可核对的验收标准应该留下证据，并且这些证据能被人复看：

• 评测集来自真实业务问题，且「正确」的标准由业务方签字确认，不是技术方按相似度自评。
• 任意一次历史调用都能还原出：谁问的、依据哪些知识、模型答了什么。
• 换模型版本可以在不改上层业务系统的前提下完成，并留有灰度晋级记录。
• 拒答与转人工路径被真实触发过，且有处理记录。

最常见的三种失败

• 把「私有化」当成「绝对安全」，于是关掉了审计与留存 —— 一旦出事反而没有证据。
• 在 POC 阶段用通用基准测试下结论，上线后才发现真实问题的分布完全不同。
• 只部署了模型，没有部署权限与评测。系统能答，但没人知道它答得对不对、该不该让它答。