MLOps 与 LLMOps

MLOps 把数据、训练、评估、模型和部署纳入可重复的工程流程。LLMOps 在此基础上进一步管理 Prompt、上下文、RAG 索引、模型 API、工具和生成式评估。

为什么普通 CI/CD 不够

传统软件输出主要由代码决定，AI 系统输出还受到数据和模型影响。即使代码不变，数据分布变化也可能让效果退化；大模型应用中，供应商模型升级也可能改变行为。

因此版本对象包括：

对象	需要记录
数据	来源、时间范围、清洗、切分、权限
特征	计算逻辑、依赖字段、线上实现
模型	结构、权重、超参数、训练环境
Prompt	模板、示例、规则、版本
RAG	文档、切块、Embedding、索引、重排
工具	schema、权限、接口和错误语义
评估	数据集、评分规则、基线和结果

训练流水线

一个可重复训练流程通常包含：

1. 校验并快照数据。
2. 构建特征或训练样本。
3. 训练候选模型。
4. 执行离线评估和分片分析。
5. 满足门槛后注册模型。
6. 触发部署或等待人工审批。

每一步的输入输出都应可追溯，失败后可从检查点恢复。

模型注册表

模型注册表不仅存文件，还记录版本状态和证据：实验、候选、灰度、生产、归档。生产版本应能追溯到代码、数据、配置和评估报告。

LLM 应用的回归

LLM 输出具有一定随机性，测试不能只做字符串完全相等。可以组合：

• 结构 schema 校验。
• 必须包含和禁止包含的事实。
• 引用是否对应检索来源。
• 工具参数和任务最终状态。
• 人工标注或模型辅助评分。
• 延迟、Token 和费用上限。

关键高风险样例应使用确定性规则或人工复核，不能只依赖另一个模型评分。

数据和反馈闭环

线上问题应进入可治理流程：

请求与反馈 -> 脱敏和分类 -> 错误分析 -> 新评估样例
             -> 数据修复/Prompt/模型/工具修改 -> 回归 -> 灰度

不能把全部用户内容直接回流训练。需要授权、隐私处理、质量筛选和数据保留策略。

变更门禁

不同变更要触发对应检查：

• 模型变化：全量质量、性能和安全回归。
• Prompt 变化：任务集和边界输入回归。
• 索引变化：召回、权限和引用回归。
• 工具变化：schema、幂等、权限和失败路径测试。
• 数据变化：统计分布和标签质量检查。

MLOps 和 LLMOps 的核心不是某个平台，而是让系统从“凭感觉修改”变成“有版本、有证据、有回滚地演进”。