MLflow

它会给你什么

• 对调用方完全透明的模型响应，格式保持统一。
• 每次调用的追踪记录，包括成本明细，可与实验追踪打通。
• 预算超限时向外部系统发出的通知。

你需要准备

• 用统一格式发出的模型调用请求。
• 一份网关配置，写明哪个请求走哪家模型、限流规则、出错兜底、预算和分流策略。
• 各家模型的访问密钥，集中托管。

由你把关

• 预算的阈值和统计周期，由你决定。
• 内容护栏规则是否误判或漏判，由你核对。
• 出错兜底和流量分流策略，由你决定。

它会给你什么

• 一条持久保存的执行轨迹，包括每一步的层级关系、状态、输入和输出。
• 网页界面里的轨迹视图，可展开成树状或瀑布图查看。
• 轨迹与实验记录的关联，让“跑过什么”和“怎么跑的”能对照着看。

你需要准备

• 加了追踪标记的代码块，或开启了自动埋点的常用框架。
• 可选：采样比例、轨迹存放位置等设置。

由你把关

• 采样比例影响观测的代表性，由你决定。
• 轨迹要不要关联到实验记录，由你决定。
• 生产环境的轨迹保留多久、怎么归档，由你决定。

它会给你什么

• 持久保存的实验档案，包括参数、指标、标签和分组，可随时检索。
• 模型文件、图表等产物，与对应的实验记录绑定存放。
• 网页界面里的可视化对比视图。

你需要准备

• 代码中记录参数、指标和产物的调用。
• 可选：记录服务器地址、实验分组名称等设置。
• 可选：开启自动记录后由常用框架自动上报的训练信息。

由你把关

• 实验怎么命名、标签怎么定，团队规范由你决定。
• 删除的记录只是被标记隐藏，要不要彻底清除，由你确认。
• 生产服务器的权限、数据库和备份配置，由你核对。

它会给你什么

• 一个自描述的模型目录，包括权重、配置和依赖说明。
• 模型的存放地址，供注册、部署和评估环节引用。
• 加载后即可直接用来做预测的模型对象。

你需要准备

• 一个训练好的模型对象。
• 可选：输入输出格式说明、示例输入、依赖清单和需要随包携带的源码。

由你把关

• 依赖清单是否齐全决定模型能否在新环境加载，由你核对。
• 部署时是否强制校验输入输出格式，由你决定。
• 哪些源码要随模型一起打包，由你决定。

它会给你什么

• 一个带版本号的中心模型目录。
• 统一格式的模型地址，供部署和评估环节引用。
• 版本流转事件的通知，可对接自动化流程。

你需要准备

• 某次实验产出的模型地址，或已注册的模型。
• 注册信息：模型名称、来源、标签等。
• 流转请求：目标阶段或别名，以及是否归档旧版本。

由你把关

• 哪个版本进入生产、旧版本是否归档，由你决定。
• 主力版本和候选版本的别名指向，由你核对。
• 开源版的审批流程较弱，是否需要外部审批环节，由你决定。

它会给你什么

• 一条评估记录和各项指标，写回实验档案，附带混淆矩阵等分析产物。
• 可按评估指标检索对比各次实验，形成回归基线。
• 评估 AI 助手时每个步骤的逐条评分。

你需要准备

• 要评估的对象：模型、带标准答案的数据集、预测结果或 AI 助手的执行轨迹。
• 一套评估指标，可以自定义。
• 用大模型当裁判时：裁判的提问模板、裁判模型和数据集。

由你把关

• 哪些指标进入回归基线，由你决定。
• 裁判模型的提示词和模型选择影响评分有效性，由你核对。
• 判定合格与否的阈值，由你决定。