MLflow

AI网关与LLM路由治理

源码已核对

• OpenAI 兼容请求（chat/completions、completions、embeddings）打到 gateway。
• gateway config（route→provider/model 映射、rate limit、fallback、budget policy、guardrail、traffic split）。
• credential（provider API key，集中管理）。

• OpenAI 兼容响应（对客户端透明）。
• 每请求 trace（含成本子 span）→ 与 mlflow tracing 打通。
• budget 超限 webhook（通知外部系统）。

LLM与agent轨迹追踪

源码已核对

• 被 @mlflow.trace 或 startspan 修饰的函数/代码块（含 LLM 调用、工具调用、检索等）。
• 或 autolog 框架自动埋点（openai/anthropic/langchain/crewai 等 60+）。
• 可选：samplingratio、trace destination、OTLP endpoint。

• 持久化 Trace（含 span 树、状态、输入输出）。
• UI 的 trace 视图（树/瀑布图）。
• 可 link 到 Run（linktracestorun），形成"运行 + 轨迹"联合观测。

实验跟踪与run状态管理

源码已核对

• 用户代码中对 mlflow.logparam/logmetric/logartifact 或 MlflowClient.log 的调用。
• 可选：trackinguri（file:/sql+sqlite/postgres/mysql/mlflow server URL）、registryuri、experimentid/experimentname。
• 可选：autolog 钩子触发的框架原生对象（OpenAI/OpenAI client、PyTorch model、sklearn estimator 等）。

• 持久化 Run/Experiment/Param/Metric/Tag（结构化，存 tracking store）。
• 二进制 artifact（模型文件、图表、文本）存 artifact store，与 runid 关联。
• MLflow UI 按 experiment/run 维度可视化对比。

模型打包与flavor体系

源码已核对

• 一个训练好的模型对象 + 对应 flavor 模块（mlflow.sklearn 等）。
• 可选：ModelSignature（infersignature 从示例推断）、inputexample、registeredmodelname、artifactpath、conda/pip 依赖、code 路径。

• 自描述 Model 目录（MLmodel + 权重 + 依赖描述）。
• run artifact 中的 model uri（供 registry 注册、deployment 部署、evaluation 评估）。
• PyFunc 可预测对象（load 后）。

模型注册与版本生命周期

源码已核对

• 来自 run 的 model uri（runs:/<runid/<artifactpath）或已注册模型。
• 注册请求：registeredmodelname、source（model uri）、tags、awaitregistrationfor。
• 流转请求：name、version、stage/alias、archiveexistingversions。

• 版本化的 RegisteredModel/ModelVersion（中心资产目录）。
• 可寻址 model uri（models:/<name/<stage|alias|version）供 deployment 加载、evaluation 引用。
• transition 事件触发 webhooks（CI/CD、通知）。

模型评估与eval-run

源码已核对

• 被评估对象：model uri（ML 模型）、dataset（带 label）、predictions、或 trace 集合（LLM）。
• 指标：evaluators（shenzhen/...）、extrametrics、custommetric/scorer、evaluatorconfig、baseline 模型。
• LLM 评估：metric 定义（含 LLM-as-judge 的 prompt、judge model）、数据集（input/expected output）。

• Evaluation 实体 + eval metrics（写回 run）+ eval artifacts（confusion matrix、slice metrics）。
• 回归基线：searchruns 可按 eval metrics 对比跨 run 表现。
• LLM 评估的 per-trace/per-span 评分（与 trace 绑定）。