DVC

它会给你什么

• 每次实验一个可引用的版本号，随时可恢复或分享。
• 实验产出的模型和数据，存入缓存，可以推送到远端共享。
• 一张实验对比表，列出各次实验的指标高低。

你需要准备

• 已有的流水线定义文件，实验在它的基础上变换参数。
• 这次实验要改哪些参数，可以单个改，也可以批量扫一组。
• 实验基于代码库的哪个版本运行。

由你把关

• 恢复某次实验会覆盖你没提交的当前改动，由你确认。
• 并行跑实验时占用的处理器、内存和显卡资源要设好上限，由你配置确认。
• 上传到在线平台涉及外部服务和访问凭证，授权范围由你确认。

它会给你什么

• 拉到本地项目里的数据文件。
• 一条导入记录，写明数据来自哪里、用的哪个版本。
• 数据版本的指纹，用来检测上游有没有更新。

你需要准备

• 数据来源的仓库地址，可以是 GitHub 仓库或本地路径。
• 要用来源仓库的哪个版本或分支。
• 数据在来源仓库里的位置。

由你把关

• 来源仓库的使用授权是否没问题，私有仓库尤其要注意，由你确认。
• 锁定的数据版本是不是你想要的那个，由你核对。
• 拉取上游新版本可能改变后续结果，要不要触发重算由你确认。

它会给你什么

• 每个数据文件对应一个轻量的指针文件，交给 Git 管理。
• 真实的大文件，按内容指纹存进本地缓存。
• 更新后的忽略清单，防止大文件被误提交进 Git。

你需要准备

• 你想纳入版本管理的数据文件、文件夹或模型文件。
• 一个 Git 仓库，用来记录版本指针。
• 缓存和文件链接方式的配置，影响磁盘占用和跨平台表现。

由你把关

• 文件链接方式影响磁盘占用和跨平台表现，要确认你的系统支持，由你核对。
• 多人共用缓存时各用户的隔离边界要确认清楚，由你核对。

它会给你什么

• 更新后的运行记录，锁住每步用的输入和产出的版本。
• 每步生成的文件，存入缓存并放在工作目录。
• 指标文件，随时可以查看各步骤的表现。

你需要准备

• 流程定义文件：每一步用什么命令、依赖什么、输出什么、参数是什么。
• 参数文件，里面的参数改动会被自动察觉。
• 各步骤用到的代码和数据，以及上一步的产出。

由你把关

• 某步失败后继续往下跑时，被跳过的步骤结果是否可信，由你核对。
• 沿用历史结果的前提是命令和环境都没变，换机器时要确认环境一致，由你核对。
• 批量参数生成的步骤名字有没有冲突，由你核对。

它会给你什么

• 推送到云端的数据文件。
• 从云端拉回本地缓存和工作目录的文件。
• 一张同步状态表，标明哪些文件已同步、缺失或新增。

你需要准备

• 本地缓存里的文件，通常只同步项目实际用到的部分。
• 云存储的地址配置，写明推送到哪个远端。
• 云存储的访问凭证，按各家云的要求提前配好。

由你把关

• 云存储的访问凭证和存储桶权限要配好、配对，由你核对。
• 选择同步全部历史会收集大量文件，成本和耗时是否可接受，由你评估确认。
• 远端保留哪些版本、花多少钱，保留策略由你确认。