Sacred

它会给你什么

• 一份实验信息记录，包括源码、依赖和仓库状态。
• 一份机器环境信息，包括系统和硬件。
• 源码文件的存档副本。

你需要准备

• 实验代码里导入的各个模块。
• 运行时机器上已安装的包及版本。
• 实验所在的代码仓库，比如远程地址和当前提交。

由你把关

• 哪些环境变量会被一并记录，由你决定，避免泄露敏感信息。
• 自动发现漏掉的源码或依赖，需要你手动补登记。
• 自定义采集项是否收集正确，由你负责。

它会给你什么

• 结构化的运行记录，存在文件或数据库里。
• 指标随时间变化的序列数据。
• 去重保存的源码和产物文件。

你需要准备

• 一次运行的全部信息，包括配置、改动、环境、结果和屏幕输出。
• 伴随运行保存的文件和产物。
• 训练过程中记录的指标数值。

由你把关

• 用哪种存储和查看界面，由你或团队决定。
• 附加信息里的复杂对象序列化后还能不能读，由你确认。
• 跨版本读旧记录是否兼容，格式字段由你核对。

它会给你什么

• 一次运行的完整存档，存在文件、数据库或云端。
• 实验结束时的提醒消息，可发到聊天工具。
• 去重保存的源码和产物文件。

你需要准备

• 你的实验主函数或命令。
• 定稿的配置，包括随机种子。
• 运行开始时自动采集的环境信息。

由你把关

• 存储后端怎么选、连接和认证怎么配，由你或运维决定。
• 某种队列模式下服务中断会一直重试，需要你人工盯着。
• 判断一次运行是不是已经卡死，要看心跳时间和状态，由你核对。

它会给你什么

• 一次运行的完整配置，随记录一起保存。
• 配置改动了什么的清单，方便事后核查。
• 自动递给各个函数的参数值。

你需要准备

• 你用装饰器声明的配置函数，里面的变量就是配置项。
• 直接以字典形式添加的配置，内容要能存成普通格式。
• 配置文件，支持几种常见格式。

由你把关

• 配置项怎么命名、怎么分组，由你自己定规范。
• 配置类型变了会不会影响运行、是不是有意为之，由你判断。
• 配置里的复杂逻辑写得清不清楚，可读性由你负责。

它会给你什么

• 记在配置里的种子值，是复现的关键。
• 运行期间的全局随机数状态。
• 每个函数各自独立的种子和随机数生成器。

你需要准备

• 自动生成、或你自己指定的总随机种子。
• 想复现某次运行时，把它当时用的种子填回去。
• 各个随机数库是否安装，会被自动检测。

由你把关

• 没被覆盖到的第三方库的随机性要不要手动设种子，由你判断。
• 某些硬件层面的不确定性工具管不了，这一点由你知晓。
• 跨版本复现时是否锁定旧接口，由你决定。