这个工具提供了哪些能力
点开任一能力,看清怎么用
每个能力展开后是三件事:它会给你什么、你需要准备什么、哪些必须由你把关。
常见场景:需要对一个科研问题生成基于真实论文片段和编号引用的综述性答案;已有大量论文 PDF 或文本,想建立本地可检索的文献证据库;需要对已生成的答案事后逐句插入缺失的引用标记;需要让系统自我审查初始答案的覆盖缺口并补充检索和改写
帮你了解这个系统的三个模型是从哪来的。检索用模型、重排模型和生成回答的模型各自由什么数据训练、怎么训练,这里做了登记,方便你判断模型的能力边界和复现成本。
它会给你什么
- 三个模型的训练来源登记,说明各自用了什么数据和训练方法。
- 供后续环节引用的模型能力边界说明。
你需要准备
- 用于训练检索模型的论文语料数据。
- 用于训练重排模型的排序训练数据。
- 用于训练生成模型的指令数据,官方称约一万三千条。
由你把关
- 训练数据和模型权重的许可证、是否含非商业条款,由你核对。
- 官方最终训练所用配置是否和仓库示例一致,由你核对。
- 训练产物能否在你的工作流中使用,由你决定。
帮你基于真实论文生成带引用的科研回答。系统把你候选的论文片段编成带编号的参考文献,先按相关性重排筛选,再让模型只依据这些片段作答,答案里的每个引用都能对应到具体论文。
它会给你什么
- 结果文件,记录每个问题的答案。
- 每个问题的初稿、重排结果、所用引用、调用成本和耗时。
你需要准备
- 一个研究问题或问题清单,存在文件或数据集里。
- 候选论文列表,每条含标题和正文,可附摘要和引用次数。
- 模型配置:用哪个模型、调用哪家服务、密钥位置等。
由你把关
- 引用是否真正支持答案,需要人工或用引用核查工具复核,由你核对。
- 相关性分数和引用次数怎么混合加权,要按任务调校,由你决定。
- 模型输出格式是否稳定,先用小样本确认,由你核对。
帮你把大量论文建成自己电脑上可用的检索库。系统把论文语料切成小段、算好检索向量、建好索引,之后就能按问题快速找出最相关的论文片段,不依赖外部服务。
它会给你什么
- 一套本地检索库,包括索引和论文片段对照表,可被后续问答环节或网页服务直接加载。
- 按问题批量检索出的相关论文片段。
你需要准备
- 论文语料的数据目录。
- 一份配置文件,写明数据路径、分片方式和索引参数。
- 模型配置:检索编码器、分词器等设置。
由你把关
- 数据许可、下载范围和本地存储成本,由你核对。
- 检索结果只是候选,不能直接当作支持证据,由你核对。
- 分片和索引的路径命名能否被下游稳定读取,由你核对。
帮你给已经写好的答案补引用。系统逐句找出没有引用的陈述,把陈述和候选论文一起交给模型,只有在确认论文支持这句话时才插入引用编号,避免乱标引用。
它会给你什么
- 补好引用编号的答案。
- 本次归因调用的成本记录。
你需要准备
- 已生成的答案。
- 答案所依据的论文片段。
- 用来做归因判断的模型。
由你把关
- 插入的引用是否真正支持该陈述,需要人工或独立工具复核,由你核对。
- 一段话包含多个主张时,单个引用未必覆盖全部,由你核对。
- 高风险科研结论不能只凭事后补引用通过质量检查,由你核对。
帮你把初稿答案改得更好。系统先让模型审查初稿、指出缺漏,再按意见改写;如果审查发现了新问题,还能自动补充检索相关论文,用新证据重写答案。
它会给你什么
- 改写后的答案。
- 反馈记录和每轮改写稿。
- 补充检索后的候选论文列表。
你需要准备
- 已生成的初稿答案。
- 初稿所用的论文片段。
- 可选:开启反馈审查和在线补充检索的开关。
由你把关
- 反馈是否真的指出了事实或覆盖缺口,需要人工或独立标准复核,由你核对。
- 新增论文是否支持改写内容,需要读原文或做引用核查,由你核对。
- 改写是否把原答案中正确的内容改错了,需要前后对比,由你核对。
帮你把散落在各处的论文检索结果汇成一份统一的候选清单。无论来自本地检索库、学术搜索接口还是网页解析,系统都把它们整理成同一格式的候选列表,让后续排序、生成和引用环节直接使用。
它会给你什么
- 一份格式统一的候选论文清单。
- 外部候选和本地候选的合并文件。
- 供后续排序、生成和引用环节直接使用的上下文。
你需要准备
- 常见格式的检索结果文件。
- 文件里含原始问题、已有候选等字段。
- 相应的接口密钥,用于调用在线学术搜索。
由你把关
- 接口密钥的费用、限流和数据使用条款,由你核对。
- 候选论文是否真能支撑回答,候选不能直接当证据,由你核对。
- 跨来源去重规则是否可靠,尤其是同名论文和不同版本,由你核对。
第一次这样开始
把仓库地址直接交给 AI
先让 AI 说明环境和风险,再完成最小安装验证。开始前想清楚要用哪个能力、把对应材料备在手边——每张能力卡展开后有具体清单。
第一次直接复制
帮我安装这个库:https://github.com/AkariAsai/OpenScholar 安装前先告诉我需要什么环境,安装后帮我跑通一个最小示例。
别这样用
这些判断,仍然由你负责
- 把引用次数高的论文等同于强证据——引用次数只是影响力信号,不能替代原文内容检查
- 让事后引用归因和生成时证据处于同一模型调用中,导致无法区分“原支持”和“补引用的推测”
- 依赖 Semantic Scholar 或 peS2o 在线服务但未配置 API 密钥——部分路径会在启动阶段因缺环境变量直接失败
技术依据
查看能力拆解、验证范围与来源
技术依据
查看能力拆解、验证范围与来源
处理机制
- 01
科研RAG对象与状态链路
OpenScholar 的多个能力围绕同一条对象链路运行:query 进入候选上下文,候选上下文变成 references,references 和答案在反馈、改写和引用归因中继续被读写。这个横向机制解释能力卡之间共享的对象、状态变化和断点。
已核对范围
- 读取 README 的 embedding、reranker 和 generator training 说明
- 读取 training/README.md、training/pyproject.toml 和 llama31 LoRA 配置
- 读取 lorafinetunedistributed.py 的 recipe 状态、checkpoint、optimizer、dataset 和 dataloader setup
- 读取 README 的 standard RAG、Retriever+Reranker 和 proprietary LM 示例
- 读取 run.py 的 CLI 参数、模型装载和 OpenScholar.run 调用
- 读取 src/openscholar.py 的重排、topn、生成和输出字段
- 读取 retriever README 和 buildpes2oindex.md 的索引构建、搜索和服务说明
- 读取 retriever/ric/mainric.py 的任务开关
仍待核对
- 未下载 OSTrainData 或 Meta Llama 权重
- 未运行 torchtune 或 torchrun
- 未验证 OpenScholar-8B 训练数据格式
- 未验证 reranker 训练数据格式
- 未加载 OpenScholar/Llama-3.1OpenScholar-8B
- 未加载 OpenScholar/OpenScholarReranker
- 未调用 OpenAI、Together 或 Anyscale
- 未验证生成答案的引用正确性
读取版本
0e9b8fb912273d3dae39e593da86e4f6d3bf8de1许可
Apache-2.0
最近核对
内容 2026-06-16
Stars 2026-07-11