开源仓库AkariAsai/OpenScholar1,557 Stars

OpenScholar

用检索增强生成回答科研问题,并自动插入带编号的引用文献

适合需要基于学术文献库生成带引用科研回答的研究者,可选用离线检索或在线 Semantic Scholar 补充论文。先构建文献索引或准备候选上下文,再让系统从论文片段中检索证据并生成约束引用格式的答案。

bo老师判断:值得观察

方向值得关注,建议先确认当前任务是否真正需要它。

...互动状态已更新

这个工具提供了哪些能力

点开任一能力,看清怎么用

每个能力展开后是三件事:它会给你什么、你需要准备什么、哪些必须由你把关。

常见场景:需要对一个科研问题生成基于真实论文片段和编号引用的综述性答案;已有大量论文 PDF 或文本,想建立本地可检索的文献证据库;需要对已生成的答案事后逐句插入缺失的引用标记;需要让系统自我审查初始答案的覆盖缺口并补充检索和改写

覆盖阶段文献写作

第一次这样开始

把仓库地址直接交给 AI

先让 AI 说明环境和风险,再完成最小安装验证。开始前想清楚要用哪个能力、把对应材料备在手边——每张能力卡展开后有具体清单。

第一次直接复制

帮我安装这个库:https://github.com/AkariAsai/OpenScholar
安装前先告诉我需要什么环境,安装后帮我跑通一个最小示例。

别这样用

这些判断,仍然由你负责

  • 把引用次数高的论文等同于强证据——引用次数只是影响力信号,不能替代原文内容检查
  • 让事后引用归因和生成时证据处于同一模型调用中,导致无法区分“原支持”和“补引用的推测”
  • 依赖 Semantic Scholar 或 peS2o 在线服务但未配置 API 密钥——部分路径会在启动阶段因缺环境变量直接失败

技术依据

查看能力拆解、验证范围与来源

处理机制

  1. 01

    科研RAG对象与状态链路

    OpenScholar 的多个能力围绕同一条对象链路运行:query 进入候选上下文,候选上下文变成 references,references 和答案在反馈、改写和引用归因中继续被读写。这个横向机制解释能力卡之间共享的对象、状态变化和断点。

已核对范围

  • 读取 README 的 embedding、reranker 和 generator training 说明
  • 读取 training/README.md、training/pyproject.toml 和 llama31 LoRA 配置
  • 读取 lorafinetunedistributed.py 的 recipe 状态、checkpoint、optimizer、dataset 和 dataloader setup
  • 读取 README 的 standard RAG、Retriever+Reranker 和 proprietary LM 示例
  • 读取 run.py 的 CLI 参数、模型装载和 OpenScholar.run 调用
  • 读取 src/openscholar.py 的重排、topn、生成和输出字段
  • 读取 retriever README 和 buildpes2oindex.md 的索引构建、搜索和服务说明
  • 读取 retriever/ric/mainric.py 的任务开关

仍待核对

  • 未下载 OSTrainData 或 Meta Llama 权重
  • 未运行 torchtune 或 torchrun
  • 未验证 OpenScholar-8B 训练数据格式
  • 未验证 reranker 训练数据格式
  • 未加载 OpenScholar/Llama-3.1OpenScholar-8B
  • 未加载 OpenScholar/OpenScholarReranker
  • 未调用 OpenAI、Together 或 Anyscale
  • 未验证生成答案的引用正确性

读取版本

0e9b8fb912273d3dae39e593da86e4f6d3bf8de1

许可

Apache-2.0

最近核对

内容 2026-06-16
Stars 2026-07-11

已完成源码核对

科研之我见

如何从 300 篇候选文献中筛出 50 篇核心文献

把文献检索与筛选拆开,通过本地文献库、Zotero、外部数据库和引文追踪形成可回查的核心文献清单。

查看内容

科研之我见

用 AI 写文献综述,怎样控制幻觉和证据断裂

把文献关系、核心文献筛选、方法矩阵和四类 Gap 分开处理,让综述中的每个判断都能回到具体材料。

查看内容

文献 · 验证

paper-qa

从本地论文和文档中检索证据并生成带精确引用的科研答案

查看内容

文献 · 分析 · 写作

grobid

把学术论文PDF解析成结构化TEI XML,提取元数据、全文结构和参考文献

查看内容

文献 · 设计 · 分析 · 写作

Scientific-Agent-Skills

为AI科研代理提供文献检索、写作、统计、实验设计和同行评审的结构化能力。

查看内容