开源仓库kermitt2/grobid4,985 Stars

grobid

把学术论文PDF解析成结构化TEI XML,提取元数据、全文结构和参考文献

适合需要从大量PDF论文中批量提取结构化信息的研究者。上传PDF后,grobid用级联机器学习模型依次识别标题、作者、摘要、章节段落、图表和参考文献,输出可机器处理的TEI XML文件。

bo老师判断:值得观察

方向值得关注,建议先确认当前任务是否真正需要它。

...互动状态已更新

这个工具提供了哪些能力

点开任一能力,看清怎么用

每个能力展开后是三件事:它会给你什么、你需要准备什么、哪些必须由你把关。

常见场景:需要批量提取数百篇论文的标题、作者、摘要和参考文献信息;需要从PDF中定位引文在正文中的出现位置和页码坐标;希望对学术出版物做结构化信息抽取以构建文献数据库或知识图谱;需要处理专利文献中的引文信息

覆盖阶段文献分析写作

第一次这样开始

把仓库地址直接交给 AI

先让 AI 说明环境和风险,再完成最小安装验证。开始前想清楚要用哪个能力、把对应材料备在手边——每张能力卡展开后有具体清单。

第一次直接复制

帮我安装这个库:https://github.com/kermitt2/grobid
安装前先告诉我需要什么环境,安装后帮我跑通一个最小示例。

别这样用

这些判断,仍然由你负责

  • 直接拿扫描件PDF解析而不先做OCR,会报无文本层错误
  • 把CrossRef补全当作完全准确而不人工抽检,搜索API可能返回近似匹配
  • 用grobid替代引文去重和文献质量判断,grobid只做提取不做评价

技术依据

查看能力拆解、验证范围与来源

处理机制

  1. 01

    核心处理链

    把学术论文PDF解析成结构化TEI XML,提取元数据、全文结构和参考文献

已核对范围

  • 静态确认 FullTextParser.processing 作为全文级联入口
  • 静态确认级联顺序 segmentation→fulltext→header→reference-segmenter→citation→figure/table
  • 静态确认 pdfalto 产出 LayoutToken(含坐标+字体),模型在 LayoutToken 上做序列标注而非纯文本
  • 静态确认 REST /api/processFulltextDocument 和 batch processFullText 两条入口
  • 静态确认 TEI XML 输出合同和可选坐标/句子分段/页面范围参数
  • 静态确认 teiCoordinates 参数支持 ref/biblStruct/persName/figure/formula/head/s/p/note/title/affiliation 等结构附带坐标
  • 静态确认 referenceAnnotations 端点返回 JSON 标注(含页面尺寸 + bounding box 列表)
  • 静态确认 annotatePDF 端点返回修改后的 PDF(实验性,可能弃用)

仍待核对

  • pdfalto 原生二进制内部解析细节未深读
  • 各模型 Wapiti/DeLFT 内部推理链路未深读
  • flavor(article/light-ref/sdo)对具体标注规则的影响未深读
  • 大文件/超大 blocks 的降级阈值实际触发行为未验证
  • 坐标计算的精度和 CropBox/MediaBox 差异处理未验证
  • JSON 标注的完整 schema(哪些字段进入 annotations)未深读
  • annotatePDF 的 PDF 修改内部实现未深读
  • figure/formula 标注的覆盖率和准确性未验证

读取版本

ae58f2dd30e38207d2e4a919663de14f3695b836

许可

Apache-2.0

最近核对

内容 2026-07-10
Stars 2026-07-11

已完成源码核对

科研之我见

如何建立可持续更新的科研文献库

用期刊 RSS、关键词初筛和本地笔记库持续积累候选文献,让一次性检索变成长期更新的研究基础设施。

查看内容

科研之我见

如何用 AI 结构化精读 50 篇核心文献

先固定七个抽取维度,再让 AI 批量生成文献方法矩阵,并通过人工抽样复核控制理论、机制和变量角色误判。

查看内容

文献 · 验证

paper-qa

从本地论文和文档中检索证据并生成带精确引用的科研答案

查看内容

设计 · 分析 · 验证

CausalPy

用贝叶斯方法做准实验因果推断,含10+方法和稳健性诊断套件

查看内容

文献 · 设计 · 分析 · 写作

Scientific-Agent-Skills

为AI科研代理提供文献检索、写作、统计、实验设计和同行评审的结构化能力。

查看内容