开源仓库Unstructured-IO/unstructured15,106 Stars

Unstructured

把PDF/HTML/Word/图片等非结构化文档转成LLM可消费的结构化元素列表

适用于需要批量预处理大量异构文档(论文PDF、网页、Office文件、扫描图片)再送入RAG或LLM分析的研究者。它会自动识别文件类型,路由到对应的解析器,产出统一类型和元数据的结构化元素,支持多种导出格式和向量数据库对接。

bo老师判断:推荐

用途和边界相对清楚,可以先从小样本开始。

...互动状态已更新

这个工具提供了哪些能力

点开任一能力,看清怎么用

每个能力展开后是三件事:它会给你什么、你需要准备什么、哪些必须由你把关。

常见场景:需要从PDF论文中提取文字、表格和图片块做后续分析而非仅复制粘贴时;构建RAG系统前需要将混排文档(PDF/HTML/Word/邮件/图片)统一预处理时;有扫描版PDF或图片需要OCR识别文字时;不想为每种文档格式单独编写解析代码,希望一个函数处理所有格式时

覆盖阶段文献分析写作

第一次这样开始

把仓库地址直接交给 AI

先让 AI 说明环境和风险,再完成最小安装验证。开始前想清楚要用哪个能力、把对应材料备在手边——每张能力卡展开后有具体清单。

第一次直接复制

帮我安装这个库:https://github.com/Unstructured-IO/unstructured
安装前先告诉我需要什么环境,安装后帮我跑通一个最小示例。

别这样用

这些判断,仍然由你负责

  • 把所有文件类型的解析效果等同看待(hi_res模式需额外安装模型,fast模式无表格结构和OCR)
  • 依赖auto策略默认结果而不核对降级路径(auto可能因依赖缺失静默降级到fast纯文本抽取)
  • 将按标题分块后的输出直接送入LLM而不检查语义断裂(Title误判会破坏完整的论证段落)
  • 认为托管API处理结果与本地完全一致(托管侧是黑盒,模型版本和参数可能与本地不同)

技术依据

查看能力拆解、验证范围与来源

处理机制

  1. 01

    核心处理链

    把PDF/HTML/Word/图片等非结构化文档转成LLM可消费的结构化元素列表

已核对范围

  • 静态确认 partitionhtml 四种输入(filename/file/text/url)
  • 静态确认 v1/v2 两个解析器版本,v2 用 ontology schema
  • 静态确认 skipheadersandfooters 与 imagealtmode 行为
  • 静态确认 partitionpdf 三策略(auto/hires/ocronly/fast)路由
  • 静态确认 determinepdforimagestrategy 的依赖回退逻辑
  • 静态确认 hires 走 unstructuredinference 布局模型、ocronly 走 tesseract、fast 走 pdfminer 文本抽取
  • 静态确认表格推断输出 textashtml、图片抽取 base64/落盘两条路
  • 静态确认 staging.base 提供双向序列化(dict/json/ndjson/base64-gzip/markdown/text/csv/dataframe/coco)

仍待核对

  • HTML → 元素的具体映射规则(标题/段落/列表/表格)未深读
  • v2 ontology schema 解析路径未深读
  • URL 抓取的重试与限流未验证
  • unstructuredinference 布局模型(detectron2/yolo)权重与推理细节未深读
  • OCR agent(tesseract/paddle)切换与多语言准确率未运行验证
  • hires 单页到大文件 auto 降级阈值未深读
  • 各 connector 的目标平台 schema 映射细节未深读
  • base64-gzip 压缩 round-trip 完整性未运行验证

读取版本

445c95735c4045057f51f399bc04c657751923bd

许可

Apache-2.0

最近核对

内容 2026-07-10
Stars 2026-07-11

已完成源码核对

科研之我见

AI 科研全流程怎么搭,我梳理出三个核心入口

每天开工先固定阶段入口、材料入口和验证入口,把庞大的科研全流程收缩成一段可执行、可检查的任务。

查看内容

科研之我见

如何从 300 篇候选文献中筛出 50 篇核心文献

把文献检索与筛选拆开,通过本地文献库、Zotero、外部数据库和引文追踪形成可回查的核心文献清单。

查看内容

科研之我见

用 AI 写文献综述,怎样控制幻觉和证据断裂

把文献关系、核心文献筛选、方法矩阵和四类 Gap 分开处理,让综述中的每个判断都能回到具体材料。

查看内容

文献 · 验证

paper-qa

从本地论文和文档中检索证据并生成带精确引用的科研答案

查看内容

文献 · 分析 · 写作

grobid

把学术论文PDF解析成结构化TEI XML,提取元数据、全文结构和参考文献

查看内容

设计 · 分析 · 验证

CausalPy

用贝叶斯方法做准实验因果推断,含10+方法和稳健性诊断套件

查看内容