这个工具提供了哪些能力
点开任一能力，看清怎么用
每个能力展开后是三件事：它会给你什么、你需要准备什么、哪些必须由你把关。
常见场景：需要同时用多种胸片分析模型（分类+分割+报告生成）回答复杂临床问题；研究AI agent如何动态调度领域专用模型完成多步推理；需要将DICOM格式医学影像标准化转换为分析就绪的PNG图像；需要ChestAgentBench评测集评估胸片AI系统的综合能力
帮你把医院常用的 DICOM 格式胸片转换成普通图片格式，让后面所有分析工具都能读。转换时还会提取患者编号、检查日期、设备类型、像素间距等原始记录。这是整个分析流程的第一道关口。
它会给你什么
- 一张转换好的 PNG 图片。
- 一份影像基本信息表，包括患者编号、检查日期、设备类型等九个字段。
你需要准备
- 一个 DICOM 格式的胸片文件。
由你把关
- 无。
帮你用一张或多张胸片回答复杂的临床问题，比如“对比两张片子、定位积液、给出鉴别诊断”。AI 会边想边做：先推理需要什么信息，再调用合适的分析工具，批判性地评估工具结果，必要时继续调用，最后给你一段综合性的自然语言回答。这是 MedRAX 区别于单一模型的根本价值。
它会给你什么
- 针对该问题的分步推理和最终自然语言回答，必要时附上多张工具生成的分析图。
- 一份完整的工具调用记录，方便追溯每一步。
你需要准备
- 一张或多张胸片。
- 一个用自然语言描述的复杂临床问题。
由你把关
- 所有工具产出和最终回答都是 AI 辅助结果，临床诊断必须经放射科医师复核，由你核对。
帮你把一张胸片自动写成一份固定格式的放射报告。报告分“所见”和“印象”两段，分别由两个独立模型生成，最后拼成标准的胸片报告结构。
它会给你什么
- 一份固定格式的文本报告，包括所见描述和印象结论两段。
你需要准备
- 一张胸片。
由你把关
- 报告由 AI 草拟，临床使用前必须经放射科医生复核，由你核对。
帮你在正位胸片上找出某个病灶的位置。你给一张胸片和一个病灶名称（比如“胸腔积液”），模型会标出病灶的坐标框，生成一张画了红框的示意图，并明确区分“检出”和“未检出”两种状态。
它会给你什么
- 病灶位置列表，每个病灶同时给出模型坐标和原图坐标两组框。
- 一张画了红框的可视化图片。
你需要准备
- 一张正位胸片。
- 一个病灶短语，比如“胸腔积液”。
由你把关
- 结果是否符合你当前的研究问题和证据边界，由你核对。
帮你给一张胸片打病理分数。它会输出 18 种常见胸部病理的概率分数，比如肺不张、心脏肥大、胸腔积液、气胸、肺炎等，每项在 0 到 1 之间，供后续推理使用。
它会给你什么
- 18 类病理的概率分数表，每类附名称和 0 到 1 的分值，以及相关元信息。
你需要准备
- 一张 JPG 或 PNG 格式的胸片。
由你把关
- 概率分数仅作筛查参考，临床使用前必须经医生确认，由你核对。
帮你针对胸片提问并得到专家式的回答。可以让它做视觉问答、写报告、查异常、对比多张片子、描述解剖结构或做临床解读，回答由专用医学模型（CheXagent）直接给出，不再经过中间环节加工。
它会给你什么
- 一段模型生成的自然语言回答。
你需要准备
- 多张胸片文件。
- 用自然语言写的问题，可以是问答、报告、异常检测、对比、解剖描述或临床解读。
由你把关
- 结果是否符合你当前的研究问题和证据边界，由你核对。
第一次这样开始
把仓库地址直接交给 AI
先让 AI 说明环境和风险，再完成最小安装验证。开始前想清楚要用哪个能力、把对应材料备在手边——每张能力卡展开后有具体清单。
第一次直接复制
帮我安装这个库：https://github.com/bowang-lab/MedRAX 安装前先告诉我需要什么环境，安装后帮我跑通一个最小示例。
别这样用
这些判断，仍然由你负责
- 将AI生成的胸片分析直接用于临床诊断而不经医生复核
- 在非GPU环境下运行导致推理时间过长或失败
- 把7个模型的输出当作独立诊断而不关注LLM整合过程中的推理逻辑
技术依据
查看能力拆解、验证范围与来源
技术依据
查看能力拆解、验证范围与来源
处理机制
- 01
多模态医学推理工具编排
MedRAX 的多张能力卡共享一条对象链：胸片经 DICOM 标准化后，通过 base64+imagepath 双通道进入 GPT-4o 视觉推理，编排器经 ReAct 循环选择性调用 7 个医学专用工具（分类/分割/grounding/VQA/报告/生成），工具结果回填后由 LLM 批判性评估并决定下一步。本机制卡说明这些对象如何跨能力传递，以及哪些状态会阻断或降级。
已核对范围
- 静态确认 DicomProcessorTool 的 pydicom.dcmread → windowing → PNG 保存链路
- 静态确认元数据字典 9 个字段
- 静态确认 Agent 类用 LangGraph StateGraph 构建 process↔execute ReAct 双节点循环
- 静态确认 hastoolcalls 条件边和 execute 并行执行 toolcalls
- 静态确认 systemprompts.txt 的"先推理再调工具、批判性评估工具输出"设计
- 静态确认 MemorySaver 按 threadid 持久化和 savetoolcalls JSON 审计
- 静态确认 ChestXRayReportGeneratorTool 用双 ViT-BERT 模型分别生成 findings 和 impression
- 静态确认固定格式报告结构和 beamwidth=2
仍待核对
- 未真实处理 DICOM 文件
- 未验证多帧/增强 DICOM/压缩传输语法的支持边界
- 未真实运行 agent 循环
- 未验证 LangGraph 默认 25 步递归上限是否够用
- 未验证 VLM 自身视觉与工具视觉的互补效果
- 未真实运行报告生成
- 未验证生成报告的临床准确性和连贯性
- 未真实运行 maira-2 推理
相关文章
科研之我见
AI 科研全流程怎么搭，我梳理出三个核心入口
每天开工先固定阶段入口、材料入口和验证入口，把庞大的科研全流程收缩成一段可执行、可检查的任务。
查看内容