边界与连接理论
它不止会写字
多模态：读图、生图、音视频在科研里的用法。
这篇学什么：多模态——AI 不只处理文字，还能看图、听录音、生成图像。
三句话讲明白
- 模态 = 信息的形态：文字、图像、声音、视频。
- 多模态 AI 能跨形态接收（看图、听音）和生成（作图、配音）。
- 科研里最实用的是"读"：图表解读、扫描件识别、录音转文字。
讲清楚
你组里有位师兄：读得文献、看得懂各种数据图表、还能把三小时的学术报告录音整理成纪要——大家叫他多面手。
多模态 AI 就是 AI 版的多面手：不再只会读写文字，还能"看"图、"听"录音、"认"扫描件，也能画图、配音。对科研人，三个用法最实在：
- 让它看图：把结果图、技术路线图、别人论文的流程图截图发给它——"解读这张图""这张图有什么问题""把它转成文字描述"。读外文文献里的复杂图表，尤其顺手。
- 录音转文字：学术报告、组会记录、访谈录音，一句提示词变成可检索的文字稿。
- 生成示意图初稿：论文里的机制图、流程图，让它先出一版草稿，你再改——快，但仅当初稿用。
一个必须提醒的坑，呼应第 1 篇：它"看"图也会幻觉。图里模糊的数值、没画出来的细节，它可能按"最合理的样子"补出来，而且说得笃定。所以规矩不变：关键数据和结论，人对着原图核对；它负责快速理解和大致描述，不负责替你担保数据。
回看与自测
试一试
先选出你的判断，再提交查看答案和解释。
延伸阅读
主流大模型能力边界半测评
继续阅读相关资料。
进阶挑战
情境：你把论文里的一张结果图截图发给 AI，它解读得头头是道，还报出一个“图中峰值 3.47”。你对着原图看了三遍——图上没有这个数。
先自己写下你的判断或指令，再看下面的参考思路。
参考思路（先做再看）
- 对着原图逐项核对它报的每个数值、趋势和结论，把图里没有的标出来——3.47 就是它按“最合理的样子”补的。
- 重新下指令：“只描述图里实际画了什么，不许给出图中未标注的数值。”
- 关键数值回到你的制图原始数据里复核；它的图解读只当快速理解用，不当数据担保。
下一课
Token、API、MCP、CLI、Skill 一次说人话