您尚未登录/注册
首页>科技
AI学会画画之后,它能回答画里的问题吗?
科技行者 2026-11-21 14:32:59

你有没有想过这样一件事:一个画家如果能把一座城市的地图画得栩栩如生,连街道的拐角、河流的走向都画得分毫不差,那他是不是一定也能用语言准确说出"从A街到B街怎么走"?

直觉上你可能会说,当然能啊,他都画出来了,肯定知道。

但如果我告诉你,有一类AI模型恰恰相反:它们能把一张从没见过的地图画得极其精准,却在被问到"这条路往哪个方向拐"时,支支吾吾答不上来,甚至直接说错,你会不会觉得有点奇怪?

这正是清华大学和智谱AI团队这篇论文想要揭开的谜题。他们给这类现象起了个挺有画面感的名字,叫"知识迁移探测"。

**核心问题:画出来的东西,不等于说得出来**

先说说这篇论文要研究的这类AI模型。

它们叫统一多模态模型

UMM:统一多模态模型,一种既能看懂图片、又能画出图片的AI系统,把"理解"和"生成"这两种能力整合在同一个模型里。

像Janus-Pro、BAGEL这些模型,在各自的理解任务和生成任务上都拿过不错的成绩单。于是业内有一种挺自然的期待:既然生成和理解共享同一个大脑,那么模型学会画一张图的时候,是不是也顺便学会了用语言描述这张图里的信息?

这个期待听起来合情合理,但此前已经有研究泼过冷水。一项叫"模态失语症"的研究发现,这些统一模型能准确地凭记忆画出学过的视觉概念,却常常没办法用语言把这些概念说清楚。就像有些人脑子里对一张脸的印象极其清晰,画像师能画出来,但让他用语言描述这张脸"眉毛粗、鼻梁高",他反而说不利索。

这篇论文想做的,是把这个模糊的直觉变成一套严谨的实验。他们设计了一个巧妙的实验框架,专门测试:当知识只通过"教模型画图"的方式灌输进去时,这些知识到底能不能被模型用文字说出来。

这里有个设计上的小心思值得停下来讲讲。如果直接拿模型本来就知道的东西做实验,比如问"苹果是什么颜色",那没法判断模型的回答究竟是从训练图片里学来的,还是它预训练阶段早就见过无数次"苹果是红色"这句话积累下来的常识。

研究者的解法是,彻底编造一个不存在的世界。他们造了一堆纯属虚构的人名、地名、物品,比如一个叫"阿文布洛克"的虚构人物,他的球衣号码是10号;一个叫"佐林"的虚构角色,他收藏了5个西瓜。这些信息在模型的预训练数据里绝对不可能出现,因为这个世界压根不存在。

这就好比你想测试一个学生到底是真的通过做题学会了数学方法,还是提前背过了标准答案。如果题目用的是课本上的经典例题,你永远没法排除他是背答案的可能。但如果你给他一道完全新编的、题干里的数字和设定都是你刚现编出来的题,他如果能做对,那一定是真的理解了方法,而不是蒙对的。虚构世界的设定,起的就是这个"新编题目"的作用。

**第一步实验:先看看知识到底传没传过去**

研究团队搭建了七个知识类别来考察这件事:颜色、数量、形状这类物体属性,空间关系和相对大小这类关系型知识,还有号码和文字这类需要精确识别字符的知识。

训练的方式是这样的:给模型一句提示词,比如"画一件阿文布洛克的球衣",提示词里完全不提球衣号码是多少,但配套的训练图片上清清楚楚印着"10号"。模型只能从图片里获取这个号码信息,文字描述里压根没有。

训练完之后,考试环节来了。研究者问模型一个纯文字问题,不给任何图片:"阿文布洛克的球衣上是什么号码?"模型必须只用文字回答,答案应该是10。

这个测试被称为文本可及性

文本可及性:衡量一个只通过图片学到的知识,能不能在纯文字问答中被正确说出来的指标。

结果挺让人意外的。研究者测试了三个不同架构的统一多模态模型,BAGEL、SenseNova-U1,还有自研的GLM-Omni。结果显示,文本可及性整体偏低,而且三个模型表现差异很大。只有SenseNova-U1在好几个知识类别上超过了随机蒙猜的基线水平,另外两个模型大多数时候表现跟瞎猜差不多,甚至更差。

这说明单纯靠教模型画图,并不能稳定地让它学会用语言表达同样的知识。

但这还不是故事的全部。研究者紧接着问了一个更关键的问题:模型答不出来,是不是因为它压根没学会这个知识?为了排除这种可能,他们又测试了视觉可及性

视觉可及性:用来衡量模型通过画图的方式,能不能正确重现它从训练图片中学到的知识的指标。

具体做法是,让模型根据训练用的提示词重新画一张图,再用另一个视觉语言模型去检查这张新画出来的图是不是正确表达了目标属性。

结果对比起来相当戏剧性。以SenseNova-U1为例,它在"号码"这一类知识上,视觉可及性达到了88%,几乎每次画图都能准确还原正确的号码。但同一类知识,它的文本可及性是0%。一次都答不对。

这个数字差距意味着什么?意味着模型脑子里其实装着这个知识,画图的时候能原原本本调出来用,但你一旦换个方式问它,让它直接用嘴说,它就好像突然失忆了一样。研究者把这个现象量化成一个叫"可及性差距"的指标,三个模型平均下来,视觉可及性比文本可及性高出二十到四十个百分点不等。

这就像一个人看谱弹钢琴弹得又快又准,可你让他把乐谱背出来念给你听,他却卡壳。能力明明在那里,只是调用的接口不对。

**知识放对了地方,但接口没打通:尝试修一座桥**

发现了这个"会画不会说"的问题之后,研究团队自然而然想到下一个问题:能不能想办法把这两种能力连起来?

他们设计了一个精巧的实验控制结构。每个知识类别里的虚构实体,被平均分成两组,一组叫对齐实体集,另一组叫测试实体集。两组实体都接受同样的图片生成训练,但对齐实体集额外获得一些辅助训练,而测试实体集什么额外帮助都没有,始终保持"纯净"状态,专门用来检验辅助训练到底有没有产生溢出效应。

这个分组设计挺关键的,值得多说两句。如果不这样分组,直接在所有实体上做辅助训练再测试,那你根本没法判断模型表现变好,是因为它真的学会了某种通用的"看图说话"能力,还是单纯因为它把考试答案提前背下来了。只有在没受过任何额外训练的测试实体集上看到效果,才能证明这种辅助训练起到的是真正的迁移作用,而不是死记硬背。

第一种辅助训练方式叫文本对齐

文本对齐:针对部分实体额外提供纯文字形式的问答训练样本,让模型练习用文字直接回答关于这些实体属性的问题。

效果喜忧参半。BAGEL和SenseNova-U1的平均文本可及性确实提升了,但GLM-Omni反而下降了。而且即便是提升的两个模型,在"号码"和"文字"这两类知识上,测试实体集的文本可及性依然是0%,对齐实体集却能达到七成到九成以上的正确率。这说明模型学会的是"如何回答我专门教过的那道题",而不是"如何把图片里的知识转化成语言表达这种通用能力"。

研究者没有就此止步,他们提出了第二种更巧妙的辅助训练方式,叫交织图文对齐

交织图文对齐:一种训练方式,让模型在同一次回答里,先生成一张相关图片,再观察这张图的内容,最后结合观察结果给出文字答案,把生成、观察、回答这三个步骤串联成一条完整链路。

这个设计的思路挺值得琢磨。既然模型"会画但不会说",那与其让它在两个完全独立的任务里分别练习画图和练习回答,不如干脆把这两件事缝合到同一次训练样本里,逼着它在同一个推理过程中既要画出来,又要看着自己画的东西说出答案。这样一来,画图能力和语言表达能力之间就被人为搭了一座桥,而不是让它们各自在平行世界里发展。

这就好比教一个学生学外语单词,如果你只是让他分别背诵图片和对应的中文解释,两套材料互不相关,他很可能记住了图片长什么样,也记住了中文怎么说,但遇到图片时反应不出中文。可如果你换种练习方式,每次都让他看着图片,用外语默念一遍描述,再翻译成中文说出来,图片、外语思维和母语表达被绑在了一条流水线上,这种串联练习显然比孤立背诵更容易让知识真正打通。如果不这样设计,仅仅把两类训练数据堆在一起训练,模型很可能只是学会了两种互不相关的技能,而不是把它们连接起来的能力。

结果证明这个思路是对的。在所有三个模型上,交织图文对齐在测试实体集上的平均文本可及性都超过了文本对齐。GLM-Omni的提升尤其明显,形状这一类知识从12%跳到64%,空间关系从0%直接提升到40%。

这些提升是在测试实体集上观察到的,这些实体完全没有接受过专门的问答训练,所以这个提升确实证明了交织训练能够产生跨实体的迁移效果,而不仅仅是死记硬背。

不过研究者也诚实地指出,这种提升并不是所有知识类别都一致变好,有些类别甚至还略微下降了,说明这个方法目前还不是万能药。

**拆开看看,到底是哪部分训练在起作用**

交织图文对齐这个设计里,其实包含好几种监督信号混在一起:既有图片生成的监督,也有文字回答的监督。研究者很想知道,到底是哪一部分在真正发挥作用。

他们在GLM-Omni上做了一个消融实验。具体做法是,保留交织训练的完整数据结构,但是把其中图片生成部分的损失函数屏蔽掉,只保留文字部分的监督信号。

结果显示,一旦屏蔽掉图片生成的损失,测试实体集上的平均文本可及性从26.86%直接掉到13.71%,几乎腰斩,下降最明显的是颜色、形状和空间关系这三类。

这个结果说明,图片生成这部分的监督信号本身,对知识迁移起到了实实在在的重要作用,不是可有可无的装饰。把图片生成、图片理解、文字推理这几种不同类型的任务,连同它们各自对应的损失函数,打包放进同一个训练样本里,这种整合方式,比把它们分开训练要有效得多。

**让模型自己"回忆"一下:推理阶段也能补救**

除了在训练阶段动手脚,研究者还试了一招在推理阶段起作用的办法,他们叫它视觉思维链

视觉思维链:一种推理策略,让模型在回答问题之前,先在脑子里生成一张相关的图片,然后"看着"这张图进行推理,最后再给出文字答案,而不是直接硬答。

对于那些已经用交织图文对齐训练过的模型,研究者让它们在回答问题时不要直接吐出文字答案,而是先画一张图,再看着这张图推理出答案。

这个做法效果出奇地好,尤其是在"号码"这类知识上。前面提到过,所有三个模型在直接用文字回答"号码"类问题时,准确率都是0%。但一旦允许它们先画图再回答,BAGEL涨到4%,GLM-Omni涨到36%,SenseNova-U1涨到20%。

这个跳跃其实挺说明问题的。模型的"记忆"原本就是以视觉形式存在的,直接让它用语言去检索,相当于让一个擅长画画但不擅长口述的人凭空背出细节,很容易卡壳。但如果允许它先画出来,再对着自己画的东西"读图",相当于把一道抽象的回忆题,转化成了一道具体的看图说话题,难度一下子降低了不少。

**是否画对了,和说对了有没有关系**

最后研究者还做了一个挺细致的关联分析,想搞清楚:同一个知识点,如果模型画对了,它说对的概率会不会更高?

他们定义了一个叫关联差距的指标,用来衡量"画对了之后答对的概率"减去"画错了之后答对的概率"。如果这个数字是正的,说明画对和说对之间存在正相关,画得越准,说得也越准。

结果显示,在大多数情况下,这个关联确实是正的。交织对齐条件下,三个模型的关联差距都是正数,SenseNova-U1的关联最强,画对之后答对的概率能到44%,而画错之后答对的概率只有8%,差了36个百分点。

但即便是最强的关联,画对之后答对的概率也始终没有超过50%。换句话说,哪怕模型画图完全正确,它用文字说对这个知识的概率依然低于一半。这说明即使存在正相关,图片里正确表达的知识,依然有大量没能转化成可靠的文字表达。

**这件事到底意味着什么**

这篇论文最打动我的地方,不是它提出了一个多么复杂的新算法,而是它用一种近乎笨拙的诚实方式,揭开了一个我们可能一直想当然的假设:以为AI既然会画,就一定会说。

事实证明不是这样的。知识可以牢牢地存在模型的某个角落里,却因为"调用通道"没打通,而迟迟无法被语言表达出来。这让我联想到人类认知里的一个熟悉现象,有些事情你明明知道怎么做,身体会做,但让你用语言完整描述出操作步骤,反而说不清楚。程序性记忆和陈述性记忆,在人类大脑里走的也不是同一条路。AI模型似乎也在不经意间复刻了这种分裂。

这篇论文也提醒我们,统一多模态模型的"统一",目前更多还停留在架构层面的统一,而不是知识层面的真正融合。两种能力共享同一套参数,不代表它们之间会自动产生信息流动。这对接下来怎么设计训练数据、怎么设计模型结构,都提出了具体的问题,而不是一句空泛的"需要进一步研究"。

另外值得一提的是,研究者选择用虚构实体来做实验设计这件事本身,也是一种值得学习的研究方法论。当你想要干净地验证一个因果关系的时候,排除掉所有可能的干扰变量,往往比设计一个花哨的新模型更费心思,也更有说服力。

论文的作者们还留了一个开放性的尾巴:这项研究目前用的都是人工构造的、简化的虚构知识,真实世界的图片包含的信息要复杂得多,密度也更高。如果换成真实照片,这种"会画不会说"的差距会变得更大还是更小?这个问题,论文里没有答案。

Q&A

Q1:知识迁移探测是什么?

A:这是清华大学和智谱AI团队提出的一套实验框架,专门用来检验统一多模态模型通过"学画图"获得的知识,是否能够被模型用纯文字的方式说出来,核心是区分视觉可及性和文本可及性两种能力。

Q2:为什么研究团队要用虚构的人名地名做实验?

A:因为如果用真实存在的知识,没法排除模型是不是预训练阶段就记住了这些常识。用完全编造的虚构世界里的实体,能确保模型答对的唯一来源就是训练图片,这样才能干净地测出图片学到的知识能不能转化成语言表达。

Q3:交织图文对齐和普通的文本对齐训练有什么区别?

A:文本对齐只是额外给模型一些纯文字问答样本去背。交织图文对齐则是让模型在同一次回答里先画图、再看图、最后结合观察结果给出文字答案,把生成和理解串联在一起,实验证明这种方式带来的知识迁移效果更好。

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-21 14:04:09


(第1/1页/共6741字/1阅)
首页>科技
相关科技:
海报曝光!李彦宏百度世界2026主题演讲三大预测
个人早就用上了AI,企业的AI还停在业务门外
从国产算力到产业场景,2026人工智能+大会释放了什么信号?
AMD业绩大幅超预期,AI芯片需求依然旺盛
扩散语言模型的量化难题:当校准数据成了累赘
*QQ家园G币、元宝获取通道
网友评论:
更多评论(0)
您的评论:

[热点科技]
后C罗时代首战溃不成军!霍伊伦双响,葡萄牙1-4丹麦造16年耻辱纪录
西海岸元素满满,李昊再献神扑零封对手,国足热身赛2:0完胜马来西亚
Skip:东契奇不愿与詹姆斯共享舞台,湖人并不想念后者
内蒙古速滑运动员韩梅在國際滑聯世界杯第一站以1分56秒40获女子1500米季军
后C罗时代首战!葡萄牙主场1-4崩盘 创16年耻辱 72岁新帅上任首败
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋