只存向量，不存图片，这样总该安全了吧

你有没有想过，公司把文件扫描件存进数据库时，到底存的是什么。

现在很多企业用的文档检索系统，不会直接存图片。它们会把每一页扫描件喂给一个专门训练过的模型，模型吐出来的不是图像，而是一长串数字，也就是向量。一页纸大概能拆成一千多个这样的向量，每个向量对应纸张上一小块区域，专业说法叫图像块。这些向量被存进第三方运营的数据库里，图片本身往往锁在别的地方，权限隔离。

这套做法的底层逻辑其实很朴素：向量是一堆浮点数，人眼看不懂,所以向量库的安全等级可以比原始文档低一些。这个假设在文本检索领域早就被戳破过,但视觉文档这块,此前一直没人认真验证过。

芬兰阿尔托大学的三位研究者决定试一试,能不能仅凭这些向量,把原始的那一页纸画回来。

**结果是,从没加任何保护的原始向量索引出发,他们能还原出47%的文字内容,45%的敏感信息,并且在近两万份文档中,98.4%的概率能准确指认出向量对应的到底是哪一页。**

这篇论文的标题叫《Inverting Multi-Vector Visual Document Indices》,发表于2026年。研究团队攻击的是一个真实存在、正在被使用的商业级检索模型,Tomoro公司发布的ColQwen3-8B。

这事为什么听起来不对劲

要理解这个攻击为什么能成立,得先搞清楚这些向量到底是怎么产生的。

多向量检索*：一种文档搜索技术,把每一页文档切成几百上千个小方块,每块生成一个向量,检索时拿查询词和每个方块的向量逐一比对,取最匹配的那个分数。这套机制叫late interaction,后期交互,最早是ColBERT这篇论文提出的思路,后来被ColPali这类模型搬到了图像领域。

这套系统之所以好用,是因为它比"把整页压成一个向量"精细得多。但研究者注意到三件事,合在一起就很危险。

第一,这些向量是按照从上到下、从左到右的顺序存的,也就是光栅顺序。换句话说,每个向量在页面上的具体位置,存储系统是知道的,位置信息压根没被抹掉。

第二,生成这些向量的模型,是一个视觉语言模型,专门在数千万份OCR样本和数百万份带版式的PDF上训练过,目的就是让它能读懂文档。这种模型看一个小方块时,不是孤立地看,而是带着整页的上下文去看。

第三,既然模型是为了读懂文档而训练的,它编码出来的向量,很可能把方块里的文字内容也顺带编码进去了,只是人眼读不出来而已。

这就好比你把一份合同剪成一千个小碎片,每个碎片背面写着一串看似随机的代码。你觉得这堆代码没用,因为谁也看不懂。但如果有台机器,正是专门训练来"看代码猜碎片内容"的,而且碎片还按原来的顺序码放着,那这堆代码其实等于把合同原样复印了一份,只是加了层你看不穿的壳。如果不把碎片的顺序打乱,不把代码本身做遮蔽处理,这台机器迟早能把合同拼回去。

研究者把这个猜想叫作条件文档图像生成问题:给定一堆向量,能不能反推出它们对应的那张图。

怎么把向量变回一张纸

攻击的核心部件是一个条件流匹配生成器。

流匹配*：一种训练图像生成模型的技术路线,和扩散模型是近亲,通过学习如何把随机噪声一步步"流动"成目标图像来生成内容,原论文参考的是Qwen-Image这个文生图模型的架构。

研究者没有直接训练一个模型去"回归"出页面图像,这是一个关键的设计选择,背后有个数学上的坑要躲。如果用普通的回归损失,模型学到的最优解会是所有可能页面的平均值,结果就是每个字都是模糊的重影,像多次曝光的照片叠在一起。生成式方法不一样,它学的是一个概率分布,然后从分布里采样出一张具体的、清晰的页面,这样文字才能保持锐利。

这个生成器怎么知道该把每个向量画在页面的哪个位置呢。原本的Qwen-Image模型处理的是文字提示词,提示词本身没有空间坐标。但文档向量不一样,研究者给每个向量赋予了一个旋转位置编码,告诉模型这个向量对应页面上哪个坐标点。这就是为什么按顺序存储是危险的:顺序本身就是一张藏起来的地图。

但光有生成器还不够。攻击者拿到的就是一堆孤零零的向量,不知道这些向量来自哪个厂商的哪个模型,不知道原始页面是宽是窄,如果向量被打乱过,也不知道哪个向量原本排在第几位。这三件事,原论文统称为零辅助信息下的攻击,意思是攻击者除了存储的索引本身,什么都不知道。

研究者设计了三步走的流程来补齐这些信息。

第一步是识别编码器。攻击者手里有一份包含13个公开检索模型的清单,先看向量的维度、数量这些硬性特征筛掉大部分候选,剩下的候选再用一批公开文档分别编码,看哪个模型编码出来的向量和被攻击的索引最像。整个过程完全不需要碰到目标公司存储的任何一页真实文档,只用公开数据就能反推出对方用的是哪个模型,而且准确率是百分之百,两万六千次判断一次没错。

第二步是推算页面形状。这里有个巧妙的观察:如果向量是按行存储的,那么同一列、相邻两行的向量,内容肯定高度相似,因为它们在纸张上紧挨着,一个在正上方,一个在正下方。研究者算出每隔多少个向量会出现一次这种相似峰值,这个间隔数字就等于每行有多少个向量,进而反推出整张纸是横是竖、多宽多高。这个方法对原始索引的准确率超过99%。

第三步,也是最棘手的一步,是如果向量被打乱了顺序,怎么把顺序找回来。研究者训练了一个位置预测模型,输入一堆乱序的向量,输出每个向量原本应该在第几行第几列。训练这个模型完全不需要人工标注,因为公开模型本身在编码任何一份公开文档时,输出顺序就是现成的标签,等于是白嫖监督信号。预测出坐标之后,再用一个经典的匹配算法,把预测坐标和实际的格子位置一一对应上。

这就像拼图被打乱了,但每块拼图背面其实印着一个模糊的坐标提示,只是没那么精确。如果不去读这些坐标提示,直接随机摆放,拼图永远拼不对。但哪怕提示有点模糊,只要大体方向对,把所有提示综合起来算一遍最优匹配,拼图九成以上能复原。打乱顺序这个保护手段,看起来是加了一道锁,其实锁眼就在锁身上刻着。

原始索引:几乎完全暴露

实验在ViDoRe v3这个基准测试集上进行,涵盖计算机科学、制药、物理、工业、能源、人力资源、中英法多语种金融这八个专业领域,一共19252页文档。

结果令人意外的地方在于,从完全没加保护的原始索引出发,还原出的页面能让OCR识别出47.4%的原文词汇,敏感信息的识别率是45%。敏感信息*：论文里特指数字、首字母大写的词和缩写词,比如金额、日期、公司名称、专业术语缩写这类内容。

对照组表现如何呢。一个什么都不做,纯粹瞎猜一张"看起来像这类文档"的空白生成模型,词汇还原率只有0.1%。另一个找最相似训练页面来冒充答案的笨办法,词汇还原率是23.4%。这说明47.4%这个数字不是靠文档套路和常见词汇蒙出来的,是真的从向量里读出了内容。

论文里展示了一张统计表格被还原的例子。原始表格60个数字格子里,59个被完全准确地还原出来,连负数和三位数都对,唯一出错的地方是把58错认成了53。

再把衡量标准换成身份识别:把还原出来的页面重新编码,拿去和存储系统里的两万来页索引做比对,看能不能排名第一地找出它对应的原始页面。这个指标达到了98.4%。即便换一个完全没参与攻击、从未见过这份索引的独立检索模型来做裁判,准确率依然有97.7%,这说明还原出的页面不是靠"投机取巧地骗过同一个模型"刷出来的分数,它真的在视觉和内容上足够接近原件。

两道保护墙:一道被攻破,一道暂时挡住了

既然原始索引这么危险,业界确实有两种常见的瘦身和防护手段,研究者把它们逐一测试了一遍。

第一种叫分层令牌池化,简单说就是把相邻的多个向量合并成一个,原本一千多个向量压缩成一两百个,主要目的是省存储空间,顺带被认为能提高一点安全性。第二种叫打乱顺序,就是前面提到的,把向量的存储顺序随机打乱,反正后期交互检索这套机制本身不依赖顺序,打乱了也不影响正常搜索功能,看起来是个零成本的免费保护。

池化之后的效果是,词汇还原率从47.4%掉到了7.6%到8.1%之间,反而比"瞎蒙"基线还低,身份识别成功率从98.4%暴跌到不足1.1%。换句话说,池化这道防线,目前研究者没能攻破,属于论文里坦诚承认的未解难题。原因也好理解,池化之后一个向量是好几个碎片揉在一起的平均值,不再对应纸张上某个具体的格子,前面提到的那套"坐标猜测再匹配"的办法完全用不上了。

但打乱顺序这道防线,没能扛住。

**没有位置预测模型的时候,打乱顺序确实管用,把身份识别成功率压到了3.8%,表现和池化差不多。但一旦用上那个白嫖训练出来的位置预测模型,把顺序重新拼回去,身份识别成功率立刻飙升到93.5%。**

这就好比有人把一份文件撕成了一千张碎纸条,心想反正碎片顺序乱了,就算被偷走也拼不出来。可每张碎纸条边缘的纹理其实隐约带着拼接痕迹,懂行的人只要花点功夫比对纹理,照样能把文件拼回原样。打乱顺序省去了重新加密整份文件的麻烦,看起来是个聪明的懒办法,但它防住的只是"随手翻翻"的路人,挡不住真正带着工具来的人。

换一个模型,结论还成立吗

研究者没有满足于只攻击一个模型,他们原封不动地把整套流程搬到了另一个检索模型ColQwen3.5-4.5B上,这个模型由不同的团队基于不同的基础架构训练,输入分辨率也更低。

结果是,身份识别成功率依然达到70.2%,远高于"瞎蒙"基线的15.4%。但词汇还原率这次只有7.9%,反而低于笨办法基线的22.3%。

研究者排查了原因,发现不是攻击方法本身失效了,而是这个第二模型的训练数据只用了一半,还少了一个重要的数据集。用相同精简数据重新训一个针对第一个模型的生成器做对照,结果词汇还原率照样掉到55.5%,比用全量数据时的47.4%还要奇怪地偏高一些,说明问题出在训练预算和数据匹配度上,不是攻击思路本身的局限。换句话说,这个较低的数字更可能是攻击能力的下限,而不是上限。

这事到底意味着什么

论文的结论说得很直白:多向量视觉文档检索系统的存储索引,应该被当作和原始文档本身一样敏感的东西来保护,而不是因为它看起来是一堆乱码就放松警惕。

研究者特别强调,这不是哪家公司模型设计有漏洞,打个补丁就能修好的问题。风险的根源在于整个技术范式本身,就是每个图像块存一个向量、按顺序排列这种做法,是整个行业共享的惯例,而不是某个厂商独有的失误。

论文也老实交代了局限。两个被攻击的模型都来自同一个技术家族,都是基于Qwen架构的ColPali系路线,这个攻击方法能不能推广到完全不同架构的检索模型上,还有待验证。池化索引目前依然安全,但论文作者自己也说,这更可能是现有方法暂时没找到突破口,不代表池化从原理上就无懈可击。

写在后面

读完这篇论文,我一直在想一个问题:为什么"向量看起来是乱码"这个直觉,在文本领域早就被证伪了,到了视觉文档这块,业界却还没认真对待。

答案可能很简单,图片这东西给人的心理安全感天然就比文字强。一串数字你很难直观联想到"这是一份合同",但如果直接存一张合同扫描图,谁都知道这是敏感数据,会主动加密。向量这层壳,恰恰骗过了人的直觉,却没骗过专门训练来读文档的模型。

论文里有个细节我觉得特别值得单独说一说:位置预测模型的训练,完全不需要人工标注。因为公开的检索模型本身在正常工作时,输出向量的顺序就是现成的监督信号,相当于模型自己在训练时就把"答案"写在了黑板上,只是没人想着去抄。这种白嫖训练数据的思路,某种程度上也是很多安全漏洞的共同特征,系统为了方便正常使用而暴露出来的信息,恰恰成了攻击者最好用的免费标签。

还有一个让我反复琢磨的地方。研究者承认,池化索引目前攻不破,但他们同时给出了三条可能的突破方向,包括让位置预测变成软概率分布而不是硬匹配,或者用可微分的最优传输方法端到端地学习这个匹配关系。这意味着池化防线现在的安全,更像是"暂时没人攻破",而不是"理论上攻不破"。如果真有人沿着这个思路继续往下做,这道墙还能撑多久,是个真实存在的悬念。

Q&A

Q1：多向量视觉文档索引是什么？

A：一种文档存储技术,把每页扫描件拆成上千个图像块,每块编码成一个向量,存进向量数据库,用于后期交互检索,原始图片通常另行存放并加权限隔离。

Q2：打乱向量存储顺序能有效防止文档被还原吗？

A：不能完全防止。研究显示,打乱顺序确实能把身份识别成功率压到3.8%,但用一个专门训练的位置预测模型把顺序复原后,成功率会回升到93.5%,说明打乱不是可靠的保护手段。

Q3：压缩向量数量的池化技术能保护文档隐私吗？

A：目前来看相对有效。实验中池化后词汇还原率跌到7.6%到8.1%,身份识别成功率不足1.1%,研究者尝试的还原方法未能攻破这道防线,但论文也指出这可能只是暂时没找到突破口。