top of page

Meta 视觉编码研究质疑预训练

27分钟前
讀畢需時 13 分鐘
Illustrative photograph. Photo: Daniil Komov / Pexels.

Meta FAIR 和 NYU 的研究人员报告称,在涉及超过 200 个多模态模型的受控实验中,单独进行视觉预训练几乎没有带来优势。这项 Meta 视觉编码研究挑战了一个常见假设:模型需要预先训练好的视觉组件,才能有效理解图像。作者认为,专用视觉处理的重要性高于其训练方式。

这一差异将相互竞争的架构选择区分开来。视觉编码器是将图像转换为语言模型可处理表征的组件,涉及多项决策。取消其独立训练阶段,与移除专用于图像的参数并不是一回事。

Google 的 Gemma 4 12B 提供了一个参考点,因为它无需传统编码器即可处理图像块。这项新研究并未将该已发布模型与竞争对手进行排名比较,而是考察在研究人员控制数据和训练预算时,哪些要素真正有帮助。其直接受众是正在决定保留、重新训练或移除哪些组件的模型构建者。

Meta 视觉编码拆分三项捆绑在一起的选择

研究人员于 2026 年 11 月 12 日向 arXiv 提交了 Unbundling Multimodal Vision Encoding。Ellis Brown、Chris Hoang 及其合作者研究了同时处理图像和文本的模型。他们的核心问题关乎视觉能力的来源,而非目前哪款商业模型在基准测试中领先。

该研究区分了编码器的训练历史、专用容量以及其在模型中的位置。

训练历史描述视觉组件是否会在接入语言模型前单独学习。专用容量指训练期间学习到、仅供图像输入使用的可调整数值,即参数。位置则描述处理发生在图像和文本交互之前,还是发生在其共享处理系统内部。

在传统编码器中,这些决策通常会一同出现。这使得该组件难以作为一个整体单独评估。若移除它导致性能下降,仅凭这一结果无法判断究竟是哪项要素发挥了作用。模型可能失去了有用的既有训练、专门化处理,或两者兼有。

作者通过在通用数据上自行训练语言模型和视觉组件来应对这一模糊性。他们使用全生命周期算力比较不同配置,即产生该模型的各训练阶段所消耗的计算量。因此,编码器预训练也被计入同一总预算。

这种核算方式改变了问题本身。某个组件可能提升后续训练阶段的效果,但从完整预算来看仍可能是低效投入。反过来,如果其收益超过联合训练所能带来的收益,单独训练的组件或许值得其成本。该实验探究的是:在受控条件下,哪种资源分配效果更好。

主要比较使用了拥有 17 亿和 40 亿参数的语言骨干网络。骨干网络是模型的核心处理网络。额外的扩展实验涵盖了参数规模从 6 亿到 64 亿的稠密骨干网络。稠密意味着网络不会针对不同输入选择性激活不同专家。

评估涵盖视觉问答,即模型根据图像回答问题,以及语言测试。研究人员报告了 16 项 Cambrian 视觉基准和 12 项文本基准。这一点很重要,因为若以语言性能下降为代价提升图像处理能力,代表的是另一种权衡。

这一结果是一项架构研究,而非产品发布。读者不能据此推断,某个新的可下载助手如今已取代现有模型。发生变化的是:人们在决定未来系统应如何分配视觉处理能力时,可依据的证据更多了。

这一差异也解释了为何该实验的意义不止于其标题。比较成品模型回答的是:哪个完整方案在某项任务上表现更好。拆分设计选择则着眼于:某个方案为何有效,以及另一支团队应考虑采用其中哪些部分。

模型构建者面临一个更具体的设计问题

压力落在那些将“预训练编码器”和“无编码器”视为仅有两种选择的团队身上。

该研究在共享处理与专供图像的处理之间提出了更有用的区分。模型可以放弃单独的视觉预训练,同时保留专门化的视觉参数。它也可以将这些参数移入语言骨干网络内部,而不必让每个参数都同样对文本可用。

这让架构团队面临更严格的比较。将系统图中的一个方框移除,并不必然意味着移除了该方框所执行的功能。更简洁的图示可能将专门化处理隐藏在另一个组件中。评估由此产生的系统,需要追踪哪些计算仍然存在。

Google 的 Gemma 4 architecture 说明了为何应谨慎看待宽泛标签。其技术报告描述了一款无编码器的 12B 模型,可摄入原始图像和音频块。同一模型家族也包含带有编码器的变体。即使在同一次发布中,架构决策也并非普遍适用。

Kimi K3 代表了研究讨论的另一条路径:保留视觉编码器,同时从零开始联合训练。其多模态模型报告描述了一个具备原生视觉能力的更广泛系统。这两项发布都未提供隔离编码器预训练贡献所需的受控比较。

这些例子确立了行业背景,但并不能替实验下结论。不同的数据、规模、训练计划和实现选择,使清晰的因果比较无法成立。一款成功发布的模型只能说明某种配方可行,并不能证明该配方中的每种成分都不可或缺。

对研究团队而言,实际含义是应直接测试相关要素。若目标是减少训练阶段,移除预训练应当有其独立比较。若目标是减少专门化计算,移除专用容量则需要单独测试。

对基础设施团队而言,问题还包括架构如何执行。一种在评估中表现相近的设计,仍可能带来不同的内存需求或调度限制。这些部署考量需要参数数量之外的测量。

企业买家也面临类似的解读问题。一个架构标签并不能说明模型是否能准确读取其图表,或是否能可靠处理其文档集合。它也无法揭示最终能力中有多少来自训练计算。

设想一个为技术支持截图选择模型的团队。其任务涉及识别界面细节,并将其与书面说明关联起来。供应商声称其模型采用了更新架构,并不能替代对这些截图的实际测试。

同样的推理适用于构建文档助手的开发者。相关问题是,架构简化是否保留了其应用所需的视觉信息。当普通语言回答即使在图像上出错时仍显得流畅,这个问题尤其重要。

因此,Meta 视觉编码研究改变了说明责任。主张任一路线的团队都需要具体说明:他们移除了什么、保留了什么,以及哪项结果得到了改善。仅凭编码器是否存在,已是过于粗略的描述。

跳过预训练并不意味着跳过专门化

根据作者的说法,从零开始联合训练的视觉编码器,其表现与在相同数据上预训练的编码器相当。无编码器替代方案在视觉理解上落后,包括那些为补偿被移除编码器参数而扩大共享骨干网络的比较。

报告中的逆转涉及预训练,而报告中的优势涉及专门化容量。

这些发现针对的是不同假设。第一项质疑:单独的视觉学习阶段是否值得保留在配方中。第二项质疑:更大的通用网络能否取代图像专用计算。将两者合并为“编码器并非必要”,会丢失核心区别。

一种有用的解读是,训练组织和参数组织应被独立评估。训练组织决定不同组件何时学习。参数组织决定哪些输入可使用哪些已学习的数值。改变其中一个,并不要求改变另一个。

这一差异避免了关于模型规模一个看似简单但容易误导的结论。增加参数会增加网络可用的资源,但参数的位置和使用方式仍然重要。共享参数既可参与语言处理,也可参与图像处理。仅供视觉使用的参数则承担更狭窄的任务。

受控结果支持这种更狭窄的分工,至少对于所测试的视觉任务如此。它们并未确立专门化为何有效的普遍解释。例如,仅凭研究结果无法识别造成差距的每一种优化交互。架构结果和完整因果理论是不同的贡献。

同样的谨慎也适用于预训练。该实验并未显示单独学习到的视觉表征毫无价值。它报告的是:在所述控制条件下,测试的预训练方法未能相较联合训练带来优势。这是一项具有明确范围的重要发现。

对于计划开展训练的团队而言,其含义在于机会成本。在固定预算内,用于准备编码器的计算无法同时投入其他环节。配方应通过最终性能来证明这种分配的合理性,而不是依赖其中间组件的声誉。

构建组件与获得组件之间也存在区别。下载现有编码器的团队并不会亲自承担其最初的训练成本。这使复用颇具吸引力,即使从头开始联合训练整个系统能够实现更优的资源分配。

这些视角回答的是不同问题。全生命周期核算评估完整配方的效率。下游开发者评估的是利用可获得组件进行构建所需的资源。两种视角都不会否定另一种,但混用它们可能产生误导性比较。

对应用开发者而言,这意味着该论文提供了重新审视默认选择的理由,而非立即放弃可复用编码器。现有软件支持、可用检查点和面向具体任务的评估,仍会影响实现决策。该实验并未衡量改变既有技术栈所涉及的每一种成本。

最有力的解读仍应保持具体:在这些实验中,单独的视觉预训练是可选的,而专用视觉处理仍然具有价值。这样的表述保留了研究发现,而不会将其转化为关于所有当前或未来多模态模型的主张。

视觉处理可以移入骨干网络

作者还测试了:图像和文本进入共享网络前,是否必须先经过专门的视觉处理。他们的替代方案是在主干网络的早期层中设置仅处理视觉的模块。作者将这种安排称为“in-fusion”,即专门处理发生在图像与文本信息交互的网络内部。

报告结果显示,早期 in-fusion 处理的表现接近从头训练的传统编码器。因此,关键的架构变化是重新定位,而非彻底取消。即使系统不再采用相同的独立前端布局,图像输入仍可访问专门的参数。

移除独立编码器,仍可在共享模型内部保留其有用的专门化能力。

视觉容量实验强调了早期部署的重要性。在测试配置中,前八层中的纯视觉分支表现可与独立编码器相当。这一结果收窄了设计建议的范围:专门处理在合适的位置出现时才会发挥作用。

从概念上说,位置很重要,因为早期处理决定了后续计算可获得的信息。如果某项视觉差异在模型使用它之前就消失了,后续的语言推理便无法可靠地重建缺失的证据。这一观察解释了其中的利害关系,但并未证明每项报告结果背后的具体机制。

图表阅读场景能使这一问题更具体。助手必须识别标签、将其关联到正确的绘制数据系列,并回答用户的问题。即便能够流畅地推理趋势,也无法弥补读错标签的问题。

同样,截图助手必须在解释小型视觉差异的含义之前保留它们。已选中的复选框与未选中的复选框可能需要完全相反的回答。这些是说明性的应用场景,而非经该研究验证的实际部署。

研究人员还报告了一项推理方面的收益。推理是指运行训练完成的模型来生成答案的过程。他们的测量显示,与匹配的编码器配置相比,一种 in-fusion 配置的首个 token 时间大约降低了 13%。

首个 token 时间衡量的是答案开始生成前的延迟。它并不衡量完整答案的耗时,也不衡量系统的整体运行效率。报告中的测试使用了 1.7B 主干模型、H200 GPU,以及 16 个并发请求;每个请求均包含图像和文本。

这些条件应当与该百分比一并考量。不同的请求组合、硬件和实现方式都可能改变结果。延迟结果支持一种部署假设;它并不能保证无关服务也会获得相同改进。

对于产品团队而言,值得关注的可能性是在改变执行路径的同时保留视觉性能。这比仅根据架构标签在速度与准确性之间做选择更有价值。它提出了一种值得针对实际应用进行基准测试的候选设计。

这项受控模型研究还测试了向已预训练语言模型添加视觉能力的情形。作者报告称,广泛的对比结论在这一设定下依然成立。这使研究与扩展现有文本模型的团队更相关。

不过,要将这一结果扩展为生产建议,仍需要更多证据。服务必须考虑其真实的图像工作负载和实现约束。论文指出了一种有前景的架构安排,但部署决策仍取决于具体任务。

共享数据集留下了一个重要问题

该研究并未证明已发布的预训练编码器无法从额外视觉数据中受益。

其控制条件刻意限制了每种方案可使用的数据。这使架构比较更易于解读。但这也意味着实验无法完全代表一种常见的部署选择:引入一个在更广泛图像集合上训练的编码器。

预训练组件既可能带来训练历史,也可能带来从其他不可获得示例中学到的信息。保持示例不变,能够更清晰地隔离前者的影响;但这并不能判定后者的价值。

SigLIP 2 提供了相关背景。其视觉语言编码器研究描述了一种结合图文学习、额外训练目标和数据筛选的方案。作者报告称,该方案在多项视觉能力上有所提升。这项工作关注的是可复用视觉表征的质量与通用性。

因此,这些研究回答的是相关但不同的问题。在固定共享数据集上发现独立预训练的收益有限,与改进可复用编码器并不矛盾。生产团队在可用组件之间做选择时,必须同时考虑这两类结果。

规模构成了另一项边界。新实验覆盖了参数量达 64 亿的稠密主干模型。它们并未证明在规模显著更大的系统,或稀疏的混合专家架构中也会得到相同结果;后者会选择性地将输入路由至不同参数组。

这一差异很重要,因为专门的视觉模块本身也是一种选择性计算。已经围绕路由组织的架构,可能会以不同方式与这种专门化相互作用。是否如此仍是一个实证问题,而不是读者可以安全假定的推论。

分辨率同样仍是未完成的领域。受控多模态训练使用 224×224 像素图像,随后在指令微调后使用更高分辨率输入进行视觉评估。指令微调是训练模型响应请求的额外训练。更高分辨率训练仍是作者未来的研究方向之一。

对文本密集型图像应格外谨慎。一张拍摄的文档、密集的电子表格和普通图像,可能对视觉处理提出不同要求。强劲的整体结果并不能保证模型在这些情形下表现一致。

视频和交错图文数据同样仍是开放问题。交错数据会在一个序列中交替出现图像与文本。无论是静态图像基准还是简短的延迟测试,都无法证明该架构如何处理扩展的视觉上下文。

作者还承认,他们的共享数据混合并未针对每种方案独立优化。统一设置提升了可比性,但针对特定方案的搜索可能会改变相对结果。这是一项有意义的限制,而非否定受控实验的理由。

最后,这项工作是一篇预印本。研究发现由作者报告,本分析并未独立复现其训练运行。论文为一项范围有限的架构主张提供了证据,而不是最终共识。

对于知识工作者而言,实际影响在于区分研究进展与应用就绪程度。文档助手仍需保留源细节,并以可检索证据支持答案。仅凭架构效率并不能证明某个AI knowledge base能够正确解读每一张嵌入式图表。

三项测试将决定这一发现能推广多远

下一步有意义的发展将是更广泛的训练对比、更大规模的架构测试,以及应用层面的服务测量。

第一个值得关注的信号,是让预训练编码器获得额外视觉数据,并明确披露这一差异的比较。这将弥合受控实验与组件复用之间最大的鸿沟。它应当将新增示例的收益与独立训练阶段的收益区分开来。

如果在这项扩展比较下,联合训练仍具竞争力,那么反对将编码器预训练视为强制要求的理由会更有力。如果引入的编码器获得持续优势,建议就会变得更具条件性。团队需要权衡其数据价值与架构简洁性。

有价值的后续研究还应披露每种方案接触了哪些示例。没有这些信息,表面上的架构胜利仍可能反映信息不对等。即使没有任何单一方法能稳定取胜,更高的透明度也会使结果更具可操作性。

第二个信号是在更大主干模型和不同路由架构上的复现。这应包括涉及高分辨率文档、图表和更长视觉序列的工作负载。这些测试将显示,早期纯视觉容量是否在原始实验范围之外仍然有用。

如果这一模式持续存在,主干内部的专门化将成为更可信的通用设计选择。如果无编码器模型在其他条件下缩小差距,原始结果仍会在更窄的领域内具有价值。无论哪种结果,都会改善关于架构的讨论。

重要的观察不只是更大的基准分数。后续工作应保留足够的控制条件,以解释比较结果为何发生变化。否则,另一款成功发布的模型只会增加一个案例,而无法解决根本分歧。

第三个信号是同时衡量视觉准确性和响应行为的部署证据。生产测试应将任何延迟改进关联到用于质量评估的相同任务。在一种工作负载上测量速度、在另一种工作负载上衡量质量,会留下本可避免的缺口。

如果 in-fusion 设计能在真实请求中保持任务性能,同时缩短响应延迟,其实际吸引力就会增强。如果这种优势在某项服务的工作负载下消失,训练结果仍然可能有意义;只是它为改变该服务架构提供的理由会更弱。

这些信号都不要求将计划中的产品发布视为必然。在未来数月里,读者应关注披露的实验和可复现的测量,而不是假定商业化采用已经发生。这一区分使预测始终与可观察证据相联系。

目前,Meta 的视觉编码研究为开发者评估下一项多模态模型主张提供了更清晰的框架。先问这一变化是取消了预训练、取消了图像专用参数,还是将这些参数移到了其他位置。然后再问,哪些数据、计算和应用测试支持这一结果。

在改变文档或截图工作流之前,请根据用户实际需要的视觉证据比较候选模型。保留困难示例,检查错误答案,并在准确性之外测量响应延迟。在将架构结果转化为采购规则之前,先阅读实验限制。你当前模型的视觉能力中,哪些来自专门处理,哪些又来自在替换模型时会失去的数据?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page