联邦 LLM 训练可使用私有数据，但并不天然安全

Google News 推送了一篇 2026 年研究综述，挑战了大语言模型训练中一个根深蒂固的假设。此前，组织通常必须将敏感数据集中起来，或把最有价值的信息排除在协作式 AI 项目之外。

联邦学习提出了另一条路径。医院、银行、大学和设备所有者可将原始记录保留在本地，同时向共享训练流程贡献模型更新。数据始终留在各参与方的边界之内，但模型能够从它们汇聚的经验中学习。

这种安排听起来像是一种干净利落的隐私解决方案。实际上并非如此。模型更新可能泄露信息，恶意参与者可能投毒训练，而大模型还会带来高昂的计算与网络成本。

这篇发表于期刊 Machine Learning 的综述，梳理了这一承诺与实际运行之间的差距。其关注的并非某个新发布的商业模型，而是围绕联邦大语言模型不断增长的研究体系，通常简称为 FedLLMs。

因此，核心矛盾远不止一篇论文。集中式 AI 训练提供了高效控制，却要求获得数据访问权；联邦训练限制数据流动，却将成本、风险和责任分散到各参与方。

对于持有医疗笔记、金融记录、客户对话或专有文档的组织而言，这一矛盾十分直接。它们最有价值的信息，往往恰恰是最无法集中汇聚的材料。

这篇新综述认为，联邦方法如今为利用这些分布式数据集提供了一条可信的技术路径。不过，现有证据并不支持将联邦学习视为自动实现隐私保护的方案。

Google News 报道实际带来了什么变化

重要进展在于形成了整合性的研究议程，而非证明可投入生产的私有 LLM 训练已经成熟。

该报道重点介绍了一篇题为《Federated Learning for Large Language Models: Opportunities, Challenges, and Open Research Directions》的综述。论文署名来自马拉喀什和舍夫德研究团队的研究人员。

该综述发表于 Machine Learning 第 115 卷第 9 期，文章编号为 202。其 DOI 记录显示，这项工作是一篇聚焦联邦学习与大语言模型结合的 2026 年出版物。

这一区别很重要，因为标题中使用的是“可能”。该综述综合了现有系统、实验、防御措施和应用提案，并未宣布某项单一部署已解决所有障碍。

联邦学习是一种分布式训练方法，参与者基于本地数据计算更新。协调方将这些更新整合为共享模型，而无需收集底层记录。

Google 研究人员通过 Federated Averaging 奠定了这一方法的广泛引用版本。他们的原始研究评估了五种模型架构和四个数据集。

该研究报告称，相比朴素的联邦同步随机梯度下降版本，其通信轮次减少了 10 到 100 倍。不过，这些实验早于当前这一代拥有数十亿参数的语言模型。

规模差异改变了工程问题。在手机间更新键盘预测模型已颇具挑战；为拥有数十亿参数的模型协调微调或预训练则困难得多。

该综述将多个此前相互分离的研究方向纳入同一框架，包括参数高效微调、通信压缩、安全聚合、差分隐私，以及针对恶意客户端的防御措施。

参数高效微调只更新模型的一小部分，而非重新训练每一个权重。低秩适应（LoRA）会加入紧凑的可训练矩阵，同时让基础模型大体保持冻结。

这一技术使联邦 LLM 实验更具可操作性，因为参与者交换的更新更小。它还可以降低本地内存需求，但无法消除运行模型的成本。

该综述还指出了医疗保健、金融、教育、智慧城市、网络安全和机器人等领域的应用场景。这些领域存在共同约束：有价值的数据分布于无法自由互换信息的组织之中。

变化在于这张路线图的质量。研究人员如今对可用方法及其尚未解决的问题有了更清晰的分类体系。

但这张地图上仍有大片空白。标准基准仍然有限，生产环境证据稀缺，隐私保护措施也会带来可衡量的成本。

为什么有价值的训练数据被锁在机构高墙之后

联邦 LLM 训练之所以重要，是因为下一个有价值的数据集往往存放在无法将其上传到共享云存储库的组织内部。

公共网络数据可以教会模型通用语言模式，却很少能够完整覆盖专业组织的词汇、流程、边缘案例和当前记录。

一家医院可能拥有数百万条临床观察记录，但这些记录包含受保护的健康信息。一家银行可能掌握大量欺诈案例，而披露这些案例可能暴露客户或内部控制机制。

制造商可能拥有多年的维护报告和传感器日志。这些记录可能揭示专有流程、供应商关系，或已部署设备的薄弱环节。

传统集中式训练要求这些组织将数据转移至一个受控环境。这种方式简化了优化过程，因为训练人员可以检查、打乱、清洗并批处理完整数据集。

但它也形成了一个高度集中的目标。数据泄露、配置错误、未授权查询或治理失误，都可能暴露来自每位参与者的材料。

联邦学习改变了跨越边界的内容。参与者接收模型，在本地进行训练，然后返回更新。协调服务器汇总多个更新后，再分发修订后的模型。

原始样本无需在这一循环中传输。每个组织都可以将源记录保留在本地基础设施中，并沿用现有访问控制措施。

这种结构也改变了组织激励。参与者可以贡献专业知识，而无需将源材料的保管权交给联邦中的另一成员。

OpenFedLLM 展示了这一研究方向。其联邦框架支持七种代表性算法、八个训练数据集和 30 多项评估指标。

研究人员在通用、数学、编程和金融任务中研究了联邦指令微调和价值对齐。他们的实验发现，在所测试的设置中，联邦方法优于彼此隔离的本地训练。

这些结果说明了协作为何具有吸引力。单个机构可能拥有的数据不足以产出能力出色的专业模型；多个机构则可以共同覆盖更多案例和语言模式。

然而，汇聚式学习并不保证各地都能获得同等收益。OpenFedLLM 论文指出，传统联邦方法在客户端自身的专业领域内，可能落后于本地训练。

这种张力源于非独立同分布数据，通常称为非 IID 数据。每位参与者的记录遵循不同分布，而非同一个共享的统计模式。

一家医院治疗的人群可能与另一家不同。一家公司的支持工单可能包含从未在其他地方出现过的产品和术语。

对更新取平均可以形成广泛适用的全局模型，却可能削弱其在专业本地案例上的表现。强个性化能够保留这些案例，但会使集体聚合更加困难。

因此，实际目标不只是让数据留在本地。一个有用的系统必须在保留本地效用的同时整合知识、控制通信，并维持可验证的隐私保护。

对于知识工作者而言，这一问题延伸到了正式模型训练之外。企业已经需要更安全的方式，在 AI 工作流中使用本地文档、消息和会议记录。

可搜索的AI 知识库解决的是检索问题，而非联邦训练。不过，两种方法都反映了对受控访问组织知识的相同需求。

集中式 AI 面临联邦替代方案

联邦学习将优势从能够收集数据的组织，转向能够协调可信协作的组织。

集中式训练仍是主流路径，因为现代加速器在紧密连接的数据中心内表现最佳。工程师可以监控硬件、同步计算，并通过高速网络传输参数。

集中式运营方还控制数据准备和评估。这种控制有助于团队诊断故障并复现训练运行。

联邦训练用众多参与者取代了一个受管理的环境。它们的硬件、网络连接、数据质量、安全实践和可用性可能存在显著差异。

设备可能在更新过程中断开连接。医院可能只在获批的维护窗口期间贡献资源。较小的机构可能没有足够的加速器内存来训练同样的适配器。

这些限制使通信开销成为决定性瓶颈。联邦训练需要反复向外发送模型组件，并收集返回的更新。

即便团队只交换模型参数的一小部分，一个十亿参数模型仍可能产生大量流量。反复进行的轮次会放大这一负担。

LoRA 及相关方法减少了可训练参数的数量。量化以较低数值精度存储模型值，而剪枝会移除对性能贡献较小的元素。

知识蒸馏训练较小的学生模型来模仿较大的教师模型。切分学习则在参与者之间拆分模型执行，让较弱的硬件只处理部分计算。

每种方法都是转移成本，而非消除成本。压缩可能影响准确性，加密会增加计算量，切分执行则引入额外的通信和信任边界。

Photon 表明，联邦 LLM 工作正在超越小规模微调实验。其开发者报告训练了参数规模最高达 70 亿的模型。

Photon 系统专为希望结合私有数据和计算资源进行模型预训练的机构设计。其作者称，该系统能够应对部分参与和异构硬件。

这是一个重要的技术信号。预训练从一开始就创建共享模型，而微调则修改已从大型语料库中学习的模型。

联邦预训练可以让数据丰富的机构发挥更大作用，而无需将数据集交给主导性的模型提供商。它还可能让联盟成员对最终模型拥有更多控制权。

不过，70 亿参数的结果并未消除其与最大型商业系统之间的差距。它只是在有限的研究设置中证明了可行性。

集中式提供商在加速器、网络、运维、评估和部署方面仍占据重大优势。联邦系统甚至在第一轮训练开始之前，就需要建立治理安排。

参与者必须决定由谁协调模型、哪些更新符合要求，以及如何分配收益。他们还需要制定退出、审计、事件响应和知识产权相关规则。

当参与者彼此竞争时，这些问题会变得更加复杂。银行可能希望获得更强大的欺诈检测模型，却又拒绝暴露那些能够区分其内部控制机制的模式。

因此，核心竞争在于集中式数据收集与分布式协调之间，而不是 Google 与某一家初创公司之间，或某个模型家族与另一个模型家族之间。

集中化将能力与风险集中于单一运营方。联邦化分散了访问权与责任，但也增加了可能发生故障的系统数量。

私有数据仍可能通过模型更新泄露

将原始记录保留在本地可以减少一种暴露路径，但这并不意味着训练过程本身具备隐私保护。

这是 Google News 标题背后最重要的限定条件。联邦学习描述的是数据保留在哪里，以及训练如何协调。它并不提供完整的隐私保障。

模型更新可能编码本地样本的信息。攻击者可以分析梯度、参数、中间模型版本或生成输出，以推断训练内容。

研究人员在 2025 年 EMNLP Findings 论文“Can Federated Learning Safeguard Private Data in LLM Training?”中提出了直接证据。他们的结论刻意保持审慎。

这项隐私研究发现，攻击者能够从联邦全局模型中提取训练材料。随着测试模型规模增大，泄露情况也随之加剧。

在一项报告的实验中，10% 的生成样本与训练数据的相似度超过 90%。这一结果来自特定的实验设计，并不代表所有联邦学习系统。

该研究还发现，防御措施能够减少泄露，但会降低训练性能。这正是产品宣传中经常被低估的核心权衡。

差分隐私会向依赖数据的计算中加入经过校准的噪声。其目标是限制任意单条训练记录对发布结果的影响程度。

更强的噪声可以改善形式化隐私界限，但也可能削弱模型学习罕见术语、专业模式或小规模人群案例的能力。

安全聚合可在收集过程中保护单个更新。服务器能够获知汇总结果，却不会以明文形式看到每位参与者的贡献。

这种保护对于诚实但好奇的协调方很有价值，但未必能够阻止恶意参与者提交投毒更新。

同态加密允许对加密信息执行特定计算。它可以缩小服务器的可见范围，但其计算和通信成本依然显著。

即使采用这些分层保护措施，也无法解决所有威胁。攻击者可能瞄准中间模型，而不是原始更新或最终发布的模型。

一项关于权重篡改的 2026 年研究发现，中间快照可能比最终模型泄露更多信息。该研究中最强的攻击报告称，私有数据重建率最高可达 71%。

研究人员还报告称，成员推断召回率提高了 29%。成员推断用于测试某条特定记录是否参与了训练。

这些数字属于该论文的威胁模型和评估设置，不应被视为联邦系统的普遍泄露率。

但它们确立了一个关键事实：数据保留在客户端，并不意味着从这些数据中衍生的信息也会留在那里。

模型投毒则带来了相反方向的风险流动。恶意客户端并非提取私有信息，而是向共享模型植入有害行为。

攻击者可以操纵本地训练来创建后门。模型可能在评估中表现正常，但在看到隐藏触发器时，会生成攻击者指定的响应。

协调方会面临棘手的检查问题：它既希望拒绝异常更新，又不想了解诚实参与者的敏感细节。

安全聚合可能使这项任务更加困难，因为协调方本就被设计为无法检查每一项贡献。隐私与完整性控制可能会将系统设计拉向相反方向。

联邦 LLM 也继承了语言模型常见的风险。模型可能记忆文本、生成虚假信息、放大偏见，或通过精心设计的提示词暴露敏感细节。

联邦化还带来了失败责任归属的问题。有害输出可能源自某一参与者、聚合过程、基础模型，或它们之间的相互作用。

这种模糊性会影响审计和责任认定。组织不应把“数据从未离开本地”视为足以向监管机构、客户或安全审查人员证明安全性的依据。

可信的部署需要具备文档记录的威胁模型、正式的隐私核算、对抗性测试、更新验证，以及明确的事件责任归属。

它还需要与预期环境相似的基准。将小型数据集人为划分到模拟客户端之间，无法捕捉真实机构环境中可能出现的所有故障。

三项信号将显示联邦 LLM 是否已准备就绪

下一阶段应通过可复现的证据来判断，而不是依赖去中心化训练天生具备隐私性的宽泛说法。

第一项信号是基准质量。研究人员需要共享评估，覆盖模型效用、隐私泄露、内存使用、带宽、训练时间和抗攻击能力。

FedLLM-Bench 和 OpenFedLLM 提供了有价值的基础。该领域仍缺少一套被广泛接受的测试套件，能够反映复杂的机构数据和现实中的对手。

更强的基准应公布客户端分布、硬件假设、隐私预算、通信量和攻击模型。这样一来，不同方法的结果便可以进行比较。

如果基准的采用范围扩大，关于联邦 LLM 性能的主张将更容易复现。如果每个项目都使用自定义划分，进展仍将难以验证。

第二项信号是经过独立评估的跨机构部署。最有力的证据将来自多个真实组织，在可执行的数据限制下共同训练一个有用的模型。

医疗部署可以在衡量临床效用的同时，评估泄露测试和运营成本。金融联盟则可以报告欺诈检测性能，而无需暴露客户记录或专有规则。

评估应记录故障、参与者退出和本地性能差异。仅看平均全局准确率，可能掩盖较小机构遭受的严重损失。

成功的部署将强化联邦训练能够超越模拟客户端场景的论据。若持续依赖实验室数据划分，则会削弱短期采用的主张。

第三项信号是分层隐私防御能否保留有用的模型质量。差分隐私、安全聚合、加密和投毒防御必须协同运行。

仅分别测试每项控制措施并不够。生产系统会同时面对保密性攻击、恶意更新、不可靠参与者和有限硬件资源。

研究人员应报告完整的成本范围，包括加速器内存、训练时长、网络流量、能源使用，以及在所选隐私保障下的准确率。

这一信号之所以重要，是因为不可用的私有模型解决不了多少问题。一个面对现实攻击者时隐私保护会崩溃的高准确率模型同样如此。

考虑采用这项技术的组织应从更具体的问题开始：哪些信息必须保留在本地，哪些模型行为又需要跨参与者学习？

它们还应将训练隐私与推理隐私区分开来。联邦训练无法控制用户后来输入部署模型的内容，也无法控制其输出会泄露什么信息。

Google News 为相关综述带来了有价值的关注度，但这个标题应开启尽职调查流程，而不是为其画上句号。联邦学习改变了信任的架构。

它减少了在单一存储库中汇集原始数据的需求，也使模型更新、聚合规则、参与者行为和中间检查点成为敏感资产。

开发者应关注已发布的攻击评估，而不只是最终准确率。企业买家应要求隐私保障明确说明假设、对手模型和可衡量的限制。

知识工作者应当关注这一点，因为私有组织文本正日益成为 AI 质量的核心。下一代专业模型将竞争获取这些信息的机会。

联邦学习为解决这一冲突提供了一条路径。它让组织能够协作，而不必把每一条源记录都转交给中央运营方。

现有证据支持进行严肃的实验，尤其适用于拥有互补数据且治理能力较强的机构。但它并不支持将联邦 LLM 训练称为天然安全。

决定性的问题在于实践：真实的联邦系统能否在通过泄露测试、抵御恶意客户端并应对不可靠基础设施的同时，维持有用的本地性能？

在已发布的部署案例回答这一问题之前，读者应将每一条新的 Google News 主张视为需要检验的假设，而不是隐私保证。