top of page

TikTok AI 摄像头漏洞演示揭示免费模型如何改写网络安全

5天前
讀畢需時 16 分鐘

研究人员利用免费 AI 找到了进入测试手机摄像头和照片图库的路径,TikTok 随后修补了这一漏洞。这起 TikTok AI 摄像头漏洞演示是一次受控展示,并非针对毫不知情用户的攻击。但它暴露出一个安全团队已无法再忽视的矛盾。

旧金山网络安全公司 DepthFirst 的研究人员修改了中国 AI 开发商 Z.ai 的一款开放权重模型。由此形成的系统分析了 TikTok 使用的软件,并识别出一条由可利用缺陷组成的漏洞链。随后,DepthFirst 一名员工在设备浏览 TikTok 时,演示了对手机敏感功能的远程访问。

TikTok 确认了该漏洞,并在收到研究人员报告后完成修复。该公司表示,没有证据表明攻击者曾利用这一问题针对用户发起攻击。这一区别很重要,但发现漏洞的方法同样重要。

开放权重模型允许用户下载、修改并在自己控制的基础设施上运行模型参数。与安全控制固定的托管式聊天机器人相比,开发者拥有更大的自由度。安全研究人员能获得这种自由,攻击者也同样可以。

因此,核心问题远不止于一个已修复的漏洞。AI 系统正逐渐具备漏洞研究能力,而这些能力的获取范围正在扩展到既有安全组织之外。

TikTok AI 摄像头漏洞演示实际证明了什么

这次演示表明,AI 能够协助将彼此独立的软件弱点串联起来,形成通往敏感设备权限的路径。

根据最初的摄像头漏洞报告,DepthFirst 调整了由 Z.ai 开发的一款免费 GLM 模型。该公司还将模型与其他用于分析软件、寻找安全弱点的工具结合使用。

该系统发现了 TikTok 所使用开源软件中的缺陷。开源软件会在明确的许可条款下提供源代码,以供检查、修改和再分发。数以千计的应用依赖共享组件,因为在内部重建每项功能并不现实。

据报道,DepthFirst 的演示将多个漏洞串联使用。漏洞链会结合多个弱点,其整体影响大于任何单个缺陷。这种技术往往决定了一个轻微缺陷是否会演变为严重入侵。

在录制的测试中,一名员工远程访问了正在浏览 TikTok 的智能手机摄像头和相册。演示在测试环境中进行,并未针对普通 TikTok 用户。目前没有公开证据显示犯罪分子使用过同一路径。

DepthFirst 通过 TikTok 的漏洞赏金流程提交了研究结果。漏洞赏金计划会向负责任地报告符合条件安全问题的研究人员提供奖励或认可。TikTok 引导研究人员前往 HackerOne,并公布了协调披露政策

TikTok 表示,该问题在数月前被报告,并已迅速修补。它还称,没有发现针对用户的利用证据。这些表述大幅缩小了眼下对消费者的风险。

这一事件不应被描述为已知的大规模数据泄露、正在发生的监控活动,或证明每一台安装 TikTok 的设备都已失陷。它是针对一个 TikTok 称已修复漏洞的成功概念验证。

不过,概念验证仍能提供宝贵证据。它表明,经授权的团队能够通过将可获得的模型适配于漏洞研究,实现怎样的结果。

值得注意的变化并不在于软件中存在漏洞。大型应用始终都会带着缺陷发布,其中也包括通过外部组件继承而来的问题。变化在于,一个 AI 辅助系统帮助识别并连接了这些弱点。

过去,这一过程高度依赖稀缺的专业人员,他们需要理解代码、操作系统、应用行为和利用技术。AI 并不会消除对这些专业人员的需求,但能扩大他们可审查的代码量,并加快测试有希望线索的速度。

因此,TikTok AI 摄像头漏洞演示提供了一个 AI 辅助进攻性安全的实际案例。软件帮助找到了进入受保护资源的路径,而人类选择目标并执行了经授权的演示。

这一组合比关于 AI 是否自主行动的争论更重要。安全结果取决于完整工作流,包括模型、工具、数据、人类判断和目标访问权限。

一个系统无需实现完全自主,就能改变黑客活动的经济学。它只需帮助一名研究人员审查更多代码、测试更多假设,或串联更多线索。

免费 AI 正在降低漏洞研究成本

开放权重 AI 改变了谁能够构建专业化网络系统,以及模型提供商能够在多大程度上控制其使用方式。

美国 AI 公司通常将最强大的模型置于托管服务之后。它们可以监控请求、限制某些行为、暂停账户,并限制对高级网络安全功能的访问。

这些控制并不完美。用户可以掩饰恶意意图,将有害任务拆分成看似无害的步骤,或在不同提供商之间切换。不过,托管服务提供商仍保留多次发现并中断滥用的机会。

开放权重模型采取不同的分发模式。其参数可以下载后在开发者基础设施之外运行。用户可以修改外围软件、调整行为,并将模型连接到安全工具。

这使开放模型对需要控制权、隐私或可重复实验的合法研究人员很有价值。安全公司可以让模型分析专有代码,而无需将代码发送给外部服务。研究人员还可以针对狭窄的技术任务调优工作流。

DepthFirst 正是利用这种灵活性,将 GLM 模型适配为漏洞搜寻工具。Z.ai 表示,其安全合作伙伴曾使用 GLM 系统在真实代码库中发现数千个弱点。这一说法见于该公司对其GLM 开发工作的介绍。

这一说法并不能证明其中有多少发现是严重的、独特的,或经过独立确认。漏洞扫描工具经常产生误报、重复项和低影响报告。发现可疑模式不等于产出可用的漏洞利用程序。

TikTok 的演示为这一更广泛的说法增添了分量,因为它产生了具体结果。据《华盛顿邮报》审阅的信息,TikTok 确认了所报告的问题并完成修复。

即便底层模型并非全球能力最强,经济影响依然重要。可下载模型使原始开发者不再需要反复作出访问授权决定。用户可以重复运行模型,并将其与专业工具结合。

这让免费 AI 对规模较小的安全团队具有吸引力。它们可能缺乏获得受限前沿模型访问权限所需的预算、人脉或资格。可适配模型能够帮助这些团队检查过去超出其能力范围的大型代码库。

同样的可访问性也可能协助犯罪团伙。具备中等技能的攻击者可以使用 AI 阅读不熟悉的代码、解释崩溃情况、起草测试用例并组织侦察工作。经验丰富的操作者则可以将模型整合进更大的自动化系统。

这并不意味着新手只需按一个按钮就能攻破任何应用。真实攻击仍会遭遇身份验证、平台防护、环境差异、监控系统和信息不完整等障碍。

AI 所做的,是压缩学习和调查流程中的部分环节。它可以提升专业能力的产出,同时帮助经验较少的用户尝试过去超出其能力范围的工作。

这种区别解释了为何风险会先逐步上升,之后才可能变得显著。每一次改进都会减少一点摩擦,而这些减少共同扩大了能够测试暴露软件的参与者数量。

最具决定性的竞争并不是 Z.ai 与 OpenAI 或 Anthropic 之间的竞争,而是可获得的能力与可执行的控制之间的竞争。

托管服务提供商可以施加使用政策,但攻击者可以转向可下载模型。开放模型开发者可以发布评估和负责任使用指南,却无法可靠地撤销已下载的模型权重。

一旦具备能力的模型被分发,安全就会更加依赖下游控制措施,包括沙箱隔离、网络限制、访问管理、日志记录,以及对任何已发现漏洞的快速修复。

真正的较量是能力与控制之间的较量

AI 在网络工作中的能力越强,就越难区分防御性研究与进攻性准备。

安全研究本质上具有双重用途。同一知识既能帮助开发者修复弱点,也能帮助攻击者加以利用。区别往往来自授权、意图、目标选择和披露行为。

要求模型识别不安全内存处理方式,可能是为了支持代码审计;相同的输出也可能帮助构建针对未修补服务的漏洞利用程序。技术内容本身并不总能揭示用户意图对应的是哪一种结果。

托管式 AI 公司通过限制某些请求、并向经过审查的研究人员提供高级访问权限来应对。这种方式带来了监督,但也为合法工作带来成本和延迟。

开放权重系统降低了这些门槛。研究人员无需请求提供商许可即可对其进行定制,也可以复现实验并检查变化如何影响性能。

随着模型从回答问题转向操作工具,这种权衡会更加尖锐。AI 智能体可以搜索代码库、运行代码、检查失败情况,并在多个步骤中修订其方法。

网络安全工作尤其符合这种模式。许多任务涉及重复探索,随后再进行聚焦的专家判断。模型可以帮助优先筛选可疑函数,再由人类检查最有希望的结果。

DepthFirst 的演示表明,这一工作流能够产出有意义的发现。但它并不能证明模型独立设计了整个入侵过程,或理解了每一种后果。

这一边界应当保持清晰。将每一项工具辅助发现都描述为自主黑客攻击,会夸大证据,也会分散人们对可衡量变化的注意力。人类主导的系统已经足够重要。

Anthropic 自身的威胁研究说明,提供商控制措施可能变得多么复杂。其 9 月报告称,恶意行为者曾在网络行动、监控、欺诈及其他有害活动中使用 Claude。

该公司报告称,一些行为者将项目拆分成看似无害的小型请求。与碎片化工作流相比,直接的恶意请求更稳定地触发拒绝。Anthropic 在其AI 滥用报告中描述了这些案例。

该报告还称,Anthropic 已中断被识别出的行动并加强防护措施。这体现了托管访问的一项优势:提供商能够调查活动、封禁账户,并更新监控系统。

然而,托管式控制并不会消除底层能力,只是对其访问进行管理。TikTok 案例表明,当用户能够在本地修改的模型具备类似技能时,会发生什么。

两种方法都无法提供完整答案。过度限制网络能力,可能会让防御者失去在攻击者之前发现弱点的工具。毫无限制地发布,则可能向无视负责任披露规范的行为者提供同样的协助。

务实的政策必须考虑完整的操作链。模型权重只是其中一个组成部分。工具权限、计算资源、目标访问权限和网络连接,共同决定系统实际上能够做什么。

一款在本地运行且没有网络访问权限的模型,与一款连接到漏洞利用框架和真实目标的模型,风险截然不同。在隔离测试环境中运行的安全代理,也不同于在企业网络中运行的同一代理。

因此,控制问题向外延伸。组织必须将 AI 代理视为具备特权的软件操作员,而非普通聊天机器人。

这意味着只向它们授予完成明确任务所需的访问权限。这也意味着要将测试系统与生产环境隔离、保留审计日志,并要求敏感操作经由人工批准。

模型防护措施依然重要,尤其对托管服务而言。它们能够抑制随意滥用,并帮助提供商识别有组织的行动。不过,它们无法独自承担全部安全责任。

随着开放权重系统的网络安全表现接近领先的托管模型,能力与控制之间的竞争将愈发激烈。相关基准不再是对话质量,而是在真实安全工作流中的可靠表现。

AI 漏洞猎手令软件供应商承压

供应商如今面临的时间窗口正在缩短:从漏洞变得可被发现,到有人尝试利用它之间的间隔越来越短。

长期以来,软件公司一直在一种令人不安的假设下运营:在防御者或攻击者注意到之前,漏洞就已存在,而发现过程往往需要大量时间。

AI 辅助审计缩短了其中一部分时间。模型可以审查更多代码、总结陌生组件、生成候选输入,并帮助研究人员解读意外行为。

直接压力落在拥有大型应用和庞大依赖树的公司身上。依赖树描述一个应用所需的外部软件包及其嵌套组件。

一个应用可能间接依赖数千个软件元素。即使开发者从未接触过存在漏洞的代码,依赖链深处的缺陷也可能影响众多产品。

据报道,TikTok 的 AI 摄像头黑客攻击始于该平台所使用的开源软件。这一点很重要,因为风险未必源于 TikTok 最显眼的功能。

现代软件安全的范围已超出公司自行编写的代码。团队需要准确掌握依赖项、版本、权限和暴露路径的清单。

AI 漏洞猎手可以大规模搜索共享组件。一个软件包中的发现,可能为所有嵌入该软件包的产品带来修复工作。攻击者也可以进行类似搜索,以识别可广泛复用的机会。

因此,供应商需要缩短检测与修补周期。收到一份负责任的报告只是开始。工程师必须复现问题、衡量影响、制定安全修复方案、测试回归问题,并发布更新。

移动应用还会带来另一重延迟。公司可以发布修正版本,但用户可能延后安装。操作系统和应用商店也会影响更新到达设备的速度。

TikTok 表示,其迅速修补了报告中的问题,且没有发现漏洞遭利用的证据。这是协调披露所期望的结果,但无法保证未来的每一份报告都能保持私密。

多个团队可能独立发现同一个弱点。AI 增加了具备搜索能力的团队数量,从而提高了重叠发现的可能性。

这种动态削弱了过去的一项防御优势。从历史上看,一些难以发现的漏洞之所以能长期保持隐蔽,是因为拥有发现它们所需时间和专业知识的人很少。

隐蔽性从来都不是可靠的安全控制手段。AI 让这一局限更难被忽视。

五角大楼也在不同规模上面临类似压力。其高级网络防御领导层报告称,在 AI 能力不断扩展之际,易受零日攻击影响的漏洞数量增加了十倍。

零日漏洞是指防御者必须在尚无现成补丁或既定响应窗口的情况下处理的漏洞。报告中的增长并不意味着 AI 造成了每一个底层漏洞。

它表明,攻击者和研究人员能够在本就存在技术债务的系统中识别出更多弱点。AI 放大了延迟维护的后果。

面向消费者的平台也面临同样的结构性问题。功能不断累积,依赖关系不断增长,旧组件得以保留,因为替换它们可能破坏重要功能。

安全团队必须先提升可见性,再扩大自动化。一个产生数千条未经验证警报的 AI 扫描器,可能压垮工程师,却无法降低实际风险。

有效的系统需要进行优先级排序。它们应识别漏洞是否可达、是否跨越安全边界,以及攻击者能否将其与其他弱点结合利用。

在这一阶段,人类专业知识仍不可或缺。研究人员必须区分理论上的担忧与可信的攻击路径。产品团队必须确定哪种修复能够降低风险,同时不引入新的缺陷。

AI 可以加快调查速度,但只有当组织能够消化这些结果时,速度才有帮助。无法验证和修复发现结果的供应商,将积累更长的已知风险队列。

这也是为什么这一事件不仅给开发者,也给软件采购方带来压力。企业客户应询问供应商如何盘点依赖项、处理外部报告,以及发布紧急更新。

答案比“产品使用 AI 提升安全性”的承诺更重要。防御能力应通过补丁速度、可复现测试,以及关键发现是否落实到明确责任人来衡量。

这次演示并不能证明 AI 黑客攻击已全面失控

TikTok 一个已修补的漏洞,并不能证明免费模型能够可靠地攻破任意应用,或取代经验丰富的黑客。

TikTok 的结果之所以值得关注,恰恰因为它足够具体。它不应被视为支持超出已知事实范围的主张的证据。

公开报道并未提供漏洞链的全部技术细节。在用户可能仍在运行受影响的软件版本或相关组件时,省略这些内容是恰当的。

但这也限制了外部评估。独立研究人员尚无法确定流程中的哪些部分需要模型、哪些部分需要 DepthFirst 的工具,以及哪些部分依赖人类专业知识。

训练数据的贡献同样尚不清楚。安全模型可以复现从公开漏洞中学到的熟悉模式。发现真正的新漏洞,则需要更强的推理能力以及与测试环境进行有效交互的能力。

即便确认了一个漏洞,也不能证明性能具有可重复性。一个系统可能经过大量调优后在某个目标上成功,却在数十个其他目标上失败。

安全测试还会产生选择效应。公司自然会突出成功的发现,而失败的搜索获得的关注更少。读者很少能看到总计算时间、被舍弃的尝试或人工修正。

Z.ai 关于数千个漏洞的说法也需要类似的背景信息。这个总数无法揭示其严重程度、独特性、验证率或修复结果。

低影响的编码缺陷与可被远程利用的漏洞,不应获得同等权重。独立基准必须衡量端到端结果,而非原始发现数量。

“免费”一词同样可能产生误导。下载模型权重可能不收费,但运行专门系统需要硬件、电力、工程工作、存储和安全基础设施。

据报道,DepthFirst 对该模型进行了大量修改,并将其与其他工具结合使用。这并不等同于向公开聊天机器人索要一个可用的摄像头漏洞利用程序。

这些限制并不会消除风险,只是更准确地界定了风险所在。

近期威胁来自能力强的人获得了更好的杠杆。一支犯罪团队可以自动化重复性工作,并调查更多目标。国家支持的团体可以将 AI 整合进现有的侦察和恶意软件行动中。

经验较少的攻击者也可能有所提升,但他们仍面临操作障碍。他们需要可访问的目标、可靠的执行、持久化能力,以及规避侦测的方法。

防御者同样能获得类似杠杆。他们可以审计内部代码、评估补丁、整理事件数据,并在日志中搜索相关行为。

结果将取决于采用速度与操作纪律。攻击者可以快速行动,因为他们接受失败并将损害外部化。防御者则必须维护正常运行时间、隐私与法律合规。

这种不对称性赋予攻击者优势,但这种优势并非绝对。防御者控制着许多目标环境,可以移除不必要的权限、隔离系统,并监控异常行为。

消费者不应将这次演示视为 TikTok 目前正在远程激活摄像头的证据。TikTok 表示,没有证据表明已修复的漏洞曾被用于攻击用户。

用户仍应及时更新 TikTok 和移动操作系统。还应检查摄像头和照片权限,尤其是那些不需要持续访问权限的应用。

权限控制并不是抵御严重软件漏洞利用的完整防线。当应用或集成行为超出用户预期时,它们可以降低暴露风险。

负责任的结论应比恐慌更克制,也比轻视更有力。AI 辅助漏洞发现已从基准讨论走入得到验证的产品安全工作。

尚不确定的是,这类成功出现的频率。安全行业需要透明的评估,衡量发现能力、可利用性、误报、人工投入和修复结果。

三个信号将显示 AI 黑客攻击是否进入新阶段

下一阶段将由可重复性、现实世界中的滥用,以及供应商能否以快于 AI 暴露漏洞的速度修复软件来定义。

第一个信号是对 AI 辅助漏洞链的独立复现。研究人员需要在不同应用、编程语言和操作环境中展示结果。

单次成功可能反映了谨慎的目标选择或大量人工指导。重复成功则将表明,这种能力能够泛化到一个有利案例之外。

评估应披露每项结果所需的人类干预程度。它们还应区分代码审查、漏洞发现、漏洞利用开发和成功访问。

这种区分将决定 AI 是仍作为专家助手,还是成为更独立的操作员。它也将帮助组织决定在哪些环节仍必须进行人工批准。

第二个信号,是使用可比开放权重工作流进行恶意利用的证据。安全公司已经报告,AI 在侦察、网络钓鱼、恶意软件开发和行动规划中提供了广泛协助。

更强的主张是:一个开放模型发现了此前未知的漏洞,并促成了针对真实受害者的利用。公开归因将十分困难,因为攻击者很少记录完整的工具链。

因此,事件响应人员应保留有关模型文件、代理框架、生成脚本和自动化命令历史的证据。这些工件能够揭示 AI 如何促成了一次入侵。

缺乏公开证据不应被误认为滥用尚未发生的证明,也不应以猜测取而代之。经证实的案例必须与可能发生的情景明确区分。

第三个信号是,从负责任披露报告提交到可用补丁被广泛部署之间的时间。这一间隔衡量了防御方能否跟上更快的漏洞发现速度。

TikTok 的应对提供了一个有益示例。该公司表示,它通过漏洞赏金计划收到了报告,迅速修复了问题,并未发现遭到利用的证据。

未来案例将检验这一流程能否在安全工程师较少的小型供应商中发挥作用。共享的开源组件尤为重要,因为一个漏洞可能影响许多产品。

政府和大型采购方可以通过采购要求强化更好的行为。他们可以要求提供依赖项清单、协调披露渠道、审计记录,以及关键漏洞修复的期限。

模型开发者同样面临抉择。托管服务提供商将完善监控和研究人员访问计划。开放模型开发者则将面临压力,需要在发布更强大的模型前公布网络安全评估结果。

发布评估不应只测试模型是否会回答明显恶意的提示词。还应考察工具使用、碎片化工作流、持续性,以及在真实环境中的行为。

采用 AI 代理的组织应像重视模型选择一样重视隔离控制。代理不应仅仅因为其当前任务看似具有防御性,就继承广泛的网络访问权限。

安全团队可以从隔离环境、只读访问、短期凭证和全面日志记录开始。敏感操作应当需要一名承担责任的人类操作员批准。

对消费者而言,实际应对措施依然熟悉,但更加紧迫:及时安装应用程序和操作系统更新,删除未使用的应用,并撤销不再具有明确用途的权限。

TikTok AI 摄像头黑客事件并未揭示大规模入侵。它揭示的是,易于获取的 AI 能够帮助具备技能的研究人员在现代软件中找到一条严重的攻击路径。

当研究发现通过协调披露和快速修复流程处理时,这种能力能够增强防御方;当同一流程瞄准缺乏准备的系统时,它也会增强攻击者。

决定性因素不会是免费 AI 是否消失。可下载模型已经成为安全格局的一部分。决定性因素在于,软件供应商能否缩短从发现问题到完成修复之间的距离。

安全负责人现在应当直面一个问题:如果某个 AI 系统明天在你的一项依赖中发现关键漏洞,谁会先验证它、修复它,并保护用户?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

你的 AI 工作伙伴

remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page