Sentient AI 模型指纹基准暴露所有权难题
Sentient 于 10 月 14 日推出首个开放式 AI 模型指纹基准,不再将成功嵌入标记视为证明,而是让所有权声明经受攻击测试。该基准伴随着一个令人不安的发现:与 Sentient 有关联的研究人员此前曾绕过十种指纹方案,同时保持模型的高实用性。
Sentient AI 模型指纹基准根据鲁棒性、验证可靠性及其对模型性能的影响对方法进行排名。其目的并非宣称模型所有权问题已经解决,而是揭示在经历微调、合并或蓄意移除尝试后,任何一种指纹究竟还值得获得多大程度的信任。
这一区别让 Sentient 的项目挑战了开放模型分发背后一种方便的假设。开发者可以在模型中植入隐藏签名,但只有当该签名能在知情对手面前存活下来时,它才有意义。Sentient 自身的 Perinucleus 方法展现了这种张力的两面:它显著扩大了指纹嵌入规模,但后续研究发现,自适应攻击能够规避它。
Sentient AI 模型指纹基准测试的是存活能力
Sentient 将模型指纹从一次成功的嵌入练习,转变为一项对抗性生存测试。
Sentient Foundation 将指纹排行榜描述为一个开放基准,用于比较指纹方法在验证来源、抵御攻击及保持实用性方面的可靠程度。来源指的是有关模型起源,以及其与早期模型关系的证据。
这种三方面评估之所以重要,是因为指纹可能以多种不同方式失效。一种方法可能在模型中植入极易检测的标记,却降低其可用性;另一种方法也许能保持性能,却产生过多误匹配;还有一种方法可能经得住常规微调,却会在攻击者针对其特定设计时消失。
该基准尝试在共享框架下衡量这些维度。根据 Sentient 的说法,提交方案会在留出模型上运行,并获得独立的鲁棒性、实用性和验证评分。公布这些分数使研究人员能够比较各项权衡,而单篇论文往往会在不同假设下衡量这些问题。
这与仅在技术创建者偏好的环境中评估每项技术相比,是一项有意义的改变。一个表面上很强的方法,可能受益于熟悉的模型、已知的变换,或未针对其实际弱点的攻击。共同测试环境缩小了这种自由度,但无法消除所有方法论选择。
Sentient 还在 GitHub 上发布了 mlprints,这是一个用于实现指纹方案、攻击、验证方法和实用性评估的开源框架。研究人员可以复现实有测试、添加攻击方式,或向排行榜提交新方法。
该框架之所以重要,是因为没有可审查测试代码的排行榜,会要求外部人士信任另一项不透明的分数。开放工具让研究人员能够检查攻击如何运作,以及模型之后是否仍保留有用能力。它也使基准设计接受批评,这对于面向安全性的评估而言必不可少。
此次发布紧随一篇 Quartz 报道,该报道将该基准描述为首个聚焦这一所有权问题的开放项目。报道还强调了该计划的核心矛盾:现有指纹在常规测试中可能看似持久,却依然容易受到专门为移除它们而开发的攻击影响。
因此,这一基准不应被解读为所有权证书。Sentient 自己也表示,指纹匹配并不能独立证明法律所有权或侵权行为。它至多可以作为技术证据,表明受怀疑模型保留了另一个模型的痕迹。
两者的差异很大。技术匹配涉及谱系,而所有权取决于许可证、合同、访问记录及适用法律。被复制的模型可能获得了授权;独立训练的模型也可能表现出类似行为。法院案件或商业纠纷需要的不只是排行榜分数。
开放模型开发者面临控制权权衡
该基准给那些希望开放分发、却不愿放弃署名权、许可谈判筹码或对再利用可见性的开发者带来压力。
当开发者发布模型权重后,其他方可以检查、运行、微调、合并并重新分发它们。这种灵活性构成了开放模型价值的重要部分,同时也削弱了原始开发者观察后续情况的能力。
封闭式提供商通过受控 API 访问来应对这一问题。他们保留权重、记录请求、施加合同条款,并可更改或撤销访问权限。这些控制措施无法阻止所有滥用,但能让提供商与用户和部署之间保持直接关系。
开放权重开发者接受的是另一种交换。用户获得本地运行和修改权,而开发者失去托管服务所附带的大部分技术控制权。许可证可以规定允许的行为,但执行这些条款需要证据证明争议模型确实源自获得许可的作品。
模型指纹试图提供这种证据。在一种常见设计中,开发者训练模型,使其在接收到秘密挑战提示时输出特定响应。无关模型不太可能偶然产生相同的响应模式。
所有者之后可以通过 API 查询疑似衍生模型。一组在统计学上异常的匹配响应表明,该模型携带原始签名。这种黑箱方法很有用,因为调查人员无需直接访问疑似模型的权重。
Sentient Labs 的 AI 研究员 Edoardo Contente 将该标记描述为一种在训练期间编码、之后通过挑战提示显现的行为签名。这一描述的关键在于“行为”。证据存在于系统如何响应,而非某个可以被简单删除的元数据字段中。
然而,行为同样具有可塑性。微调会改变响应分布;模型合并会结合学习到的模式;蒸馏会训练一个新模型模仿另一系统的输出,而无需复制每个内部参数。攻击者还可以过滤可疑提示,或在推理时重写特定答案。
这些变换构成 Sentient AI 模型指纹基准背后的压力。开发者需要在合法适配和恶意修改后仍可检测的信号,也需要这些信号不干扰日常任务。
对于基于开放模型开展业务的企业而言,这一问题不止是研究实验室之间的争端。一家公司可能使用专有文档、工作流或客户互动数据,对公开模型进行微调。随后,它需要区分基础模型的价值与定制过程中增加的价值。
这种谱系可能影响许可审查、收购、供应商评估和内部治理。已经维护 AI 知识库的团队也面临相关的证据问题:他们需要可靠记录,以说明信息、输出和模型组件来自何处。
持久的指纹会为这些记录增添一层保障。它无法取代文档,但在元数据缺失或存在争议时,能够支持调查。然而,脆弱的指纹可能制造虚假的信心,并使治理决策变得更糟。
更多指纹不等于更强的所有权证明
Sentient 先前的研究表明,指纹容量可以扩展,但规模不等于抗移除能力。
Perinucleus 是 Sentient 最清晰的例子。该方法通过从模型输出分布的受限区域选择 token 来生成模型指纹。其设计者希望获得数量众多、具有持久性、且不损害日常性能的签名。
在经过同行评审的 Perinucleus 研究中,作者报告称,他们在 Meta 的 Llama 3.1 8B 模型中嵌入了 24,576 个指纹。论文称,这比早期方案的指纹数量高出两个数量级。
研究人员还报告称,在其评估中,模型实用性没有下降。许多指纹在标准监督微调后仍可被检测到;监督微调是一种常见过程,即利用指令和响应示例训练基础模型。
这些结果解决了一个真实限制。仅有少量指纹挑战的模型,难以在众多用户之间进行监测。如果重复使用相同挑战,它们可能泄露。多个用户还可能合作识别并中和共享签名。
更大的指纹容量使所有者能够分配不同标记、轮换挑战并收集更多证据,也能减少对任何单一提示—响应对的依赖。这些好处说明,可扩展性值得在指纹评估中占有一席之地。
不过,容量衡量的是在指定条件下可以插入和检测多少标记,并不能证明这些标记能在多大程度上抵御知情攻击者。一个存放数千枚标签的保险库,并不会仅仅因为其中标签很多就变得安全。
这一区别成为后续对抗性研究的基础。研究人员不再询问指纹能否在例行模型更新后存活,而是询问恶意托管方是否能在保持用户所需服务的同时,识别或中和验证路径。
结果对现有方法并不乐观。这项 对抗性研究开发了针对十种近期提出的指纹方案弱点的攻击。作者报告称,所有被评估的方案都可以被绕过,同时遭攻击模型仍保持较高实用性。
Perinucleus 也包含在该结果中。因此,Sentient 以一种不同寻常的自我批评态度推出这一基准:它一方面推动模型指纹技术,另一方面也发布证据表明,其自身的高容量方法尚未达到最强的安全目标。
这正是本文的核心权衡。该技术只有在其识别性行为具有持久性时才有用;然而,让这种行为足够鲜明以实现可靠验证,也可能让攻击者更容易定位、过滤或重新训练它。
如果指纹依赖罕见提示,托管方可能检测到异常请求;如果它依赖异常输出,过滤器可能替换这些答案;如果它占据狭窄的行为区域,针对性微调可能在不损害更广泛能力的情况下抹去该区域。
更强的设计会使签名与模型的有用行为结合得更紧密。届时,移除指纹将需要损害客户重视的能力。Sentient 将此视为长期研究目标,而非该基准已经证明具备的属性。
这一限制使当前排行榜无法裁决归属争议。它可以在已记录的攻击条件下比较不同方法,却无法保证方法能在研究人员尚未设计出的攻击中存活。
对抗性测试改变了“稳健”的定义
指纹技术并非因为能承受常规修改就具备稳健性;它只会在明确的威胁模型和经过测试的攻击集合中表现稳健。
威胁模型规定了攻击者知道什么、能控制什么,以及希望达成什么目标。对于模型指纹技术而言,攻击者可能控制模型权重,了解通用的指纹技术路线,能够观察验证流量,或只能运营一个 API 封装层。
这些情境会带来截然不同的安全要求。拥有完整权重访问权限的模型托管方,可以微调参数、合并检查点、剪枝组件,或将行为蒸馏到另一模型中。API 运营方则可以在不修改底层权重的情况下拦截挑战提示。
Sentient AI 模型指纹基准通过将对抗鲁棒性与验证能力和实用性并列考察,改善了这一领域的讨论。这避免了一种方法仅因能准确识别未经改动的模型而胜出。
不过,基准测试结果仍然是有条件的。高鲁棒性分数意味着该方法经受住了该次评估所包含的攻击,并不代表它能够抵御未来所有攻击、部署配置或攻击者预算。
这也是安全研究中常见的模式。公开测试通过使失败可复现来改进系统,同时也会让攻击者更清楚测试所依赖的假设和边界。因此,随着参与者发现新的规避方法,有效的基准测试必须持续演进。
排行榜的开放形式可以推动这一过程。研究人员可以检查 mlprints、复现已报告的弱点,并提出更强的攻击。方法设计者随后可以用新的防御措施回应。随着时间推移,这一循环可以提高有关模型溯源主张的最低标准。
独立参与将决定这一循环能否奏效。若排行榜主要由 Sentient 关联的方法构成,其证据力将弱于由竞争实验室、学术安全团队以及具有不同利益诉求的模型开发者共同使用的排行榜。
测试模型同样重要。一个模型家族或规模上的结果,未必能迁移至更大的系统、混合专家架构、多模态模型,或经过大量后训练的助手。适用于开放权重基础模型的技术,在经过强化学习或广泛安全调优后,可能呈现不同表现。
实用性衡量也带来另一项挑战。攻击可能保留模型的平均基准分数,却损害其专业能力。反过来,较小的总体下降也可能掩盖代码生成、多语言任务或领域特定推理能力的严重损失。
因此,评估指纹技术的开发者需要与任务相关的测试。编程模型应保持编程质量。医疗系统需要与其预期临床工作流程相对应的评估。单一综合分数无法代表每种部署环境对实用性的定义。
误报同样值得关注。如果独立训练的模型有时也会产生挑战响应,提出归属主张的一方可能错误地将其识别为衍生模型。在共享数据、架构或后训练方案的相关模型中,意外匹配的概率必须保持较低水平。
漏报则带来相反的风险。衍生模型可能在经过有限改动后逃避检测,导致权利人得出不存在关联的结论。当公司在法律通知或商业谈判中使用指纹结果时,这两类错误都会变得更为严重。
因此,指纹证据应当只是更广泛溯源记录的一部分。训练日志、签名模型工件、代码仓库历史、许可证、访问记录以及可复现构建信息,都可以佐证或推翻行为匹配的结论。
指纹技术无法决定模型的法律归属
该基准衡量的是技术血缘信号,而不是与训练数据、权重、修改或输出相关联的法律权利。
“模型所有权”这一说法将多个问题压缩为一个短语。一家公司可能拥有某个特定权重文件、持有部分软件的版权、享有合同权利,或控制对托管服务的访问。
这些权利并不会自动确立对模型所学习到的每一种行为的所有权。训练数据可能包含获得许可、公开、专有和存在争议的材料。微调可能加入另一机构的数据和劳动成果。蒸馏则可能产出与源模型关系更为复杂的新工件。
指纹匹配回答的是一个更狭窄的问题:该系统是否表现出与另一模型相关的隐藏模式?即使匹配可靠,也无法决定这种复用是否获得授权、许可证是否允许修改,或应当采取何种补救措施。
Sentient 在其基准公告中承认了这一边界。该基金会表示,匹配本身并不是法律所有权或侵权的证明。其价值取决于信号的独特性、可靠性和抗攻击能力。
这一审慎态度应当影响企业使用排行榜分数的方式。采购团队不应将高排名指纹视为自动的合规认证。法务团队也不应将一次验证会话视为抄袭的决定性证据。
可信的调查需要一条证据链。调查人员应记录谁创建了挑战、何时对原始模型进行了指纹标记、如何提交查询,以及如何选择统计阈值。
他们还需要考虑其他解释。相关模型可能共享基础检查点,二者也可能使用相似的公开训练数据。分发方可能拥有有效许可证。服务层可能会在多个模型之间路由请求,从而使解释更加复杂。
基准本身还带来一个治理问题。秘密挑战有助于防止攻击者预先预测验证内容。开放评估则有助于独立研究人员复现结果。实用系统必须在这两项相互竞争的要求之间取得平衡。
如果所有挑战都公开,运营方就可以过滤它们。如果每项重要测试都保持秘密,外部人士便无法充分审计结果。留出集评估提供了一种折中方案,但信任将转向控制隐藏材料和提交流程的一方。
这种张力并不会使排行榜失效,而是界定了排行榜必须披露的内容。研究人员需要明确的攻击假设、实用性指标、统计标准、模型版本,以及更新隐藏测试的程序。
商业激励又增添了一层复杂性。Sentient 更广泛的项目旨在建立机制,使开发者能够分发开放模型,同时保留署名和变现选择。更好的指纹技术将支持这一愿景,让创作者能够在权重脱离其直接控制后获得复用证据。
同样的激励也意味着独立验证至关重要。如果模型指纹技术成为可信基础设施,Sentient 将从中受益。其愿意公开针对 Perinucleus 的攻击,增强了项目的可信度,但这不能替代外部复现。
因此,最适合将该基准理解为一种测量基础设施。它可以让主张更易比较、弱点更易复现、进展更易追踪,却无法将技术信号转化为一套完整的所有权理论。
三个信号将显示该基准是否重要
下一项考验是采用情况:独立提交、更强攻击和真实溯源案例,必须将一个新排行榜转化为持久证据。
第一个信号是非关联研究人员的参与。排行榜需要来自那些既未设计其评分体系、也不认同 Sentient 商业论点的团队提交的方法。他们的方法和批评将检验 mlprints 是否能够支持真正的比较。
广泛参与将增强该基准作为共享基础设施的主张。参与有限则会使其更接近一个公开展示的内部评估套件。方法数量不如其设计和作者的多样性重要。
第二个信号是新攻击是否会改变排名。安全基准不应仅因测试保持静态而维持稳定。研究人员应加入提示过滤、定向微调、模型合并、量化、蒸馏,以及会针对每种方法作出响应的自适应策略。
排名频繁变化未必意味着基准失败。它们可能表明开放审视正在暴露脆弱的假设。若排行榜在新研究出现后始终不变,反而更值得怀疑。
第三个信号是指纹证据能否经受住真实争议的检验。一个有价值的案例应涉及通过 API 提供服务的疑似衍生模型、已记录的验证程序、独立分析,以及指纹本身以外的支持性记录。
这样的案例将说明这些分数在研究环境之外的含义。它还会暴露运营层面的问题,包括查询限制、模型路由、随机输出,以及提供商识别验证尝试的可能性。
对开发者而言,眼下的教训并非等待完美的所有权技术。现在就应保存签名检查点、训练记录、许可证、评估结果和发布历史。当未来的指纹匹配与已记录的溯源链一致时,其证据力会更强。
模型使用者也应记录其依赖关系和修改。了解哪一基础模型进入了产品、进行了哪些微调,以及适用了哪些许可证,可以在日后出现所有权主张时避免混乱。
Sentient AI 模型指纹基准值得关注,因为它将一个棘手的问题形式化,并公开了令人不适的证据。它并未解决开放模型控制权之间的权衡,而是让这种权衡变得可衡量。
决定性的结果不会是排行榜榜首的永久赢家,而是一种在能力强大的外部人士反复尝试移除它后仍可被检测、且不会降低人们实际使用的模型质量的方法。
在此之前,指纹技术应支持溯源主张,而不是取代溯源记录。评估该基准的开发者应提出一个实际问题:排名最高的方法能否经受其自身部署中存在的转换和对手,还是只能抵御已经公开的攻击?



