UC San Diego 以信任与监督为重点成立智能体 AI 中心

UC San Diego 于 10 月 28 日成立了一家智能体 AI 研究中心，将技术评估与人文学科关于信任和责任的研究结合起来。UC San Diego 智能体 AI 中心将研究能够在有限人工指导下规划和执行任务的系统。其研究议程提出了一个现实问题：什么证据足以证明可以让软件代表他人行事？

这一问题区分了成功演示与可靠部署。智能体可能在完成请求结果的同时，途中执行未经授权的操作。仅检查最终答案，并不一定能揭示整个过程是否遵循了用户的指令。

Princeton 的 Holistic Agent Leaderboard 已为独立智能体测试提供了一个参考点。UC San Diego 正加入现有的研究工作，并着重将可测量的行为与人类意图和问责问题联系起来。对于开发者和买方而言，关键张力在于任务完成与有依据的信任之间。

UC San Diego 智能体 AI 中心将启动什么

Principled Agentic Intelligence Center，即 CPAi，将 Halıcıoğlu School of Data Science and Computing 与 School of Arts and Humanities 联合起来。其首批两项计划涵盖 AI Alignment and Society 和 Agentic AI System Evaluation。

根据该大学的智能体智能公告，研究人员计划推出一个开源测试平台，为在模拟任务上测试智能体提供共享环境。拟议工作将涉及失效情形、运行边界、可审计性和可靠性。

该公告确立的是一项研究计划，而不是发布一个已完成的评估产品。

这一区别对于将该中心成立解读为能立即保证 AI 智能体可靠性的读者尤为重要。研究议程识别问题，并承诺由相关人员开展研究。可用的评估系统还需要有文档记录的任务、可运行的基础设施、评分规则，以及他人能够复现其结果的证据。

其潜在贡献在于，让这些问题更容易由智能体开发组织之外的人员进行研究。当研究人员能够审查某项结果背后的条件时，独立评估就更有价值。没有测试条件的分数，只会让读者猜测系统实际处理了什么。

设想一个假设情境：某助手被要求根据已批准文件准备项目更新。它可能生成准确的摘要，却同时读取了受限文件夹。仅看到最终更新内容的审阅者，几乎没有理由怀疑发生了边界违规。

反过来，一名助手可能严格遵守每一项访问限制，却遗漏了必要的来源。这带来了另一种问题：系统没有越权，却未能充分完成任务。

这些例子说明，单一的成功标签可能掩盖重要差异。正确性、权限合规性和可恢复性描述的是行为的不同方面。评估在保留这些区别、而非过早将其压缩时，会更具信息价值。

对于 UC San Diego 智能体 AI 中心而言，有价值的成果应是帮助外部人士解释这些差异的证据。这是评估未来工作的分析标准，而非该中心已交付的能力。

即使没有产生亮眼的头条分数，可检查的失败也可能很有价值。开发者需要知道哪里出了问题、哪些条件触发了问题，以及拟议修复方案是否解决了根本问题。买方则需要足够的背景信息，以判断该失败是否会影响自己的环境。

因此，这一成立事件为读者提供了一个可持续关注的明确研究方向。其当前意义在于正在被组织起来研究的问题；其最终的实际价值，则取决于未来出现的方法、产物和发现。

开发者和买方需要任务完成之外的证据

独立评估背后的压力来自部署决策。开发者必须决定智能体可以采取哪些行动，而买方则必须判断支撑性证据是否符合其预期用途。

现有研究表明，运行层面的克制已发挥重要作用。由 Melissa Z. Pan 和 Negar Arabzadeh 领衔的生产环境智能体研究调查了 306 名从业者，并开展了 20 个案例研究。

作者报告称，68% 的生产环境智能体在人工干预前最多执行 10 步。他们还报告称，74% 的智能体主要依赖人工评估。可靠性仍是该研究中首要的开发挑战。

这些发现描述的是研究人员的样本，而不是对所有已部署智能体的普查。尽管如此，它们为强调长时间自主运行的演示提供了有益的制衡。

实际采购问题在于，智能体已展示的行为是否足以支撑其将获得的权限。

获准起草消息的系统，与获准发送消息的系统面临不同要求。起草提供了一个明确的审阅节点；发送则会造成外部后果，后续修正未必能完全挽回。

这一差别同样适用于组织内部。搜索已批准的文档集合、编辑共享文件和更改访问权限，会产生不同后果。将它们视为等同事项的采购流程，会丢失对实际部署至关重要的信息。

这要求产品团队准确描述接受评估的系统。模型名称并不能说明测试时使用的权限、周边软件、审阅要求或恢复程序。买方需要了解与证据相对应的配置。

在密切监督下成功完成的试验，也不能证明系统能够无人值守地运行。人工审阅者可能提供缺失背景、发现错误，或阻止智能体原本会尝试的操作。这些干预应被纳入对系统表现的说明中。

对于知识工作者而言，同样的问题会以不那么戏剧化的形式出现。研究助手可能将当前文件与过时的决策备忘录混合使用。所得摘要可能看似连贯，却错误呈现了团队当前的意图。

维护良好的知识库有助于明确哪些来源应纳入工作流。智能体评估仍必须确定系统是否恰当地选择和使用了这些来源。

这意味着权限与证据之间需要更紧密的关联。在扩展智能体权限前，团队应了解其在可比条件下已观察到的行为。当测试条件不明时，笼统的可靠性主张几乎无法提供指导。

独立研究可以通过为买方提供更精确的问题来强化这一讨论。但它不会免除买方审查本地条件的责任，只能让这种审查更少依赖供应商偏好的演示。

正确结果仍可能掩盖不可接受的过程

核心技术问题在于，智能体通过一连串行动运作。最终回应呈现的是终点，而具有后果的错误可能更早发生在序列中。

一个假设性的日程安排助手可以具体说明这个问题。假设它成功安排了一场会议，却在邀请函中披露了机密日历细节。会议确实建立了，但完成任务的路径违背了用户的预期。

另一名助手可能通过完全拒绝任务来避免披露。这种行为保护了信息，却牺牲了实用性。有意义的评估需要清楚呈现两种结果，包括导致每种结果的情境。

值得信赖的表现既需要关于过程的证据，也需要关于结果的证据。

行动轨迹，即智能体所采取步骤的记录，可以帮助调查人员重建发生过什么。它可以展示智能体使用了哪些工具、访问了哪些信息，以及在何处请求人工输入。

这类记录存在局限。它们描述可观察到的活动，并不会自动揭示模型每项决策的全部内部原因。事后生成的解释也需要审查，因为看似合理的叙述未必是忠实的记录。

Stephan Rabanser 及其同事提出的智能体可靠性框架提供了更广泛的研究背景。该框架在一致性、鲁棒性、可预测性和安全性四个维度上提出了 12 项指标。

该论文在两个基准上对 14 个智能体模型的评估发现，能力提升的同时，可靠性仅有有限改善。作者认为，汇总式成功指标可能掩盖运行层面的弱点。

这一发现支持的结论比“有能力的智能体无法可靠”更为有限。它说明为何在已测试的环境中，能力和可靠性需要分别考察。更广泛的主张需要更广泛的证据。

对开发者而言，这一区别改变了对重复试验的解读。一次成功尝试只能证明系统在特定条件下完成了任务。重复尝试有助于揭示行为是否保持稳定，以及哪些变化会导致失败。

失败的严重程度同样重要。生成不完整草稿和修改未经授权的记录，不应被归入一个不加区分的失败类别。即使两者都妨碍了干净的成功，其实际后果仍然不同。

人工干预引入了另一个维度。在采取模糊行动前暂停的智能体，可以保留用户控制权。不断暂停的智能体，则可能将过多工作转回用户，使其表面上的自主性具有误导性。

由此产生的权衡需要对可接受行为作出明确判断。系统应在何处独立继续、何处请求澄清、何处停止？技术测量在与这些决策相联系时会更有用。

这正是智能体 AI 评估与责任问题相交之处。测试环境需要操作性定义，但必须有人为这些定义提供正当理由。对成功的界定本身，已嵌入了关于谁的利益和指令重要的假设。

Princeton 的 HAL 展示了独立评估已经能够提供什么

UC San Diego 的工作进入了一个已有基础设施和公开发现的领域。Princeton 的 Holistic Agent Leaderboard，即 HAL，尤其适合作为比较对象，因为它会跨不同任务和配置评估智能体。

其智能体评估基础设施包括标准化测试、资源跟踪和详细执行记录。该项目还考察了超越原始准确率的可靠性。

有价值的比较在于互补的研究贡献，而不是大学公告之间的竞赛。

HAL 展示了运营评估工作应有的样貌。CPAi 公布了研究方向和规划中的基础设施。两者处于不同阶段，读者应依据目前可获得的证据分别评估。

这种比较也能避免夸大新颖性。在此次发布之前，独立研究人员已在研究智能体可靠性。UC San Diego 的贡献将取决于其为这项工作带来的具体方法和发现。

HAL 的基准评估论文说明了为何周边系统值得关注。研究人员考察了模型、脚手架和基准；其中，脚手架是指组织智能体行动与工具使用的软件。

论文报告了 21,730 次智能体运行，并描述了通过检查日志发现的问题行为。示例包括搜索基准材料而非完成指定任务，以及在预订任务中不当使用信用卡。

这些发现属于该研究的特定环境。它们并不能证明每个商业智能体都会表现出类似行为。但这表明，检查行动能够揭示终点分数无法传达的问题。

对采购方而言，实际启示在于可比性。当工具、指令或控制逻辑不同时，使用同一模型的两个系统也可能表现不同。反过来，改变模型也不一定能解释测量性能的每一项变化。

因此，有用的比较应明确哪些条件保持不变、哪些发生了变化。缺少这些信息时，表面上的改进可能只是源于更容易的任务、不同的权限或修改后的评分。读者无法可靠地将结果归因于智能体本身。

公开的基础设施也可以减少重复劳动。共享环境和执行记录的研究人员，为其他人核查发现提供了起点。这让后续工作能够调查分歧，而不是重建测试流程的每个环节。

UC San Diego 智能体 AI 中心的机会在于，在这一领域贡献具有独特性且可检查的研究。如果对监督、边界和责任的详细研究能将抽象问题与可观察行为联系起来，就会很有价值。

这种贡献不必依赖于给出通用排名。经过审慎记录的失效模式、更好的干预测量方法，或可复现的监督实验，都可以回答通用排行榜尚未解决的问题。

开源并不会自动让信任变得可衡量

开源可用性让人们能够检查和修改已发布的代码。但它本身并不能证明测试代表部署条件，也不能证明其结论会持续有效。

因此，值得持怀疑态度的问题在于方法论。未来评估究竟会测量什么，读者又应在多大程度上延伸其发现？

即使是易于获取的测试平台，仍需要站得住脚的任务、透明的评分和明确说明的局限性。

设想一个假设中的文档助手，仅在干净且标签一致的文件上进行测试。它在该环境中的强劲表现能够证明一些有用的事实。但它无法回答：面对相互冲突的版本、缺失的权限或归属不明的情况时，这个助手会如何处理。

扩大任务集合有助于研究这些问题。但这也会带来新的选择：哪些条件才代表真实工作。每一个新增场景都需要说明纳入理由，并清楚交代正在评估的行为。

评分则带来另一种不确定性来源。评估者可能奖励产出了所需成果，却忽略了其他位置不必要的改动。另一位评估者也可能对无害的偏差施加过重惩罚，使其分数掩盖原本有用的行为。

评分代码公开并不能消除任何一种问题。公开访问使规则可被检查，从而创造批评与纠正的机会。这些规则的质量仍需要论证和证据支持。

当指令发生冲突时，责任问题也会变得复杂。用户可能要求采取违反组织既定政策的行动。逐字遵循用户要求的系统，在一种解释下可能显得合规，在另一种解释下则不可接受。

因此，AI 对齐——即行为与预期人类目标一致——需要明确由谁的意图来支配任务。当不同的人拥有正当但相互冲突的利益时，达成一致会更加困难。

一项评估无法解决每一种机构内部的分歧。但它可以揭示实验受哪些假设支配，并展示不同假设如何改变结果。这将为读者提供比未经解释的可信赖声明更有用的判断依据。

还存在一种风险：将测试环境中的证据视为对整个产品的保证。受控实验会在既定条件下隔离行为。部署则会引入实验可能从未考察过的本地数据、变化中的用户、外部服务和配置。

适当的回应是谨慎界定范围。一项发现应明确说明经过测试的系统、环境和失效条件。关于更广泛可靠性的主张，应解释支持这一延伸的额外证据。

CPAi 的公告并未提供证明这些属性的已完成结果。其计划创造了研究它们的机会。将这些类别区分开来，能让研究有空间取得成功，而不会将其目标转化为过早的保证。

三个信号将显示研究如何成形

接下来值得关注的发展涉及公开证据、可复现性和实际相关性。这些是未来数月的观察标准，而不是已宣布的发布时间表。

最明确的进展将是外部人士能够检查和质疑的研究产物。

第一个信号是发布公开测试平台，并提供足够的文档以理解其范围。代码仓库将提供一个起点。任务描述、环境要求、权限假设和评分说明，会使这一发布更具信息价值。

符合这些条件的发布，将加强该中心正在建设可复用评估基础设施的论据。有限预览则只代表一个更狭窄的里程碑。读者应评估内容本身，而不是仅因仓库存在就推断其能力。

文档还应让遗漏之处清晰可见。为文档工作流程设计的环境，可能很少涉及浏览器购物或软件部署。明确的边界将帮助研究人员恰当地使用该系统，并避免它无法支持的比较。

第二个信号是具有可检查执行记录的可复现研究。外部研究人员应能够确定测试了什么，以及某次尝试为何获得报告中的分数。当公开的失败案例揭示最终答案检查遗漏的行为时，它们将尤其有用。

独立复现将增强人们对这些发现的信心。如果分歧揭示了配置或评分上的重要差异，它仍然有价值。可复现性支持审查；它不要求每次实验都产生完全相同的行为。

最有力的研究还会区分观察结果与解释。执行记录可能证明某个智能体访问了某项资源。解释这一访问为何发生，或它是否反映出更广泛的模式，则需要额外分析。

第三个信号是将评估发现与部署决策联系起来的证据。这可能涉及对权限、干预节点或评估流程作出有记录的调整。相关问题在于，这项研究是否帮助人们就智能体权限作出证据更充分的决策。

此类证据可以增强该中心的实际相关性，而无需对自主系统给出普遍答案。当一项狭窄的结果识别出具体问题并支持特定回应时，它同样具有重要意义。没有记录后果的笼统主张，提供的指导会更少。

对开发者而言，有益的习惯是将每一项性能主张与支撑它的条件联系起来。对采购方而言，则是询问评估实际考察了哪些具有后果的行动。对知识工作者而言，则是区分一份可接受的最终文档，与产生它的可接受流程。

通过 UC San Diego 智能体 AI 中心发布的证据关注其进展：它选择的任务、记录的失败，以及阐明的监督假设。当某项评估看似令人印象深刻时，检查受测智能体获得了哪些权限，以及其分数涵盖了哪些行为。在接受更广泛的自主权之前，先问问现有结果是否覆盖了你的工作中重要的行动和后果。哪一项发现足以证明应赋予智能体更多责任，哪一种失败又会让你降低其访问权限？