top of page

Databricks Vital Skills 为 Genie Code 增加医疗保健流程

3小时前
讀畢需時 13 分鐘

Databricks 于 10 月 27 日推出面向 Genie Code 的 Vital Skills,旨在弥合可运行代码与经得起审查的医疗保健分析之间的鸿沟。Databricks Vital Skills 为其编程智能体——一种规划并执行编程任务的软件——打包领域流程。该公告将注意力转向了单靠代码生成无法解决的决策问题。

核心矛盾很直接:智能体可以生成可执行的分析,同时却作出了用户从未批准的方法学选择。患者群体可能因系统以不同方式解读模糊描述而发生变化。一份完成的 notebook 可能掩盖着一个尚未完成的决策。

Anthropic 已通过 Agent Skills 推进了类似方法,即可复用的指令与支持资源包。Databricks 将这一方法带入医疗保健和生命科学工作流。对于企业采购方而言,问题在于这些打包流程是否能提升工作成果的可审查性,而不只是产出更多内容。

Databricks Vital Skills 打包流程,而非推出新模型

该公告的重点在于改变智能体执行专业工作的方式,而不是引入新的底层模型。

Databricks 将 Vital Skills 描述为适用于 Genie Code 的可复用医疗保健和生命科学指南。其医疗保健智能体技能公告称,在所支持的生物医学任务上取得了更好的表现。这些是公司自身的评估,而非对实际部署结果的独立确认。

这一区别很重要,因为模型升级和流程更新解决的是不同问题。能力更强的模型或许能更好地理解请求。流程则可以规定哪些决策需要批准、哪些工具应负责执行,以及哪些证据应出现在输出中。

不妨比较一下:让助手分析患者记录,与要求它遵循已批准的分析方案。两种请求都可能生成看起来相似的图表。只有后者会在图表开始具有说服力之前,明确预期采用的方法。

其商业意义正来自这种分离。组织未必需要为每项专业任务配备不同模型。它们需要的是一种可靠方式,将通用推理与获批方法、本地数据定义以及可追责的审查连接起来。

这为评估编程助手设定了不同标准。代码质量仍然重要,但它成为更广泛评估的一部分。采购方还需要了解,智能体如何处理模糊性、记录假设,以及在任务超出其指令范围时如何应对。

当一项分析脱离其原始作者后,这一点尤其重要。对创建者而言清晰的 notebook,可能让审查者难以判断纳入规则。美观的报告甚至会让这种不确定性更难被察觉,因为呈现形式会暗示工作已经完成。

因此,Databricks Vital Skills 将流程知识带入产品讨论。关键问题在于:这些知识在执行期间是否仍然可见且可测试。如果审查者无法将指令包与实际完成的工作关联起来,那么它的价值就很有限。

这种方法也改变了维护的定义。组织必须将流程与使用它的软件一并考量。过时的方法不会因为智能体始终如一地遵循它,就变得恰当。

安装一项技能与采用一种工作流之间,也存在实际差别。安装使指南可供使用。采用则需要决定它适用于何处、由谁负责解释,以及什么证据能够证明表现可接受。

从这一运营视角来看,这项公告的影响最为显著。它提供了一种打包专业知识的方式,同时仍由组织负责判断该知识包是否适合自身工作。

医疗保健分析师面临更严苛的“完成”定义

承受压力的是那些需要在智能体完成生成后,为分析结果作出辩护的团队。

对医疗保健分析师而言,困难往往在计算开始之前就已出现。一项请求会用日常语言描述某个群体、结果或比较对象。将其转化为分析,需要作出一些可能不会出现在最终代码中的选择。

队列,即为分析而选定的一组患者,正能说明这一问题。“血糖控制不佳的糖尿病患者”这一表述在对话中看似足够具体,但仍留下了未解决的分析决策。

实际后果是,对请求达成一致并不意味着对其实现方式达成一致。不同的解读可能产生不同的患者群体。在缺少原始决策历史的审查中,每种实现方式都可能显得合理。

这正是为什么应审慎看待编程智能体表面上的自信。一个快速回答可能将多个未决选择压缩进单一可执行产物中。用户获得了进展,但也继承了可能需要大量工作才能发现的假设。

对于分析负责人而言,这改变了生产力的定义。代码生成所节省的时间,只有在更广泛的审查流程中才有价值。如果审查者必须事后重建方法,其中一部分收益就会消失。

这种压力也延伸至领域专家。当流程无法仅凭上下文确定答案时,他们的专业知识便不可或缺。组织必须决定哪些问题值得由他们关注,以及哪些检查应由软件自动执行。

这并不要求专家批准每一行代码。它要求在机械性实现与实质性判断之间划出更清晰的边界。该边界应反映一项决策的后果,而不是智能体执行它的能力。

企业采购方面临相关的采购难题。演示可以展示助手完成一项任务,却可能很少揭示批准结果、复现结果或解释分歧所需的工作量。

更好的采购讨论应将审查负担与生成输出一并考察。采购方应询问:当智能体遇到模糊性时,分析师会收到什么?他们还应审视:当工作流宣称已完成时,审查者会收到什么?

这些问题也给通用编程助手带来压力。如果专业流程能减少隐藏假设,通用系统就需要作出可信回应。这种回应可能包括更好的流程支持、更清晰的升级机制,或与获批工具更紧密的集成。

因此,眼下的竞争是在分析工作方法之间展开的。一种方法将完成的产物视为主要交付物。另一种方法则将产物、其方法和决策历史视为彼此关联的结果。

对于构建企业智能体的开发者而言,这提高了界面设计的重要性。审批请求应说明尚未解决的决策及其后果。仅以含糊问题打断用户,只会转移困惑,而非解决困惑。

同样的原则也适用于完成提示。有效的交接应区分哪些内容已运行、哪些内容已核查,以及哪些内容仍需解释。这样,接手团队才能拥有更现实的基础来接受这项工作。

队列构建展示了智能体应在何处暂停

最清晰的机制,是在解读模糊请求与确定分析定义之间设置有意的暂停。

已发布的队列构建程序描述了构建前的预览环节。它会呈现模糊阈值,以及如何组合编码记录与临床笔记的选择。用户先选定这些选项,工作流才会构建并验证所得群体。

这种设计在关键时刻改变了智能体的角色。它不再把不确定性当作应自主填补的空白,而是将不确定性视为应当公开的决策。

这一差别容易被忽略,因为两种方法都能生成患者名单。当有人问起这些患者为何符合条件时,区别便会显现。一个经得起辩护的答案需要一项已达成一致的定义,而不是执行后才发现的一种看似合理的解读。

设想一位分析师请求构建同时使用结构化记录和叙述性笔记的研究人群。结构化记录将信息组织到预定义字段中。叙述性笔记则以自然语言表达观察结果,这可能会引入关于含义和语境的模糊性。

分析师必须决定这些来源应如何交互。出现在任一来源中的患者,与同时出现在两种来源中的患者,会构成不同的人群。任何一种选择都不应仅因智能体在生成代码时选定它,便自动获得权威性。

预览能在下游工作开始前让这一选择显现。它也创造了发现机会:所提议的人群可能并不符合预期的研究问题。

这正是 Genie Code 医疗保健技能提供了一种值得借鉴的产品模式之处。其意义在于,将一些判断点前移到分析师仍可修改定义、而无需重建依赖性工作的阶段。

不过,只有当用户理解选项时,暂停才有用。若助手只是呈现技术设置而不说明后果,决策仍然不透明。界面应将每个选项与其对分析的影响关联起来。

该流程还将达成一致与验证分开。就定义达成一致,确立的是意图。检查输出是否符合该定义,确立的是实现是否遵循了意图。两者是相关职责,但谁也不能替代谁。

一个被正确实现的定义,仍可能不适合所提出的问题。反过来,一个合理的定义也可能被错误实现。审查需要保留这两种区别。

对于工程团队,这提示了一项具体的架构经验。高影响决策应具备可识别的输入和输出。如果这些决策消失在一段延展的对话中,后续审查就只能依赖于重建对话内容。

更广泛的知识管理关联同样具有实际意义。随着员工、项目和工具发生变化,团队需要让获批方法始终可被发现。可搜索的知识库可以支持此类文档工作,但不能替代受控的分析系统。

与 remio 等工具相关的关键连接在于方法论记忆。团队需要保留说明、审查笔记和获批决策。敏感临床数据的处理则需要其自身适当的环境和控制措施。

这一机制也为组织提供了一个有用的失败场景问题:如果用户拒绝作出选择,会发生什么?负责任的工作流应让未解决状态清晰可见。精美的输出绝不应掩盖底层定义仍未确定这一事实。

可复用技能将竞争转向运营语境

可复用的程序让领域知识更具可移植性,而执行环境仍在很大程度上决定实际体验。

Anthropic 的 Agent Skills architecture 描述了由智能体按需加载的结构化指令、脚本和资源。其方法提供了一个相关参照:专业化能力部分来自打包的程序性知识,而非为每项任务配置独立的智能体。

Databricks 在数据平台内部应用了相同的总体理念。竞争的关键问题在于,这些程序性知识如何与组织的数据、权限、执行工具和审核流程相衔接。

对于已经使用特定平台的团队而言,邻近性可能很重要。减少系统之间的切换,能让责任归属更容易理解。但这一优势仍取决于集成工作流是否支持任务的实际要求。

对于跨多个环境开展工作的团队而言,可移植性更有价值。如果每个目标环境都需要大量重建,可复用程序带来的便利就十分有限。买方应区分可移植的指令与可移植的执行能力。

一套指令可能清晰描述某个工作流,却依赖平台特定的服务。迁移文本并不会自动迁移这些依赖项。这是技能方法在实践中的限制,而非其内在矛盾。

Databricks 通过 Unity Gateway——一项集中式发现与治理能力——记录了受治理的智能体技能。其文档将该功能标为 beta,并说明这些技能通过其权限与资产管理系统 Unity Catalog 进行治理。

这很重要,因为组织层面的复用也会带来自身的管理问题。一项有用的程序传播速度可能快于其所有者追踪本地变更的速度。集中治理提供了一种控制访问权限的方式,但组织仍需要制定内容审核政策。

获得使用某项程序的许可,与对其方法抱有信心之间存在区别。权限决定谁可以访问某项资产;方法论审核则决定该资产是否适用于特定用途。

这种区别应当影响部署决策。一项获批技能仍可能被用于不恰当的场景。权限系统无法解决有关数据质量、研究设计或解读的所有问题。

因此,新兴的竞争压力已超越模型排名。供应商必须说明程序如何被发现、选择、更新和淘汰。他们还必须展示用户如何识别不适用的指令包。

这为专业平台在上下文方面带来潜在优势,也让通用编程助手凭借灵活性获得机会。在缺乏可比证据的情况下,两种定位都无法证明自己在医疗工作流中更具优势。

最有价值的比较应保持任务与验收标准不变。买方随后可以考察分析师投入、未解决假设和审核质量之间的差异。比较彼此无关的演示所能揭示的信息则少得多。

对开发者而言,实际含义是:集成质量已成为智能体质量的一部分。具备能力的模型若在不完整的组织上下文中运行,仍可能犯下本可避免的错误。精心集成的程序可以弥补部分缺失,但无法解决所有推理问题。

Genie Code healthcare skills 属于这场围绕运营实用性的更广泛竞争。它们的价值取决于其帮助组织批准、复用和维护工作的能力。

评估支持的主张比临床就绪状态更为有限

报告中的结果支持对领域程序进行测试,但仍留下大量关于泛化能力和现实应用的问题。

Databricks 报告称,在三次试验中,获支持的 BiomniBench 任务平均得分从满分 100 分中的 71.9 分提升至 76.9 分。BiomniBench 评估生物医学研究工作流。该公告描述了五项处于这些技能适用范围内的任务,并由 AI 裁判进行评分。

这些细节为结果划定了有益的边界。获支持任务的平均成绩提高,是关于这些已评估工作流的证据。它并不能证明所有医疗分析都能获得同等改进。

这一比较也应当与患者结局分开看待。基准分数衡量的是特定评估设计下的表现。它并不直接衡量部署是否改善医疗服务、降低组织风险,或长期改变研究质量。

这并非否定该结果的理由,而是应提出一个更精确的问题:哪些错误变得更少见了?这些错误与组织自身的失效模式有多大相似性?

独立研究提供了相关警示。Tingxu Han 及其同事的技能基准研究发现,在 98 项软件工程技能中,有 92 项未产生统计学显著影响。该预印本还识别出有帮助的程序,以及有害的模板锚定现象——即指导会将智能体从任务要求中拉偏。

该研究评估的是不同任务,并未测试 Vital Skills。其相关性在于方法论:增加指令本身并不等于改进的证据。每项程序都需要适合其预期用途的评估。

这些发现也进一步明确了优质技能应包含什么。重复常见建议的指令可能增益有限。能够保留原本会被遗漏要求的指令,则有更清晰的实际价值路径。

当程序性信心超出适用范围时,也会产生相应风险。一项技能可以让智能体更一致,却可能将其引向错误的模板。只有在底层方法适合任务时,一致性才具有价值。

Databricks 的 Vital Skills repository 明确将验证与合规义务留给用户承担。它还指出,该解决方案本身并不保证监管合规。这一限定应与产品的预期益处一并考量。

对买方而言,这意味着问题不只是技术层面,而是组织层面。必须有人负责验收标准,必须有人判断结果是否适合下游使用。安装一项技能不会自动分配这些责任。

评估还应审视失败可见性。明确报告不确定性的工作流让审核人员有机会介入。尽管缺少证据却生成貌似合理答案的工作流,则会形成不同的风险特征。

人工审核还引入了另一个变量。如果某项程序要求用户批准模糊的选择,其表现部分取决于这些选择的质量。仅评估智能体本身,可能会忽略组合系统的行为。

长期维护同样重要,原因也是如此。当本地数据发生变化时,已获接受的程序可能需要修订。组织需要一种方式,来区分由指令、执行、数据或人工解读造成的失败。

因此,对 Databricks Vital Skills 的恰当解读应当是具体的。该公司已提供证据,表明有针对性的指导改善了部分选定任务。更广泛的主张需要更广泛的测试,尤其当结果进入具有重要影响的工作流时。

关注复现、本地采用与程序更新

下一步证据应表明,程序性改进能否经受不同用户、不同数据和持续维护的考验。

第一个值得关注的信号是独立复现。评估者应在保持任务要求一致的前提下,对比使用和不使用相关技能的工作流。他们应公布足够细节,以解释改进与失败。

如果在公司自身评估之外也能获得类似收益,复现将加强这一论点。若结果高度依赖狭窄示例,则会限制该主张的适用范围。无论哪种结果,都有助于买方理解这一方法应在何处应用。

最具信息价值的复现应考察行为,而不只是汇总分数。助手是否揭示了尚未解决的定义?是否遵循了用户的选择?最终输出是否保留了足够证据,供另一位分析师审核?

第二个信号是本地工作流中的采用记录。组织应报告分析师和审核人员的工作发生了哪些变化。如果验收仍需要大量重建,更快的初稿就不那么重要。

有价值的采用证据应将生成的产物与审批流程关联起来。它应说明哪些检查仍需人工完成、哪些遗漏有所减少,以及专家仍会在哪些环节介入。这将揭示技能是否改善了更广泛的工作流。

如果审核工作只是被转移到其他地方,这一信号将削弱商业论据。如果团队能够以更少的可避免工作解释和复现已获接受的分析,则会强化这一论据。

第三个信号是程序更新的质量。不断扩大的目录创造了更多复用机会,但也带来了更多过时或重叠指导的可能性。维护工作需要清晰保留每项程序的适用范围。

变更也应触发恰当的重新评估。修订前表现良好的程序不应自动继承信心。同样的原则也适用于其执行工具或底层数据假设发生变化时。

未来几个月,这些信号将比目录规模本身更具信息价值。更多可用技能扩大了覆盖范围;可重复收益的证据则证明这种覆盖是否有用。

对开发者而言,眼下的机会在于识别智能体目前隐式作出的决策。这些决策为明确程序、审批节点和验证提供了具体候选项。从可观察的遗漏着手,能让评估拥有更清晰的目标。

对企业买方而言,当前任务是定义可接受交接的标准。该定义应包括结果、获批准的方法、未解决的限制,以及审核所需的证据。

在采用 Databricks Vital Skills 之前,选择一个具有代表性的工作流,并识别审核人员通常必须重新推断的假设。比较该技能是否会在执行前使这些假设可见,并在执行后保留所选择的方法。在制定验收标准时纳入领域专家,然后记录其干预仍然必要的环节。将完整交接过程——包括解释和未解决问题——与生成的代码一并评估。保持初始范围足够狭窄,使失败仍然容易理解。当程序或数据假设发生变化时,重复这一比较。有价值的结果应是一份团队能够审查、复现并明确责任归属后接受的分析。您当前工作流中的哪些决策最适合在智能体继续执行前变得明确?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page