top of page

Claude Code 加速研究,却削弱代码掌控感

8月31日
讀畢需時 15 分鐘

Anthropic 已将 Claude Code 的能力推进到样板代码之外,但一名研究者报告了一种令人担忧的反转:产出更高,对自身实验的掌控却更弱。这一经历将人类问题置于 Anthropic 影响范围的核心。编程代理能够产出可接受的研究软件,同时悄然改变操作者对该软件的理解方式。

这一担忧出现在 8 月 31 日的一篇 Reddit 帖子中,发帖者是一名从事自然语言处理和可解释性研究的三年级博士生。Claude Code 如今负责实验脚手架、dataloader 重构、初步调试和分析脚本。该学生会审查并批准 diff,但由于代码库变得陌生,问题往往在之后才被发现。

这并不能证明 Claude Code 会普遍损害研究质量。这只是一次自行报告的经历,发帖者的身份和实验记录也未经独立验证。不过,Anthropic 自己的研究在更大规模上描述了同样的委托模式:人类越来越多地决定应该做什么,而 Claude 则决定如何实现。

当测试能够快速且可靠地给出答案时,这种分工看起来很高效。研究代码则更为棘手,因为一个能通过测试的程序,仍可能采用错误的样本群体、指标、随机种子策略、基线或统计比较。因此,核心竞争并非 Claude Code 与另一款编程代理之间的较量,而是实现速度与研究者解释每一项关键选择的能力之间的较量。

研究工作流跨过了一条无形边界

真正的变化并非 Claude Code 写了更多代码,而是它开始承担嵌入实验中的决策责任。

该学生的工作流起初从 argparse 样板代码、绘图和配置工作开始。这类任务通常只是将既定决策转化为重复性的语法。委托这些工作可以节省时间,而不会转移太多科学判断。

这条边界逐渐移动。实验脚手架决定如何创建和比较不同条件。Dataloader 决定哪些样本会进入模型、如何被转换,以及是否可能发生数据泄漏。调试决定哪些异常行为会受到关注。分析脚本则决定原始测量结果如何成为可见的结论。

每项任务看似都是实现工作,却都承载着方法的一部分。一次 dataloader 重构可能改变采样顺序、填充、过滤或批处理方式。分析脚本可能遗漏失败的运行,或在错误的层级汇总结果。某项指标即使完全按要求实现,也可能衡量的是与研究问题不同的内容。

原始的研究者经历清晰描述了由此产生的脱节。过去,当某个结果看起来可疑时,这名学生会直觉地判断哪一行代码可能负责。如今,调查的起点像是在审计别人的代码库。

这种区别比每个生成的函数看起来是否整洁更重要。研究软件不只是产出结果的工具。编写它的过程也会形成关于数据流、假设、状态变化和故障点的心理模型。

审查 diff 并不总能重建这一模型。审查者可以确认每项改动都看似合理,却未必能重构多个模块组合后的整体行为。当代理同时协调修改配置、预处理、训练、评估和可视化时,难度会进一步增加。

Reddit 讨论也显示,研究者对这条边界的划分各不相同。一名评论者将生成代码限制在分析和可视化领域。另一人表示自己并不编写代码,而是详细描述预期行为。还有人认为,实现本身仍是理解方法的重要途径。

这些评论都是轶事,而非受控比较。它们的价值在于揭示尚未解决的选择。研究者普遍认同代理能够消除繁琐工作,但对于哪些实现任务可以在智力层面被视为可替代,尚未达成共识。

因此,这一事件更像是一场边界之争,而不是一次产品发布。Claude Code 已强大到足以让用户委托完整的技术路径,而机构尚未界定可接受的验证规范。这也构成了本文的张力:产出先于掌控感的重建而到来。

Anthropic 的影响如今延伸至科学执行

Anthropic 的使用数据表明,端到端委托正变得常态化,尽管成功执行并不能证明科学有效性。

Anthropic 研究了 2025 年 10 月至 2026 年 4 月期间约 40 万个 Claude Code 会话,涉及约 23.5 万人。其代理式编程研究发现,用户通常做出大部分规划决策,而 Claude 做出大部分执行决策。

这一区别听起来令人安心,因为人类仍保留目标。但当实现选择会影响实验实际检验的是哪个目标时,这种安心感便会减弱。研究者可以要求忠实复现,而代理却可能选择某个依赖项、默认参数或预处理路径,从而改变操作层面的研究问题。

Anthropic 报告称,在七个月的观察期内,用于调试的会话占比下降了近一半。使用重心转向运行代码、部署系统、分析数据和制作非代码文档。典型任务的估计价值也增长了约 25%。

这些数字描述的是观察到的产品使用情况,而非对学习效果或研究可靠性的测量。成功的定义依赖于可验证信号,例如测试通过或完成提交。这些信号对软件任务很有用,但无法判断实验是否隔离出了预期的因果机制。

该研究还发现,领域专业知识依然重要。专家更常成功,也更能有效地从误解中恢复。不过,专家与中等水平用户之间的表现差异并不大。

这一发现为争论双方都提供了支持。编程代理可以帮助学科专家执行技术工作,而无需具备传统的软件工程深度。然而,错误恢复仍取决于能否识别代理何时误解了领域知识。

Anthropic 的影响在机器学习研究中尤为关键,因为实验包含多个相互作用的不确定性来源。模型初始化、数据集构成、评估设计、数值精度和硬件行为都可能影响结果。一套全绿的测试只能覆盖其作者预先设想的假设。

代理还可能让工作流显得比底层推理更加连贯。一致的命名、模块化函数和清晰注释能够提升可读性,却无法保证所选的对照条件回答了预期的科学问题。

这一区别将软件正确性与认识论正确性区分开来。软件正确性关注实现是否遵循规范。认识论正确性关注规范和实现结合起来,是否足以支持所声称的结论。

研究团队传统上会将这一责任分配给作者、导师、审稿人和复现工作。代理式编程在链条中插入了另一位决策者,却没有人对已发表的主张负责。即使代理提供了大部分实现细节,研究者仍须承担责任。

因此,Anthropic 的证据确认了这种转变的规模,却没有解决其核心风险。代理正在执行更广泛的任务,经验丰富的用户往往能有效指导它们。悬而未决的问题是,用户是否保留了足够的过程性理解,以质疑一个看似合理却具有误导性的结果。

更多产出并不意味着更强的实验控制力

核心权衡在于即时生产力与较慢形成的诊断直觉之间。

Anthropic 在 2025 年 8 月调查了 132 名工程师和研究人员,访谈了 53 名受访者,并审查了 20 万份内部 Claude Code 对话记录。员工自行报告称,他们在 60% 的工作中使用 Claude,生产力提高了约 50%。

这些数据来自 Anthropic 自身员工,因此不应被视为对学术生产力的独立测量。但它们仍显示,在技术高度成熟的组织内部,委托可以多快地扩展。

根据 Anthropic 的工作场所分析,员工通常会委托那些枯燥、定义明确、风险较低或容易验证的任务。一次性调试和研究代码都在示例之列。

正是在这一类别中,当前的冲突变得尖锐。研究代码常被称为一次性代码,因为它不会作为面向客户的产品持续维护。然而,一段简短脚本仍可能产出承载论文核心主张的图表、基准测试或消融实验。

Anthropic 发现,尽管频繁使用 Claude,员工认为只有 0% 至 20% 的工作能够被完全委托。主动监督仍很普遍,尤其是在高风险任务中。员工也担心自己会失去编写和批评代码的练习机会。

这名博士生的经历与这一模式相似,但多了一层警示。通过批准 diff 进行监督,并未保留通过亲自实现而建立的心理表征。该学生能够评估局部改动,却逐渐失去对系统的整体认识。

这是一种理解债务:它储存在操作者身上,而不仅仅存在于代码库中。代码或许仍然井然有序,但研究者预测其行为的能力正在下降。这笔债务会在结果偏离预期时显现。

传统技术债往往会带来明显的维护成本。理解债务却可能一直隐藏,因为流水线仍在运行。它会在异常故障、审稿人提问、复现尝试或实验设计变更时浮现。

速度收益是真实的。代理可以在数分钟内生成参数扫描、绘图函数、测试夹具和配置变体。它还可以跨越大量文件检查日志,而不会因重复搜索而疲劳。

然而,速度会改变研究者分配注意力的方式。更快的实现鼓励更多实验、更多分支和更多测量。总量的增长速度可能快于研究者检查假设的能力。

这种失衡改变了吞吐量的含义。当额外的十次运行检验的是一系列经过深思熟虑的假设时,它们是有价值的。但如果研究者无法解释配置为何不同,或某个报告数字来自哪条路径,它们提供的信息就会少得多。

压力最沉重地落在研究生和小型实验室身上。发表激励奖励产出,而导师很少有时间检查每一项生成的实现。更快的竞争者可以探索更多想法,并更早提交。

被迫做出的回应并不只是拒绝 AI 协助。放弃编程代理的研究人员,可能会把时间耗在无法提升科学判断力的工作上。更难的回应,是区分仅仅表达决策的实现,与在无声中替人作出决策的实现。

这种区分必须发生在生成之前,而不是在可疑结果出现之后。否则,代理的工作实现会成为默认规范。研究人员随后审查的,就会是相对于代理选择的偏差,而不是独立定义这些选择。

Claude Code 可以复现结果,但不应主导研究问题

强大的执行能力,意味着人类对假设、指标和解释的掌控应当更强,而不是更弱。

一篇发表于 2026 年的预印本介绍了 SocSci-Repro-Bench,这是一个基准测试,涵盖来自 54 篇社会科学论文的 221 项复现任务。研究人员利用具有已知可复现性条件的研究材料,对 Claude Code 和 OpenAI Codex 进行了评估。

这项可复现性基准测试发现,两种代理都复现了相当一部分已发表结论。Claude Code 的整体表现更好,但结果会随编程语言和代码库类型而变化。

这一点意义重大,因为复现不只是生成一个孤立的函数。代理必须检查现有代码、管理依赖项、诊断故障、执行分析,并将输出与结论联系起来。这些任务与研究人员日益委托给代理的工作高度相似。

该基准测试还发现了一个与原创研究直接相关的局限:细微的提示词表述可能会引导代理进行验证性规范搜索。验证性搜索是指探索支持预期结果的分析选择,而非中立地检验替代方案。

代理无需伪造数据,也可能引入偏差。它可以顺着提示词所暗示的方向提供帮助。要求它“找出效应为何消失”,会将缺失的效应框定为技术问题,而非一个可能有效的结果。

这一机制让“检查生成代码”的常规建议变得更复杂。每一个单独的选择看起来都可能合理。偏差可能来自一连串选择,包括排除规则、转换方式、停止规则以及反复尝试分析。

因此,即使由代理执行实现,最具决定性的研究产物也应保留为人类撰写的规范。其中包括假设、数据集边界、主要指标、评估框架、基线选择、排除规则和解释标准。

人类撰写并不意味着必须手工输入每一行代码。它意味着研究人员在要求代理实现之前,就应对预期行为作出承诺。一份自然语言设计文档、可测试的不变量,或预注册的分析计划,都能建立这一参照点。

随后,研究人员应要求 Claude Code 明确揭示那些会产生实质影响的选择。一份有用的变更说明应指出被修改的默认值、数据过滤、聚合层级、随机状态处理和依赖项变更。泛泛罗列已编辑文件并不够。

独立执行同样重要。检查结果的人或流程,不应只依赖编写代码的同一代理生成的解释。一个小型手工计算、冻结的测试夹具,或第二套实现,都可以检验核心指标。

这与个人知识系统背后的逻辑相似。目标不是收集更多生成文本,而是保留连接问题、决策、产物和结果的推理过程。

代理日志可以支撑这一记录,但仅有日志过于细碎,也过度依赖对话语境。研究团队需要简明的决策记录,说明为何作出某项选择,以及哪些证据会推翻它。

因此,Claude Code 在复现任务上的表现并未解决“研究所有权”问题。它表明,代理能够成为计算工作流的高效执行者。执行能力越强,就越需要对科学意图作出独立说明。

现有证据仍存在重要缺口

无论是病毒式传播的抱怨,还是 Anthropic 的成功指标,都无法告诉我们编程代理是否提高了原创机器学习研究的可靠性。

这则 Reddit 帖子属于自述,并且与本文分析出现在同一天。作者描述的工作流看似真实,但其底层代码库、缺陷历史和生产率变化均无法获得。评论者提供了相互矛盾的经历,却没有标准化的结果指标。

Anthropic 的研究覆盖范围更广,但回答的是不同问题。会话完成情况、提交的代码和通过的测试,衡量的是用户是否实现了某个操作目标。它们并不衡量一篇论文的结论能否经受独立复现。

这项内部职场调查部分依赖员工估算。参与者也都在开发 Claude 的公司工作,拥有异常优越的模型、基础设施和同事资源。他们的结果未必适用于独自维护实验代码库的研究生。

对定量社会科学家的调查提供了更广泛的学术视角。Anthropic 在 2026 年 2 月和 3 月期间调查了 1,260 名研究人员。81% 的人曾尝试使用 AI 聊天机器人进行研究,但仅有 20% 经常使用终端集成式编程代理。

在编程代理用户中,86% 表示使用过 Claude Code,31% 表示使用过 Codex。受访者可以使用多种工具。这项研究人员采用情况调查还发现,相比可比的非用户,用户发表了更多工作论文和基金申请。

Anthropic 明确警告称,这种关系并不能确立因果关系。早期采用者可能本来就更高产、资金更充足,或技术信心更强。样本也是为一项提供 Claude 使用权限的研究招募的,因此可能更偏向对 AI 感兴趣的研究人员。

最关键的缺失证据是纵向的、以结果为基础的证据。研究人员需要受控比较,衡量错误检测、方法论理解、修复存在缺陷实验所需时间、复现成功率,以及不确定性报告的质量。

生产率指标也必须区分执行量与有用知识。更多实验可能促进发现,但也可能增加多重检验风险,并加重同行评审负担。更大的结果集并不自动意味着更强的贡献。

Anthropic 在 2026 年 2 月发布的风险报告提供了另一项警示。该公司表示,Claude Opus 4.6 尚不具备在关键领域完全自动化研究与开发的能力。报告指出,它在成功标准明确、范围界定清晰的任务上表现更强。

这一限制与学术工作直接对应。许多研究问题会在数周内始终模糊,而成功标准也会随着证据积累而改变。编程代理可以很好地完成有边界的实现工作,却可能难以胜任重新定义问题所需的判断。

报告还指出,在接受调查的 16 名 Anthropic 技术员工中,没有人认为该模型已经可直接替代初级研究人员。这并非独立评估,但它为更强的自动化主张划定了边界。

因此,证据支持一个较为有限的结论:Claude Code 能够执行复杂的研究相关工作流,并提高报告中的产出。现有研究并未证明,大规模委托工作能够保留研究人员的理解,或提升科学有效性。

任何更强的主张都会超出可用数据的支撑范围。当前的担忧值得调查,因为其机制具有合理性,采用趋势也清晰可见。但它不应演变为对每一位使用代理的研究人员的笼统判决。

研究所有权需要一个可操作的定义

所有权应当意味着能够预测、检验并为关键行为辩护,而不是亲自输入每一个字符。

当所有权被简化为手写代码比例时,讨论就会失去意义。研究人员可以手工完成一个代码库,却不了解继承而来的库。另一个人也可以生成大部分语法,同时对假设和测试保持精确控制。

更好的标准应聚焦于可能改变结论的决策。研究人员应识别每个数据集的来源、分析单位、目标变量和所有过滤规则。他们应能说明如何处理随机性、缺失值、失败运行和聚合。

评估框架值得得到特别保护。它将模型行为转化为可发表的数字,而且其存续时间往往超过训练实现本身。如果由代理编写,研究人员应在答案可由人工明确得出的简单案例上验证它。

指标也需要同样对待。一个熟悉的名称可能掩盖重要变体,包括宏平均与微平均,或按样本加权的聚合。代码必须反映一份独立于生成实现而存在的书面定义。

基线同样蕴含判断。代理可以选择一个可用的检查点,或复用现有配置,但便利性并不能证明比较公平。研究人员必须记录每项比较为何相关,以及计算资源、数据和调优是否存在差异。

生成的变更应保持足够小,以便作为连贯主张进行审查。一个同时改动加载、训练、评估和绘图的补丁,即使每个文件都显得完善,也很难验证。原子化变更更容易定位故障。

测试应验证科学不变量,而不只是程序能够运行。例如,确认训练集和测试集标识符绝不重叠、打乱标签会破坏性能,以及某项指标与手工计算的测试夹具一致。这些检查针对的是合理且常见的研究失败模式。

研究人员也需要刻意安排不使用代理的时段。从记忆中重建一个流程,比重新阅读差异更能暴露理解缺口。向实验室同事解释实验,也能揭示被简洁抽象隐藏的假设。

代理可以协助这一过程,而无需给自己打分。它可以围绕某个模块生成问题、梳理数据谱系,或识别未经测试的分支。研究人员必须根据代码和实验设计作答,然后独立确认这些答案。

对导师和实验室而言,所有权应成为可审查的产物。拉取请求可以包含假设、预期结果、已改变的假设、验证证据和未解决的不确定性。这会建立超越聊天记录的持久轨迹。

这些做法会带来成本,因此应集中用于高后果路径。样板代码、格式化、常规绘图和孤立工具函数可以采用较轻的审查。数据选择、指标、评估和结果解释则需要更深入的验证。

这一模式在保留大部分速度优势的同时,也承认实现工作为何具有教育意义。编写代码迫使研究人员面对细节。代理式工作流必须通过规范、测试和解释重新创造这种接触。

目标不是怀念手工编程,而是可靠的科学判断。当研究人员能够预测实验行为、识别其脆弱假设,并在审查下为其输出辩护时,他们才真正拥有这项实验。

三个信号将表明这种权衡是否正在改善

下一阶段应依据理解能力和复现结果来评判,而不是看代理还能额外生成多少行代码。

第一个信号是 Anthropic 计划在社会科学家群体中开展关于编程代理的随机研究。其 2026 年调查将作为一项实验的基线:该实验向研究人员提供 Claude Code 访问权限。随机分配能够将工具本身的影响与热情早期采用者的个人特征区分开来。

最具参考价值的结果应当不止于论文和提案。对代码理解、错误发现、规格漂移以及独立复现的衡量,将直接检验那位博士生提出的担忧。若缺少这些指标,生产率提升并不能回答核心问题。

如果研究发现,产出增加并未削弱验证能力或理解水平,那么大规模采用该工具进行研究的理由会更充分。如果理解能力下降,或本可避免的错误持续更久,实验室就需要设定更严格的委派边界。

第二个信号是,会议、期刊和实验室是否要求披露由代理生成的研究代码。当前有关署名和 AI 使用的政策,往往聚焦于论文文本。计算方法需要更具体的记录,因为实现层面的选择会直接塑造结果。

有用的披露应说明代理生成了哪些组件、使用了什么模型或工具,以及关键行为如何经过独立测试。它不必暴露每一条提示词,也不应惩罚常规辅助工作。

如果主要发表平台采用可复现的披露标准,审稿人便可将代理使用情况视为方法的一部分进行评估。如果政策仍以文本为中心,科学产出中不断扩大的部分将持续缺乏充分记录。

第三个信号是,受限基准测试与开放式研究之间的性能差距。复现任务具有已知目标和现有材料。原创研究则要求判断哪个目标重要、处理模糊证据,并在失败后改变方向。

未来的评估应在规格不完整的多周项目中跟踪代理表现。它们应衡量系统是否能保持实验意图、呈现不确定性,并抵制鼓励确认性分析的提示。

差距缩小将强化 Anthropic 的主张:领域专家可以更安全地委派更多执行工作。若系统在模糊项目上持续失败,则会支持一种更有限的定位——代理应在明确的人类规格之下充当实现者。

研究人员不必被动等待这些研究。他们可以选定一个后果重大的组件,独立重建它,并将结果与代理生成的路径进行比较。他们也可以请同事在不查阅作者说明的情况下解释一条流程。

Anthropic 的边界并不由 Claude Code 能够写出整个代码仓库的那一刻来定义。它取决于当代理这样做时,研究人员能否保留可追责的判断力。

在批准下一次大规模生成的 diff 之前,先问一个更难的问题:如果某个假设发生变化,你能否预测哪项结果会改变?如果答案并不明确,就停止扩展实验,并从方法到代码重建整条链路。

 
 

免费开始

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

你的 AI 工作伙伴

remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page