top of page

为什么安德烈·卡帕西说AI代理距离现实还有十年

Why Andrej Karpathy Says AI Agents Are a Decade From Reality

科技界正充满期待,许多投资者和开发者将2025年称为"the year of the agent"。这一承诺令人心动:智能、自主的AI系统能够理解复杂目标,将其分解为步骤,并在无需人工干预的情况下执行。这些代理被誉为人工智能的下一个重大飞跃,有望彻底改变从软件开发到个人生产力的方方面面。

然而,人工智能革命核心中一位杰出且深受尊敬的声音正在呼吁注入现实。Andrej Karpathy,OpenAI的联合创始人以及AI社区的领军人物,发表了一项清醒的评估,穿透了炒作。在最近的一次播客节目中,他做出了大胆的声明:真正实用的AI代理并非近在咫尺;它们"will take about a decade"才能实现。本文分析Karpathy的批评,探讨他指出的核心局限、他对于人机协作未来的愿景,以及为何这种长期视角对于把握未来道路至关重要。

炒作与现实:解构"Year of the AI Agent"

The Hype vs. Reality: Deconstructing the "Year of the AI Agent"

什么是AI代理,为什么大家都在谈论它们?

在剖析怀疑之前,重要的是理解AI代理是什么,以及这一概念为何吸引了行业的想象力。虽然定义可能有所不同,但AI代理通常被理解为具有显著自主性的虚拟助手。与当前主要响应直接提示的AI聊天机器人不同,代理被设计为独立完成多步骤任务。这涉及分解高级问题、制定计划,并采取连续行动来实现目标,所有这些都无需持续的用户指导。

潜在应用非常广泛。想象一个代理可以根据简单请求预订包含航班、酒店和交通的复杂旅行。或者一个开发者代理可以自主调试代码、编写新功能并部署更新。正是这种自我指导、目标导向行动的承诺引发了投资和开发的激增,助长了新AI时代即将到来的叙事。

Andrej Karpathy的清醒评估:"They Just Don't Work"

尽管热情广泛,Andrej Karpathy对当前AI agents的状态明显不以为然。他在Dwarkesh Podcast上的评价直率且明确:"They just don't work"。这不是局外人的批评,而是来自AI开发前沿人士的观察。他认为行业的兴奋远超当今技术的实际能力。

Karpathy的批评不是关于缺乏努力,而是底层模型的根本缺陷。他认为行业正在"overshooting the tooling w.r.t. present capability",意味着开发者正在为尚不够智能以可靠执行的代理构建复杂框架和平台。他主张,核心系统仍然"cognitively lacking",这使它们无法超越简单且往往脆弱的演示。

核心局限:为什么今天的AI代理"Cognitively Lacking"

Core Limitations: Why Today's AI Agents Are "Cognitively Lacking"

Karpathy断言代理不起作用源于几个具体且根深蒂固的技术挑战。他指出了当前模型不足的几个关键领域,使自主操作的愿景成为遥远的目标。

Karpathy指出的四大基础缺陷

根据Karpathy,今天的代理遭受一系列相互关联的失败。他总结了核心问题,指出,"They don't have enough intelligence, they're not multimodal enough, they can't do computer use and all this stuff"。此外,他指出了一个关键缺失部分:"They don't have continual learning"。这意味着你不能简单地告诉代理一次某事,就期望它在未来记住并应用该知识。

让我们分解这些:

智能不足:基础大型语言模型(LLMs)缺乏处理现实世界任务的模糊性和不可预测性的推理和规划能力。

缺乏多模态性:真正的自主性需要理解和交互不仅仅是文本。代理需要流畅处理图像、视频和用户界面以有效操作,这一能力仍处于起步阶段。

计算机使用差:代理必须能够可靠地浏览网站、使用软件API,并像人类一样与数字工具交互。这看似简单的任务在无错误执行时极其困难。

无持续学习:今天的模型 largely是静态的。它们不从错误中学习,也不记住用户偏好从一个会话到下一个,迫使它们每次从头开始。

复合错误问题:数学障碍

除了Karpathy的观点,该领域的其他人还强调了一个严重的数学现实。ScaleAI的Quintin Au解释说,LLMs的概率性质导致了"compounding error"问题。目前,AI采取的每个行动都有显著的错误几率——他估计约为20%。

这对于单个行动可能听起来不算灾难性,但在一系列步骤中变得毁灭性。如Au所指出的,如果代理需要执行仅五个行动来完成任务,则每一步都成功的概率仅约为32%。需要十步的任务成功率仅略高于10%。这就是代理在复杂现实场景中经常失败的 stark数学原因。直到LLMs的每行动准确率接近完美,代理将仅对最简单、最受限的任务可靠。

AI的新愿景:协作而非自主

Karpathy的批评不仅仅是指出缺陷;它是在将行业引导向他认为更具生产力和理想的未来。他警惕硅谷普遍的完全自主实体使人类参与过时的梦想。

Karpathy对"Useless Human"未来的批评

代理空间中许多人的终极愿景是"fully autonomous entities collaborate in parallel to write all the code and humans are useless"的世界。Karpathy明确反对这一目标。他认为构建使人类无用的代理的缺点正是:"humans are then useless"。他警告说,这条道路将导致充满"AI slop"的世界——低质量、机器生成的内容和解决方案, degrade我们的信息生态系统并贬低人类技能。他不想生活在那个未来。

理想伙伴关系:人类与AI应如何合作

而不是替代,Karpathy倡导协作。他理想的AI不是黑箱自动机,而是增强人类能力的强大、透明伙伴。他 envision一个AI积极与用户合作。"I want it to pull the API docs and show me that it used things correctly,"他写道。"I want it to make fewer assumptions andask/collaboratewith me when not sure about something"。

在这种模式中,AI作为交互工具赋能用户,而不是取代他们。目标是让人类"learn along the way and become better as a programmer, not just get served mountains of code that I'm told works"。这种人在回路的方法重视透明度、验证和共享学习,创造一个积极反馈循环,使人类和机器共同改进。

十年路线图:接下来需要发生什么?

预测时间线:为什么十年是现实估计

鉴于挑战的规模,Karpathy预测"will take about a decade to work through all of those issues"开始看起来不那么悲观,而更务实。四大基础缺陷——智能、多模态性、计算机使用和持续学习——不是小工程问题。它们是需要重大科学突破的基础研究障碍。

实现单个行动近100%可靠性以解决复合错误问题是巨大任务。开发真正的持续学习,即模型可以安全有效地更新知识库而不忘记过去信息,是AI研究的圣杯之一。这些不是可以在单个产品周期或仅靠更多风险资本解决的问题;它们需要多年耐心、基础性的工作。

定位Karpathy的观点:怀疑 vs. 悲观

正确 framing Karpathy的立场至关重要。他不是AI末日论者或否认技术潜力的怀疑者。他通过 stating他的时间线"about 5-10X pessimistic"与典型San Francisco AI派对或社交媒体上的炒作相比来澄清自己的立场。

然而,他也迅速补充,他的观点"still quite optimistic w.r.t. a rising tide of AI deniers and skeptics"。他的视角是战壕中专家的细微视角:他看到巨大潜力,但也清楚地看到通往那里的巨大困难。他的呼吁是耐心、智力诚实,并首先专注于解决难题。

结论:以耐心导航AI代理的未来

Conclusion: Navigating the Future of AI Agents with Patience

Andrej Karpathy的评估为容易陷入炒作和幻灭循环的行业提供了重要路线修正。虽然自主AI agents is powerful,使它们成为可靠现实所需的技术仍处于起步阶段。前进之路不是由雄心勃勃的工具驱动的短跑,而是专注于解决智能、交互和学习中基础挑战的十年马拉松。

通过倡导AI增强而非取代人类专长的协作模型,Karpathy为未来提供了更可持续且最终更具生产力的愿景。他的见解提醒我们,真正的创新不仅需要雄心,还需要耐心和对我们试图解决的问题复杂性的深刻尊重。"year of the agent"可能确实会到来,但它将是十年专注基础工作的结果,而不是一年疯狂开发。

常见问题 (FAQ)

1. 什么是AI代理,为什么它们被视为重大创新?

AI代理是设计用于在无需持续人工输入的情况下完成复杂多步骤任务的自主系统。它们被视为重大创新,因为与简单聊天机器人不同,它们可以理解高级目标、制定计划并执行行动来实现它,有望自动化广泛的数字和认知工作。

2. 根据Andrej Karpathy,当前AI代理的最大问题是什么?

Andrej Karpathy表示当前AI代理"just don't work"因为它们"cognitively lacking"。他指出了四个关键缺陷:它们缺乏足够智能、多模态性不足以处理不同数据类型、无法可靠执行基于计算机的任务,并且不具备持续学习来记住新信息。

3. "compounding error rate"如何影响AI代理的可靠性?

4. Andrej Karpathy对人机协作的愿景是什么?

Karpathy倡导AI作为协作伙伴而非人类替代的未来。他 envision一个AI展示其工作、在不确定时寻求帮助,并帮助用户学习和改进的AI。这种模型优先考虑透明度和人类赋能,而不是完全无监督的自主。

5. Andrej Karpathy是AI怀疑者吗?

不,Karpathy不认为自己是AI怀疑者或否认者。他将自己的时间线描述为比行业炒作更悲观,但与真正的怀疑者相比仍"quite optimistic"。他的立场是务实专家的立场,他承认技术的巨大潜力,但对实现它的漫长艰难道路持现实态度。

6. 为什么Karpathy认为AI代理功能化需要十年?

Karpathy的十年时间线基于需要解决的基础挑战的深度。克服智能不足、缺乏持续学习和复合错误问题等问题不是简单的工程修复,而是需要多年专注科学工作的重大研究障碍。

7. 什么是"AI slop",它与自主代理有何关系?

"AI slop"是Karpathy用来描述AI生成的低质量、往往不准确或无意义内容的术语。他警告说,由使人类无用的完全自主代理主导的未来将导致这种"slop"无处不在,降低我们数字信息和创意工作的质量。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page