AI过目不忘是诅咒，强化学习愚蠢又疯狂，代码写得一团糟，AGI还得再等十年……
智东西10月21日报道，近日，前特斯拉AI总监、OpenAI创始成员安德烈·卡帕西（Andrej Karpathy）进行了一场长达2.5小时的深度访谈，系统性地分享了他对AI现状与未来的深刻洞察，其诸多观点挑战主流认知，极具启发性。
当业内普遍热议“智能体之年”时，Karpathy却冷静地提出，这将是“智能体的十年”。他指出，要打造出真正能像实习生一样可靠工作的AI智能体，仍需攻克多模态、持续学习、使用计算机等核心瓶颈，这大约需要十年时间。
Karpathy以他近期开源的nanochat项目为例，揭示了大语言模型存在的“认知缺陷”。在需要精确架构的创新性编程任务中，AI助手因过度依赖训练数据中的常见模式，反而会误解定制化代码、增加不必要的复杂性，最终“让代码库膨胀，简直是一团糟”。
对于推动大模型迭代的主流方法——强化学习，Karpathy的批评尤为犀利。他形象地比喻道，这种方法本质上是“用吸管吸监督信号”，即艰难地将最终结果的单一信号分摊到整个复杂行动过程中，他认为这既低效又荒谬。
通过与人类学习方式的对比，Karpathy指出了当前大模型训练的两个关键缺陷：“模型坍缩/模型崩溃（model collapse）”导致生成内容多样性枯竭，以及“过度记忆”阻碍了其像人类一样发现通用模式。
这如同一个死循环：用模型生成的数据训练新模型，只会让结果越来越狭隘。有趣的是，Karpathy认为，人类同样会“崩溃”并固守陈规，而大脑或许正通过“做梦”引入随机性（熵）来对抗这一趋势。
在衡量AI进展时，Karpathy认为应更关注其在具体经济任务中的实际表现，而非抽象指标。他预判，AGI对宏观经济增长的推动将是缓慢而持续的，会像计算机、手机等技术一样，悄然融入并延续原有的约2%的GDP增长态势。
尽管前景漫长，Karpathy却坚信我们早已处于“智能爆炸”之中。他从一个更宏大的视角阐述：从历史尺度看，这场变革犹如一场“烟花盛宴”，而我们正以慢动作见证着它的发生。
该访谈内容在外网广泛传播，社交平台X上很多网友的评价是“必看”、“每一分钟都弥足珍贵”、“绝对值得一看”……这些颠覆认知的观点如何而来？又指向什么？智东西对截取了2.5小时访谈中的核心内容，进行了不改变原意的编辑。
01.AGI仍需十年时间，多模态、持续学习能力是瓶颈
当业内热议“智能体之年”时，Karpathy却提出这是“智能体的十年”。那么是什么瓶颈需要去攻克十年？
主要对话内容如下：
Dwarkesh Patel：Andrej，为什么你说这是智能体的十年，而不是一个智能体年？
Andrej Karpathy：这实际上是对之前一句名言的回应，我不确定这句话是谁说的，他们暗示就大语言模型及其未来发展而言，现在是智能体的十年。这句话之所以触动我，是因为业内存在一些过度预测的情况。
一些早期的智能体令人印象深刻，比如Claude和Codex等已被广泛使用，但我仍然觉得还有很多工作要做，我们会和这些东西协作十年之久。
Dwarkesh Patel：您认为哪些事情需要十年才能实现？瓶颈是什么？
Andrej Karpathy：真正让它发挥作用。我们会把智能体想象成雇佣的员工或实习生，但目前它们显然做不到，原因是它们根本就不行——不够智能，不够多模态，无法使用计算机，缺乏持续学习能力等。他们的认知能力不足，所以根本没用，解决所有这些问题大概需要十年时间。
Dwarkesh Patel：为什么是10年，而不是1年或者50年？
Andrej Karpathy：这就涉及到我个人的一些直觉了，同时也是基于我在该领域的经验所做的一点推断。我接触AI领域已有近二十年，不算特别久。既有经历让我认为当下问题是可解决、可克服的，但难度依然不小。如果综合权衡一下，我感觉大概需要十年时间才能攻克。
02.大语言模型仍有认知缺陷，编程模型做得“一团糟”
10月14日，Karpathy开源nanochat，号称可以只用不到100美元（约合人民币711.5元）训练出“简易版ChatGPT”，一经发布在GitHub上就获得了5.6k星。
但在构建nanochat代码库时，Karpathy发现当前AI编程助手存在明显局限，几乎没有帮助，这是为什么？
主要对话内容如下：
Dwarkesh Patel：你在推特上谈到编程模型对你构建（nanochat）代码库几乎没有帮助，为什么？
Andrej Karpathy：我大概花了一个多月的时间搭建了这个代码库。我认为现在人们与代码的交互方式主要分为三类：完全拒绝大语言模型、使用模型中的自动完成功能辅助编写（我现在的阶段），以及氛围编程。我会在特定环境下使用它们。但这些都是你可用的工具，你必须了解它们擅长什么、不擅长什么，以及何时使用它们。
nanochat不是适合的场景，因为它是一个相当独特的代码库。它几乎是智力密集型代码，所有东西都必须非常精确地编写。这些编程模型存在很多认知缺陷。举个例子，他们总是误解代码，因为他们记忆了太多互联网上典型的做事方式，而我根本没有采用这些方式。
Dwarkesh Patel：举个例子？
Andrej Karpathy：我使用了八块GPU，它们都在进行前向和后向计算。在它们之间同步梯度的方法是使用PyTorch的分布式数据并行容器，当你进行后向计算时，它会自动开始通信和同步梯度。我认为没有必要用DDP容器，把它舍弃了，但编程模型试图让我使用DDP容器，还一直试图搞乱代码风格。
他们防御性太强了，一直试图构建一个生产代码库，而我不需要这些额外的东西。所以我觉得他们让代码库膨胀，增加了复杂性，他们不断误解，还大量使用弃用的API。这简直是一团糟，根本没什么用。
03.强化学习很糟糕，就像“用吸管吸监督信号”，愚蠢又疯狂
强化学习是当下大模型迭代的一个主流方法，然而Karpathy犀利地指出，这种方法本质上是在“用吸管吸监督信号”——将单一结果信号艰难地分摊到整个复杂行动过程中，既低效又荒谬，与人类通过精细复盘的学习方式截然不同。
主要对话内容如下：
Dwarkesh Patel：来聊聊强化学习，如何理解人类仅通过与环境的互动就能构建一个丰富的世界模型，而且几乎与场景结束时的奖励无关？
Andrej Karpathy：人类不会使用强化学习。强化学习比我想象得要糟糕得多，当然其他的方法更糟。在强化学习中，它几乎假设你得出正确答案的每一个小细节都是正确的，但这并非事实。你可能在找到正确答案之前，一直在走错路。你做的每一个错误，只要你最终得到了正确的答案，都会被加权为“继续这样做”。这很糟糕，它就是噪音。
你做了这么多工作，最后却只得到一个数字。基于这个数字，你就会把整个轨迹的权重加起来，或者减去权重。我喜欢这样说，你就像在“用吸管吸着监督信号”。你做了这么多工作，本来可能只需要一分钟就能完成，但现在你却把最终奖励信号的监督信息一点点地吸了进去，然后把它传播到整个轨迹上，用它来加权或减权轨迹。
这简直愚蠢又疯狂。人类永远不会这样做。
首先，人类永远不会进行数百次的部署；其次，当一个人找到解决方案时，他们会经历一个相当精细的复盘过程：“好吧，我觉得这些部分我做得很好，这些部分我做得不太好。我应该这样做或那样做。”他们会仔细思考，目前的大模型训练中没有类似的东西。但我确实看到一些论文试图这样做。
Dwarkesh Patel：既然这一点显而易见，那么为什么基于过程的监督作为一种替代方案，却没能成功地提升模型的能力呢？是什么阻碍了我们使用这种替代范式？
Andrej Karpathy：基于过程的监督指的是我们不会在最后才设置奖励机制。你完成了10分钟的工作后，我不会告诉你做得好还是不好。我会在每一步都告诉你你做得有多好。我们没有这样做的原因是，如何正确地做到这一点很棘手。你只有部分解决方案，却不知道如何分配功劳。
事实上，无论何时你使用大语言模型来分配奖励，这些拥有数十亿参数的庞然大物很容易被玩弄。如果你对它们进行强化学习，你几乎肯定会找到对抗样本来作为你的模型评判标准。所以你不能这样做太久。你可能只进行10步或20步，也许会成功，但你不可能进行100步或1000步。它会在这个巨型模型的每一个角落和缝隙中找到所有这些虚假的东西，并找到欺骗它的方法。
04.与人类学习对比，AI面临“隐性坍缩”危机，过目不忘成痛点
与人类的学习方式作类比，Karpathy谈及了大模型学习的两个重要缺陷。
一是模型坍缩问题。当前AI仅被动预测数据，缺乏人类式的主动思考，导致其生成内容多样性枯竭，即出现隐性坍缩。
二是过度记忆问题。人类因不完美记忆而擅长发现通用模式；AI则困于精确记忆，弱于泛化。Karpathy认为，增强AI思考能力需平衡记忆与算法，此为核心挑战。
主要对话内容如下：
Dwarkesh Patel：在机器学习领域，与人类白日梦、睡眠或单纯反思相对应的概念是什么？
Andrej Karpathy：的确，我们在这方面遗漏了一些关键维度。举个例子，就说读书吧。目前大型语言模型的“读书”只是被动地预测下一个词，并从中汲取知识。但这并非人类的学习方式——书籍对我们而言，更像是一组激发思考、讨论与内化的“提示词”。人类通过这种主动加工来真正掌握知识，而AI完全缺乏这一机制。我期望未来能让模型在预训练中融入对材料的深度反思与消化环节，但这仍是待解的研究课题。
这并非易事，举个例子，我们为什么不用合成数据训练模型？核心问题在于模型生成的样本存在 “隐性坍缩（silently collapsed）”—— 单看样本无明显异常，但实则仅覆盖极小的内容思考范围，数据分布过于局限（比如ChatGPT只会讲几个笑话）。这类样本缺乏人类内容的丰富性、多样性与高熵值，难以支撑有效训练。如何在避免坍缩的同时维持熵值，让合成数据发挥作用，仍是未解决的研究课题。
我认为这个问题可能没有根本的解决方案。我还认为人类会随着时间的推移而坍缩，或者说会崩溃。这就是为什么孩子们还没有过度适应，他们会说一些让你震惊的话，因为他们还没有崩溃，但我们已经崩溃了。我们最终会重复同样的想法，会说越来越多同样的话，学习率就会下降，崩溃会持续恶化，然后一切都会恶化。
Dwarkesh Patel：你看过这篇超级有趣的论文吗？它说做梦是防止这种过度拟合和崩溃的一种方式。它能让你置身于与日常现实截然不同的奇特情境中，从而防止这种过度拟合。
Andrej Karpathy：这是一个有趣的想法。我认为当你在脑海中生成事物并加以处理时，你是在用自己的样本进行训练，用合成数据进行训练。如果你这样做太久，就会偏离轨道，最终崩溃。生活中你总是需要寻找熵。与他人交谈是熵的重要来源，诸如此类。也许大脑也建立了一些内部机制来增加这一过程中的熵。这是一个有趣的想法。
Dwarkesh Patel：有一个不成熟的想法，记忆力极差、易遗忘的幼儿，反而擅长学习新语言和探索世界；大语言模型虽能精准复述信息，却难快速掌握抽象概念；成年人介于二者之间。这其中或许有值得探究的内容？
Andrej Karpathy：人类比大语言模型更容易“只见树木不见森林”。我们不那么擅长记忆，但这是一个特点而非缺点。
大语言模型的记忆力极强，它们被预训练文档的记忆所困扰，从某种意义上说，这可能非常分散它们的注意力。与大语言模型相比，人类不太擅长记忆，所以我们被迫在更普遍的意义上寻找模式。这是人类的特性而非缺陷，因为它迫使你只学习可泛化的部分。
所以，当我谈到认知核心时，我希望大语言模型更少地进行记忆，只需保留用于思考的算法、实验的想法以及所有这些用于行动的认知粘合剂。
Dwarkesh Patel：这也与防止模型崩溃（model collapse）有关吗？解决方案是什么？
Andrej Karpathy：我不确定，这大概是另一个分支。模型的记忆力太强了，我们应该想办法把它去掉。人类的记忆力差得多，但这也是一件好事。
谈到解决方案，你可以想象一下对熵之类的东西进行正则化。我猜它们在经验上效果不佳，因为现在的模型已经坍缩了。但我要说的是，我们想要的大多数任务实际上并不要求多样性，这或许就是问题的答案。
前沿实验室正在努力让这些模型变得实用。我觉得输出结果的多样性并不重要……首先，处理和评估这些事情要困难得多，但这可能并不是捕捉大部分价值的关键。
05.我们处于慢动作 “烟花盛宴”中，但AGI不会使GDP突进增长
人们提出了不同的AGI进展衡量标准。例如用“教育水平”类比：从高中生到博士生；或用“任务时长”衡量：从完成一分钟任务到一周任务。
但Karpathy对这些标准都不认同。他认为更应关注AI在具体经济任务中的实际表现，而非这些抽象指标。
主要对话内容如下：
Dwarkesh Patel：我们应该如何看待AI的进步？
Andrej Karpathy：我几乎想拒绝“如何衡量AGI进展”这个问题，因为AI只是计算的延伸。我坚持OpenAI最初的AGI定义：一个能完成任何具有经济价值、性能达到或超过人类水平的系统。人们在探讨进展时把实体工作（可能占经济总量超80%？）排除在外，这与最初的定义相比，是一个相当大的让步。即便只拿下剩下的“知识工作”市场，那也是一个价值数万亿美元的庞大市场。
按OpenAI的定义，AI进展其实有限。以放射科医生为例，预测其被取代是错误的，因为工作本身复杂。真正可能自动化的是如呼叫中心员工的工作——简单、重复、数字化。即便如此，我期待的也是“自主性滑块”：AI完成80%工作量，人类负责监督20%，管理不完善的AI。这将是渐进过程，而非取代。
Dwarkesh Patel：目前的模型更接近 “编译器” 工具而非人类 “替代”。但如果真的出现AGI，它理应能胜任你的工作。要是能并行复制出上百万个 “你”，你认为会极大加速AI的发展进程吗？是否会出现 “智能爆炸”？
Andrej Karpathy：我认为会的，但这其实只是常规发展而已 ——因为我们早已身处智能爆炸之中，而且已经持续数十年了。本质上，GDP曲线就是工业领域诸多方面的指数加权总和，能直观反映这一点。
数百年来，所有事物都在逐步实现自动化：工业革命解决了物理层面的自动化，涉及机械组件、工具制造等领域；编译器则是早期的软件自动化产物，诸如此类。长期以来，我们一直在进行递归式的自我提升，处于智能爆炸的进程中。
换个角度看，若不考虑生物机制等因素，地球曾是个十分单调的地方，样貌几乎没什么变化。但从太空俯瞰就会发现，我们正处于一场 “烟花盛宴” 之中，只是我们是以慢动作在见证这一切。我坚信这种智能爆炸早已发生并持续了很久。
再说一次，在我看来，AI并非与长期以来的技术发展割裂的独特技术。
Dwarkesh Patel：你认为它与这种超指数增长趋势是一脉相承的？
Andrej Karpathy：没错。这也是我对这个话题很感兴趣的原因。我曾试图在GDP数据中找到AI的痕迹，本以为GDP 会因此出现显著增长，但后来我研究了其他一些我认为具有变革性的技术，比如计算机、手机等，却发现也无法在GDP数据中看到它们的明显影响，GDP依然保持着原有的指数增长态势。
所有技术的影响都被分散开来，传播过程十分缓慢，最终都被平均到了那条不变的指数增长曲线中。计算机的情况也完全一样，你无法在GDP数据中找到 “哦，我们现在有计算机了” 这样的明显拐点，因为它的发展进程太过缓慢。
AI也会呈现出完全相同的态势。它本质上只是更多形式的自动化，一种新型计算机和新型计算系统，它存在诸多问题，其影响会随着时间慢慢扩散，最终也会融入那条既定的指数增长曲线。
这条指数曲线仍将持续攀升，变得愈发陡峭。生活在那样的环境中，将会是一种非常陌生的体验。
Dwarkesh Patel：你是说，从工业革命前到现在的趋势来看，呈现的是一种超指数增长。那如果把AI纳入这个趋势图，它会让增长率提升到20%甚至200%吗？还是说增长率始终保持不变，一直是2%？
Andrej Karpathy：增长率大致也保持稳定吧。
Dwarkesh Patel：只在过去两三百年里保持稳定而已。但纵观人类历史，增长率其实是爆发式增长的，从0%一路不断加速达到了2%的增长率。
Andrej Karpathy：我曾尝试在GDP曲线中寻找AI的影响痕迹，但我逐渐意识到这种思路是错误的。
06.结语：道阻且艰，AGI尚有很多瓶颈需突破
在这一采访中，Karpathy还谈及了ASI（人工超级智能）、智能与文化的进化、自动驾驶发展、教育等具有实际意义的话题方向，比如他还提出“ASI可能会让人丧失对日益复杂的自动化系统的理解和掌控”，“未来智能体或许能演化出文化”、“要实现自动驾驶99%乃至99.9%的可靠性需要付出巨大的持久的努力”等。
在这场关于AI未来的深刻对话中，Karpathy既描绘了激动人心的技术远景，也毫不避讳地指出了当前的根本性瓶颈。这提醒我们，在技术狂热中保持清醒的认知，或许比盲目乐观更能推动真正的进步。通往AGI的道路没有捷径，唯有持续攻克那些“不性感”的基础问题，才能让这场变革真正到来。
配资网之家提示：文章来自网络，不代表本站观点。
