AI应用风向标（公众号：ZhidxcomAI）
作者｜江宇
编辑｜漠影
智东(dong)西11月6日(ri)报道，近日(ri)，前特(te)斯(si)拉AI负(fu)责人、OpenAI研究员安德烈·卡帕(pa)西（Andrej Karpathy）接(jie)受(shou)播客《Dwarkesh Pdocast》专访。
在长达150分钟的对谈中，这位AI界大神兼“网红”系统回顾了过去十年人工智能的演进路径，重点阐述了他(ta)对“智能体十年(nian)”的判断(duan)逻辑(ji)，重申大模型的局(ju)限性(xing)，并(bing)警告强化(hua)学习、模型坍缩(suo)等机制(zhi)性(xing)问题(ti)仍未解决。
卡帕西认为，当前AI行业正在重演当年“游戏通往AGI”的早期幻想热潮。他提到，距离能真正替代实习生工作的智能体，还有至少十年技术迭代，而非某些公司口中的“2025元年”。
访(fang)谈围绕(rao)“我们在构(gou)建什么(me)样的(de)智能体”、“模(mo)型(xing)智能的(de)本质(zhi)是(shi)什么(me)”和“未来AGI的(de)落点在哪里(li)”等问题展开(kai)，卡帕西从(cong)(cong)神(shen)经(jing)网络演进史谈到大模(mo)型(xing)的(de)记忆瓶颈，从(cong)(cong)代码自动补全(quan)的(de)实用性谈到AI文化缺(que)失、合(he)成数(shu)据坍缩，并提出(chu)了“认知核心(xin)应小于(yu)10亿参数(shu)”的(de)推测(ce)。
目前，这期节目在YouTube已获得超87万次观看，评论区不少观众称其为“过去几个月AI频道播客的黄金时段”，更有用户将卡帕西的一句评论“我们不是在造动物，而是在造幽灵”称为(wei)“精准捕(bu)捉整个AI领(ling)域的神(shen)句”。
访谈中，卡帕西的核心判断如下：
1、卡帕西反驳 “2025是智能体元年” 的说法，认为智能体从 “能看” 到 “能工作” 需十年演进，而非一年(nian)突破。
2、AI与生物智能存在本质差异：AI是 “数字幽灵”，不是 “动物”。
3、未来AI核心驱动力是数据、硬件、算法的 “同步提升(sheng)”，而非单(dan)一突破。
3、卡帕西反驳 “规模崇拜”，未来高效AI是 “小而精的认知核心”，而非万亿参数模型。
4、卡帕西认为现在的模型像是具备某些能力的神童，但整体认知上仍然像是小孩。
5、强化学习对高阶认知没用，靠 “对错” 结果反(fan)向奖励易失(shi)控(kong)。
6、卡帕西判断当前AI仅适配部分领域，其(qi)他行业想(xiang)靠AI全(quan)自(zi)动化，短期内(nei)根本不可能(neng)。
7、多智能体协作的核心瓶颈是模型没 “真理解”，再厉害也只是 “认知上的小孩”。
8、AI不会让GDP跳涨，所谓 “智(zhi)能爆炸(zha)” 是自(zi)动(dong)化的延(yan)续，而AI是计(ji)算(suan)的延(yan)续。
9、卡帕西否认 “AI算力过剩”，觉得现在建的(de)算力早晚都会(hui)被(bei)真实需(xu)求用完，不用杞人忧天。
10、卡帕西直言大模型 “坍缩” 是硬伤，生成内(nei)容越用越重复，靠自身合成数据训练(lian)只会(hui)更糟(zao)。
以下是对访谈全程内容的编译（为优化阅读体验智东西做了不改变原意的编辑）：
一、“2025是智能体元年”？卡帕西泼冷水：距离真正“能干活”还有十年
Dwarkesh Patel：Andrej，为什么你说这是“智能体(ti)的十年(nian)”，而不是“智能体元年”？
Andrej Karpathy：首先(xian)(xian)，谢(xie)谢(xie)邀请，很高兴(xing)来聊这(zhei)个话题。我之所(suo)以说“这(zhei)是智(zhi)能体的(de)十(shi)年”，其实是回应(ying)业(ye)内(nei)流传的(de)一种(zhong)说法——有人提(ti)出(chu)2025是“智(zhi)能体之年”。我记不(bu)清(qing)是谁先(xian)(xian)说的(de)了，应(ying)该(gai)是某个大模型研究机(ji)构提(ti)出(chu)来的(de)，他们的(de)意思是今年LLM将进(jin)化出(chu)非(fei)常(chang)强的(de)Agent能力。
我当时听到这个说法觉得有些被触动了，因为我认为现在行业里有一些过度乐观的预期。我的判断是，这个过程不会只花一年，而更可能是一个长达十年的演进过程。现在(zai)我(wo)(wo)们确(que)实已(yi)经看到(dao)了(le)一些(xie)很令人惊艳的早期智(zhi)能体产品，比如Claude、Code Interpreter等，我(wo)(wo)自己也在(zai)日常使用它们。但(dan)距离“真(zhen)的能工作”的状态，我(wo)(wo)们还(hai)有(you)很多技术问题没解决。
所以我的说法更像是一种时间尺度上的纠偏：我们将花一个十年去把智能体真正做出来，它们会越来越好，我们会持续地与它们共事，但这不是一年能搞定的事情。
Dwarkesh Patel：那你觉得哪些能力的缺失导致它们现在还“不能工作”？具体的瓶颈是什么？
Andrej Karpathy：从本质上来说，是因为它们还没法“真的完成工作”。你可以把Agent理解成一个虚拟的员工，甚至是一个实习生，你希望它能够帮你完成某些日常任务。比如你在做播客，也许你会想让Claude或Code Interpreter来做某些内容整理工作——但你现在没这么做，对吧？原因很简单：它们还不够智能。它们不具备真正的多模态能力，无法流畅使用电脑操作，记忆也很差，没法持续学习，你告诉它一件事，它下次就忘了；思维能力也还远远不够。所以说它们“不能工作”不是说它们完全没用，而是还无法承担你能交给一个人类实习生的那类任务。我认为，解决这些问题至少需要十年时间。
Dwarkesh Patel：有意思。我作为播客主持人和一个对AI比较“远观”的观察者，确实能指出一些明显缺失，比如持续学习、多模态能力，但我很难判断这些问题会需要多久解决。那你为什么觉得是十年？为什么不是1年？或者50年？
Andrej Karpathy：这确实是一种经验判断，同时也依赖我在行业里的长期积累。严格说我做AI的时间还不到20年，大概15年左右，不算特别长。但这15年里，我见证了很多人对AI发展的预测，也观察了这些预测如何实现或落空；我自己既在研究圈工作，也在工业界实战过，这些经历让我形成了一个相对稳定的直觉。我的判断是：这些问题是可以解决的，它们是“可攻克的”，但同时也不容易，它们确实“挺难”。所以如果让(rang)我(wo)给出一个(ge)平均估算，大(da)概十年是一个(ge)合(he)理的(de)时间(jian)框架。
二、卡帕西回顾15年AI三次“地震”：既有突破，也有弯路，正确路径是LLM奠基，其上再建Agent
Dwarkesh Patel：这个视角很有意思。我其实也很好奇，从你进入AI行业开始的这十几年中，行业内部都发生过哪些关键的“情绪转变”？比如有哪些时候大家的预期过于乐观或悲观？
Andrej Karpathy：这是个很大的问题，因为过去15年AI发展中确实发生了几次“地震级”的变化，每(mei)次都让整(zheng)个(ge)领域(yu)的视角发生重(zhong)大(da)转向。大(da)概有两(liang)三次我是亲历者，我相信将来还会有更多这种突如(ru)其来的转折。
比如我刚开始做深度学习，是因为我当时恰好在多伦多大学，身边正是杰弗里·辛顿（Geoffrey Hinton）——他是深度学习领域的奠基者。当时他正在训练神经网络，我(wo)(wo)觉得(de)这(zhei)(zhei)非常酷也很有意思，但(dan)那时候这(zhei)(zhei)完(wan)全不(bu)是(shi)AI主流(liu)的(de)方向。也就是(shi)说，我(wo)(wo)是(shi)“误打误撞(zhuang)”进入了(le)这(zhei)(zhei)个(ge)赛(sai)道，但(dan)正是(shi)这(zhei)(zhei)些偶然的(de)窗口，构(gou)成了(le)我(wo)(wo)后来的(de)整段职业轨迹。
当时神经网络还是一个边缘话题，直到AlexNet等模型出现，才迎来第一次真正的“地震式转变”。我觉得AlexNet的意义在于它(ta)重新校准了行业方向，大家(jia)都(dou)开始训练神经网(wang)络(luo)了。但那个阶(jie)段依然是(shi)(shi)“按任(ren)务(wu)”训练模型，比如做图像分(fen)类，做神经机(ji)器(qi)翻(fan)译，都(dou)是(shi)(shi)一(yi)项任(ren)务(wu)对(dui)应一(yi)个模型。
直到后来，大家才慢慢对智能体真正感兴趣。我们在“视觉皮层”——也就是感知系统这部分，已经取得了一些不错的进展。那下一步是什么？是要去模拟大脑中其他功能区，尤其是那些能驱动行为的模块，也就是让智能体不仅能看、还能动，能感知世界、也能和环境交互。我认为2013年左右Atari游戏上的深度强化学习实验是这一探索的起点，它的意义在于：尝试构建既能感知世界又能采取行动的智能体，在环境中做出决策、获取奖励。当时用的是Atari游(you)戏环(huan)境。
我现在回头看，会觉得这是一次方向错误。包括我当(dang)时所在(zai)的(de)OpenAI在(zai)内(nei)，大(da)家都陷入了这种用游戏(xi)做(zuo)智能体的(de)“潮流”中(zhong)。当(dang)时整个技术界的(de)风向就是做(zuo)强化学习、打游戏(xi)、过关斩将，OpenAI也做(zuo)了很多(duo)相关项(xiang)目。
但(dan)我(wo)(wo)其(qi)实从(cong)一(yi)开始就对“用游戏(xi)通(tong)往(wang)AGI”这(zhei)件事是(shi)有(you)怀(huai)疑的(de)。在(zai)(zai)(zai)(zai)我(wo)(wo)看来(lai)，一(yi)个真(zhen)正有(you)价值的(de)Agent，应该像一(yi)个会计，能在(zai)(zai)(zai)(zai)真(zhen)实世(shi)界(jie)中进行有(you)意义(yi)的(de)交(jiao)互和(he)工作，而游戏(xi)并没有(you)给出这(zhei)样的(de)外(wai)部复杂度。因此(ci)我(wo)(wo)在(zai)(zai)(zai)(zai)OpenAI做的(de)一(yi)个项(xiang)目，是(shi)在(zai)(zai)(zai)(zai)“Universe”平台下训(xun)练一(yi)个能用键盘和(he)鼠标(biao)操作网(wang)页的(de)Agent，我(wo)(wo)希望它(ta)能与(yu)真(zhen)实数字世(shi)界(jie)交(jiao)互，做一(yi)些知识工作。
但这个项目实在太早了，早到我们其实根本不该在那个时间点做它。因为智能体完全不知道自己在做什么，只是胡乱点鼠标、敲键盘，然后试图从极其稀疏的奖励信号中学习。但这种设置几乎学不到任何东西，只会耗费大量计算资源，什么成果也出不来。问题的关键在于，我们当时的模型没有足够的表征能力（representation power），所以无法真正理解环境，更谈不上做出有效行动。
今天我们看到的一些“能用电脑的Agent”，都是建立在大语言模型之上的。这说明你必须先训练出一个语言模型，有了足够强的表征能力之后，才能往上构建Agent。换句话说，LLM是基础，Agent是“后盖的结构”。
但过去我们反复犯了一个错误，就是在基础能力没跟上的情况下，就急着追逐“完整Agent”这个目标。Atari是(shi)(shi)这样(yang)，Universe也是(shi)(shi)这样(yang)，包括我自(zi)己的很(hen)多早(zao)期尝试其(qi)实都太着急了。我们总是(shi)(shi)试图直接(jie)去(qu)构建(jian)智(zhi)能体(ti)，但其(qi)实必须先解(jie)决一些(xie)底层问题。
所以我认为，过去这十几年AI的发展，大概可以分为三个阶段：第一阶段是按任务训练神经网络；第二阶段是第一次尝试构建智能体；第三阶段是用大语言模型训练出强表征能力，然后在此基础上发展智能体，这才是目前比较靠谱的路(lu)径。
三、别再用“造动物”思路做AGI：预训练只是“低配版进化”，要提炼出能思考的“认知核心”
Dwarkesh Patel：我觉得可以尝试站在另一派的角度为他们的观点辩护。他们会说，人类或动物其实天生就能从零开始学习，不需要语言、标签或结构化数据。比如动物出生后被直接扔进世界里，没有任何“训练语料”，也能慢慢理解环境，学会行为。所以AGI的目标是不是也该如此：从感官数据出发，看着屏幕，自己推理世界的规则？我们为什么要花几百万年的训练计算量，才能学会这些东西？
Andrej Karpathy：这是个很好的问题。简单说，我对“把AI类比动物”的说法会特别谨慎。因为动(dong)物进化(hua)出的(de)智能(neng)，是经过一种完(wan)(wan)全不同的(de)优化(hua)过程形成的(de)，和我们用损失函数(shu)、梯度下降训练(lian)模型完(wan)(wan)全不一样(yang)。虽(sui)然你直(zhi)觉上会(hui)觉得“小动(dong)物能(neng)从零学会(hui)感知，那AI也应该可以”，但两者之间的(de)机(ji)制差别实在太大了。
所以目前来看，我(wo)们还是(shi)需要(yao)先(xian)获得强大的表征(zheng)能力，通(tong)过(guo)预训练、大模型(xing)这些方(fang)式(shi)构建知识，再考虑让Agent去行动，而不是(shi)直(zhi)接模拟生物从(cong)零开始(shi)的成长过(guo)程。
动物是在(zai)(zai)进化(hua)过(guo)程中(zhong)发展出来的，它们(men)在(zai)(zai)出生时就带有大量(liang)“内建的硬件”。比如(ru)我(wo)(wo)举过(guo)的例子(zi)，一只斑(ban)马出生几分钟后就能(neng)奔(ben)跑、跟着母亲移动，这是一个极其复杂的行为(wei)过(guo)程。这种能(neng)力并不(bu)是靠强化(hua)学习获得的，而是直接(jie)内嵌(qian)进它们(men)的大脑结构中(zhong)的。显然，进化(hua)有某种机制能(neng)将神经网络的权重(zhong)“编(bian)码”进DNA序(xu)列(lie)（即ATCG碱基），虽(sui)然我(wo)(wo)不(bu)知道它具(ju)体是怎么做到的，但(dan)它确实有效。
所以我(wo)认为，大脑(nao)的形成过(guo)程和我(wo)们现在(zai)训练AI的方式是完全(quan)不(bu)同(tong)的，这也(ye)是我(wo)为什么不(bu)太愿意直接从生物大脑(nao)那(nei)里汲取灵感(gan)——因为我(wo)们并没有(you)在(zai)运行同(tong)样的优化(hua)过(guo)程。
我们现在其实不是在造“动物”，我们更像是在造“幽灵”或者“灵体”之类的东西。因为我们不是通过进化来训练智能体，而是靠模仿人类以及互联网上的数据。最终我们获得的是一些完全数字化的、在某种程度上模仿人类行为的“非实体智能体”，它们的智能形式和动物或人类的本质差别非常大。
你可(ke)以(yi)把所有可(ke)能(neng)的智能(neng)体看成一个(ge)大(da)的空间(jian)（intelligence space），而(er)我(wo)们目前构(gou)建的AI，和生(sheng)物体所处(chu)的位置完全不同(tong)。当然(ran)，我(wo)也认为我(wo)们可(ke)以(yi)尝试让这些AI变得更像动物，我(wo)也希望朝那(nei)个(ge)方(fang)向推进。
我觉得他们的思路是想“造动物”，这是一个很棒的目标，如果真能让一个统一算法在互联网上跑一遍就能学会一切，那当然是件伟大的事。但我怀疑这样的算法是否真的存在，而且我可以确定动物也不是这么做的。动物的智能发展有一个“外循环”过程，那就是进化，而我们没有。看上去像“学习”的那些过程，其实很多是大脑成熟的结果，并不是真的强化学习。我甚至认为，强化学习在动物身上其实主要用于运动控制这类任务，比如“投篮”这样的行为，而不是用于解决高阶智能问题，比如逻辑推理或问题求解。换句话说，我认为人类并没有广泛依赖强化学习来实现认知智能。
Dwarkesh Patel：你能再重复一下刚才那句话吗？你说强化学习主要解决的不是智能任务，而是类似运动控制的事情？
Andrej Karpathy：对，我(wo)的(de)看法是，强化(hua)学习(xi)在人类(lei)身上(shang)更像(xiang)是用来完成一些基(ji)本动作(zuo)类(lei)任(ren)务，比如(ru)投掷一个圈(quan)套、完成一个物理动作(zuo)等。但(dan)在更高层级(ji)的(de)智(zhi)能任(ren)务，比如(ru)问题解决和认(ren)知推理方面，我(wo)认(ren)为(wei)人类(lei)并不怎么依赖(lai)强化(hua)学习(xi)。
Dwarkesh Patel：非常有趣，我需要消化一下你刚才讲的这些内容。那我想问一个澄清性问题：你是不是在说，进化其实相当于一个“预训练过程”？它构建出一个足够复杂的结构，之后个体才能在一生中进行学习。差别在于，人类的这套系统被压缩到了DNA中，而不像神经网络那样拥有庞大的权重参数。看起来，进化更像是在寻找“学习算法”，这个算法让个体能在一生中进一步学习。只是这种“终身学习”也许并不等同于强化学习。你同意这样的看法吗？
Andrej Karpathy：我同意你的说法。这里确实存在某种“不可思议的压缩机制”，因为显然神经网络的全部权重不可能被编码进DNA序列里。进化一定是某种“寻找学习算法”的过程，它让个体能在线学习一些东西。所(suo)以我(wo)完全(quan)同意你的推断。
只是我自己的视角会更务实一些。我不太从“我们要造动物”这个目标出发，而是更像一个戴着安全帽的工程师，我的出发点是“我们要造出有用的东西”。我们没法复现(xian)生物的(de)(de)进(jin)化过(guo)程，我也不(bu)知道怎么做(zuo)。但事(shi)实(shi)是(shi)，我们现(xian)在确实(shi)可以(yi)通(tong)过(guo)模仿互联网上的(de)(de)人类数(shu)据(ju)，造(zao)出一(yi)种“幽灵”式(shi)的(de)(de)智(zhi)能体。它们虽(sui)然不(bu)是(shi)动物，但通(tong)过(guo)这(zhei)种方式(shi)，我们也能获得某(mou)(mou)种“预先内置的(de)(de)知识与智(zhi)能”。这(zhei)在某(mou)(mou)种程度上也类似(si)于进(jin)化赋予(yu)生物的(de)(de)先天能力。
所以我有时候会把“预训练”形容为“低配版的进化”——它(ta)当然没有进(jin)(jin)化复(fu)杂，但(dan)它(ta)是目(mu)前在我(wo)(wo)们技术条件下(xia)，能够实(shi)现的(de)(de)、最接近(jin)进(jin)(jin)化的(de)(de)方法。它(ta)能让我(wo)(wo)们到达一个合(he)适的(de)(de)起点，在这个基础上再去(qu)尝试强化学习或其他方法，来进(jin)(jin)一步提升AI能力。
预训练教会模型如何去学，也许可以被看成是一种元学习。但如果说(shuo)进化(hua)和预训练都(dou)在传递(di)知(zhi)识(shi)，那这(zhei)个比喻就站不住(zhu)了。
我们在预训练中做的，其实是把“预测下一个token”的任务丢给一个神经网络，喂它全互联网的数据。这个过程其实是在做两件不太相关的事：第一，它确实在学习大量的知识，第二，它也在逐步形成某种智能。换句话(hua)说，它通过观察互联网(wang)上的(de)数(shu)据，学(xue)会了(le)一些“算法(fa)式的(de)模(mo)式”，这(zhei)些模(mo)式让网(wang)络(luo)内部激活了(le)一些小的(de)回路(lu)和子算法(fa)，从而获得了(le)比(bi)如上下文学(xue)习这(zhei)样的(de)能力。
事实上，我们并不是真的需要神经网络掌握那么多知识。我甚至觉得，太多的知识反而会拖累它的整体表现。比如现在的智能体普遍不擅长“跳出数据流形”，也就(jiu)是说它(ta)们很难应对互(hu)联网上不(bu)存(cun)在的(de)数据(ju)或(huo)场(chang)景。如果它(ta)们的(de)知识或(huo)记忆少(shao)一些，也许反而表现更好(hao)。
所(suo)以我认为(wei)接下(xia)来的(de)(de)研究方(fang)向之一，就是想(xiang)办法把一些知识剥(bo)离(li)出去(qu)，保(bao)留下(xia)来我称之为(wei)“认知核(he)心”（cognitive core）的(de)(de)部(bu)分(fen)。这(zhei)个核(he)心不(bu)是指知识本身，而是一种算法能(neng)力，是解(jie)决问题的(de)(de)策略和智能(neng)的(de)(de)本质。我们要保留的是能思考、能应变的那个“核心智能体”。
四、上下文撑不起真正智能：卡帕西直指模型无法写入经验，只能一遍遍从空状态重启
Dwarkesh Patel：说到上下文学习，它的效果确实很神奇。你跟模型对话时，感觉它真的能理解你，能反思、能纠正错误，这些能力都发生在上下文窗口内。它们是预训练过程中通过梯度下降“学出来”的吗？这就像人类拥有了大脑结构，但真正的学习是在成长过程中通过别的机制实现的。
Andrej Karpathy：我不完全同意你的类比。虽然上下文学习不是在运行时用梯度下降训练出来的，但我怀疑它内部确实有类似的机制。上下(xia)文学(xue)习本(ben)质(zhi)是(shi)“模(mo)式补全”，模(mo)型会基于(yu)输入在当前窗口中(zhong)继续写下(xia)去，而互联网(wang)恰好提供了足够(gou)多的模(mo)式供它学(xue)习。这些能力已经被编码进(jin)网(wang)络权重里，并在运行(xing)时激活。
有些研究表明，模型在上下文学习时，内部确实可能在运行一个“迷你版”的梯度下降过程。比如有论(lun)文(wen)展示(shi)了模(mo)型(xing)(xing)(xing)可(ke)以通过上下文(wen)学(xue)习完(wan)成线性回(hui)归任务，这实际上就(jiu)是(shi)一个典型(xing)(xing)(xing)的(de)梯度下降问题。有些团队甚至尝试(shi)在模(mo)型(xing)(xing)(xing)内部硬编码一个“自我优(you)化(hua)器”，用(yong)注(zhu)意力机制等(deng)结构来执行梯度更(geng)新。
所以我的观点是，我们还不完全清楚上下文学习是如何运作的，但它很可能真的在执行某种内部优化过程。这个过程可能不是传统意义上的梯度下降，但它确实具备类似的逻辑，这是(shi)我对这个问(wen)题唯一的(de)保留意见。
Dwarkesh Patel：那如果上下文学习和预训练都在某种程度上实现了类似梯度下降的过程，为什么上下文学习给人的感觉更像是真正的“持续学习”或“类智能”的东西，而预训练没有这种感觉？
Andrej Karpathy：如(ru)果算法类似(si)，那差(cha)异(yi)可能来自(zi)另一个(ge)因(yin)素，比如(ru)模(mo)型(xing)在(zai)处理(li)每个(ge)token时所能保留的信息量。
比如以LLaMA 3为例，它的70B模型在预训练时处理了大约15万亿个token，但参数只有700亿个左右，平均每个token只留下约0.07比特的信息。而相比之下，在上下文学习中，每多读入一个token，KV缓存（KV cache）的信息增长量大约是320KB。这意味着上下文学习中每个token带来的“存储”信息量，是预训练时的3500万倍。我觉得(de)这点可(ke)能(neng)非常关键(jian)。
我自己的表述方式是这样的：任何发生在训练阶段的事情，模型最终保留下来的只是某种“模糊的回忆”，因为压缩比实在太高了。你把15万亿个token压缩进一个只有几十亿参数的模型里，损失的信息是巨大的。所以它对互联网的记忆本质上是模糊的。而反过来，当你在推理阶段通过上下文窗口输入token，这些token的信息就非常直接地加载进了模型的“工作记忆”，是立即可访问的。
这也是(shi)为(wei)(wei)什(shen)么我(wo)们经常会发(fa)现，LLM和人(ren)(ren)类(lei)大脑(nao)之间会出现一些(xie)意(yi)外(wai)的(de)(de)(de)类(lei)比，尽管我(wo)们并不是(shi)在有意(yi)构建(jian)类(lei)人(ren)(ren)脑(nao)系统。比如(ru)你问(wen)模(mo)型(xing)一本书(shu)的(de)(de)(de)内容，它(ta)可能给(ji)出一些(xie)大致正确的(de)(de)(de)回忆(yi)(yi)，但(dan)如(ru)果你把整章原文放进上下文里再提(ti)问(wen)，模(mo)型(xing)的(de)(de)(de)表现会立(li)刻好很多，因为(wei)(wei)它(ta)此时(shi)已把关键(jian)内容加载进了工作记忆(yi)(yi)。我(wo)基(ji)本上同意(yi)你刚才长篇的(de)(de)(de)论述，确实如(ru)此。
回到更大的问题：现在的模型在哪些方面最不像人类智能？我觉得整体上还有很多地方没做到。换一个说法也许更清晰——虽然类比不完美，但transformer神经网络可能已经摸到了一块非常通用的“皮层组织”。它们可以训练在文本、音频、视频等多种模态上，强大、通用、灵活。就像人脑皮层那样具备极强的可塑性。比如(ru)过(guo)去(qu)曾有实验将动物的大脑视觉皮层与听觉皮层重新连接，它(ta)们最终依然能学(xue)习和适应。
我们现在在做的“思维链”、规划任务，可能有点类似人类大脑的前额叶皮层，这是处理高级认知的区域。而强化学习微调可能对应基底节，这是与行动选择有关的大脑区域。但也有很多大脑结构我们并没有去模拟，比如海马体——目前尚不清楚它在AI中该如何对应。还有杏仁核、本能与情绪相关的区域，我们几乎没触碰过。某些部分可能没那么重要，比如小脑通常被认为对认知没太大影响，可能可以忽略。但很多古老的神经核团可能蕴含着重要的本能机制，我们还完全没开始探索。
当然(ran)我(wo)(wo)也不一(yi)定主(zhu)张我(wo)(wo)们必须要复现(xian)整个大脑。我(wo)(wo)本质(zhi)上还是个工程师，更关注怎么把(ba)有(you)用的东西(xi)做出来。
以至于回答“为什么现在的模型还无法被当作实习生雇用”这个问题，其实可以换一个角度来看。我们和这些模型互动时，能明显感受到它们还存在很多认知缺陷，这让人直观地觉得(de)它们(men)不(bu)够“完整”。可以(yi)想象成，我们(men)还没有(you)在它们(men)身上“打勾”所有(you)人脑的重要(yao)模(mo)块。
这其实也和“持续学习”这(zhei)个(ge)话题(ti)有关。现在有种观(guan)点认为，只要给模(mo)型(xing)一(yi)些跨会(hui)话的(de)(de)(de)激励(li)，让(rang)它(ta)能记住更长时间范(fan)围内的(de)(de)(de)信(xin)息，持续学习的(de)(de)(de)能力就(jiu)会(hui)自(zi)(zi)发(fa)出现——就(jiu)像上下文学习是预训(xun)练过程中自(zi)(zi)然(ran)涌现的(de)(de)(de)一(yi)样。比(bi)如通过一(yi)个(ge)外(wai)部(bu)循环的(de)(de)(de)强化学习框架，在这(zhei)个(ge)框架中，模(mo)型(xing)自(zi)(zi)动调整自(zi)(zi)身，或者把经验写入外(wai)部(bu)记忆。你觉(jue)得这(zhei)种“自(zi)(zi)然(ran)出现”的(de)(de)(de)路径靠谱吗？我很难判断它(ta)到(dao)底(di)有多可(ke)能。
我对此持保留态度。因为目前的模型在每次推理时，都是从一个空的上下文窗口开始的，相当于每次都“重启”了状态。这和人类的(de)(de)感受不(bu)(bu)同，比如我(wo)(wo)们清醒时，会(hui)不(bu)(bu)断积累当天的(de)(de)上下文信息(xi)，但睡觉之后，大(da)脑里似乎(hu)发生了某(mou)种“魔法”般的(de)(de)转(zhuan)变(bian)。我(wo)(wo)的(de)(de)感觉是，人类在睡眠(mian)中(zhong)会(hui)把(ba)短时记(ji)忆提炼为(wei)权重结构的(de)(de)一部(bu)分，也就是说我(wo)(wo)们有(you)一种“蒸馏机制”，这在现有(you)的(de)(de)大(da)语言模型(xing)中(zhong)是缺失(shi)的(de)(de)。
现在的模型缺乏这种“从经验中提取核心，再写入自身参数”的机制。人(ren)类可能(neng)是在夜间(jian)进行(xing)反思、重构、生成类合成数据，然后将它们通过(guo)某(mou)种方式融入长期记忆结构里。
或(huo)许(xu)未来我们可以(yi)让(rang)模型(xing)(xing)也拥有每个人专属的(de)微(wei)型(xing)(xing)子网络，比如用(yong)LoRA（一种参(can)数高效微(wei)调方法）来更新部分(fen)稀(xi)疏的(de)参(can)数，让(rang)它们形成“个体化模型(xing)(xing)”，这样模型(xing)(xing)就不(bu)只是靠不(bu)断(duan)扩展的(de)上下文窗口来维持记忆。
我也觉得，人类拥有非常复杂的稀疏注意机制（sparse attention scheme），而我们刚刚开始模仿这种结构。比如DeepSeek V3.2最近就引入了稀疏注意机制，这是让上下文窗口变得更长的一种实现方式。总体来看，我觉得(de)我们正在用完全不(bu)同(tong)的路径，重(zhong)新(xin)发(fa)明进化(hua)赋予(yu)人(ren)类的一些(xie)认知技(ji)巧，最终(zhong)可(ke)能会在认知架构(gou)上(shang)收敛到类似的形式。
Dwarkesh Patel：那你觉得十年后我们还会用transformer吗？只是它的注意力结构变得更稀疏、MLP模块更优化？
Andrej Karpathy：我会从时间尺度的不变性来思考这个问题。十年前是2015年，那时我们主力模型还是卷积神经网络，ResNet刚出来。虽然和现在的架构相比差异巨大，但也能看出技术在逐步演进。那时transformer还没出现，更别说今天常见的各种变种。所以我觉得十年后我们可能仍会使用巨型神经网络，通过前向传播、反向传播和梯度下降来训练，只是具体结构可能会发生很大变化。
我(wo)还(hai)做过一个有趣(qu)的回(hui)溯实(shi)验(yan)：重现(xian)了(le)杨立昆（Yann LeCun）在1989年发布的卷积神经网(wang)(wang)络(luo)模型，那是我(wo)所知(zhi)最早通过现(xian)代(dai)意义(yi)上的梯(ti)度下降来训练(lian)的神经网(wang)(wang)络(luo)，用于手写(xie)数(shu)(shu)字识别。我(wo)尝(chang)试用现(xian)在的工具去复刻(ke)它，看看进(jin)步(bu)主要来自哪几个方面——是算法(fa)、数(shu)(shu)据还(hai)是算力。我(wo)发现(xian)只靠(kao)算法(fa)改进(jin)，比(bi)如(ru)把(ba)学习(xi)率调一半，我(wo)就(jiu)能(neng)把(ba)误差减少50%。这是靠(kao)“算法(fa)时(shi)间(jian)旅行(xing)”做到的。但如(ru)果想要进(jin)一步(bu)提升(sheng)效果，就(jiu)必须引入(ru)更多(duo)数(shu)(shu)据，比(bi)如(ru)把(ba)训练(lian)集扩大10倍，还(hai)得引入(ru)现(xian)代(dai)的计算优化技术，比(bi)如(ru)Dropout和(he)各种正则化方法(fa)，并(bing)延长训练(lian)时(shi)间(jian)。
这说明了过去几十年AI进展背后的几个核心驱动力：算法改进能带来初期收益，但最终的突破往往依赖于数据规模的扩展和计算资源的提升。而这些因素，很可能也将决定未来十年的智能体演进路径。
我们其实是在一个所有因素都必须同时进步的环境中前行。我们会有更多的数据，会有更好的硬件，更高效的底层算子和软件，也会有更优的算法。奇妙的是，没有哪一个方面在“单独领跑”，它们几乎是以一种同步演进的方(fang)式推动(dong)整个系统前进。
这也是我们这些年看到的趋势。所以如果要回答你的问题，我确实认为未来在算法层面会有所不同，但某些核心要素可能会保留，比如(ru)用梯(ti)度下降训练的大规(gui)模神经网络，这点我(wo)认(ren)为十年后仍然(ran)成(cheng)立。
不过让我觉得最值得注意的，是要让整个系统进步，必须让每一个组成部分——模型结构、优化器、损失函数等全面(mian)升(sheng)级(ji)。而(er)这种全方位的演进，其(qi)实从一(yi)开始就存在。
五、Karpathy开源nanochat：亲手搭建最能理解AI，模型写代码反而拖后腿
Dwarkesh Patel：你最近开源了nanochat，你在从零搭建一个ChatGPT式模型的过程中有没有新的认知？有没有发现某一个因素最为关键？
Andrej Karpathy：nanochat是(shi)我发布的一个完整的代码库，目标是(shi)提供(gong)一个最简洁但完整的、覆盖从(cong)训练(lian)到部署的ChatGPT克隆(long)实现(xian)。它并不是(shi)专注某一个模(mo)块，而是(shi)整个pipeline都涵(han)盖了。
之(zhi)前我(wo)也写过很多针对单点模(mo)块的教程，用极简代(dai)码讲清楚(chu)算法原理，但这次的nanochat更多是(shi)构建了一个从头到尾都(dou)打通的系统(tong)。我(wo)个人在写它的过程中并(bing)没有(you)学(xue)到什么(me)新东西，因(yin)为我(wo)本来就知(zhi)道(dao)该怎么(me)做，这次只是(shi)把(ba)这些思(si)路实现(xian)成代(dai)码并(bing)整理清晰，方便别人学(xue)习和使用。
Dwarkesh Patel：那你觉得学习这份代码最好的方式是什么？
Andrej Karpathy：这是(shi)个很好(hao)的问题。整个代码库大概有(you)8000行(xing)，我建(jian)议最好(hao)的方(fang)式是(shi)双(shuang)屏操作，把(ba)代码放在右边，自己从(cong)零开始动手实(shi)现一遍。可(ke)以参(can)考，但不能复制粘(zhan)贴。这个过程会强(qiang)迫(po)你真(zhen)的去(qu)理解每一部分逻辑。
不过，这个代码库本身还是挺大的，真正写代码的过程并不是线性从上往下写的，而是模块化、分块构建，再逐步拼接组合的。所以单靠最终版本的代码，其实很难还原整个“从无到有”的过程。我希望之后能把这个过程也补充出来，可能做成视频形式，来展示我是怎么逐步构建每一块组件的。
我始终认为，知识有两个层次：表面上的理解和动手做出来的理解。当你(ni)真正(zheng)写代(dai)码实现某个系统时，你(ni)会发(fa)现自(zi)己很多原以为理解的地方其实并没(mei)掌握(wo)。这(zhei)个过程会迫使你(ni)面对“自(zi)己不知(zhi)道自(zi)己不懂”的那些部分，而这(zhei)正(zheng)是通(tong)往(wang)更深理解的唯一路(lu)径(jing)。
有人说过，“如果你不能构建它，那你就不理解它。”我完全同意这个观点。我一直非常坚信，真正的知识掌握是靠搭建系统实现来的，不(bu)是(shi)写博客、做(zuo)幻(huan)灯(deng)片(pian)。必须(xu)写代码、动手搭建、调试(shi)出结果。否则(ze)，你掌握的知(zhi)识只是(shi)记忆，不(bu)是(shi)理解。
Dwarkesh Patel：你还发过推文，说在组装这个代码库的过程中，代码生成模型对你几乎没有帮助。我挺好奇为什么？
Andrej Karpathy：我花了大概一个多月搭建了这个代码库，在这个过程中我觉得现在程序员与代码互动主要有三种方式。一种是完全拒绝使用大语言模型，坚持从零开始手写代码，我认为这已经不太合理了。第二种，也是我现在的做法，是你还是会从头写不少代码，但会借助模型提供的自动补全功能。当你开始写一段代码时，模型会帮你补全内容，通常还挺准的，有时候不对你也可以改掉，但你仍然是整段代码的架构师。而第三种是所谓的“VIP编码”，就是你告诉(su)模(mo)型(xing)“请帮我实现某(mou)(mou)某(mou)(mou)功能(neng)”，然(ran)后回车让模(mo)型(xing)自动生成，这种更接(jie)近智能(neng)体(ti)的(de)做法(fa)。
我觉得智能体在特定场景下是有用的，我自己也会在这些特定场景里用，但它们只是工具之一，你得了解它们的长处和短处，知道什么时候用比较合适。比如对于样板代码——那种大量复制粘贴、格式化的重复性代码，模型做得非常好，因为互联网上这种代码很多，训练数据也覆盖了大量这类模式。但如果像我这个nanochat的项目，就完全不是样板代码，它的结构很独特，需要精确组织逻辑和执行顺序，属于智力密集型的写法，模型在这方面表现就很差。
模型经常“理解错”我的代码，因为它们脑子里装满了网络上常见的写法，而我写的方式与它们见过的不一样。比如一(yi)个具(ju)体例子：在多GPU训(xun)练中(zhong)，大(da)家(jia)通常会(hui)用(yong)PyTorch的分布式数据并行模(mo)块（DistributedDataParallel，简称DDP）来自动同步各个GPU的梯度。但我(wo)(wo)不(bu)想用(yong)DDP，因为没必(bi)要(yao)，所以我(wo)(wo)把(ba)它(ta)砍了，自己在优(you)化(hua)器的step步骤中(zhong)写(xie)了同步逻辑。结果模(mo)型不(bu)停试图(tu)让(rang)我(wo)(wo)用(yong)DDP，完全无法(fa)理解我(wo)(wo)已经(jing)自己实现(xian)了这(zhei)个功能。
而且它们(men)还总是(shi)(shi)在风格上(shang)搞错，比(bi)如过度(du)防御，老是(shi)(shi)加一堆try-catch语句，好像在写(xie)(xie)线上(shang)生产代(dai)(dai)(dai)码(ma)(ma)。我(wo)自己(ji)代(dai)(dai)(dai)码(ma)(ma)里(li)有很多假(jia)设，但(dan)那(nei)是(shi)(shi)可以接受(shou)的，不需要模(mo)(mo)型(xing)加一堆没必要的复杂逻辑进(jin)去。它们(men)这样反而让代(dai)(dai)(dai)码(ma)(ma)变臃肿、难维护(hu)，还老是(shi)(shi)用到(dao)过时的API，结果(guo)就是(shi)(shi)整个代(dai)(dai)(dai)码(ma)(ma)质量很差(cha)。虽然我(wo)可以手动清理一遍，但(dan)说实话那(nei)样的帮助并不大。而且我(wo)也不太喜(xi)欢(huan)用英文打一大段话告诉(su)模(mo)(mo)型(xing)我(wo)想(xiang)干嘛，那(nei)太低效了。我(wo)更喜(xi)欢(huan)直接跳到(dao)我(wo)知道要写(xie)(xie)代(dai)(dai)(dai)码(ma)(ma)的位置，开始写(xie)(xie)前几个字(zi)符，模(mo)(mo)型(xing)就会自动补全，大部分时候还挺准。这种(zhong)方式的信息带(dai)宽其实是(shi)(shi)最高的。
当然(ran)，模型在一(yi)些特(te)定位置还是有用的(de)(de)。我(wo)(wo)举两个我(wo)(wo)亲(qin)自使用过的(de)(de)例(li)子。一(yi)是我(wo)(wo)生成(cheng)报告的(de)(de)部分(fen)(fen)(fen)，那部分(fen)(fen)(fen)本来就比(bi)较模板化，所以(yi)我(wo)(wo)部分(fen)(fen)(fen)地用了“VIP编码(ma)(ma)”方式，这(zhei)种情况是可(ke)以(yi)接受的(de)(de)，不(bu)是核心(xin)代码(ma)(ma)，而(er)且结果(guo)也不(bu)错。另一(yi)个例(li)子是我(wo)(wo)在用Rust重写(xie)分(fen)(fen)(fen)词器的(de)(de)时(shi)候，因为我(wo)(wo)对Rust不(bu)太熟，写(xie)得没(mei)那么顺(shun)手。这(zhei)时(shi)候我(wo)(wo)会让模型先写(xie)一(yi)部分(fen)(fen)(fen)，我(wo)(wo)再(zai)参考Python的(de)(de)实(shi)现去优化效(xiao)率，而(er)且我(wo)(wo)有测试覆盖(gai)，心(xin)里(li)更踏实(shi)些。这(zhei)种情况下模型非常有帮助。它(ta)们可(ke)以(yi)显著降(jiang)低你使用不(bu)熟悉语言(yan)或(huo)编程范式的(de)(de)门槛(jian)。
尤其像Rust这类语言，现(xian)在网络上(shang)已经有很多相关(guan)代码，模型在这方面(mian)表现(xian)不错，我自己虽然还不太会(hui)Rust，但它(ta)们可以帮我快速上(shang)手。
六、AI离爆发还远：卡帕西批评行业自嗨，强化学习效率低下，2027不现实
Dwarkesh Patel：我认为这个问题之所以有意思，是因为如今关于AI迅速爆发、走向超级智能的主流叙事，核心就是AI自动化工程和研究的能力。人们看到像Claude这样的模型已经能从零生成完整的应用程序，就会设想，如果OpenAI或DeepMind内部的模型也具备类似能力，那就等于你拥有成千上万个你自己在并行工作，不断优化架构细节，这听上去是非常强大的图景。你说AI在这方面反而做得不够好，这对预测2027年是否可能发生AI爆炸式进展是一个重要参考。
Andrej Karpathy：是的，我认为你描述得很准确，也契合了我为什么对AI发展时间线持相对更长的观点。模型在处理那些“从未(wei)写(xie)过的(de)代码(ma)”时能力(li)有限，而这恰恰是(shi)我们在构(gou)建这些模型时追求(qiu)的(de)目标。
Dwarkesh Patel：听起(qi)来有点奇怪，那些你加到nanochat模型中的架构改进，不是都已经写在(zai)(zai)论文(wen)里，甚(shen)至放(fang)在(zai)(zai)开(kai)源(yuan)代(dai)码(ma)仓库了(le)吗(ma)？比如(ru)你加了(le)rope embedding（位置编码(ma)方法）之类的东西，它(ta)们为什么没法用对？
Andrej Karpathy：确实有点难。模型似乎“知道”这些信息，但只是“似懂非懂”。它们无法将这些改动完整地融合到你的代码仓库里，跟上你的风格、代码习惯、一些自定义的实现方式，或者仓库背后的结构性假设。这方面它们还没做到。它们确实有些相关知识，但无法真正理解这些改动的作用，也无法有效整合到实际项目中。不过我得说，它们确实在持续变好。目前我最常用的是GPT-5 Pro，这是一个非常强大的模型。如果我有20分钟时间，我会直接把整个代码仓库贴进去，然后请它帮我解决一些问题，它的表现常常还不错，跟一年前相比确实惊人地进步了。
但从整体上看，这些模型还是没达到预期。我感觉整个行业在这件事上跳得太快、说得太满，好像AI已经无所不能了，但其实并没有。很多产品就是一堆“烂泥”，行业自己也不愿正视这点，也许是(shi)因为还想拉融资吧(ba)。我(wo)不清楚具(ju)体(ti)原因，但我(wo)们目前处于(yu)一(yi)种“中间状态(tai)”：模型非常强大，但仍需大量完善。对我(wo)来说(shuo)，现在最适合的使用方式还是(shi)自动补全功能。有(you)时候，处理某些代码问题时，我(wo)也会用一(yi)些Agent。
Dwarkesh Patel：从编程史来看，你提到的这个“自动补全”的AI功能，确实有迹可循。历史上很多编程工具提升了开发效率，比如编译器、静态分析工具、编程语言本身的演进等，但它们并没有引发所谓的“编程爆炸”，这或许也说明，AI目前的进展更像是在这些工具改进的范畴里。
Andrej Karpathy：我同意。其实我觉得现在很难划清AI到底从哪里开始、又在哪结束。某种意义上，我认为AI就是计算的延续，它是计算发展非常核心的一部分。从早(zao)期(qi)我们做(zuo)的各(ge)种(zhong)工(gong)具(ju)(ju)，比如代码编(bian)辑器、语法高亮、数据类型检查(cha)器，到(dao)搜(sou)(sou)索(suo)引(yin)擎——这(zhei)些其实也(ye)可(ke)以算作AI工(gong)具(ju)(ju)。比如搜(sou)(sou)索(suo)排序(xu)算法，其本质就(jiu)是(shi)一(yi)种(zhong)AI技术(shu)。Google刚创立时(shi)就(jiu)把自己定位为(wei)AI公司(si)，我觉(jue)得这(zhei)非常合(he)理。
所以我认为AI的发展是一个连续体，不像有些人那样硬性区分AI和非AI。现在我们有了更强的自动补全，也开始出现一些智能体，这些Agent可以自主循环决策，但有时又会跑偏。总的趋势是，人在做的底层工作越来越少。就像我们不再写汇编语言，而是用C语言交给编译器去转换。这个过程本质上是一个“自动化滑杆”，我们在不断提升抽象层级，同时逐步把可以被自动化的部分交给AI处理。我们自己则退居上层，做更少但更抽象的事情。
正是在这样的背景下，我常说，人类并不是通过强化学习来学习的。我觉得人类在做的是另一套机制，是基于经验的积累。强化学习其实远比大多数人想象的要糟糕，它本质上是一个非常弱的学习方法。之所以我们(men)还(hai)在(zai)用(yong)它，只(zhi)是因(yin)为之前我们(men)所依赖的模(mo)仿(fang)(fang)学习方式更加不堪。比如以前我们(men)只(zhi)是去模(mo)仿(fang)(fang)人类行为，本身就存(cun)在(zai)各种问题。
以解决数学(xue)题(ti)为例，这(zhei)是一个(ge)很简(jian)单的任务。在强化学(xue)习(xi)的设定下，你拿到一个(ge)题(ti)目，会(hui)并行地(di)尝试(shi)(shi)上百(bai)种(zhong)解法——每一种(zhong)都可(ke)能包含多步(bu)推理，比如(ru)尝试(shi)(shi)A方法，再尝试(shi)(shi)B方法，然后(hou)发(fa)现不对，换另一个(ge)方向等等。最(zui)终，也许某个(ge)尝试(shi)(shi)得(de)到了正确答案。你翻开答案后(hou)确认某些尝试(shi)(shi)成功了，而其他97个(ge)都错了。
强化学习的做法是：只要你最终得到正确答案，那么整个解题路径上的每一个步骤、每一个token（即生成的每一个文字单位）都会被整体上调权重，意味着“多做点这种操作”。但问题在于——这完全不合理。你可能在过程中走了很多弯路，做了许多错误的尝试，但因为最后的结果是对的，系统就会把所有这些“错误路径”都当作有价值的部分来强化。
人们通常会说，这样(yang)的(de)估(gu)计器(qi)“方差很大”，意思就是太嘈杂，太不稳定。你最终只是拿到(dao)一个结果——正确(que)或(huo)错(cuo)误(wu)，然(ran)后就用这个单一的(de)反馈(kui)去对整(zheng)条(tiao)路(lu)径进(jin)行加权或(huo)者减权。这就像你做了一分钟的(de)复杂推(tui)理工作，但整(zheng)个训(xun)练信号就是“正确(que)”或(huo)“错(cuo)误(wu)”这样(yang)一个简单标签，然(ran)后你试图像吸管吸水那样(yang)，从这个极为稀薄的(de)信号中“吸出”监督信息，强行传播给整(zheng)个决策路(lu)径的(de)每(mei)一步。
人(ren)类(lei)是不会(hui)这么学习的。第一(yi)，人(ren)不会(hui)去进行几百(bai)次(ci)的尝试再找(zhao)出一(yi)条正确路径；第二，当人(ren)找(zhao)到了(le)一(yi)个(ge)(ge)解(jie)，他们会(hui)对过程进行复杂的复盘(pan)，比如哪些(xie)步骤(zhou)是有效的，哪些(xie)是不该再做的，下(xia)次(ci)应(ying)该换个(ge)(ge)方法(fa)。他们会(hui)进行自我思考和(he)反省。但现有的大语(yu)言(yan)模(mo)型（LLMs）中并没有类(lei)似(si)的机制。
我最近看到谷歌的一篇论文，尝试引入“反思与复盘”机制，其他类似的研究也陆续出现。我认为未来我们会在这个方向迎来一次重要的算法范式更新，不过这还远远不够，我们可能还需要三到五次类似的突破。
七、“呃呃呃呃”也能拿满分？卡帕西直言强化学习不灵了，合成训练惹祸，模型坍缩成了新难题
Dwarkesh Patel：你经常能用很形象的比喻解释复杂的问题，比如你刚才说强化学习是“用吸管吸监督信号”，非常贴切。你提到的问题是，强化学习只看最终结果来分配奖励，但这中间的过程极其复杂，信息量巨大，却只能从最终是否成功这一点来反推所有步骤的优劣。这很显然是个问题。那为什么我们没有更好地使用“过程式监督”来代替这种基于结果的方式呢？是什么阻碍了这一思路的发展？
Andrej Karpathy：所谓“过程式监督”，指的是我们不只在一个任务结束时告诉模型“对”还是“错”，而是沿着整个过程的每一步都给予反馈，比如每写一步代码、每做一步计算，都告诉它做得怎么样。这听起来当然更高效，但问题在于，这很难自动化实现。我们不知道该如何为部分正确的中间步骤分配合理的“部分奖励”。如果只有最终答案，那很简单——只需判断结果是否等于标准答案就行了。但若我们想为一个不完整的解法打分，就必须回答一个更难的问题：这个中间解法值不值得鼓励？目前不少实验室正在尝试用大语言模型（LLM）作为“AI裁判”来(lai)解决(jue)这(zhei)个(ge)问题，即提(ti)示一(yi)个(ge)LLM：“这(zhei)是学生做出的部(bu)分(fen)解法，目标答案是这(zhei)个(ge)，请(qing)你判断(duan)当(dang)前进展做得怎么样(yang)。”他们(men)会调试指(zhi)令(ling)去实(shi)现更好(hao)的评(ping)估效果。
但这个方法本身也存在根本问题：语言模型本身是复杂的、拥有数十亿参数的大模型，是可以被攻击的。一旦你用强化学习去优化模型输出，使其在LLM评判下得高分，那模型几乎一定会找到对LLM评判机制的“对抗样本”。在开始的(de)10到20步(bu)训(xun)练中可(ke)能还能正常(chang)运(yun)行(xing)，但(dan)如(ru)果持续进行(xing)几百上千(qian)步(bu)，模型(xing)就会学会如(ru)何“钻(zuan)空子”。
我印象特别深的一个例子是：我们当时训练模型，奖励函数是由一个LLM裁判给出的。起初训练效果很好，但突然奖励变得异常高——看起来模型完全掌握了数学题的解法，几乎每题都拿满分。但你仔细看它的解答，会发现一开始几步还正常，后面就全是“呃呃呃呃”（duh duh duh duh）这种毫无意义的输出，像是胡言乱语一样。可令人震惊的是，LLM裁判竟然给了这段“解答”满分。为什么？因为这是一个它从没见过的对抗样本，完全超出了训练分布，导致它无法判断正确性，只能盲目给出高分。这就是“强化学习+语言模型打分机制”的脆弱之处。
当你(ni)进(jin)入所谓的(de)“纯(chun)泛化(hua)领域(yu)”，总能(neng)找(zhao)到这种打破规则的(de)例子。其实(shi)是(shi)在把LLM训练作为寻找(zhao)对抗(kang)样(yang)本(ben)(ben)。这些对抗(kang)样(yang)本(ben)(ben)是(shi)明显错(cuo)误(wu)、毫无(wu)逻辑的(de)内容，但模(mo)型却认为它们很优秀。
Dwarkesh Patel：如果你认为这就是目前强化学习难以奏效的瓶颈之一，那么解决方案就是让LLM学会更好地判断答案，也就是“判别器”变得更聪明。如果想要实现自动化流程，那你得训练模型变得更加健壮。这会不会最终变成类似GAN的路线？用生成器和判别器不断博弈来提升能力？
Andrej Karpathy：我(wo)猜各大(da)实验室现(xian)在(zai)(zai)大(da)概(gai)就是在(zai)(zai)做这个(ge)方(fang)向。最基本的(de)做法(fa)是，如果某个(ge)解答本来不该(gai)拿100%的(de)奖(jiang)励，那就把它加到LLM裁判的(de)训(xun)(xun)练集里，标注为0%，而不是100%。但(dan)(dan)(dan)问题是，每次你这么做，就等于(yu)是训(xun)(xun)练出一个(ge)新(xin)的(de)LLM，而新(xin)的(de)LLM依(yi)然会(hui)被其他(ta)对(dui)抗样本骗到。因为对(dui)抗样本是无(wu)限的(de)，我(wo)认(ren)为你迭代几轮之(zhi)(zhi)后，确(que)实会(hui)越来越难找(zhao)到这样的(de)样本，但(dan)(dan)(dan)我(wo)也不能100%确(que)认(ren)，毕(bi)竟这些模型(xing)有一万亿个(ge)参数。总(zong)之(zhi)(zhi)，我(wo)猜实验室肯定在(zai)(zai)尝(chang)试。但(dan)(dan)(dan)我(wo)个(ge)人觉(jue)得，我(wo)们(men)还需要(yao)一些全(quan)新(xin)的(de)方(fang)法(fa)。
Dwarkesh Patel：你有没有对“新的方法”有什么初步设想？比如那种用生成数据去训练模型，让它在某种元学习（meta-learning）机制下变得更强。现在也确实看到一些论文开始往这个方向走了。
Andrej Karpathy：我也有看到这类思路的论文，但目前还停留在读摘要阶段。说实话，很多论文只是概念设计，真正要在前沿LLM的实验室规模上部署，还需要很多工程工作。而且即便做出来，也不见得能全面泛化。有时候这些论文挺有意思的，但很嘈杂，不够有说服力。当然，大型LLM实验室如今都相对封闭，我们也不知道他们内部到底做到了哪一步。
Dwarkesh Patel：我倒是可以想象如何基于合成问题来训练模型。你给它一些自己设计的问题，然后不断训练它去解决这些问题。但我觉得人类做的还有另一个过程，比如睡觉或者白日梦。我们不是设计一个新问题，而是在“反思”（reflect）。这种机制在机器学习中似乎找不到等价物。
Andrej Karpathy：我也觉得我们确实缺少了某种机制。比如说，人类读一本书时，不是像LLM那样把文本拉成一串token去逐个预测。对于人类来说，书籍更像是引发思考的提示，你并不是在“记忆书的内容”，而是在用书触发自己的内在生成过程，甚至是为了去和朋友讨论。而真正的理解，是在加工这些信息的过程中产生的。当前的LLM完全没有这个过程。我很希望预训练阶段能够加入某种“消化内容—思考—整合”的步骤，让模型试着把新信息与已有知识结合起来，深入思考一段时间，但这仍是研究领域的问题。
我们目前缺乏这样的能力，也不是没有尝试过。比如你可能想，“我们可以自己生成一些模型读书的样例，把这些‘思考’的样本拿去训练”，看起来是个合理的想法。但问题在于，所有模型生成的样本都存在一个非常隐蔽的缺陷：它们都处于某种“坍缩态”（collapsed state），也就是它们只覆盖了整个合理输出空间中非常狭窄的一小块。你看每一个样本可能觉(jue)(jue)得还(hai)行，但整体来说，分布是(shi)非常不(bu)完整的。这种坍缩是(shi)不(bu)容易察觉(jue)(jue)的。
你(ni)可以(yi)用(yong)一(yi)个(ge)简(jian)单例子验(yan)证：去ChatGPT里(li)让它(ta)讲个(ge)笑话(hua)。它(ta)大概只会告诉你(ni)三个(ge)笑话(hua)。这就是(shi)坍缩的体现——它(ta)不是(shi)给你(ni)整个(ge)笑话(hua)空间(jian)的多(duo)样性(xing)，而是(shi)只掌握了其(qi)中(zhong)非常小的一(yi)部分(fen)。
它们在无声地“坍缩”（collapse），所以你得不到像人类那样丰富、多样、有熵值的输出。人类的信息表达会更嘈杂一些，但至少不会在统计意义上出现这种“静默坍缩”的问题。人类的大脑在信息生成中仍保持了大量的熵值，而大模型则容易陷入重复与单调。因此，如何在生成合成数据时避免坍缩、维持足够的信息熵，是一个仍待解决的研究问题。
Dwarkesh Patel：我理解你是说，如果我们希望模型生成新的合成问题或反思内容，而不是从已有的数据分布中直接复制内容，就必须关注坍缩问题？
Andrej Karpathy：可(ke)以这么理(li)解(jie)。比如我(wo)们(men)让模(mo)型就(jiu)某本(ben)书的(de)(de)(de)一章进(jin)行(xing)反(fan)思，它可(ke)能(neng)(neng)会(hui)给(ji)出(chu)看(kan)(kan)起(qi)来(lai)(lai)挺(ting)合(he)理(li)的(de)(de)(de)内(nei)容(rong)，但你(ni)多问十(shi)次，就(jiu)会(hui)发现每次几乎都一样(yang)。你(ni)不能(neng)(neng)一味(wei)依(yi)赖固(gu)定(ding)提示词去驱动“反(fan)思”，指望它能(neng)(neng)持续给(ji)出(chu)有价值(zhi)的(de)(de)(de)新东西。单看(kan)(kan)每一条(tiao)生成的(de)(de)(de)内(nei)容(rong)都还(hai)行(xing)，但它们(men)组(zu)成的(de)(de)(de)整体分布非常(chang)糟(zao)糕，尤其是(shi)当你(ni)用这些合(he)成内(nei)容(rong)继(ji)续训练模(mo)型时(shi)，会(hui)加剧坍缩(suo)。我(wo)甚至觉(jue)得(de)可(ke)能(neng)(neng)不存(cun)在彻底的(de)(de)(de)解(jie)决方案。某种(zhong)程度(du)上(shang)，人(ren)类(lei)的(de)(de)(de)大脑也(ye)(ye)会(hui)随时(shi)间(jian)产生坍缩(suo)。我(wo)们(men)小时(shi)候天马行(xing)空(kong)、未(wei)被“过拟合(he)”，说出(chu)让人(ren)惊讶的(de)(de)(de)话。但成年人(ren)就(jiu)陷(xian)入了思维重复，常(chang)说相似(si)的(de)(de)(de)话，学(xue)习效(xiao)率降低，坍缩(suo)问题也(ye)(ye)越来(lai)(lai)越严重。
Dwarkesh Patel：我看过一篇挺有趣的论文，认为人类“做梦”就是为了避免这种过拟合和坍缩。梦境能把你置于非现实、离奇的情境中，从而在演化上起到反过拟合的作用。
Andrej Karpathy：这个想(xiang)法(fa)很有(you)趣。当(dang)我(wo)(wo)们(men)在脑中生(sheng)成(cheng)内容并(bing)注意它的(de)(de)(de)时(shi)候，实际上就(jiu)是在用自己的(de)(de)(de)合成(cheng)数据训练自己。如(ru)果(guo)你长期只沉浸(jin)在自己的(de)(de)(de)内部想(xiang)法(fa)中，不接触外界信息(xi)，会走(zou)偏，也会加速坍缩。所(suo)以我(wo)(wo)们(men)必(bi)须主动寻找熵(shang)值，和(he)别(bie)人交谈就(jiu)是一个重(zhong)要的(de)(de)(de)信息(xi)熵(shang)来(lai)源。或许我(wo)(wo)们(men)的(de)(de)(de)大脑进化出了某些机制(zhi)，来(lai)帮(bang)助维持认知(zhi)系统中的(de)(de)(de)熵(shang)。这些想(xiang)法(fa)还(hai)很初步，但值得思考(kao)。
Dwarkesh Patel：我想到了一个可能相关的现象。人类学习能力最强的阶段——儿童时期，其实是记忆能力最差的时候。婴儿早期几乎不会保留任何记忆，但却能轻松掌握语言、理解世界。而另一头的LLM预训练模型，能逐字复现维基百科下一句话，但抽象概念学习的能力远不如孩子。而成年人介于两者之间，学习的灵活性降低了，但记忆能力强很多。这种反差可能有一些启示。
Andrej Karpathy：我同意。人类其实不擅长记忆，而这恰恰是一种优势。因为不擅长死记硬背，我们被迫去总结规律、形成概念化的理解。而大语言模型则非常擅长记忆，它们能复述训练数据中的原文段落，甚至能在只训练一两次后完全复现某段随机字符串。人类根本不可能一次看完随机数字就完整复述。但从泛化的角度说，人类的这种“不能记”反而是好事——它让我们只能去学那些真正能提炼出的规律。而模型却会被自身储存的大量信息分散注意力。这也是我为什么提出“认知核心”的原因：我希望模型去除大部分记忆，只保留用于思考的算法、实验思路、行为链条等“认知胶水。从这个角度看，减少记忆，也是防止模型坍缩的一种方式。
至于“模(mo)型坍缩”（model collapse）该怎么解决(jue)？我们能(neng)想象的(de)一些“朴素方(fang)法”其实(shi)都挺幼稚的(de)，比如尝试让(rang)模(mo)型输出的(de)概率(lv)分(fen)布更分(fen)散，或者用一些熵（entropy）正(zheng)则化技术去约束模(mo)型。
但从经验上看，这些方法效果并不好。原因可能在于，我们目前对模型的主要使用目标并不要求高多样性。前沿实验室的目标是让模型实用，所以它们训练出来的模型，输出趋于收敛——因为多样性不仅难以评价，而且很难控制。在很多应用里，太“花哨”的输出反而会被惩罚，比如在强化学习中，如果你行为过于随机或“创造性”太强，结果往往是不好的。就连写作辅助等任务中，模型的回答也往往趋于单一，不愿探索各种可能的解法。我倾向于认为，这是因为多数应用场景根本不需要多样性，所以模型也就没保留这部分能力。但当我们进入“合成生成阶段”，缺乏多样性又会变成问题。我们反而是自己限制了模型的“熵”，从而让未来任务的性能受损。从这个角度说，我认为实验室在保留模型多样性方面应该更努力。
Dwarkesh Patel：你刚才提到这可能是个非常根本性的问题，意味着它很难解决？你怎么看？
Andrej Karpathy：我(wo)(wo)(wo)倒不一(yi)定认为这(zhei)是一(yi)个根本性问(wen)题(ti)，可能我(wo)(wo)(wo)刚才说(shuo)(shuo)话没那么准确(que)。我(wo)(wo)(wo)并不觉得这(zhei)类(lei)问(wen)题(ti)无解，虽然我(wo)(wo)(wo)自(zi)己还没有(you)做(zuo)这(zhei)方面的(de)实验(yan)，但我(wo)(wo)(wo)相信(xin)是可以对模(mo)型的(de)输出熵(shang)进行一(yi)定的(de)正则化处(chu)理，让(rang)它在训练中被(bei)鼓励产生更多样的(de)解法。但这(zhei)又很微妙：如(ru)果(guo)你过(guo)度鼓励熵(shang)，模(mo)型可能就会(hui)偏离(li)训练分(fen)布，开始发明自(zi)己的(de)语(yu)言，使用非常稀(xi)有(you)的(de)词汇(hui)，导致输出“漂移”过(guo)大。所以问(wen)题(ti)的(de)关(guan)键是——你必须控制模(mo)型的(de)分(fen)布不要(yao)偏得太离(li)谱，而这(zhei)恰恰是非常棘手的(de)事情。所以说(shuo)(shuo)，这(zhei)事儿确(que)实不简(jian)单。
八、卡帕西预判AGI方向：把模型从“压缩机”变成“认知体”认知核心规模缩到10亿参数
Dwarkesh Patel：那如果你要猜的话，一个“理想的认知核心”到底应该有多大？我们能否将“认知核心”压缩到一个可携带、可部署的程度？
Andrej Karpathy：这(zhei)其实是个挺有意思的问(wen)题。在过去的AI发展中，我(wo)(wo)们(men)一度(du)非(fei)常执着于“规模崇拜”，大家都(dou)在追求更大的模型(xing)——上万亿参数(shu)的模型(xing)。但现在趋势(shi)变了，一些前沿(yan)模型(xing)反而(er)在变小，但即使如此，它们(men)仍然记得(de)太多没必要的东西。我(wo)(wo)个人一直认(ren)为，其实“认(ren)知核心”不(bu)(bu)需(xu)要那(nei)么(me)大。哪怕只有10亿个参数(shu)，如果架(jia)构得(de)当，我(wo)(wo)相信20年后我(wo)(wo)们(men)就能和它进行非(fei)常高效的交流。它能思考，能像人一样行动；遇(yu)到不(bu)(bu)知道(dao)的事(shi)它也不(bu)(bu)会(hui)瞎(xia)说，而(er)是告诉你“我(wo)(wo)不(bu)(bu)知道(dao)”，然后再去查找答案。我(wo)(wo)甚至觉得(de)，这(zhei)样的模型(xing)比(bi)那(nei)些啥都(dou)记得(de)的上万亿参数(shu)模型(xing)还要更像人。
Dwarkesh Patel：可我们现在已经有几十亿参数的模型表现得很聪明了，而GPT-4这种过万亿参数的模型反而有些累赘。从发展速度来看，我还以为你会认为，未来的“智能核心”也许只需要几千万甚至几百万参数就够了。
Andrej Karpathy：我之所以不这么看，是因为现在的训练数据实在太差。我(wo)们(men)用(yong)的(de)(de)是互联网(wang)(wang)，而互联网(wang)(wang)的(de)(de)质量非(fei)常糟(zao)(zao)糕。你(ni)我(wo)说到互联网(wang)(wang)，脑子里(li)想(xiang)(xiang)到的(de)(de)可能是《华尔街(jie)日(ri)报》这种高质量文(wen)本，但(dan)真正用(yong)作(zuo)训练数(shu)据(ju)的(de)(de)互联网(wang)(wang)内容，是一堆乱七八糟(zao)(zao)的(de)(de)东西(xi)——很多都是完全无(wu)法阅读的(de)(de)废料(liao)，充斥着股票代码(ma)和随机乱码(ma)。我(wo)经(jing)常想(xiang)(xiang)，我(wo)们(men)竟然(ran)还(hai)能在(zai)这种训练数(shu)据(ju)上搞出有(you)用(yong)的(de)(de)模型(xing)，简直不可思议。
所以我们不得不训练非常大的模型来“压缩”这些杂乱无章的数据，而这种压缩大多是记忆工作，而不是认知工作。我们真正想要的是模型的“认知能力”，而不是“存储能力”。理想情况是：我们需要用智能模型来帮助清洗预训练数据，把其中真正有认知价值的部分筛出来，只保留对思考、推理、理解有帮助的内容，而不是让模型背下互联网的垃圾。这样一来，模型的参数规模可以大幅缩小，因为数据集更干净，训练本身也可以更集中在核心能力上。
当然，最终的小模型大概率不是直接在这些精炼数据上训练的，而是通过蒸馏从更大、更全面的模型中得到。但即便如此，我认为蒸馏后的认知核心依然会在10亿参数量级——因为蒸馏(liu)技术非常(chang)有效，小模型几(ji)乎都依赖它，没有必要从头训练。
Dwarkesh Patel：那为什么你认为10年后蒸馏后的模型仍然需要10亿参数？为什么不可能更小？
Karpathy：你是说小(xiao)到(dao)几(ji)百万(wan)？我(wo)不觉得几(ji)百万(wan)参(can)数(shu)就能(neng)做(zuo)出真正有(you)趣的(de)(de)东西。至少要有(you)足够多的(de)(de)参(can)数(shu)才(cai)能(neng)支撑复杂思维。虽然(ran)过去几(ji)年(nian)我(wo)们确实(shi)通过技术改进，让模型(xing)从(cong)“上万(wan)亿参(can)数(shu)”降(jiang)到(dao)“几(ji)十亿参(can)数(shu)”，性能(neng)反而(er)更好，这确实(shi)证明(ming)有(you)大量(liang)低(di)垂果实(shi)可以摘(zhai)。但我(wo)认为“认知核(he)心”能(neng)压到(dao)10亿参(can)数(shu)，已(yi)经算是激进观点了，显然(ran)你比我(wo)更激进。
不过确实，未来可能会更小一些。但是从实际使用角度看，模型还是需要保留部分知识，不能什么都查，否则它每一步思考都要访问外部知识库，根本无法在脑中完成推理。它只需要常识，而不需要背诵冷门知识。至于未来最大模型的规模，我也没有特别确定的判断。现在模型缩小更多是因为实验室有算力与成本预算，预训练并不是最值得花钱的地方，因此参数规模在下降，但中间训练和强化学习阶段的投入反而在增加。所以规模走大走小更多是务实考量，而不是发展方向的必然结果。真正的变化是在其他方面：数据集会变得更好，硬件会更强，内核和算子优化会更激进，算法也会不断改进。我认为未来不是出现某个单一“巨大突破”，而是所有环节——数据、硬件、优化方法、模型架构全都持续提升，每一个提升5%～20%，累积起来就是巨大的跃升。
九、“AI会什么”比“AI像人”更重要，卡帕西否定“Y轴智能进化论”
Dwarkesh Patel：但很多人会尝试找一种衡量AI向AGI进展的标准化方式，比如画出一条Y轴，标示进步程度，再看什么时候这条线会与AGI交汇，于是在X轴上得到一个时间点。有些人说AI像是经历教育阶段，从高中生到强化学习阶段相当于大学生，未来还能上博士；有些人提出“视野长度”的度量——比如能否独立完成持续一分钟的任务，然后是一小时、一周的任务等等。你怎么看这个问题？你认为哪种方式才是衡量AI进展最合理的Y轴？
Andrej Karpathy：我大概有两个回应。首先，我几乎想直接否定这个问题本身。因为我一直把AI看作计算的延伸。我们从来没有(you)特别认真地讨(tao)论过该如何(he)衡量“计(ji)算”的进步(bu)，比如从1970年代(dai)到现在，我们怎么画出一条(tiao)线来衡量计(ji)算的发展(zhan)？这在某(mou)种意义上就(jiu)显得(de)有(you)点荒谬。所以这个问题本身我觉得(de)就(jiu)挺奇怪的。
但如果一定要回答，我可以说说OpenAI早期对AGI的定义。我们当时讨论的是，AGI应该是一个可以执行任何具有经济价值的任务，且其完成水平与人类相当或更优的系统。我那时候对(dui)这(zhei)(zhei)个定(ding)义还挺(ting)满意的(de)，到现在(zai)也基本沿用这(zhei)(zhei)个思(si)路。虽然(ran)(ran)这(zhei)(zhei)几年(nian)外界不断给AGI贴上各种新定(ding)义，但(dan)我仍然(ran)(ran)喜(xi)欢这(zhei)(zhei)个版本。
不过现在大(da)家(jia)默认(ren)会做(zuo)一(yi)个(ge)(ge)妥(tuo)协，就是(shi)(shi)(shi)把所有物理类的(de)任(ren)务(wu)都(dou)排除掉，只(zhi)看(kan)“知(zhi)(zhi)识(shi)型”工(gong)作(zuo)。我(wo)觉得这(zhei)其实是(shi)(shi)(shi)个(ge)(ge)很大(da)的(de)让步，因为最(zui)初的(de)定义是(shi)(shi)(shi)“任(ren)何人(ren)类能(neng)做(zuo)的(de)任(ren)务(wu)”，那(nei)显(xian)然也包括搬东西之类的(de)操作(zuo)任(ren)务(wu)，但AI目前还无法完(wan)成这(zhei)些(xie)(xie)，所以我(wo)们(men)就默认(ren)跳过了。这(zhei)就带来(lai)一(yi)个(ge)(ge)问题：如(ru)果我(wo)们(men)只(zhi)讨论知(zhi)(zhi)识(shi)类工(gong)作(zuo)，到底是(shi)(shi)(shi)在排除经济中的(de)多大(da)一(yi)块？我(wo)没查过具体数字(zi)，但直觉上(shang)可(ke)能(neng)是(shi)(shi)(shi)10%到20%的(de)份额，也就是(shi)(shi)(shi)那(nei)些(xie)(xie)可(ke)以远程完(wan)成、不需要出(chu)现在现场(chang)的(de)工(gong)作(zuo)。即便如(ru)此，这(zhei)仍是(shi)(shi)(shi)一(yi)个(ge)(ge)巨大(da)的(de)市场(chang)，仅在美国也可(ke)能(neng)涉及(ji)几(ji)万亿(yi)美元的(de)产出(chu)。
所以回到定义本身，我更关注的是这个标准如今能实现多少。我们不妨把“任务”而非“职位”作为衡量单位来思考，因为职位的构成会随着社会对自动化能力的调整而发生变化。我们可以问：现在有哪些任务或工作确实已经能被AI取代了？比如过去杰弗里·辛顿曾预测放射科医生会被淘汰，但(dan)结果证(zheng)明(ming)这个预测(ce)错得离谱。虽然计(ji)算机视觉(jue)对图像识别非常擅长，但(dan)放射科医生的工作要复(fu)杂(za)得多，还(hai)涉及处理患者和各种工作环境(jing)的细节。目前来看，这个职业不(bu)但(dan)没(mei)消失，还(hai)在继续发展。
所(suo)以如果按(an)照“能完(wan)成所(suo)有经济(ji)上有价值任务”的(de)(de)定义，我(wo)认为AI还(hai)远未(wei)达标。但也(ye)有一(yi)些职(zhi)业可能更容(rong)易被自(zi)动化，比如呼(hu)叫中心的(de)(de)员(yuan)工。这个经常被提及，我(wo)也(ye)觉得很合(he)理(li)，因(yin)为这类任务结构化程度(du)高(gao)、环境变量(liang)少、交(jiao)互(hu)模式固定，是AI比较擅长的(de)(de)方向。
所以这里的重点是看“任务的跨度”，也就是(shi)(shi)(shi)完成一(yi)次任务所需的(de)时(shi)间长度(du)。同时(shi)，这类(lei)工作几(ji)乎没有复(fu)杂的(de)上下文，通(tong)常(chang)只(zhi)是(shi)(shi)(shi)你、顾客和数据库三者之间的(de)交互，不涉(she)及多个(ge)部门或不同系统(tong)的(de)串联，整个(ge)环境是(shi)(shi)(shi)封闭的(de)、可理解(jie)的(de)、且是(shi)(shi)(shi)纯数字(zi)化(hua)的(de)。从这些角度(du)来看(kan)，我确实觉得这是(shi)(shi)(shi)AI很合适介(jie)入(ru)的(de)方(fang)向。
但即便如此，我也不认为短期内会出现“完全自动化”的情况，更可能的是我们会出现一个“自动化滑杆”的状态，也就是先替代其中80%的工作量，剩下20%由人类完成。比如未(wei)来可能是一个人类员(yuan)工(gong)负(fu)责管理(li)五个AI组成的客(ke)服(fu)团队，他们来处理(li)那些(xie)(xie)更(geng)机械的内容。我们也许(xu)会看到一些(xie)(xie)新产品或公司专门(men)去做这个“AI管理(li)层”的中(zhong)间接口，因为这些(xie)(xie)AI还不够完美，需要调度与监(jian)督。
但放眼整个经济体，很多工作比客服复杂得多。就比如放射科医生，我其实对他们的具体工作流程并不了解，但可以打个比方，比如早期自动驾驶刚开始落地时，前排一定还坐着人，为的是确保一旦出错有人接手。即使是现在，一些自动驾驶出租车里依然有安全员坐在车里。这种情况有可能也会发生在医疗等领域：即使AI能完成99%的工作，剩下那1%却极为关键，是整条路径的瓶颈。如果这(zhei)个1%必须由受过多(duo)年专业训练的人(ren)来处理，那他们的工资(zi)只会升(sheng)高，因(yin)为(wei)他们不(bu)可替代。他们就像那一个阻碍全面部署的核心点(dian)，不(bu)像出(chu)租车司(si)机那样可以随便替换。所以我推测，这(zhei)或许也是放射(she)科医生薪(xin)资(zi)上涨的原因(yin)之(zhi)一。
Dwarkesh Patel：确实，目前似乎有些引入AI的公司已经在重新雇人，这点还挺让人惊讶的。
Andrej Karpathy：是的，很令人意外。我们本来以为，一旦AGI出现，尤其是如果它能处理所有知识工作，不涉及体力劳动，那它应该是“无所不能”的。照理说，它应该能够逐步替代顾问、会计等各类职位的某些子任务，从各个角度慢慢地渗透知识型劳动。但从目前的发展看，事实好像完全不是这么回事。顾问和会计这些行业似乎并没有出现大幅的效率提升。反而是程序员这个群体，在工作中有更多部分被自动化。如果你去看这些AI公司的收入组成，撇除那些纯聊天产品的收入，专注API收入的话，基本都是靠编程相关的服务撑起来的。也就是说，这种“理论上应当通用”的智能系统，实际上大多数还只是服务于写代码。这(zhei)是(shi)一个(ge)相(xiang)当(dang)出乎意(yi)料(liao)的发展路径。
我认为这里有一个很有意思的点。编码这件事，恰好是大型语言模型（LLM）和智能体最适合处理的任务类型之一。原因在于，编程从根本上讲就是围绕文本展开的。无论是命令行界面还是各种IDE（集成开发环境），一切都是基于文本，而LLM天生就是擅长处理文本的系统。它们的训练过程依赖大量互联网文本数据，因而具备极强的文本处理能力。而且，我们早就为文本和代码的处理建好了大量配套基础设施，比(bi)如(ru)Visual Studio Code这类开发(fa)工具。如(ru)果一(yi)个智(zhi)能体对某个代码库进(jin)行了修(xiu)改，它可以通过代码差异比(bi)较(jiao)功能直观地呈现变(bian)更内容(rong)，我们的开发(fa)环境本身就支持这一(yi)机制，智(zhi)能体可以直接接入现有(you)工具链。
相较之下，那些不依赖文本、或者没有配套工具基础设施的任务，就难很多。比如，我看到有团队尝试让智能体自动制作PPT，结果非常困难。原因是幻灯片不是纯文本，它是视觉元素的集合，包含大量空间布局、图形内容，而且缺乏像“代码差异比较”那样的版本对比机制。如果一个智能体改动了幻灯片，目前没有标准的方式来展示这些变化。因此，整个支持体系还得从头建立。总(zong)之，虽然(ran)AI是文本处理器(qi)，但很多任(ren)务并不容易(yi)适(shi)配(pei)，而代(dai)码是一(yi)个意外(wai)地高(gao)度(du)适(shi)配(pei)的领(ling)域。
Dwarkesh Patel：我尝试过一些“文本进—文本出”的任务，比如改写访谈、剪辑视频字幕，按理说LLM应该擅长，但效果始终不理想。可能是我没做足微调。这让我怀疑，哪怕在语言领域内，真正能发挥LLM商业价值的，可能也只有编程任务。
Andrej Karpathy：你说的(de)这些确实(shi)成立。我(wo)要强(qiang)调的(de)是(shi)，我(wo)并(bing)不是(shi)说只要是(shi)文本(ben)任务就一定容易(yi)。代码的(de)结构(gou)性非常强(qiang)，而普通文本(ben)则(ze)更加自由和“花哨”，我(wo)觉得“熵”这个词比(bi)较(jiao)贴切——文本(ben)的(de)表达自由度更高，变(bian)化更多。同(tong)时，编(bian)程任务本(ben)身也很(hen)难，但正因(yin)为(wei)如(ru)此(ci)，人们在编(bian)程中(zhong)更容易(yi)感(gan)受到(dao)LLM的(de)“赋(fu)能”，哪怕只是(shi)基础级(ji)别的(de)帮助。虽然(ran)文本(ben)的(de)属性本(ben)身确实(shi)让AI更容易(yi)介入，但这不意味着所有的(de)文本(ben)任务就都变(bian)得容易(yi)了(le)。
Dwarkesh Patel：你如何看待“超级智能”？你觉得它在感受上会和现在的人类或人类组织有什么质的不同吗？
Andrej Karpathy：我倾向于把它看作是社会中自动化进程的延续，是计算能力发展趋势的自然外推。我认为，未来我们会看到越来越多的“自治体”出现在数字工作场景中，之后也可能逐步延伸到物理世界。从本质上讲，我把超级智能看作是自动化的极限状态。当然，自动化包含了(le)人类已经能做的任务(wu)，而(er)超级智能还包括人类尚无法(fa)完成的任务(wu)，比(bi)如创造(zao)新事物——我也会把“发(fa)明”这(zhei)种(zhong)能力视作自动化的一种(zhong)体现。
Dwarkesh Patel：我想问得更具体一些。你是否预期，超级智能会带来一种完全不同的文明感受？比如，它可以思考得比人类快、可以大量复制自己、可以让多个副本合并决策、或者它的某些优势让人类根本无法比拟……你是否觉得，当这些AI成为主角的社会出现时，整个世界会在“体验层面”上变得与今天完全不同？
Andrej Karpathy：我认为会的，虽然从本质上讲这仍是自动化的延伸，但它的表现会非常陌生，甚至有点“异化”。对我来说，最值得担忧的情景是：我们可能会逐步失去对这些系统的理解和控制。这种丧失不会是突然发生的，而是渐进式的。我们会一点一点把这些AI系统部署到各个角落，形成层层叠加的依赖体系，而了解它们工作机制的人会越来越少，直到我们完全无法理解这个系统的整体运作。在我(wo)看来(lai)，这是最有可能的未来(lai)：一个我(wo)们逐渐(jian)失去控制权、却仍不(bu)断前(qian)进(jin)的AI世界。
Dwarkesh Patel：理解的丧失我可以想象，但为什么你认为我们也会失去控制？
Andrej Karpathy：这个问题说实话我也不确定会怎么发展，只能用点像科幻小说的方式去设想。我不认为会有某个单一的超级智能体接管一切，更可能的情景是多个AI系统同时存在、彼此竞争，它们逐渐变得越(yue)来越(yue)自(zi)主，有些甚至“越(yue)界”了(le)，而另一(yi)些可能会试图对其加以遏制。最后形成一(yi)个类似动态竞争、你中有我我中有你的“热锅”局面，我们把(ba)权力逐层委托下去，最终可能连我们自(zi)己也搞(gao)不清楚到(dao)底是谁在做决(jue)策。
而(er)这种失(shi)控，并(bing)不是因为(wei)(wei)它们(men)比(bi)我们(men)聪明，而(er)是因为(wei)(wei)它们(men)彼此(ci)之间在竞争，而(er)这个竞争本(ben)身带来的复杂性(xing)，最终导致我们(men)对整体(ti)结果的控制力下降。比(bi)如，有些AI工具可能是人类(lei)个体(ti)在使用的，表(biao)面(mian)上是“人为(wei)(wei)操(cao)控”，但在整体(ti)上，它们(men)的行为(wei)(wei)和决(jue)策(ce)早已脱离了我们(men)原初设想(xiang)的控制边界(jie)。
十、卡帕西驳斥“AGI奇点论”：智能不会突然爆发，它是自动化的渐进延伸
Dwarkesh Patel：我本该早一点问这个问题。我们之前提到，现在AI工程更像是使用编译器，而不是在构建一个能替代自己的系统。如果有一天我们实现了所谓的AGI，它应该能完成你现在做的所有工作。你是否认为，如果有一百万个“你”的副本并行工作，会带来某种AI进展的大爆炸？你期待会出现“智能爆炸”吗？
Andrej Karpathy：我认为会的(de)(de)，但它其实(shi)就(jiu)是一(yi)种“正常(chang)的(de)(de)业(ye)务发展”状(zhuang)态。我们其实(shi)已(yi)经身处(chu)在一(yi)场“智(zhi)能爆炸”中(zhong)了，而(er)且这已(yi)经持续了几十年。几百年来，我们就(jiu)在不(bu)断实(shi)现自动(dong)化(hua)——工业(ye)革命是对物理层面的(de)(de)自动(dong)化(hua)；软件(jian)工具、编(bian)译器是对思维(wei)和(he)信息处(chu)理的(de)(de)自动(dong)化(hua)。我们已(yi)经处(chu)在一(yi)场持续的(de)(de)自我改进和(he)扩张之(zhi)中(zhong)。
换种(zhong)(zhong)方式说，从外太(tai)空看，地球(qiu)其(qi)实几百万年来都是一(yi)(yi)样的在(zai)自转、运行，变化(hua)不(bu)大。但从文明的视角来看，我(wo)们其(qi)实处在(zai)一(yi)(yi)场正在(zai)爆炸的“烟花”之中(zhong)，只是我(wo)们在(zai)慢动(dong)作中(zhong)感知不(bu)到那(nei)种(zhong)(zhong)剧烈变化(hua)。我(wo)并(bing)不(bu)觉得AI是某种(zhong)(zhong)“不(bu)同于(yu)过往”的技术，它本质上是这种(zhong)(zhong)持续爆炸的一(yi)(yi)部分(fen)。
Dwarkesh Patel：这就像人类在工业革命前的增长速度是0%，今天是2%，所以整体是个“超指数”，而AI可能会把它带到20%甚至200%的年增长？
Andrej Karpathy：你可以这么理解。回顾过去300年，我们就是在不断接入新技术，比如蒸汽机、电力、铁路、计算机、通信，现在是AI。这些(xie)技术每一(yi)个都没有单独地改(gai)变曲线的形态，但它们叠(die)加起来，共同塑造(zao)了这条(tiao)“加速曲线”。AI并(bing)不(bu)会改(gai)变这个模(mo)式，它只是下一(yi)波浪潮而已。
Dwarkesh Patel：但GDP并没有真正跳变，还是2%左右。你是说未来也会维持在这个水平？
Andrej Karpathy：我个人预期增长率大致还是维持稳定。过去200到300年里，人类整体的增长趋势基本上保持在一个平稳的轨道上。的确，从人类历史的长河来看，这条曲线是从接近0%的增长突然加速，到工业革命后达到2%，好像是“爆发式”的。但如果你回头看，其实一切都是逐步递进的。比如我过去也试图从GDP曲线中寻找AI的影响，但我现在越来越认为这是误判。人们常说“递归式自我改进”，说AI实验室会不断加速自己，但我认为这其实只是“日常事务”。AI确实在帮助我们提高构建AI的效率，比如用LLM帮助工程师更快完成下一代LLM的开发，自动化程度不断提高，各种模块也越来越好调试和优化。我们今天每个人都能用Google搜索、用IDE开发工具、有代码自动补全，这些本质上就是同一条技术加速链条的一部分。所以我的观点是，经济增长率这条曲线非常平滑，AI不会改变它的形状。
Dwarkesh Patel：所以你的意思是，“智能爆炸”其实只是在帮助我们继续维持这个2%的增长轨道？就像当年互联网也没有让GDP曲线出现断层，而是继续推着它往前走。
Andrej Karpathy：对(dui)，我(wo)的(de)预期就是我(wo)们会保(bao)持现(xian)在(zai)的(de)增长模式。
Dwarkesh Patel：那我来提一个反对观点。我的看法是，如果真正的AGI出现，不是你说的代码自动补全工具，而是真正可以在服务器里替代一个人类的智能体，那它就和过去的生产力技术是“质”的不同。因为那不只是提升效率的问题，而是直接创造“劳动力”。如果我们突然拥有了数十亿个“额外的人类”在发明、在创办公司、在完成从0到1的完整产品链条，那它就不像是某项单一技术的推动，而更像是地球上多了数十亿聪明人，这个影响是本质不同的。
Andrej Karpathy：这是一个可以讨论的角度，我也没有特别坚持自己的观点，愿意被说服。不过我们也可以从另一个角度来看——计算本身也是“劳动力”。计算机的(de)出现让很多(duo)数字信息处理(li)的(de)工作都不需要(yao)人来做了，很多(duo)岗位因此消失(shi)。这其实已经是“劳动(dong)的(de)自动(dong)化”。比(bi)如(ru)自动(dong)驾(jia)驶也(ye)是一种计算替(ti)代劳动(dong)的(de)例(li)子，属于同一个(ge)(ge)范式之内。所以(yi)(yi)即使(shi)未来的(de)AI看起来更(geng)强大，它也(ye)仍然是这个(ge)(ge)“持(chi)续演进”的(de)一部分。我们会拥有(you)更(geng)多(duo)可以(yi)(yi)创(chuang)造“自动(dong)驾(jia)驶”“互联网”这种级(ji)别成果的(de)机器，但整个(ge)(ge)过程仍然是连(lian)续的(de)。
Dwarkesh Patel：可是历史上也确实出现过增长范式的变化，比如从农业社会到工业社会，然后到信息时代，每一次都不是2%变2%，而是真正的质变。假设我们有一台机器，它不仅能产出下一个“自动驾驶”或“互联网”，还能更快地产出一系列类似的系统，这就可能引发范式变化。
Andrej Karpathy：我明白这个设想，也能理解它的吸引力。但我觉得很多人误以为AGI是“神明装进盒子”，一旦放出来就能什么都做。这种想象不太现实。它确实会在某些事情上很强，但也会在很多方面出错，仍然需要我们慢慢把它部署进社会各个领域。所以我预期仍然是一个“渐进融合”的过程，不会出现那种突然的断层式爆发。我们不会真的拥有一个“通用智能”放进一个服务器，然后让它去接管所有复杂的社会任务。最终我们会看到的是AI技术像以往一样，逐步融入行业、融入工作流程。
而且我觉得“智能”这个词有时候是误导性的，因为它让人误以为会出现一个超级聪明的AI实体，坐在服务器里，自己发明新技术、设计新产品，从而引发指数级增长。但我心中设想的(de)20%增长(zhang)并不是这(zhei)个(ge)样子。我想象的(de)是，我们有了数以亿计(ji)的(de)“聪(cong)明(ming)大脑”——也(ye)许(xu)还没(mei)达到人类通(tong)用智能(neng)的(de)水平，但足够聪(cong)明(ming)，可(ke)以独立开发产品，自己找方法融入(ru)经济系统(tong)。就像(xiang)一个(ge)非常(chang)优秀的(de)移民来到某个(ge)国家，他(ta)不需要别人帮(bang)他(ta)规(gui)划，他(ta)自己就能(neng)创业、做研究、提升社会生(sheng)产力。
我们已经看到一些类似的例子，在当前体制下，像香港、深圳这样的地区，曾经(jing)也(ye)经(jing)历过连续(xu)几十年的10%甚(shen)至更(geng)高的经(jing)济增(zeng)长。那种(zhong)增(zeng)长来(lai)自(zi)于劳动力(li)的增(zeng)加与资本之(zhi)间的配比变化。现在，如(ru)果我们(men)能释放(fang)出足够多的“聪明劳动力(li)”，也(ye)可(ke)能带来(lai)一轮类(lei)似的追(zhui)赶式发展。我们(men)之(zhi)所以没有爆发，某种(zhong)程(cheng)度(du)上是因为(wei)还(hai)有很多潜力(li)没有被(bei)用上。
我认为你说的也许是对的，但我还是觉得你假设了某种“离散跃迁”的存在，仿佛有什么关键的“解锁”点在等待我们达成，一旦突破，我们就会在数据中心里拥有“天才级”的智能体。但我觉得你这个前提并不成立——这样的跃迁在历史上基本没有先例，我也找不到任何统计数据可以支持这种观点，所以我认为它大概率不会发生。
Dwarkesh Patel：工业革命就是这种跃迁吧？我们从0%或0.2%的增长跳升到了2%。我只是说，未来也许会出现类似的跳变。
Andrej Karpathy：这(zhei)个说法我有些存疑，我得具体看一看。例(li)如，工业革命(ming)前的(de)数(shu)据记(ji)录质量(liang)可(ke)能并不好(hao)，所以我们对(dui)那段历史的(de)判(pan)断(duan)也许有偏差。我对(dui)这(zhei)件(jian)事还没有非常(chang)坚定的(de)看法。
Dwarkesh Patel：也许那次就是一个非常魔法般的奇点事件，而你是否认为现在AI也可能带来类似的范式突破。
Andrej Karpathy：不，我的(de)看(kan)法(fa)相反。工业革命的(de)关键恰恰在(zai)于它不是魔法(fa)。如果你把镜(jing)头拉近(jin)，比如聚焦1770年到(dao)1870年这一(yi)段，你会看(kan)到(dao)那并(bing)不是某项关键技(ji)术突然爆(bao)发、改变了一(yi)切的(de)瞬(shun)间。
Dwarkesh Patel：是，但整个经济确实进入了一个进步速度更快的新状态，呈现出10倍速的指数增长。我也期望AI能带来类似的情况。
Andrej Karpathy：但这(zhei)(zhei)(zhei)并(bing)不是(shi)(shi)因(yin)为(wei)有哪(na)一刻突然(ran)爆(bao)发，而是(shi)(shi)因(yin)为(wei)有一个“过剩任务”的(de)(de)存在(zai)——比如，有很多认(ren)知类(lei)的(de)(de)工(gong)作积(ji)压在(zai)那(nei)里没被完成(cheng)。而AI的(de)(de)发展会逐步填补这(zhei)(zhei)(zhei)个过剩。你(ni)所说的(de)(de)“新技术跨过门(men)槛(jian)”，其实是(shi)(shi)在(zai)补上(shang)这(zhei)(zhei)(zhei)些空白。
Dwarkesh Patel：对，我是这个意思。回顾历史，经济增长往往来自两方面：有人提出想法，有人去执行这些想法、产出价值。过去几十年增长放缓，很多人认为原因是人口增长停滞了，尤其是在一些发达国家。现在我认为，AI可能会带我们回到“超指数增长”的路径上——以前是人口驱动，现在是智能体驱动。
Andrej Karpathy：我(wo)理解(jie)你(ni)这个观(guan)点，但我(wo)从直觉上并不(bu)完(wan)全认同它(ta)。
Dwarkesh Patel：你曾推荐给我Nick Lane的书，我读完之后也很感兴趣，还去采访了他。我现在想就“智能的进化”这个主题聊聊。毕竟你过去20年都在做AI，现在应该对“智能是什么”“发展智能需要什么”有更直观的理解。你会因此对“进化居然自发产生出智能”这件事感到更惊讶，还是更能接受？
Andrej Karpathy：我(wo)非常喜欢(huan)Nick的(de)(de)(de)书，我(wo)来这路上还在(zai)听他的(de)(de)(de)播客。从进(jin)化(hua)(hua)的(de)(de)(de)角度讲(jiang)，我(wo)确实觉(jue)得智能(neng)的(de)(de)(de)出现挺意(yi)外的(de)(de)(de)——它真的(de)(de)(de)非常新(xin)。在(zai)所有可能(neng)存在(zai)生命的(de)(de)(de)星球(qiu)中，如果有1000个像地球(qiu)这样的(de)(de)(de)行星，我(wo)觉(jue)得大多数可能(neng)都(dou)只会进(jin)化(hua)(hua)出类似细菌那样的(de)(de)(de)低级生命，这是Nick Lane也曾说过(guo)的(de)(de)(de)观(guan)点。
Dwarkesh Patel：他当时的说法是，大部分星球上确实都只会出现细菌或类似的东西。
Andrej Karpathy：对。他(ta)的(de)(de)观(guan)点是，智(zhi)能(neng)生(sheng)命是非常(chang)罕(han)见的(de)(de)突破，我(wo)也倾向于这么(me)看。比(bi)如，如果(guo)细(xi)菌在地球上存在了(le)20亿(yi)年都没有进(jin)化(hua)出更复(fu)杂(za)的(de)(de)生(sheng)命形态，那说明“跃迁”到真(zhen)核生(sheng)物是个非常(chang)难的(de)(de)步骤(zhou)，因为细(xi)菌在地球进(jin)化(hua)的(de)(de)早(zao)期就已经(jing)出现了(le)。
那我(wo)们什么时候才有动物(wu)(wu)？也许(xu)是在几亿年前吧(ba)，那些会(hui)爬、会(hui)跑(pao)的多细胞生物(wu)(wu)，这大概只占(zhan)地球历史的10%。从这个时间尺度(du)上(shang)看，智(zhi)能(neng)的进化(hua)也许(xu)并不(bu)是那么难，但(dan)从宇宙整(zheng)体概率来看，应该还是相(xiang)当罕见的。
我(wo)至今仍觉得这(zhei)件事令人惊(jing)讶。直觉上，我(wo)原本以为(wei)演化会发展出许多(duo)类动物的(de)生命形式，做些动物式的(de)事情。但(dan)现实(shi)是，竟然出现了能够(gou)创造文(wen)化和知识(shi)、并(bing)持续(xu)积(ji)累的(de)生命体，这(zhei)一点(dian)真的(de)很让我(wo)吃惊(jing)。
如果我们采纳那种“太阳角度”的观点——也就是认为智能的核心其实是动物智能，那么有一句话很有意思：“如果你能造出一只松鼠，你就离AGI不远了。”换句话说(shuo)，松鼠那种(zhong)级别的智能，其(qi)实在(zai)寒武(wu)纪(ji)大(da)爆(bao)发(fa)后不(bu)久、也就是6亿年(nian)前(qian)，就已经演化出来了。而(er)触(chu)发(fa)那个爆(bao)发(fa)的事件，是地球大(da)气中的含氧量上升。
一旦有了氧气，似乎整个“智能算法”也就随之诞生了，从而产生了松鼠式的智能。也许进化之所以能这么快取得突破，是个偶然事件，但这也可能意味着智能的本质比我们想象中要简单得多。
当然，这些事情都很难(nan)判断。我(wo)们(men)也许可以(yi)从一个生物存在了(le)多(duo)久(jiu)、或(huo)者(zhe)它(ta)是(shi)否(fou)经历(li)过长时(shi)间的“瓶颈”来(lai)看。比如，细(xi)菌曾在地球上主(zhu)宰了(le)数十亿(yi)年，拥有极其丰富(fu)的生化(hua)反应类(lei)型，却始终没有演化(hua)出更复杂(za)的生物，这说(shuo)明存在某种(zhong)非常明显的进化(hua)瓶颈。但(dan)关于动物和智能的演化(hua)，我(wo)们(men)似乎还没发(fa)现类(lei)似的长期停(ting)滞。
另一种思路是(shi)，研究“智能(neng)”是(shi)否在(zai)多(duo)个物(wu)种中独立演化过。比如，人类有一种智能(neng)，乌鸦(ya)等(deng)鸟(niao)类也表(biao)现出(chu)极高的聪明程度，但它们的大脑结构与哺(bu)乳动物(wu)差(cha)异(yi)很(hen)大。这(zhei)也许(xu)可以看作(zuo)是(shi)智能(neng)在(zai)两个系统(tong)中独立出(chu)现的例子(zi)。如果真是(shi)这(zhei)样(yang)，那么“智能(neng)”作(zuo)为一种能(neng)力可能(neng)更常见(jian)一些。
还有(you)一(yi)些研(yan)究者提(ti)出了一(yi)个有(you)趣的(de)观点(dian)：人类和灵长类所拥(yong)有(you)的(de)那种“可(ke)扩(kuo)(kuo)展算法”，其实(shi)也在鸟类中出现过。区别(bie)(bie)在于，人类占据了一(yi)个特别(bie)(bie)的(de)进化生态位(wei)(wei)，这个生态位(wei)(wei)鼓励智能的(de)边(bian)际提(ti)升，而(er)且也有(you)一(yi)套可(ke)扩(kuo)(kuo)展的(de)大脑机制，能够将这些提(ti)升转化为能力。
反(fan)过(guo)来说，如果一只鸟的大脑更大，它可能就(jiu)飞不(bu)起来了(le)。所以鸟类的大脑已经在给(ji)定体积下非(fei)常聪(cong)(cong)明了(le)，但(dan)它们的生态位并不(bu)鼓励脑容量继续(xu)增长(zhang)。某些海豚也很(hen)聪(cong)(cong)明，但(dan)问题类似。
而(er)(er)人类则不同(tong)，我(wo)们拥有手，可以(yi)(yi)学(xue)会使(shi)用工具，还能借助(zhu)工具实(shi)现“外部消化”，释(shi)放更多(duo)能量供(gong)大脑使(shi)用，从而(er)(er)带动了整个智(zhi)能发展的飞轮。而(er)(er)且，我(wo)们的生存环境中还有许(xu)多(duo)可以(yi)(yi)“操控”的东西。比如，如果我(wo)是一只海豚，我(wo)就很(hen)难使(shi)用火，海洋中可供(gong)利用的材料和化学(xue)环境远(yuan)不如陆地(di)丰(feng)富。所(suo)以(yi)(yi)，从化学(xue)角度来说(shuo)，水下世界的创造空(kong)间可能远(yuan)小于(yu)陆地(di)。
我同意这种“生态位”视(shi)角(jiao)，也(ye)认同智能(neng)的发展是(shi)因为(wei)(wei)某些特定激励存在(zai)。但(dan)我还是(shi)觉得很神奇(qi)。我原(yuan)以为(wei)(wei)进化(hua)会(hui)停(ting)留在(zai)“肌肉更(geng)强的动物(wu)”阶段，没想(xiang)到最终却(que)选择了走(zou)“智能(neng)”这条(tiao)路线。
有人对(dui)这(zhei)个问题的描述也非常精彩：智能之所以(yi)(yi)难以(yi)(yi)演化，是因为它处在一(yi)个非常狭窄(zhai)的区(qu)间(jian)——既不(bu)能重(zhong)要到(dao)必须直接写进DNA，也不(bu)能无足(zu)轻重(zhong)到(dao)不(bu)值得学习(xi)。它必须足(zu)够重(zhong)要，以(yi)(yi)至于(yu)有必要开发一(yi)种算(suan)法，在个体的一(yi)生中动(dong)态学习(xi)这(zhei)些能力(li)。
换句话说，必须激(ji)励出(chu)某种“适(shi)应性”。这种情况下，演(yan)化(hua)(hua)会倾(qing)向于产生能在(zai)(zai)生命周期中“现(xian)学(xue)”的机制(zhi)。而这又要(yao)求环(huan)境足(zu)够不可(ke)预测(ce)——不可(ke)预见的环(huan)境让进(jin)化(hua)(hua)无法提前将策(ce)略(lve)写死在(zai)(zai)基因里，只能借助个体(ti)智能在(zai)(zai)“测(ce)试时刻”做出(chu)判断。
很(hen)多动物(wu)在(zai)出(chu)(chu)生时就已经具备了一(yi)整套预设行为(wei)，可以说(shuo)是“预训(xun)练”的。而人类则必须在(zai)出(chu)(chu)生后自己去探索和学习。这也许就是为(wei)什(shen)么我(wo)们(men)会发(fa)展出(chu)(chu)智能，因为(wei)我(wo)们(men)需要在(zai)快速变化的环境中现(xian)学现(xian)用(yong)。
我曾看过一篇很有意思的博客，提到他认为不会出现“智能突变”现象的原因，他指出：人类其(qi)实曾经(jing)经(jing)历过一(yi)次(ci)突变——大约6万(wan)年前，我(wo)们(men)获得(de)了今天(tian)所拥有的(de)认知架构；但直到(dao)1万(wan)年前才出现农业革命(ming)和现代文明。那(nei)么(me)在(zai)(zai)这中间的(de)5万(wan)年里，我(wo)们(men)都在(zai)(zai)干(gan)什么(me)？这仍然是个(ge)未解之(zhi)谜(mi)。
这确实是一个有趣的问题，人类花了很长时间才建立起文化这种“脚手架”结构，来实现跨代知识的积累。而在AI模型训练中，这种能力几乎是“免费”附带的。你可以把前一个模型的知识蒸馏到下一个模型中，也可以让它们共享同样的预训练语料，因此它们不需要从头开始学习。这种“文化循环”在人类社会中花了数万年才建立，而在训练语言模型时却天然具备。但话说回来，也不能完全类比，因为目前的语言模型并不真正拥有“文化”这个概念——也许我们给它们的任务定义本身就抑制了文化的形成。
十一、多智能体仍存瓶颈，卡帕西呼吁建立“AI文化”与“自我博弈”机制
Dwarkesh Patel：那你觉得LLM文化应该是什么样子？
Andrej Karpathy：最简(jian)单的设想是一个大型(xing)的草(cao)稿本（scratch pad），模型(xing)可以(yi)在(zai)其中不断(duan)编(bian)辑、记笔记。当它(ta)在(zai)执行任务或阅读内(nei)容时，会(hui)不断(duan)修改草(cao)稿本，为自己积累信息(xi)。
Dwarkesh Patel：那为什么不能让一个LLM给另一个LLM写一本书？让其他模型读它的书，从中获得灵感或受到震撼？这听起来很有趣。
Andrej Karpathy：对啊，这种机制现在还不存在。但我觉得这类文化性的交流应该会在未来出现，而且这也是我们更广泛探讨多智能体系统时的一个重要方向。其实有两个尚未充分实现、但我认为非常有前景的想法：一个是“文化”——语言模型之间可以建立一个不断增长的知识体系，供彼此使用；另一个是“自我博弈”，这个概念其实非常强大。
你看，进化本质上就是竞争驱动智能的过程。而像(xiang)AlphaGo这样的(de)(de)(de)系统，就是通过和自己(ji)对弈(yi)不断进(jin)步的(de)(de)(de)。现在我们还没(mei)有看到语言模(mo)型实现类似的(de)(de)(de)机制，比如(ru)一个模(mo)型提(ti)出各种新问题，另一个模(mo)型负责解决它们，然后再不断提(ti)高问题的(de)(de)(de)难度。理论上这是可(ke)行(xing)的(de)(de)(de)，但至今还没(mei)人(ren)真正做出令(ling)人(ren)信服的(de)(de)(de)成果。
目前的研究大多还局限在单体智能体的范畴，组织层面的文化尚未出(chu)现。因此我认(ren)为我们还(hai)处在(zai)非常早期的阶段。
Dwarkesh Patel：你觉得阻碍多智能体协作的关键瓶颈是什么？
Andrej Karpathy：很多类比本不该成立，但在语言模型上却成立了。小模型就像幼儿园的学生，大模型像小学、高中生——我们还没有培养出能“毕业”的模型。现在的模型像是具备某些能力的神童，它们可以参加博士考试，看起来能做很多复杂的事，但整体认知上仍然像是小孩。
它们拥有完美的“记忆”，能生成很多看起来很不错的内容，但我认为它们仍不理解自己在做什么——它们在许多认知维度上仍不具备“真正的理解”。在这些方面我们(men)还有很多(duo)工作要(yao)做。
Dwarkesh Patel：你怎么看这样一个观点：如果AI的实际使用没达到一些人的预期，那我们是不是正在“过度建设”算力？比如我们现在的投资节奏可能一年内增长10倍、十年内增长100倍，是不是会像当年电信行业泡沫或铁路行业那样，提前铺设但需求迟迟未到？
Andrej Karpathy：你(ni)说得没错，像电(dian)信行业提前为互联网建设(she)基础设(she)施，但(dan)等(deng)真(zhen)正的需求来了却已(yi)经(jing)是(shi)(shi)(shi)十年之后，那个(ge)过(guo)程中确实也产生了泡沫。我(wo)要承认，我(wo)刚才(cai)听(ting)起来可(ke)能有些悲观。但(dan)我(wo)其实是(shi)(shi)(shi)很乐观的，我(wo)觉得这一切是(shi)(shi)(shi)可(ke)以(yi)做成(cheng)的，是(shi)(shi)(shi)可(ke)以(yi)落地的。我(wo)听(ting)起来像在泼冷水，是(shi)(shi)(shi)因为我(wo)在社交媒体(ti)上看到太多(duo)不合理的乐观预(yu)测。
这种现象背后有很多原因(yin)。很多时候是为(wei)了(le)融(rong)资(zi)，也可能(neng)是为(wei)了(le)吸引注(zhu)意(yi)力——因(yin)为(wei)在互联(lian)网上，流(liu)量可以(yi)变现。说到底，是激励结(jie)构的(de)问(wen)题。我之所以(yi)这么(me)反应，是因(yin)为(wei)我看到太多与现实脱节(jie)的(de)说法。
但我总体上依然对这项技术持看好态度。过去一年进展飞快，比如Code Interpreter、OpenAI Codex这些东西，在一年前根本还不存在。它们的能力已经证明了市场有巨大的真实需求，比如ChatGPT就已经展现了这一点。所以我不认为我们“算力过剩”。从我的理解来看，我们正在建设的这些算力，很可能都会被吃掉。
不过，我确实对那些“快速实现AGI”“很快超越人类智能”这类时间线预测持保留态度。我(wo)从事AI已(yi)有15年了，我(wo)听到过太(tai)多(duo)这(zhei)类错判，很多(duo)还来自非(fei)常有声望(wang)的人。我(wo)希(xi)望(wang)人们在这(zhei)些预(yu)测(ce)上更(geng)加校准现实，尤其是当这(zhei)类话题具有地缘政治(zhi)影(ying)响时，犯错的代价就(jiu)非(fei)常大。我(wo)们必须脚(jiao)踏实地地理解(jie)技术到底做到了什么、还没做到什么。
十二、卡帕西拒回AI实验室，选择办学育人：担心AI进步，人类却被甩下车
Dwarkesh Patel：那我们来谈谈教育吧，还有Eureka这些项目。你现在在做什么？有没有考虑回去开个AI实验室继续搞研究？
Andrej Karpathy：我觉得(de)现在(zai)AI实验室在(zai)做的(de)事情已经有(you)很强的(de)“决(jue)定性路(lu)径”了。我可以(yi)参与其中(zhong)，起到一定作(zuo)用，但未必能带来特别独特的(de)贡献。
而我(wo)最(zui)担心(xin)的问(wen)题其实是在“人(ren)(ren)类”这边。我(wo)担心(xin)这些技术的发(fa)展会让人(ren)(ren)类变得无(wu)足轻重。比如你可以想象未(wei)(wei)来(lai)AI自己建戴森(sen)球（围绕恒星构(gou)建的巨(ju)大结构(gou)，最(zui)大限度地(di)收集恒星发(fa)出的能量）、自己完成(cheng)所(suo)有(you)任务的画面，但(dan)我(wo)更关心(xin)的是，在那样(yang)(yang)的未(wei)(wei)来(lai)里，人(ren)(ren)类会变成(cheng)什么样(yang)(yang)？
我不希望我们走向电影《瓦力》或《白痴时代》（Idiocracy）那种人类被边缘化的世界。我希望人类在这个未来里依然过得很好、活得有尊严。我(wo)相信自己(ji)能在(zai)这件事(shi)上做出更独特的贡献，而不是仅仅去做一(yi)个前沿实验室的微小(xiao)优化。
所以对我来说，“教育”是实现这个目标的路径之一。我相信通过教育，人类才能真正参与进AI时代，而不是被技术甩在一边。
我现在正在做的Eureka项目，可以用一句话来概括：我们想要打造“星际舰队学院”。你看过《星际迷航》吗？它里面设定了一所培养太空飞船驾驶员和技术专家的精英学院，我们的目标也差不多——建设一所面向前沿技术、教学内容高度更新的顶尖技术机构。我一(yi)直对“怎么(me)教授技(ji)术或科学(xue)知识(shi)”这个(ge)问题很感兴趣，特别(bie)是(shi)怎样把(ba)它教得更好(hao)。我想(xiang)从两个(ge)角度来谈这个(ge)问题，一(yi)是(shi)我在(zai)YouTube上所做内容的经验，另一(yi)个(ge)是(shi)我在(zai)Eureka正在(zai)构思的做法。
我认为教育会因为AI而发生根本性变化，整个教学流程需要被重新设计。现在大家最先想到的当然是用LLM来回答问题、提供提示，但这些方式对我来说仍显得粗糙。我不想只是用现在这些“提示工程”的方式去搭建学习体验，我想要的是一个真正意义上的AI家教系统。
我(wo)确实正(zheng)在(zai)做这件事，但(dan)我(wo)想(xiang)强调：任何体验过真正(zheng)好老师的(de)人，都会意识(shi)到这事有多难做成。所以(yi)现在(zai)我(wo)还(hai)(hai)在(zai)等待那个关键能力的(de)出现。在(zai)这之前，我(wo)会先做一些更传统(tong)、但(dan)有数(shu)字(zi)化与现实结(jie)合元素的(de)教育产品。未来的(de)形态(tai)我(wo)已经很(hen)清楚了，只是今天的(de)技术还(hai)(hai)没有准备好。
顺便说一句，我曾经给一些公司做计算机视觉方面的AI顾问，结果发现我最大的价值不是告诉他们怎么用AI，而是告诉他们什么时候不要用AI。我在教育领域也持类似观点——虽然AI未来一定会成为教育革命的核心驱动力，但现在还不是做出理想产品的时候。未来(lai)会到来(lai)的，但我(wo)们得等等看。
