智东西（公众号：zhidxcom）
编译 | 陈家阳
编辑 | 漠影
智东西4月17日报道，近日，Nature杂志(zhi)对21世纪(ji)以(yi)来引用次数最多(duo)的(de)(de)25篇论文进行了分析，揭(jie)示出一(yi)个有趣的(de)(de)现象(xiang)：在科学(xue)界，讲述方(fang)法(fa)和软件(jian)的(de)(de)论文比著名的(de)(de)科学(xue)发现更常被引用，这些论文主要集中在人工智能(neng)（AI）、研究方(fang)法(fa)或综(zong)述、癌症统计(ji)和软件(jian)研究等领域。
特别值得关注的(de)(de)是，于(yu)2016年(nian)发(fa)表(biao)的(de)(de)《应用(yong)于(yu)图像识别中的(de)(de)深度残差学习(xi)（Deep Residual Learning for Image Recognition）》成(cheng)为21世纪被引(yin)用(yong)次数最多的(de)(de)论(lun)文(wen)，何恺明是该(gai)文(wen)第(di)一作者，当(dang)时正在北京的(de)(de)微软亚洲研究院工作。
此外，Nature在(zai)这(zhei)篇分析中还讨论了(le)其他(ta)高被引论文，包括改(gai)进(jin)的图(tu)像处理网络(luo)架构“U-net”，开(kai)源的“随机(ji)(ji)森林”（random forest）机(ji)(ji)器(qi)学习算(suan)法，谷歌研究(jiu)人员发表(biao)的有关Transformer模型(xing)的论文等。
▲Nature统(tong)计的21世纪10篇被引用量(liang)最高的论文
一、ResNet研究位居榜首，何恺明是第一作者
作为计算机(ji)视觉和AI领域的顶级科学家，何恺(kai)明在学术生涯早期便展现出(chu)了非凡的研究才能，在微软亚(ya)洲研究院(yuan)工作期间(jian)，因提(ti)出(chu)深(shen)度(du)残差网络（ResNet）而名声大噪(zao)。
ResNet解决(jue)了深度(du)(du)神经(jing)网络训练中的(de)梯度(du)(du)消失问题（即(ji)随着(zhe)网络层数的(de)增加，网络的(de)性能反(fan)而可(ke)能下(xia)降），使(shi)得研究人员能够训练约150层的(de)神经(jing)网络，比(bi)以往使(shi)用的(de)神经(jing)网络层数多5 倍以上。
该论文在2015年底(di)作(zuo)为预印本发(fa)布，2016年正式(shi)发(fa)表，随后于ImageNet竞赛中得到验(yan)证(zheng)，并促(cu)进(jin)各种图像(xiang)识别任务取得了突破性进(jin)展。
ResNet的(de)(de)影响力不仅限(xian)于计算机视觉领域，其思想也被广泛(fan)应用于现(xian)代(dai)深度(du)学(xue)习模型(xing)中。能够下棋的(de)(de)AlphaGo、预测蛋(dan)白质结构(gou)的(de)(de)AlphaFold以及大(da)语言(yan)模型(xing)GPT等AI工具(ju)的(de)(de)出现(xian)，都(dou)离不开ResNet，它使神经网络能够达到前所未有的(de)(de)深度(du)，重新定义了深度(du)学(xue)习的(de)(de)潜(qian)力边(bian)界(jie)。
“在(zai)ResNet之前，‘深度学习’并(bing)没有那么深入，”目前在(zai)麻省理工学院工作的何恺(kai)明说(shuo)。
作(zuo)为“深度学(xue)习三巨头”之一的杨立昆，曾在(zai)(zai)采(cai)访中对ResNet研究取得的成(cheng)就(jiu)表(biao)示(shi)赞赏，“这(zhei)显示(shi)了全球范围内都存在(zai)(zai)着杰出的科学(xue)家，并且创(chuang)新(xin)的灵(ling)感可(ke)以源自世界(jie)的任何一个角(jiao)落。”
二、21世纪，AI领域论文的黄金时代
“AI教父”杰弗里(li)·辛(xin)顿（Geoff Hinton）表(biao)示，AI领域的论(lun)文在引用(yong)方面具有天然优(you)势，这些领域的论(lun)文与许多(duo)学科相关，特别是在21世(shi)纪AI行业实(shi)现快速发展。
不(bu)少人把深(shen)度学(xue)习(xi)革命归功于(yu)辛顿(dun)在2012年合著的一篇论(lun)文，其中提到的名(ming)(ming)为(wei)“AlexNet”的网络，在识别(bie)和标记图(tu)像时以压倒性优(you)势击败了其他方(fang)法。这篇论(lun)文在此次排名(ming)(ming)中位列(lie)第八，而(er)辛顿(dun)另一篇关于(yu)深(shen)度学(xue)习(xi)的综(zong)述论(lun)文排名(ming)(ming)第十六。
在(zai)(zai)提出AlexNet三(san)年后，一(yi)篇有影(ying)响力的论(lun)文介绍了名(ming)为“U-net”的网络，可以用更(geng)少的训练数据来处理图(tu)像。该论(lun)文现(xian)在(zai)(zai)排名(ming)第(di)十二(er)位。其合著(zhu)者之一(yi)奥拉夫(fu)·伦内伯格(ge)（Olaf Ronneberger）因该论(lun)文被DeepMind招募(mu)。
2017年(nian)，谷歌研究人员在发(fa)表的《“注意力(li)就是(shi)你所(suo)需要的（Attension is All You Need）”》 一文中首次提(ti)出了(le)Transformer神经(jing)网(wang)络架构，通过自注意力(li)机制(zhi)（self-attention）来提(ti)升大型(xing)语言模型(xing)的性(xing)能。这篇论文在本世纪高(gao)被引(yin)论文中排(pai)名第(di)七。
在机(ji)器(qi)学(xue)(xue)习(xi)(xi)领域，许多早期的(de)学(xue)(xue)术论文(wen)是(shi)开(kai)(kai)源(yuan)的(de)，这也提高(gao)了(le)其引用(yong)(yong)次数。《随机(ji)森(sen)林(lin)（Random forest）》得益于提出开(kai)(kai)源(yuan)、免费且易于使用(yong)(yong)的(de)机(ji)器(qi)学(xue)(xue)习(xi)(xi)算法，而引用(yong)(yong)量激(ji)增，在此次排名中位(wei)列(lie)第(di)六。
结语：科学方法与软件是影响论文引用量的重要因素
引(yin)用，是作(zuo)者在文献中核实知(zhi)识来源的方式，是衡量论文影(ying)响力的重(zhong)要标准之一(yi)。
Nature通(tong)过研究分析表明，被(bei)引用次数最多的论文，通(tong)常不是介绍(shao)著名的科(ke)(ke)学(xue)发现，而是倾向(xiang)于描述科(ke)(ke)学(xue)方法(fa)或软(ruan)件，即科(ke)(ke)学(xue)家所依赖(lai)的基础(chu)工(gong)具(ju)。
“科(ke)学家(jia)们(men)(men)说他(ta)们(men)(men)重(zhong)视方(fang)法(fa)、理论和(he)经验(yan)发现(xian)，但实际上方(fang)法(fa)被引用得更多，”密(mi)歇根大(da)学安娜堡分校的(de)社会学家(jia)米(mi)沙·特普利茨基（Misha Teplitskiy）指出(chu)。这(zhei)些高引用论文，不仅展示了(le)它们(men)(men)在学术(shu)界的(de)影响(xiang)力，也反映了(le)科(ke)学界对(dui)方(fang)法(fa)的(de)广泛认可和(he)应用。
来(lai)源：Nature、澎湃新闻(wen)
