智东西（公众号：zhidxcom）
作者 | ZeR0
编辑 | 漠影
智东(dong)西8月16日报道，中科院自(zi)动化所联(lian)合清华北大(da)的研究团队提出了具有内(nei)生复杂性的类(lei)脑计算方法，今日相关论文(wen)发表于国(guo)际顶级学术期刊Nature的子(zi)刊Nature Computational Science。
人工智能（AI）领(ling)域的(de)(de)最终目标是(shi)构建能实现通(tong)用人工智能的(de)(de)系统，让模型具有更加(jia)广泛和通(tong)用的(de)(de)认知能力(li)。目前流行(xing)的(de)(de)大(da)模型路(lu)径是(shi)基于(yu)Scaling Law去构建更大(da)、更深和更宽的(de)(de)神经网(wang)络，可(ke)称之为(wei)“拓展(zhan)外部复杂(za)(za)性”的(de)(de)方法，复杂(za)(za)性主要在于(yu)神经网(wang)络的(de)(de)规模。这一(yi)路(lu)径面临(lin)着计(ji)算资源(yuan)及能源(yuan)消(xiao)耗难以为(wei)继、可(ke)解释性不(bu)足等问题。
计算(suan)神(shen)经(jing)科学(xue)和AI的(de)(de)交叉为克服这(zhei)些障碍提(ti)供(gong)了一(yi)条有(you)希(xi)望的(de)(de)途径。中国科学(xue)院自(zi)动化研究(jiu)所李国齐、徐波研究(jiu)团队联合清华大学(xue)、北京大学(xue)等借鉴大脑神(shen)经(jing)元复杂(za)动力(li)学(xue)特性(xing)(xing)，提(ti)出了“具有(you)内生复杂(za)性(xing)(xing)”的(de)(de)类脑神(shen)经(jing)元模型构建方法，改善了传统模型复杂(za)外部结构带来的(de)(de)计算(suan)资(zi)源(yuan)消(xiao)耗问题(ti)，可用于寻找将(jiang)丰(feng)富属(shu)性(xing)(xing)纳入(ru)神(shen)经(jing)元的(de)(de)合适路(lu)径，为有(you)效利(li)用神(shen)经(jing)科学(xue)来发展AI提(ti)供(gong)了示例。
▲不同内部和(he)外部复杂性(xing)的(de)典型模型、神经(jing)元和(he)网络
论文共(gong)同通讯作者是(shi)中国(guo)科学(xue)(xue)院自动化所李国(guo)齐研(yan)究员、徐波研(yan)究员，北(bei)京大学(xue)(xue)田永鸿教授。共(gong)同一(yi)作是(shi)清华大学(xue)(xue)钱学(xue)(xue)森(sen)班的本(ben)科生(sheng)何林轩，数理基科班本(ben)科生(sheng)徐蕴辉，精(jing)仪系博士(shi)生(sheng)何炜华和(he)林逸晗。
Nature Computational Science期刊对(dui)此(ci)评论道(dao)：“AI研(yan)究(jiu)更加贴近工程与应用，而神经科学(xue)的研(yan)究(jiu)更加具有探(tan)索(suo)性。研(yan)究(jiu)团队挑战了这一传统(tong)观点(dian)，并表明更详细且生物学(xue)上(shang)更真实的神经元(yuan)模型可以推动深度学(xue)习(xi)取(qu)得更大进(jin)展。”
论文地址：//www.nature.com/articles/s43588-024-00674-9
模型的表示能力与其(qi)总复(fu)杂(za)性(xing)(xing)（包括内(nei)生(sheng)复(fu)杂(za)性(xing)(xing)和外部(bu)复(fu)杂(za)性(xing)(xing)）有关(guan)。动态描述更(geng)(geng)精细、更(geng)(geng)丰富的神(shen)经元具有更(geng)(geng)高的内(nei)生(sheng)复(fu)杂(za)性(xing)(xing)，而连接更(geng)(geng)广、更(geng)(geng)深的网(wang)络具有更(geng)(geng)高的外部(bu)复(fu)杂(za)性(xing)(xing)。
为(wei)了(le)增强具有简单连接的基本模(mo)(mo)型(xing)的外部复杂(za)(za)性(xing)，可(ke)以(yi)扩展拓扑结构，例(li)如(ru)通过扩大(da)模(mo)(mo)型(xing)的宽度和深(shen)度；为(wei)了(le)实(shi)现更高(gao)的内生复杂(za)(za)性(xing)，可(ke)以(yi)使动(dong)态特性(xing)复杂(za)(za)化，例(li)如(ru)通过向(xiang)模(mo)(mo)型(xing)中添(tian)加离子通道(dao)或将其转换为(wei)多房室模(mo)(mo)型(xing)。两种方法都(dou)能达到相同的总(zong)复杂(za)(za)性(xing)水平(ping)，并获得相似的表示能力。
HH（Hodgkin-Huxley）神(shen)经元模型是一组描述神(shen)经元细(xi)胞膜(mo)(mo)电(dian)(dian)生理现象(xiang)的非线(xian)性微分方程，直接(jie)反映了(le)细(xi)胞膜(mo)(mo)上离子(zi)通道的开闭情况及其与(yu)膜(mo)(mo)电(dian)(dian)位变化之间的关(guan)系。
作为一个案例(li)研(yan)究，研(yan)究人(ren)员构建了(le)一组相(xiang)当于单个HH神经元的(de)LIF（Leaky Integrate and Fire）神经元，这为比较(jiao)和(he)分析具有(you)不同(tong)内部和(he)外部复杂性的(de)网络(luo)(luo)提(ti)供了(le)一种严(yan)格的(de)方法。研(yan)究团队进一步构建了(le)不同(tong)的(de)神经网络(luo)(luo)，包括HH网络(luo)(luo)、s-LIF2HH网络(luo)(luo)、vanilla LIF网络(luo)(luo)、二值(zhi)人(ren)工神经网络(luo)(luo)。
▲一种(zhong)从tv-LIF过渡到HH的(de)方法，它将外部(bu)(bu)连接(jie)的(de)复杂性收敛到单(dan)个(ge)神(shen)(shen)经元的(de)内部(bu)(bu)。a. HH神(shen)(shen)经元结构及相(xiang)关(guan)电路图；b. 如何将有4个(ge)tv-LIF2HH神(shen)(shen)经元的(de)tv-LIF2HH子(zi)网(wang)络(luo)等同于HH神(shen)(shen)经元；c. 单(dan)个(ge)到连接(jie)的(de)等效(xiao)性；d. 由HH神(shen)(shen)经元与tv-LIF2HH子(zi)网(wang)络(luo)的(de)等效(xiao)连接(jie)组成的(de)神(shen)(shen)经网(wang)络(luo)。
上(shang)图中(zhong)，LIF2HH网络(luo)中(zhong)的每(mei)条(tiao)线代(dai)表了从前一个子网络(luo)中(zhong)的4个LIF神经元到整个后(hou)一个子网络(luo)的4个不同连接。
这项研(yan)究(jiu)首先展示了脉冲神经(jing)(jing)(jing)网(wang)络神经(jing)(jing)(jing)元LIF模型和HH模型在(zai)动(dong)力学特性(xing)上存(cun)在(zai)等效性(xing)，进一(yi)步从理论上证明(ming)了HH神经(jing)(jing)(jing)元可以(yi)和4个具有特定连接结(jie)构的时变(bian)参数LIF神经(jing)(jing)(jing)元（tv-LIF）动(dong)力学特性(xing)等效。
基于这种等效性，团队(dui)通过设计(ji)微架构提升(sheng)计(ji)算(suan)单元的(de)(de)(de)内生复杂性，使HH网络(luo)模型能够模拟更大规(gui)模LIF网络(luo)模型的(de)(de)(de)动力学特性，在更小的(de)(de)(de)网络(luo)架构上实(shi)现与之相似的(de)(de)(de)计(ji)算(suan)功能。
进一步(bu)，团(tuan)队将(jiang)由(you)4个tv-LIF神经(jing)元构建的“HH模(mo)(mo)型(xing)”（tv-LIF2HH）简(jian)化为s-LIF2HH模(mo)(mo)型(xing)，通过仿真实验(yan)验(yan)证了这种简(jian)化模(mo)(mo)型(xing)在捕捉(zhuo)复杂动力学行为方(fang)面的有效性。
▲高精度仿真情况(kuang)下(xia)的(de)等(deng)效图(tu)。a. 相同电(dian)流注入下(xia)单(dan)个HH模(mo)型(xing)和(he)tv-LIF2HH子(zi)网(wang)(wang)络的(de)电(dian)位输(shu)出；b. 按网(wang)(wang)络中采用的(de)模(mo)型(xing)分类的(de)三种连(lian)接：HH、tv-LIF2HH子(zi)网(wang)(wang)络和(he)s-LIF2HH子(zi)网(wang)(wang)络连(lian)接；c. 将二(er)进制(zhi)编码器和(he)简(jian)化后的(de)LIF2HH子(zi)网(wang)(wang)络的(de)后续实验；d. HH神经(jing)元(yuan)和(he)s-LIF2HH子(zi)网(wang)(wang)络的(de)脉冲数和(he)相对(dui)触(chu)发时间误差。
实验结果表(biao)明，HH网络(luo)(luo)模型和s-LIF2HH网络(luo)(luo)模型在表(biao)示(shi)能力和鲁棒性上，具有相似的性能，证(zheng)明了内(nei)生复(fu)杂性模型在处理复(fu)杂任务(wu)时的有效性和可靠(kao)性。
同时，研究(jiu)发现HH网络(luo)模型在计算资源消耗上更为高效，显著(zhu)减少了内存和计算时间(jian)的(de)使用(yong)，从而(er)提高了整体的(de)运算效率。研究(jiu)团队通(tong)过信(xin)息瓶颈(jing)理论对上述研究(jiu)结果进行了解释(shi)。
▲计(ji)算资源及(ji)统计(ji)指(zhi)标分析。a. 每(mei)个网络(luo)在推理和(he)(he)反(fan)向传播(bo)过程中的时间消耗；b. 相(xiang)同输入(ru)的各网络(luo)的加(jia)法(fa)运(yun)算和(he)(he)乘法(fa)运(yun)算的FLOP；c. 每(mei)个网络(luo)的可训练参数；d. 各网络(luo)互信息(xi)归一化值。
这(zhei)些(xie)结果反(fan)驳了HH网络比LIF网络消(xiao)耗更多资源的观点，并证(zheng)明(ming)了具有内生(sheng)复杂性的小型(xing)(xing)模型(xing)(xing)方法(fa)的优势。
该研究为将神经科学的(de)复杂动力学特性融入AI提(ti)(ti)供了(le)(le)新的(de)方法和理论(lun)支持，为实际应用中(zhong)的(de)AI模型优化和性能提(ti)(ti)升提(ti)(ti)供了(le)(le)可(ke)行的(de)解决方案(an)。
目前，研究团队已开展(zhan)对更大规模HH网络以及具备更大内生复杂性的多房室神经元的研究，有望(wang)进(jin)一(yi)步提升大模型计算效率与任务处理能(neng)力，实现在实际(ji)应用场景中的快速落地。
