芯东西(公众号:aichip001)
作者 | GACS 2024
芯东西9月7日报道,9月6日~7日,2024全(quan)球AI芯片峰会(hui)(hui)(GACS 2024)在北京举行(xing)。本(ben)届(jie)峰会(hui)(hui)以「智算纪元 共筑芯路(lu)」为主题,全(quan)面展(zhan)示(shi)AI芯片产业在算力、网(wang)络、存(cun)储、软件、系(xi)统及应(ying)用(yong)方面的前沿技术、最新成果与落(luo)地进程(cheng)。
50+位产学研嘉宾全(quan)程密集输(shu)出(chu)干货,本届峰(feng)会(hui)有超过1500位观众到场参(can)会(hui),线上观看人次累计超过210万。
大会由智一(yi)科技旗下芯东西联(lian)合智猩猩发(fa)起主(zhu)办(ban),以(yi)「智算纪元 共筑芯路(lu)」为主(zhu)题,邀请50+位(wei)嘉(jia)宾来自AI芯片、Chiplet、RISC-V、智算集(ji)群、AI Infra等领域的嘉(jia)宾与会,分(fen)享(xiang)AI产(chan)业最新技术创(chuang)新、落地现状、商(shang)业化(hua)挑(tiao)战与机遇。
继首日(ri)开(kai)幕(mu)式(shi)、数据(ju)中(zhong)心AI芯片专场、Chiplet技术论坛火(huo)热开(kai)场()后,峰(feng)会第二天演讲(jiang)继续输出(chu)密集(ji)干货,并正式(shi)公布(bu)「2024年(nian)度(du)中(zhong)国智算集(ji)群解决方(fang)案(an)企(qi)业(ye)TOP 20」、「2024年(nian)度(du)中(zhong)国AI芯片新(xin)锐企(qi)业(ye)TOP 10」AiiP AI生(sheng)产力创新(xin)先锋企(qi)业(ye)榜单。
▲智一科技联合创始人(ren)、智车芯产媒矩阵总编辑张(zhang)国仁正式公(gong)布(bu)AiiP榜(bang)单
一、AI之外,近存计算斗不过存算分离
上午主会(hui)场(chang)举行(xing)的AI芯(xin)片(pian)架构(gou)创新(xin)专场(chang)期间,北京超(chao)弦存(cun)(cun)储(chu)器(qi)研究院首席科学(xue)家(jia)戴(dai)瑾(jin)进(jin)行(xing)了一场(chang)信息满载的存(cun)(cun)内计算(suan)主题(ti)演讲(jiang)。在回顾芯(xin)片(pian)级、机架级存(cun)(cun)算(suan)分离(li)与近(jin)存(cun)(cun)计算(suan)的斗争(zheng)后,他抛出结(jie)论:AI之外,近(jin)存(cun)(cun)计算(suan)斗不过(guo)存(cun)(cun)算(suan)分离(li)。
天量的(de)(de)AI模型(xing)参数(shu)带来(lai)无尽的(de)(de)带宽要求,存(cun)算分离(li)架(jia)构的(de)(de)带宽、功耗、时延会严重制(zhi)约系统(tong)性能,严重降(jiang)低硬件的(de)(de)费效比(bi)。涉(she)及(ji)HBM、3D封装(zhuang)等的(de)(de)近(jin)存(cun)计算,以及(ji)存(cun)内计算,成为必(bi)需品。
目前做存内计算(suan)(suan)的路(lu)(lu)线中,彻底借鉴人类的类脑(nao)计算(suan)(suan)进(jin)展缓慢(man),但戴瑾认为(wei)“笨的AI容易成功”。神(shen)经网络计算(suan)(suan)中还(hai)有数(shu)字引(yin)(yin)擎(qing)(qing)和模拟引(yin)(yin)擎(qing)(qing)两种路(lu)(lu)线。数(shu)字引(yin)(yin)擎(qing)(qing)把GPU、NPU或部分与内存集成在同(tong)一个芯片上(shang),要求存储介质可(ke)以和逻辑工艺集成;模拟引(yin)(yin)擎(qing)(qing)用(yong)存储单元和存储阵列(lie)做计算(suan)(suan),等效内存容量扩大16倍,但可(ke)用(yong)算(suan)(suan)法有限。
▲北京(jing)超弦存储器研究(jiu)院(yuan)首席(xi)科学家戴瑾
存(cun)内计算按介(jie)质(zhi)划(hua)分为SRAM、NOR、DRAM成熟存(cun)储介(jie)质(zhi)和MRAM、RRAM、PCRAM、FeRAM等新兴存(cun)储介(jie)质(zhi)。
戴瑾(jin)称(cheng)这(zhei)些存储介质都不(bu)理(li)想,各有优劣。如SRAM兼(jian)容(rong)逻辑工艺、速(su)度快,但容(rong)量低、容(rong)易漏电;NOR Flash工艺成熟、节能,但无(wu)法使用先进工艺节点,且受(shou)擦写速(su)度和擦除(chu)次数所限,只能用于推(tui)(tui)理(li);DRAM理(li)论上可(ke)用于训练和推(tui)(tui)理(li),最大困难不(bu)在(zai)于技术,而在(zai)于产(chan)业(ye)。
新兴(xing)存储(chu)介(jie)质中(zhong),FeRAM存储(chu)介(jie)质是铁电材料。戴瑾认(ren)为,这是新兴(xing)存储(chu)中(zhong)唯(wei)一(yi)容量可能(neng)超过DRAM且(qie)速度、功耗性能(neng)相对好(hao)的(de)介(jie)质,应该(gai)可以在存算(suan)一(yi)体中(zhong)取代DRAM,作(zuo)为一(yi)种非易失存储(chu)或存内计算(suan)介(jie)质都很有(you)吸(xi)引(yin)力。
比新兴存储更新的是(shi)2T0C DRAM。在戴(dai)瑾看(kan)来(lai),这是(shi)看(kan)得(de)见(jian)的存储技术(shu)中最理想的存内(nei)计(ji)算介质。2T0C DRAM分读写两个MOS,利(li)用读晶体管的寄生(sheng)电容做(zuo)存储。其(qi)最大的好(hao)处(chu)是(shi)做(zuo)多bit更为简单(dan)、直(zhi)接,速(su)度不(bu)逊于DRAM,能做(zuo)到(dao)无限次擦写、功(gong)耗很低,但唯一(yi)的不(bu)确定性是(shi)IGZO材料(liao)在半导体行(xing)业尚未(wei)彻底应(ying)用。
二、突破有效算力天花板,可重构、存算一体、类脑智能是未来
随着AI PC等(deng)边缘端推(tui)(tui)理(li)需求增(zeng)长,珠海芯(xin)动(dong)力创始(shi)人兼CEO李(li)原相(xiang)信,未来可重(zhong)(zhong)构芯(xin)片将(jiang)成为(wei)(wei)主流。他认为(wei)(wei)性价(jia)比已(yi)成为(wei)(wei)边缘计算的(de)核心要求,但性能和TOPS并(bing)非直接挂钩(gou),模型(xing)在Prefill和Decode阶(jie)段的(de)计算类(lei)型(xing)不(bu)同,也对性能有(you)不(bu)同的(de)要求。针(zhen)对这一特点,珠海芯(xin)动(dong)力推(tui)(tui)出了可重(zhong)(zhong)构并(bing)行(xing)处(chu)理(li)器架构(RPP)。
RPP基于数据流架构,兼容CUDA指令集,融合(he)了(le)GPU和NPU的(de)优势。RPP第一代产品算力可达(da)(da)32TOPS,DRAM带宽达(da)(da)59GB/s,具有性能高、面(mian)积效(xiao)率高、功耗低灵活性强的(de)特点,FOStrip先(xian)进(jin)封装(zhuang)工艺将芯片(pian)面(mian)积和厚度缩小至原来的(de)1/3。测试中(zhong),其计(ji)算机视觉和信号(hao)处理性能都较同类产品有较大(da)提升(sheng),以14nm工艺达(da)(da)到(dao)甚至超越了(le)英伟达(da)(da)A100芯片(pian)的(de)功耗。
▲珠海(hai)芯动力(li)创始人兼CEO李原
亿铸(zhu)科技创(chuang)始人、董(dong)事长兼CEO熊(xiong)大鹏认为,AI芯片架(jia)构创(chuang)新(xin)将(jiang)开启大算力第二(er)增长曲线。如今摩尔(er)定(ding)律(lv)面临挑战(zhan),以计(ji)算单(dan)元(yuan)为中心的已到达天花板,将(jiang)来AI芯片一定(ding)是(shi)以存储单(dan)元(yuan)为中心。
要突破有效算力的天(tian)花(hua)板有两(liang)个(ge)路(lu)径(jing):芯片内(nei),采用存算一体、先(xian)进封(feng)装技(ji)术,减少(shao)数据搬(ban)运、传输延迟;芯片间(jian),采用高速(su)互连和Chiplet技(ji)术、硅(gui)光子技(ji)术以及(ji)类似于NVLink及(ji)NVSwitch的互连技(ji)术,提供高带宽(kuan)和低(di)时延。
亿铸科技(ji)于(yu)2023年首次提出存算(suan)一(yi)体超(chao)异构架构,并致力(li)于(yu)通过基于(yu)新型存储介质(zhi),提供高性价比(bi),高能效比(bi)的AI大算(suan)力(li)芯片。
▲亿铸科技创(chuang)始人、董事(shi)长兼(jian)CEO熊大鹏(peng)
时识科技创始(shi)人兼CEO乔(qiao)宁谈道,类(lei)(lei)脑(nao)(nao)智能(neng)(neng)被认为(wei)(wei)是(shi)可以(yi)(yi)打破硅制程限制、解(jie)决(jue)算力(li)瓶颈的(de)未来技术(shu)之(zhi)一。从生物(wu)脑(nao)(nao)获得启发的(de)类(lei)(lei)脑(nao)(nao)感知、类(lei)(lei)脑(nao)(nao)计(ji)算,均(jun)比传统(tong)(tong)(tong)计(ji)算方式效(xiao)能(neng)(neng)更高。生物(wu)系统(tong)(tong)(tong)通过累积性变化(hua)检测并(bing)转化(hua)为(wei)(wei)脉冲(chong),以(yi)(yi)优(you)化(hua)带宽(kuan)使用(yong),动态相(xiang)机也采用(yong)类(lei)(lei)似原理,以(yi)(yi)低功耗方式捕捉光强变化(hua)。类(lei)(lei)脑(nao)(nao)计(ji)算芯片是(shi)基(ji)于脉冲(chong)做计(ji)算的(de)系统(tong)(tong)(tong),脉冲(chong)就是(shi)数(shu)字传输(shu)和计(ji)算的(de)载体。
时识科技已(yi)经形成了(le)事(shi)(shi)件(jian)(jian)相(xiang)机(ji)(即(ji)类脑(nao)传感(gan)器(qi))、类脑(nao)处理器(qi)、感(gan)算(suan)一(yi)体动(dong)态视(shi)觉(jue)智能SoC三大(da)产品(pin)矩阵。类脑(nao)视(shi)觉(jue)目前最大(da)的关注点是(shi)手机(ji)后摄的高(gao)(gao)帧率(lv)(lv)成像应用。DVS事(shi)(shi)件(jian)(jian)相(xiang)机(ji)通(tong)过模拟人类视(shi)网膜,在电(dian)路层面做出(chu)根本性(xing)改(gai)变,来突破全局快门对相(xiang)机(ji)成像的帧率(lv)(lv)限制。通(tong)过对DVS事(shi)(shi)件(jian)(jian)相(xiang)机(ji)数(shu)据做处理,可以(yi)达到(dao)等效高(gao)(gao)帧成像的效果(guo)。另外(wai)一(yi)个是(shi)XR领(ling)域眼(yan)动(dong)追踪(zong),由于DVS只对光强变化作出(chu)反应,生成稀疏点云数(shu)据,具有超(chao)低功耗(hao)、高(gao)(gao)动(dong)态范围、超(chao)低延迟等优势,尤(you)其超(chao)低功耗(hao)性(xing)能在眼(yan)动(dong)追踪(zong)领(ling)域领(ling)先(xian)。
▲时识科(ke)技创(chuang)始人兼CEO乔宁
随着(zhe)数据量和(he)算(suan)力的暴增与(yu)(yu)算(suan)法的提升,计算(suan)市场对可(ke)定制化(hua)、低成本、高安全性和(he)高隐私性的需求日益提升。对此,2023年成立的锋(feng)(feng)行(xing)致远(yuan)致力于(yu)研发存(cun)算(suan)一体的边缘计算(suan)模(mo)组与(yu)(yu)解决方(fang)案,可(ke)实(shi)现大模(mo)型算(suan)力加速(su)。据锋(feng)(feng)行(xing)致远(yuan)创始人(ren)兼CEO孙(sun)唐分(fen)享,该公司已拥有面向PC、工(gong)作站(zhan)、服务器和(he)分(fen)布(bu)式集(ji)群的各(ge)类(lei)存(cun)算(suan)一体产品。
锋(feng)行致远(yuan)的产品(pin)整(zheng)(zheng)合了存储控(kong)制器与AI推(tui)(tui)理(li)加(jia)速能力。其(qi)SSD内置算(suan)力,降(jiang)低主机负(fu)载和(he)整(zheng)(zheng)体功耗,也具备高保密(mi)性,可运用于AI PC加(jia)速、大(da)模型推(tui)(tui)理(li)加(jia)速、训推(tui)(tui)一体加(jia)速等场景;GPU直通方案可实现对(dui)数(shu)据吞吐的加(jia)速达50%-300%,更通过共享内存降(jiang)低能耗。针对(dui)AI推(tui)(tui)理(li)加(jia)速,其(qi)端(duan)到端(duan)应(ying)用平(ping)均效率(lv)超英伟达NX平(ping)台2倍,平(ping)均功效比存算(suan)分离方案提升3.7倍,还兼容多种框架。
▲锋行致远创(chuang)始人兼(jian)CEO孙唐
在(zai)PhySim资深产品(pin)工(gong)(gong)程师黄建伟(wei)看(kan)来,以(yi)先(xian)(xian)进(jin)封装(zhuang)技术(shu)为(wei)基(ji)础(chu)的(de)(de)3D IC和Chiplet技术(shu),是后摩(mo)尔时代的(de)(de)必然选(xuan)择。然而,SIP/2.5D/3D等先(xian)(xian)进(jin)封装(zhuang)复杂(za)的(de)(de)制造工(gong)(gong)艺(yi)和严(yan)苛的(de)(de)设计(ji)要求,会(hui)导致材料、设备、涉及开发的(de)(de)生(sheng)产成本(ben)大(da)幅(fu)增加,同时这些先(xian)(xian)进(jin)封装(zhuang)仍(reng)面临散热(re)、制造工(gong)(gong)艺(yi)、成本(ben)上升等挑战,需要专门的(de)(de)仿(fang)真工(gong)(gong)具。
针对(dui)多物理场仿(fang)真(zhen)场景,PhySim自(zi)研(yan)了一体化(hua)解决方(fang)案,包(bao)括热(re)仿(fang)真(zhen)工具TurboT、信号完(wan)整性(xing)仿(fang)真(zhen)软(ruan)件ACEM、电(dian)源(yuan)完(wan)整性(xing)仿(fang)真(zhen)软(ruan)件Physim-ET等(deng)产品,能够实(shi)现(xian)高性(xing)能GPU加(jia)速,实(shi)现(xian)数(shu)倍甚至数(shu)十(shi)倍的效(xiao)率提升,帮(bang)助设计(ji)人员定(ding)位温度热(re)点优化(hua)设计(ji)。
▲PhySim资深产品工程师黄建伟
AI发展对芯片良率、延迟(chi)、高热问题提出更高要求,业界正在探索更有效的芯片互联技术,如(ru)分离Computing Die和IO Die、降低PCIe等传统(tong)架构(gou)延迟(chi)、推动新标(biao)准支持AI应用(yong)。
UCIe作为推动芯(xin)片之间高(gao)效通(tong)信的(de)新标(biao)(biao)准应运而(er)生(sheng)。UCIe提供了先(xian)进封(feng)装(zhuang)和(he)(he)标(biao)(biao)准封(feng)装(zhuang)两(liang)种解决方案,其中先(xian)进封(feng)装(zhuang)因具有兼容性和(he)(he)增加通(tong)道数(shu)有利于(yu)高(gao)速数(shu)据传输,适用于(yu)追求更(geng)高(gao)带(dai)宽(kuan)的(de)应用,标(biao)(biao)准封(feng)装(zhuang)密度较低适合产能受限的(de)情(qing)况。
乾瞻科技(ji)产品高级总监曹泽豪透露道,目前(qian)他(ta)们已经在(zai)5nm和(he)4nm的技(ji)术节点上面向大客(ke)户形成量产,3nm已经回片,同时正在(zai)将UCIe 1.1和(he)1.0版本向2.0版本迁移。
▲乾瞻科(ke)技产品高级总监曹泽豪
三、加速边缘与端侧大模型落地,AI芯片如何做出极致性价比?
在(zai)下午(wu)举行的(de)(de)边缘(yuan)/端(duan)侧AI芯片(pian)专场,后摩智(zhi)能联合创始人、产品(pin)副总裁信晓旭分享说,大模(mo)型已从“上新(xin)品(pin)”进入“强应(ying)用”阶段,中国的(de)(de)优势在(zai)应(ying)用创新(xin),而应(ying)用创新(xin)的(de)(de)机会在(zai)边缘(yuan)侧。目前AI芯片(pian)的(de)(de)痛点已经转变为(wei)内存访问效率(lv)低(di)(di),存算一体架构(gou)凭借低(di)(di)成本、低(di)(di)功耗、低(di)(di)延时的(de)(de)优势,适配了边端(duan)侧AI的(de)(de)需求。
后摩智(zhi)能(neng)一直在探(tan)索存算一体技术,过去2年(nian)推出(chu)并(bing)量产了(le)基于首代(dai)“天枢(shu)”架(jia)构的(de)H30和M30边端芯片,即使(shi)在落后一代(dai)工(gong)艺节点的(de)情况下,能(neng)效比仍(reng)具有2倍的(de)优势,这是(shi)存算一体架(jia)构带来的(de)收益(yi)。
该公司已提(ti)供从芯片到(dao)终端的完整解决(jue)方案,信晓旭说,后摩新一代芯片将基(ji)于(yu)“天璇(xuan)”架(jia)构,计算效(xiao)率将提(ti)升20%,对大语言模型(xing)/视觉(jue)语言模型(xing)、端边场景进行(xing)优化,更具易用性,明年就将问世。
▲后摩智能联合创始人、产(chan)品副(fu)总裁(cai)信晓旭
随着大模(mo)型推动物理世(shi)界(jie)的智能化(hua)演(yan)进,更(geng)多的应用(yong)将(jiang)在边(bian)缘(yuan)(yuan)侧完成。大模(mo)型使边(bian)缘(yuan)(yuan)AI场景面临新的算(suan)力(li)挑(tiao)战:算(suan)力(li)需求大、带宽(kuan)要(yao)求高、计(ji)算(suan)扩展性强。云天励飞(fei)副总裁、芯(xin)片业务线总经理李爱军谈道,国(guo)产工(gong)艺(yi)边(bian)缘(yuan)(yuan)AI芯(xin)片要(yao)应对挑(tiao)战,架构创新是(shi)关键。
面向新(xin)的(de)边缘AI计算(suan)场景,云天励飞研发(fa)国内首颗基(ji)于(yu)国产工艺(yi)Chiplet系列化边缘AI芯片(pian),采用“算(suan)力积(ji)木(mu)”的(de)理(li)念,设(she)计了D2D Chiplet/C2C Mesh大(da)模(mo)型推(tui)理(li)架构,从(cong)芯片(pian)设(she)计、制(zhi)程工艺(yi)、基(ji)板(ban)选择(ze)到封装测试均用国产技(ji)术(shu),算(suan)力覆盖8TOPS~256TOPS,满(man)足大(da)模(mo)型落(luo)地的(de)个性化需求(qiu),可应用于(yu)各(ge)类边缘场景,并且(qie)工具链与(yu)软件栈(zhan)统一,算(suan)法的(de)部(bu)署(shu)落(luo)地更便捷。
他预告说,云天励飞后续将发(fa)布基(ji)于(yu)国产工艺的(de)大(da)模型(xing)边缘推理一体(ti)机,提(ti)供更有性(xing)价(jia)比的(de)边缘算力。
▲云(yun)天励飞副总(zong)裁、芯片业务线总(zong)经理李爱(ai)军
据(ju)安谋科技(ji)产品总监(jian)杨磊(lei)分(fen)享,边(bian)缘侧大模(mo)型部署的(de)载体包括(kuo)AI手机、AI PC、智能汽车、机器人等,鉴于(yu)这些设备对成本、功耗及散热的(de)高(gao)度敏感(gan)性,100亿参数规模(mo)以下的(de)大模(mo)型被视为(wei)边(bian)缘侧部署的(de)理想(xiang)选(xuan)择(ze)。为(wei)实(shi)现(xian)边(bian)缘侧部署的(de)最高(gao)效(xiao)率,异(yi)构计(ji)算(suan)方案脱颖而(er)出(chu),它能够(gou)充分(fen)挖(wa)掘(jue)并利(li)用(yong)边(bian)缘侧设备的(de)计(ji)算(suan)能力(li),从而(er)达到性价(jia)比的(de)最优化。
为(wei)了(le)应对大模型在(zai)边缘(yuan)侧部署的(de)(de)(de)挑(tiao)战,安(an)谋(mou)科技自研(yan)新一代“周易(yi)(yi)”NPU通(tong)过(guo)创(chuang)新的(de)(de)(de)计(ji)(ji)(ji)算单元微架构(gou)设计(ji)(ji)(ji),能够(gou)同时支(zhi)持卷积神经网络(CNN)和(he)(he)Transformer架构(gou),在(zai)计(ji)(ji)(ji)算架构(gou)层(ceng)面(mian)有效减轻了(le)带宽需求,并增(zeng)强了(le)算力的(de)(de)(de)可(ke)扩展(zhan)(zhan)性。此外,“周易(yi)(yi)”NPU还能够(gou)通(tong)过(guo)多核扩展(zhan)(zhan),实(shi)现更强大的(de)(de)(de)计(ji)(ji)(ji)算能力,进一步提升了(le)边缘(yuan)侧大模型部署的(de)(de)(de)灵活性和(he)(he)效能。
▲安谋科(ke)技产品(pin)总监杨磊
智芯科从2019年开始研究(jiu)基于SRAM的(de)存算(suan)一体芯片,已有(you)大量专利积(ji)累。智芯科创始人兼CEO顾(gu)渝骢认为,具身(shen)智能是其中(zhong)最大的(de)落地场景之一,具身(shen)智能对低延时、低功(gong)耗都(dou)有(you)严苛的(de)要求,因此有(you)必要配备高能效的(de)存算(suan)一体AI芯片。
存(cun)算一体芯片的(de)主(zhu)流技术路径包(bao)括DRAM、SRAM、Flash、Emerging NVM等。其中,SRAM具有读(du)写(xie)速度快(kuai)(kuai)、能效比高、工艺成熟和可集成性佳的(de)优(you)势,可快(kuai)(kuai)速无限次读(du)写(xie),很适合Transformer的(de)自注意力(li)机制。
智(zhi)(zhi)芯(xin)科基(ji)于SRAM的模数混合存内计算芯(xin)片,精度高、量产(chan)一(yi)致(zhi)性高,并能够进一(yi)步降低(di)功耗。硬件之外,智(zhi)(zhi)芯(xin)科还(hai)打造了通用性、易用性较强的软(ruan)件生态(tai)。据顾渝骢透露(lu),未来(lai)智(zhi)(zhi)芯(xin)科将推出(chu)面向具(ju)身智(zhi)(zhi)能感知到大算力边缘服务器(qi)的众多产(chan)品,覆盖大模型、机(ji)器(qi)人和自动驾驶等场景。
▲智(zhi)芯(xin)科(ke)创始人(ren)兼CEO顾(gu)渝骢
大模型认知(zhi)智(zhi)(zhi)能(neng)已呈现初步的智(zhi)(zhi)能(neng)涌(yong)现,但(dan)很多都(dou)是单(dan)点(dian)的能(neng)力(li)。聆思科技副(fu)总(zong)裁徐(xu)燕松强调(diao)了系统集成的重要性,对设备厂(chang)商而(er)(er)言,为大而(er)(er)全(quan)的AI单(dan)点(dian)能(neng)力(li)找(zhao)到中间态是主要命(ming)题。算法(fa)取决于场景,端侧模型的算法(fa)应用会重新定义(yi)AI芯片需求(qiu),因此需要将算法(fa)算力(li)一体化。
聆思科技致力于打造智能(neng)终端人机(ji)交互入口芯(xin)(xin)片(pian),进行(xing)了云-端-芯(xin)(xin)算(suan)法算(suan)力一体化布局,提供自主知识(shi)产权(quan)AI芯(xin)(xin)片(pian)、高性(xing)能(neng)IoT芯(xin)(xin)片(pian),并(bing)以(yi)模(mo)组(zu)成本最优来设计(ji)芯(xin)(xin)片(pian),能(neng)够以(yi)单(dan)芯(xin)(xin)片(pian)满足(zu)客户(hu)在性(xing)能(neng)、价(jia)格两方面的需求平衡。同时其端侧内置超100项行(xing)业(ye)顶级AI算(suan)法,还能(neng)直连AI云平台(tai),与星火大模(mo)型形成联动。
▲聆思科技副总裁徐(xu)燕松
近年来,随着智(zhi)慧(hui)城市的(de)推进,算(suan)(suan)法(fa)在公安(an)、金(jin)融、安(an)防及零售等多个领域的(de)应(ying)用逐渐增多,基于此,极(ji)视角(jiao)科(ke)技打(da)造了(le)算(suan)(suan)法(fa)商城。极(ji)视角(jiao)科(ke)技联合创始(shi)人&高级副总裁(cai)刘若水谈道(dao),在保(bao)证(zheng)算(suan)(suan)法(fa)质量方(fang)面,极(ji)视角(jiao)的(de)优势是(shi)数据来源(yuan)丰富、内部算(suan)(suan)法(fa)团队会提供(gong)底层(ceng)算(suan)(suan)法(fa)能力(li)、40万开(kai)发(fa)者通(tong)过(guo)PK评(ping)测保(bao)障算(suan)(suan)法(fa)最优。
极(ji)视(shi)角(jiao)科技已打造AI极(ji)星(xing)和AI极(ji)光平(ping)台(tai)。AI极(ji)星(xing)平(ping)台(tai)有标准(zhun)的(de)(de)算(suan)(suan)法部(bu)(bu)(bu)署(shu)、硬件配(pei)置的(de)(de)功能,支持统一算(suan)(suan)法接入标准(zhun),可以纳(na)入符合接口规范的(de)(de)第三(san)方算(suan)(suan)法,整个(ge)(ge)系统部(bu)(bu)(bu)署(shu)时间在1个(ge)(ge)小时左右;AI极(ji)光则侧重(zhong)于算(suan)(suan)法的(de)(de)轻量(liang)化部(bu)(bu)(bu)署(shu)。
▲极视角科技联合创始人&高级(ji)副总裁刘若水
视海芯图(tu)创(chuang)始人(ren)兼董事长许达文分享(xiang)说,机(ji)器人(ren)需要同时运行感知、判定、决策(ce)和执(zhi)行任务,对算(suan)(suan)力和能耗要求严苛,视觉语言模型(xing)更是带来(lai)了新的(de)挑战。现在的(de)机(ji)器人(ren)需要一款加速图(tu)像融合处理传(chuan)统算(suan)(suan)法和AI算(suan)(suan)法的(de)边缘端(duan)芯片。
机器人感(gan)知一方(fang)面(mian)(mian)作(zuo)为VLM大(da)模型的输入,另一方(fang)面(mian)(mian)为机器人SLAM建图(tu)及(ji)位姿估计。视海芯(xin)图(tu)推出了(le)SH1210视觉芯(xin)片,整(zheng)合(he)了(le)CPU、NPU、ISP、3DCP、特征提(ti)取(qu)模块(kuai)和多传感(gan)融(rong)合(he)模块(kuai),让(rang)应(ying)用(yong)和算(suan)法(fa)能以最大(da)化的利(li)用(yong)率映(ying)射(she)到硬(ying)件(jian)。
其(qi)图像融合(he)(he)架构(gou)实现(xian)了ISP每(mei)个处(chu)理(li)步骤的可控,还可通(tong)过神经网(wang)络处(chu)理(li)识别关键(jian)目标和区域,进行针对性(xing)的图像增强,实现(xian)能效(xiao)提升(sheng)。采用SH1210的RGB-D相机(ji)能够(gou)高效(xiao)融合(he)(he)深(shen)度空(kong)间数(shu)据和RGB信(xin)(xin)息,完善机(ji)器人(ren)的视(shi)觉(jue)信(xin)(xin)息。
▲视海芯图创始人(ren)兼董事长许达(da)文
富瀚微资深市场(chang)总监冯晓光(guang)对边缘(yuan)视频(pin)AI芯片(pian)(pian)(pian)进(jin)行复盘与展望。边缘(yuan)视频(pin)AI芯片(pian)(pian)(pian)被设计(ji)用于摄像机(ji)、录(lu)像机(ji)等(deng)边缘(yuan)设备,进(jin)行视频(pin)内(nei)容分析和处理。Transformer将视频(pin)处理带(dai)入2.0时代,也为AI芯片(pian)(pian)(pian)带(dai)来(lai)新的(de)架构变化。区别于传统(tong)(tong)的(de)CNN网络,Transformer大(da)模型推(tui)理过程(cheng)中的(de)参(can)数读取(qu)带(dai)来(lai)系统(tong)(tong)带(dai)宽需求(qiu),计(ji)算过程(cheng)中的(de)矩阵相乘则带(dai)来(lai)主(zhu)动加速需求(qiu)。
冯(feng)晓光(guang)认为,未来端(duan)(duan)侧AI芯片(pian)(pian)不会呈(cheng)某一个架构的统一,而(er)会呈(cheng)金(jin)字(zi)塔形态。其中,0.5TOPS以下算力(li)(li)的低端(duan)(duan)高性价比芯片(pian)(pian),将(jiang)覆(fu)盖80%以上的应用(yong);支持轻量(liang)化(hua)Transformer、AI ISP的中端(duan)(duan)主流(liu)AI芯片(pian)(pian)主要是NPU,算力(li)(li)1~8TOPS;高端(duan)(duan)的边缘AI芯片(pian)(pian)可(ke)能(neng)以GPGPU架构为主,算力(li)(li)超20TOPS,可(ke)运行(xing)边缘多(duo)模态大(da)模型。
▲富瀚微(wei)资深市场(chang)总(zong)监冯(feng)晓光
结语:AI芯片企业承压前行
随着大模型革命席卷(juan)全球,算力需求达到新高,推动云边端(duan)AI芯(xin)片迭代与(yu)进化。在数(shu)据爆炸式增(zeng)长、工(gong)艺逼近物理(li)极(ji)限、国际形(xing)势复杂多变(bian)三朵乌云下,许多AI芯(xin)片企(qi)业低调务实地承压前(qian)行,积极(ji)备战生成式AI浪潮带(dai)来的时代机遇(yu)。
从2018年(nian)3月举办(ban)国(guo)内首场AI芯(xin)片(pian)产业(ye)(ye)峰(feng)会(hui)(hui)至今,七年(nian)来(lai),除了2021年(nian)受疫情影响外,全(quan)球AI芯(xin)片(pian)峰(feng)会(hui)(hui)基本上保(bao)持每年(nian)一届的节奏,邀请近150位大咖分享(xiang)前沿进展和行业(ye)(ye)洞见(jian),成为了解国(guo)内外AI芯(xin)片(pian)发展动态的重要窗口,也是目前国(guo)内在AI芯(xin)片(pian)领域里最具(ju)影响力的行业(ye)(ye)峰(feng)会(hui)(hui)。
据(ju)智(zhi)一科(ke)技联合创始人、CEO龚(gong)伦常透露,智(zhi)一科(ke)技旗下硬科(ke)技知(zhi)识(shi)分享社(she)区智(zhi)猩猩将联合智(zhi)能产业新(xin)媒体智(zhi)东西(xi)、智(zhi)能汽(qi)车(che)(che)产业新(xin)媒体车(che)(che)东西(xi),11月份在上(shang)海(hai)举(ju)行今(jin)年的(de)第二场生成式AI大会(hui),12月份举(ju)办中(zhong)国端到端自动驾(jia)驶峰会(hui),欢迎参会(hui)交流。