智东西（公众号：zhidxcom）
作者｜云鹏
编辑｜漠影
DeepSeek的(de)火爆给全球AI产业发展带(dai)来的(de)核心价值(zhi)之(zhi)一，就是(shi)极大加快了AI应用的(de)普及，尤其(qi)在国内市场(chang)，几(ji)乎各(ge)类产品都在增加与AI能力的(de)融合。
这意味着AI大语言模型将不再只是在天上飞（局限于云端），更是可以真正落地在我们身边生活中的设备上，走向边缘和端侧，而IoT市场作为(wei)边(bian)缘智能(neng)的(de)代表性(xing)领域，成为(wei)这波边(bian)缘AI的(de)最(zui)大关注点之一。
今天，随着AI技术(shu)的(de)快速发(fa)(fa)展，IoT等边(bian)缘(yuan)(yuan)AI领域也逐渐涉及更复杂的(de)算法，且涌现(xian)出了更多的(de)边(bian)缘(yuan)(yuan)AI推理需求。这样一(yi)来，应用(yong)对计算性能以及算效比的(de)需求越来越高(gao)，与此(ci)同(tong)时，数(shu)据(ju)安全问题也愈发(fa)(fa)凸显。
从智慧城市、智慧工业、智能家居、智能穿戴到新零售，AI技术的广泛应用带来了AI计算需求和安全性方面的新挑战。面对这(zhei)些(xie)新(xin)的需求，行(xing)业正呼唤新(xin)的解法。
就在昨天，Arm发布了全球首个专为物联网优化，以全新的Cortex-A320 CPU和Arm Ethos-U85 NPU为核心的Armv9边缘AI计算平台。它不是(shi)CPU和AI加速器的简单堆叠，而是(shi)实现了CPU和NPU深度融合(he)、相得益(yi)彰的解决(jue)方案(an)。
这是(shi)Armv9架构诸多优势特性首次(ci)在IoT市场落(luo)地，其在效率、性能和安全方面的升级直(zhi)指(zhi)当下边缘AI新(xin)需(xu)求。与此同时，Arm还将软件层的KleidiAI拓(tuo)展到了IoT领域，使边缘AI开发进(jin)一(yi)步简化(hua)。
Cortex-A320如何(he)解决以IoT为代表的边缘AI领域(yu)行业需求痛点、Armv9带(dai)来了哪些(xie)关键技术(shu)(shu)升级？软(ruan)件层(ceng)面的新(xin)进展又如何(he)加速IoT领域(yu)的技术(shu)(shu)创新(xin)、应用落(luo)地？我们将(jiang)尝试找到答案(an)。
一、边缘AI风暴来袭，算力和安全成两大IoT突出难题
近年来，随着AI技术的发展和广泛应用、计算需求快速增长，越来越多AI工作负载从数据中心和云端转向边缘侧进行处理，这给人们的生产和生活带来了切实的益处，但同时也带来计算性能瓶颈、安全挑战等问题。
比(bi)如在工(gong)业(ye)质检领域，AI视觉质检系统每带来1%的产线漏检率降低(di)，可能意味着(zhe)千万(wan)级的成本节约，但在复杂的工(gong)厂条件下实(shi)现(xian)这1% 的小目标，从技术上(shang)来讲(jiang)绝非易(yi)事；汽车行业(ye)，自动驾驶与驾驶员的生命安全息息相(xiang)关，它的成功应用需(xu)要激光雷达、摄像头等传感(gan)器(qi)的数(shu)据需(xu)要在100ms内(nei)融合并被模型处理(li)。
智(zhi)慧(hui)医疗领(ling)域，边缘(yuan)AI系统通过实时分析监护(hu)仪数据，预(yu)警相关(guan)病(bing)症(zheng)(zheng)的(de)(de)早(zao)期(qi)症(zheng)(zheng)状，这一过程的(de)(de)高效与精准(zhun)，高度依(yi)赖于底层芯片的(de)(de)性(xing)能表现，算(suan)力不(bu)足导致的(de)(de)预(yu)警延迟(chi)以及(ji)预(yu)测准(zhun)确率下降(jiang)，都会极(ji)大影响到病(bing)人的(de)(de)健康。
未来随着AI高清视频实时分析、AI工业设备故障检测等复杂任务需求越来越多，边缘AI计算能力的重要性愈发凸显。IoT领域正呼唤从芯片架构到算法层的全面革新，进而真正释放AI带来的革命性潜力。
在计算性能、效率之外，边缘AI的发展同样带来了数据安全层面的风险。在边缘计算中，随着越来越多的边缘AI设备(bei)接入网络，数据在边缘设备(bei)和云端或者其他边缘设备(bei)之间传输，容易受到网络攻击。
因此面(mian)对边缘AI迅猛发展(zhan)，边缘设备必(bi)须具备更强的推(tui)理能力、更安全的计(ji)算架构。
从行业(ye)视角来(lai)看，传统边缘侧设备所使(shi)用的(de)芯片以无法满足越(yue)来(lai)越(yue)多的(de)实(shi)时AI处(chu)理、计算(suan)密(mi)集型推理任(ren)务。
在昨日的(de)Arm新品发布会(hui)上，Arm物联网(wang)事(shi)业部业务拓展副总裁马健提到(dao)，在她近期与(yu)许多(duo)合作(zuo)伙伴(ban)针对(dui)边缘AI的(de)交(jiao)流(liu)中(zhong)，大(da)家一(yi)致的(de)反馈是，AI将使他们重(zhong)新定义产品设(she)计——把具有Transformer这种加(jia)(jia)速功能(neng)的(de) AI 加(jia)(jia)速器加(jia)(jia)进去，或者(zhe)采(cai)用(yong)能(neng)够(gou)更(geng)好支持AI的(de)CPU。
▲Arm物联(lian)网事业(ye)部业(ye)务(wu)拓展副总裁马健
IoT产业对于在边缘侧也能拥有更高性能的Cortex-A级别的计算能力以及升级至Armv9架构的需求十分突出，Arm的边缘AI平台新品，可以说是直指痛点。
二、10倍AI计算性能，异构计算扩展场景适应力，支持Armv9 四大安全特性
基于(yu)这样的(de)(de)行(xing)业背景，Arm此(ci)次推(tui)出(chu)了首(shou)款基于(yu)Armv9架构、专为边缘(yuan)AI设(she)计的(de)(de) Cortex-A CPU——Cortex-A320，以及结(jie)合了Cortex-A320和Ethos-U85的(de)(de)边缘(yuan)AI计算平台。
在AI计算性能和能效提升方面，Cortex-A320相比Cortex-A35最高有着10倍的AI计算性能提升，相比Cortex-A53也有6倍以上的提升，这(zhei)对于(yu)增强边(bian)缘(yuan)设备(bei)的(de)推理能力(li)十分关键。
相较Cortex-A520，Cortex-A320的能效提升可以达到50%，在相同(tong)芯片面积下，Cortex-A320较Cortex-A53有着15%的(de)性能提升，相较Cortex-A35有30%左右的(de)性能提升。
这样(yang)的性能(neng)和(he)能(neng)效提(ti)升反(fan)应在产业落地端，究竟能(neng)够带来怎(zen)样(yang)的改(gai)变？
以一个贴近日(ri)常的例子来说，相较于(yu)Cortex-M系列，Cortex-A320在(zai)内存(cun)寻址能力、整体(ti)性能以及(ji)安全(quan)防(fang)护(hu)上均实(shi)现(xian)了显著提(ti)升，这(zhei)使得它能够游刃有余地(di)支撑起(qi)多(duo)种(zhong)人机(ji)交(jiao)互(hu)场景，特(te)别是对视频流(liu)等(deng)视觉交(jiao)互(hu)应用(yong)有着(zhe)出色(se)的支持。
设想(xiang)一(yi)下，在某个(ge)重要的(de)展(zhan)览会上(shang)，你偶遇了一(yi)位熟人，却一(yi)时想(xiang)不起他的(de)名字，这(zhei)时，你的(de)智能眼镜就能即刻为你识别并提供对方的(de)信息(xi)，甚至还能贴心地在你的(de)视线中嵌入演(yan)讲要点，助你实(shi)现“即兴”发言(yan)。
随着技术的不断进(jin)步，智能眼镜这(zhei)类边缘设备正逐步成(cheng)为我(wo)们生活中的得力助手，让(rang)我(wo)们得以释(shi)放双(shuang)手，去专注于(yu)更多想要完成(cheng)的事情。
Arm Cortex-A320带来的不仅是技术参数的变化，在部分领域甚至可以带来商业模式升级重构。边缘AI的算力跃迁，本质是在重构人、机器与物理世界的交互范式。
除(chu)了性能和(he)能效的(de)提升，异构计算(suan)的(de)特性支持也(ye)同样重要。
这(zhei)次(ci)Arm的Cortex-A320与(yu)Ethos-U85 NPU一(yi)起组成了CPU+NPU协(xie)同计算架构，形成完整(zheng)的异构计算平台。要(yao)知(zhi)道，Ethos-U85是Arm Ethos-U产品(pin)线中的第(di)三代NPU，也是迄今为止性能和(he)能效最强的Ethos NPU，与(yu)上一(yi)代产品(pin)相比，其(qi)性能提升了4倍，能效提高了20%。
基(ji)于(yu)异构计(ji)算能力，任何开发者们不(bu)希望在(zai)Ethos-U85上(shang)运行(xing)(xing)的AI操作，都可以回退(tui)到Cortex-A320上(shang)，利用其(qi)Neon/SVE2引擎(qing)更灵活有效地(di)在(zai)CPU上(shang)执行(xing)(xing)。
这样一来，智能物联网与消费类电子生态系统能够在正确的时间、合适的地方运行最适合的工作负载。
CPU与NPU的(de)深度融(rong)合(he)之(zhi)下，新的(de)AI计算平台可以覆盖更(geng)多(duo)应用(yong)场(chang)景，实现(xian)包括视觉和(he)自然语言在(zai)内的(de)多(duo)模态的(de)环境感(gan)知(zhi)与理解，进(jin)而运行AI智能体、自主规划、执行复杂任(ren)务。
8倍的机器学(xue)习计(ji)算性能(neng)提升，令其可以赋(fu)能(neng)边缘AI设备本地运行超(chao)过(guo)10亿(yi)参数的大(da)(da)模(mo)(mo)型(xing)(xing)，让基于大(da)(da)模(mo)(mo)型(xing)(xing)的生成式AI更(geng)好地在物联网领域落地。
值得一提的是，在当下AI大模型需求较高的内存访问性能方面，Cortex-A320支持更大的可寻址内存空间，能更灵活地管理多层次内存访问延迟。同时Cortex-A320还能运行(xing)功能更丰富的(de)操(cao)作系(xi)统(tong)，让(rang)设备管理更灵活。
最后(hou)在安(an)全(quan)性方(fang)面，Armv9支(zhi)持(chi)MTE（内存标记(ji)扩展）、PAC（指(zhi)针认证）、BTI（分支(zhi)目标识(shi)别）以及S-EL2虚拟化，可以给边缘设备提供端(duan)到端(duan)的安(an)全(quan)防护。
整体来看，在硬件层面，Arm的Cortex-A320与Ethos-U85异构计算平台是实实在在地帮助企业解决了性能、能效和安全方面的边缘AI新需求。Armv9架构层面的诸多优势特性，开始给IoT领域企业带来AI创新和应用落地的加速。
据(ju)悉，这次Arm发布的(de)边缘AI计算平(ping)台已经获得亚(ya)马逊云科(ke)技、西门(men)子(zi)、瑞(rui)萨电子(zi)、研华科(ke)技等厂商的(de)支持。
三、Arm软件大招落地IoT，边缘AI规模化应用提速
当然，Arm的完整解决方案不止于此。硬件是基础，软件是加速器，软硬件组合拳才能更高效地解决边缘AI痛点，此次(ci)Arm还同(tong)步将(jiang)KleidiAI引入(ru)IoT领域，加速AI应(ying)用(yong)在边缘落地(di)。
纵观行业发展，完善的软件生态可以降低开发者门槛，而软(ruan)件也一(yi)直是Arm计算平台不可或(huo)缺的一(yi)部分。
正如前文所提到的，边缘设备(bei)种类繁多，硬件(jian)性能和(he)功能差异(yi)大，在这一(yi)场景中，出(chu)色软件(jian)技术可以优化(hua)算法和(he)模型(xing)，使(shi)AI模型(xing)能在各种边缘设备(bei)上高(gao)效运(yun)行。
对于边缘设备有(you)限(xian)的(de)(de)计(ji)算(suan)资源，软件技术可通过模(mo)型压缩、量化、优化算(suan)法(fa)等手段，在保证(zheng)AI性能的(de)(de)前(qian)提下，降低(di)模(mo)型对计(ji)算(suan)资源的(de)(de)需求(qiu)，进而提高计(ji)算(suan)效(xiao)率。
KleidiAI是一套专为AI框架开发者设计的计算内核，让开发者(zhe)可以无缝(feng)地(di)在Arm CPU上获取最佳性能，适用于各类(lei)设(she)备(bei)。
从(cong)去(qu)年初次面向终端(duan)市场亮相、随后(hou)扩展至基础设施领(ling)域(yu)，KleidiAI如今进(jin)一步覆(fu)盖IoT领(ling)域(yu)，给各个(ge)领(ling)域(yu)的(de)开发(fa)者提供所需(xu)的(de)性能、工具和软件库支持。
简单来说，Arm Kleidi软件库(ku)最核心的(de)作用(yong)就是帮助开发(fa)者让AI应用(yong)得到Arm CPU加(jia)速(su)，因为(wei)目(mu)前全球大(da)多数AI推理工(gong)(gong)作负载都在Arm CPU上运行(xing)。开发(fa)者不需要额(e)外学(xue)习新工(gong)(gong)具和技能、无需复杂的(de)集成工(gong)(gong)作，IoT应用(yong)开发(fa)门槛(jian)和成本大(da)幅(fu)降低。
在出(chu)色(se)的软件生态(tai)和丰富(fu)开发工具的支持下，Arm AI计算平台的灵(ling)活性得到(dao)了(le)极大释放。
这次Arm的Cortex-A320兼容Linux、Zephyr、RTOS等多种操作系统，依托Arm Kleidi，可以适配Llama.cpp、ExecuTorch、MediaPipe等主流AI框架，实现70%性能提升，这(zhei)对于AI应用在边缘落地是非常关键的。
马健在发(fa)布会上(shang)特(te)别提到，这(zhei)一(yi)优势(shi)让Cortex-A320在多个(ge)市(shi)场(chang)(chang)领域、应用(yong)场(chang)(chang)景和操(cao)作(zuo)系统之间都(dou)具有更(geng)好的灵活性，对于(yu)合作(zuo)伙伴来说，选择空(kong)间极大扩(kuo)展，规划产品路线时也可以更(geng)好地(di)适配不(bu)同场(chang)(chang)景需(xu)求(qiu)。
此次(ci)Arm Kleidi扩展至物联(lian)网领域(yu)，进一步加(jia)强(qiang)了(le)Arm在IoT AI领域(yu)的技术优(you)势(shi)，吸(xi)引更多开发(fa)者和企(qi)业(ye)(ye)基于Arm架构开发(fa)IoT应用，促进上下游产业(ye)(ye)的合(he)作与创(chuang)新。
展望未来，Arm的边缘AI计算平台必然将在IoT生态系统中扮演至关重要的角色，各个细分市场都将从Cortex-A320中受益，Arm无疑给IoT行业带来了更多可能性，为IoT市场的产品和应用创新打好了新的基础。
结语：IoT边缘AI提速，Arm软硬两手抓
近年来，Arm持续进行平台化转型，此次Arm发布首个面向IoT的Armv9处理器Cortex-A320、以及以Cortex-A320和Ethos-U85为核心的边缘AI计算平台，并扩展KleidiAI到物联网领域，无疑是通过软硬件协同，为边缘AI的加速发展、应用落地增添助力，也是Arm近年积极扮演赋能AI在各领域落地的有力展现。
放眼未来，AI计算正加速从云端走向边缘，未来边缘AI计算需求必然将持续增长，就像会中马健说道的，“AI的未来在边缘，而边缘AI的未来属于Arm。”我们拭目以待。
