智东西（公众号：zhidxcom）
作者 | 云鹏
编辑 | 漠影
当前，随着AI技术与各类设备的加速融合，AI早已不再局限于云端，而正在向边缘和端侧加速落地。据SHD Group预测数据，到2030年，边缘AI SoC市场营收或达千亿美元规模。
从应用层面来看，边缘AI能带来时延、安全、能效、成本和稳定性等多方面优势，但也在技术和生态层面带来诸多挑战。
举例来说，智能(neng)摄像头正通过本(ben)地(di)(di)运(yun)行更(geng)复杂(za)的计算(suan)机(ji)视觉(jue)算(suan)法，工(gong)业传感器也(ye)更(geng)多在本(ben)地(di)(di)处理更(geng)复杂(za)的AI模(mo)型，这(zhei)类设(she)备的本(ben)地(di)(di)运(yun)行模(mo)式，确实能(neng)带(dai)来更(geng)低(di)时延(yan)与成本(ben)；但随着设(she)备侧数据量(liang)持续攀升(sheng)，工(gong)作负载达到(dao)新(xin)量(liang)级，数据安(an)全(quan)的重要(yao)性也(ye)被(bei)提升(sheng)到(dao)了空前(qian)高度。
在这样的背景之下，物联网厂商迫切需要新的AI算力底座帮助他们进行快速创新和扩展，行业(ye)正呼唤技(ji)术(shu)层面更高效、生态层面更完善(shan)的(de)新解(jie)法。
近年来(lai)，作为计算(suan)平(ping)台领域重要(yao)玩(wan)家之(zhi)一的(de)Arm，对AI的(de)发展(zhan)一直(zhi)保持着敏锐嗅(xiu)觉，其诸多重要(yao)策略均直(zhi)指AI给各领域带来(lai)算(suan)力挑战(zhan)。从数据中心、汽车(che)、手机、PC到IoT，基于Arm生态的(de)AI计算(suan)平(ping)台已经(jing)无处不在。
聚焦边缘AI领域，Arm于今年二月发布了全球首个专为物联网及边缘AI工作负载优化的Armv9边缘AI计算平台，推动物联网行业加速迈入AI时代。如今，该计算平台将正式通过Arm技术授权订阅模式中的Arm Flexible Access模式开放获取，为(wei)边缘AI产业发展进一步(bu)注入(ru)新动力。
一、底层架构创新下放，Arm新平台直指物联网AI融合痛点
纵观当前AI技术的发展，AI大模型“小型化”趋势突出，越来越多的优秀小模型开始拥有更为出色的AI性能；与此同时，Agent智能体浪潮涌起，Agent成为(wei)各(ge)类(lei)垂类(lei)专业模型的“大管(guan)家”，调(diao)度各(ge)类(lei)设备(bei)、统筹(chou)各(ge)类(lei)边缘(yuan)和端侧数据，高效处理(li)复杂的现实任务。
物联网设备的AI化已经成为一种必然，正如Arm所指出的，下一波AI计算创新浪潮将在边缘侧展开，在那些让智能更贴近数据产生源头的设备、接口与系统中蓬勃发展。
在这样的确定性之下，如何让物联网设备可以更好地在边缘侧落地AI，已成为十分迫切的问题。整体来看，Armv9在物联网领域的下放，提供了智能边缘设备大规模部署所需的高性能与高能效，其内置的安全机制还能兼顾数据安全，而架构本身的灵活(huo)性与(yu)可扩展性，更(geng)为后(hou)续(xu)发展预留了充(chong)足空间。
首先，AI时代最核心的是AI性能。Arm最新的边缘AI计算平台将性能拉满——通过集成增强的Armv9的Neon和SVE2向量处理技术，在ML性能方面，Cortex-A320相较于前代超高效CPU（Cortex-A35）提升了高达10倍的ML计算能力，标量性能提升了30%；相较于去年推出的基于Cortex-M85的平台，新平台的ML性能提高了8倍之多。目前新边缘AI计算平台已经可以支持参数量超10亿的端侧AI模型。
Arm物(wu)联网事(shi)业部硬件产品管理高级总监Lionel Belnet在与智东西(xi)等媒体(ti)的(de)(de)交流中提到(dao)(dao)，Arm在边缘AI的(de)(de)Armv9产品矩阵可从(cong)超高能效的(de)(de)Cortex-A320一(yi)路展开到(dao)(dao)最新(xin)发(fa)布的(de)(de)超高性(xing)能C1-Ultra，达到(dao)(dao)边缘AI全场(chang)景的(de)(de)覆盖。
能效方面，Arm架构本身以低功耗著称，而Armv9边缘AI计算平台中包含了Armv9架构的超高能效CPU——Arm Cortex-A320，它的能效比相较Cortex-A520（Arm的高效Armv9.2 CPU）提升了50%，进一步降低了功耗。
需要(yao)指出的是(shi)(shi)，能效(xiao)对(dui)应的是(shi)(shi)企业成本，这对(dui)物联网这种对(dui)功耗要(yao)求(qiu)严苛的行业至关重要(yao)，这也是(shi)(shi)Arm架构(gou)在该领域广受欢(huan)迎的原因。
另外一个至关重要的点是安全性。为了应对大量数据在边缘侧的采集、计算带来的数据隐私安全的风险，Arm将Armv9的一系列先进安全技术下放到边缘AI市场，如指针验证（PAC）、分支目标识别（BTI）和内存标记扩展（MTE），给(ji)边缘侧的关键(jian)应用与(yu)数据安(an)全(quan)提(ti)供了扎实的防护。
值得一提的是，在出色AI能力、高安全性的基础上，Armv9架构的高扩展性、灵活性同样给物联网厂商们带来了开发层面的极大便利。
此外，边(bian)缘(yuan)AI普及面(mian)临的最主要(yao)障碍之一就是软(ruan)件(jian)开发(fa)和(he)部署的复杂(za)性，这正是Armv9边(bian)缘(yuan)AI计算平台软(ruan)件(jian)生态系统发(fa)挥优势的关键所(suo)在。
今年初Arm将开源AI库Arm KleidiAI扩展到了物联网领域，迄今(jin)已与(yu)几乎所有(you)主流(liu)物(wu)联网AI框架(jia)进(jin)行集(ji)成。简单来(lai)说，Arm KleidiAI可以让开发者无缝地利用(yong)到Armv9架(jia)构的先进(jin)功能和灵(ling)活性，简化边缘AI开发流(liu)程。
根据官方数据，在Llama.cpp上运行(xing)微软(ruan)Tiny Stories数据集，KleidiAI的集成(cheng)给新的Cortex-A320可(ke)以带来70%的性能提升，同时KleidiAI兼容Linux、Zephyr等操作系统，灵活性大幅(fu)提升。
可以说，从性能、能效、安全到开发生态，新的Armv9边缘AI计算平台给物联网拥抱AI提供了新解法，让物联网赛道的厂商和开发者们能够更快抓住AI新机遇，加速边缘AI的落地。
二、进一步降低技术落地门槛，Arm生态“朋友圈”加速扩容
做好了物联网边缘AI落地一揽子解决方案还不够，Arm还进一步降低先进技术获取门槛，直接将Armv9边缘AI计算平台，Cortex-A320与Ethos-U85，正式引入Arm技术授权订阅模式中的Arm Flexible Access方案之中。
直观来看，Arm从市场切入路径、成本结构、创新效率等方面(mian)给厂商带来价值，让技术更(geng)好(hao)地“落到(dao)实处”，让所有中小(xiao)企业能更(geng)好(hao)获益，加速(su)实现AI普惠。
凭借这一模式，Synaptics、树(shu)莓(mei)派、Weeteq、Hailo及SiMa.ai等合作伙(huo)伴已成功打(da)造出具有开创性的边(bian)缘(yuan)AI技(ji)术，在物联网诸多细分领域加速落地。
根据官方数据，目前基于Arm Flexible Access方案的合作伙伴已经实现超400次成功流片，活跃成员数量超过300家。在落地中国后，已有超过70家(jia)国内客(ke)户采用了该技术(shu)授权模式(shi)，进行产品(pin)创新开发。
结语：边缘AI风暴狂涌，Arm技术生态迸发巨大潜力
当前，边缘AI的发展，促使行业对硬件和软件异构性、顺畅开发和规模化安全性三方面的需求猛涨，边缘AI计算创新势在必行(xing)。
Armv9架(jia)构(gou)的(de)(de)诸多特性(xing)、出色的(de)(de)AI能力基础、完善的(de)(de)软件和生态(tai)支撑，都给(ji)行(xing)业各路玩家(jia)带(dai)来(lai)了新的(de)(de)可能性(xing)，新的(de)(de)Arm边缘(yuan)AI计算平台无疑会(hui)成为新一轮物(wu)联网创(chuang)新的(de)(de)催(cui)化剂。
展望未来，AI向边缘、端侧的转移已经成为行业确定趋势，边缘(yuan)AI正在加快各(ge)种技(ji)术设备的(de)数字化转型(xing)。在这一未(wei)来趋(qu)势下，Arm依靠硬核技(ji)术创新底色、灵(ling)活的(de)技(ji)术获(huo)取模(mo)式以(yi)及深厚的(de)开放软件生态系统，无疑展现出巨大潜(qian)力，成为物联网玩(wan)家在AI时代搏浪的(de)坚实(shi)基(ji)座。
