智东西(公众号:zhidxcom)
作者 | 三北
编辑 | 漠影

狂飙500多天后,国内的“百模大战”正进入落地验证期。当下,行业和产业对大模型的期待,正从“你家大模型有多强?”变为“你的大模型能帮我干什么?”。

10月22日-10月25日,2024中国国际社会公共安全产品博览会(简称:2024安博会)在北京举办。作为多年来AI产业发展的一大风向标,这场盛会被产业人士寄托的使命之一正是回答上述问题。而这,也是AIoT头部企业宇视科技在做的事。

今年安(an)博会上,宇视(shi)(shi)科技的展台(tai)成为人(ren)气最高展台(tai)之一。通(tong)过五(wu)大展区近百个(ge)展出单元,宇视(shi)(shi)亮(liang)出了AI大模(mo)型落地的实战成果和(he)作(zuo)战图谱(pu)。

「装备大模型化」落地破圈!AI技术的一次自证与他证g

▲宇视展台(tai)现(xian)场人(ren)头攒动

像百度搜索一样检索视频内容的“万物搜”、夜视能力倍增的AI-ISP猎光系列夜视摄像机、能跟用户互动的AI体育锻炼屏、助智慧城市治理降本增效的大模型方案……今年宇视已不限于大模型相关部件产品展示,而是实现从软件、装备到行业方案全覆盖。

2023年5月,宇视推出AIoT行业大模型“梧桐”,今年4月升级为“梧桐2.0”版本,多模态及推理能力进一步升级,目前已经衍生和优化了上千种相关AI算法,落地城市、交通、文娱、教育等超十个行业

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲宇视展台(tai)现(xian)场展出(chu)的梧(wu)桐(tong)2.0架(jia)构(gou)图(tu)

当下,AI亟需完成一次新的价值自证和他证。To C消费类AI大模型产品(pin)的流(liu)量(liang)高峰已被瓜分一波,第二波机会来到了(le)与实体经济息(xi)(xi)息(xi)(xi)相关(guan)的To B数字(zi)化转型市(shi)场。

透过宇视科技本(ben)次安(an)博会的展出,回(hui)溯其在(zai)数(shu)字化(hua)转型中的“探模”之(zhi)路,我们(men)可(ke)以看到,大(da)模型的底座价值正如何一(yi)步步潜入千(qian)行(xing)百业,转化(hua)为新质(zhi)生产力。

一、智能升级:基于梧桐2.0的“万物搜”来了

今(jin)年安博会(hui),要说最引人关注的AI大模型新(xin)应用(yong)是什么?

可能不(bu)是(shi)各家(jia)都在做的智能聊天机(ji)器人,也不(bu)是(shi)爆火的AI视(shi)频(pin)生(sheng)成工具,而是(shi)这款名为(wei)“万物搜”的视(shi)频(pin)搜索“神器”。

在宇视(shi)中心区域展区,一块大(da)屏幕前(qian),围(wei)满了视(shi)频数据服(fu)务系统“万(wan)物搜(sou)”的(de)体验者(zhe)。他们只需要输入文字描述,就能从现场实时视(shi)频内容(rong)中,快速检索出贴近(jin)意图(tu)的(de)结(jie)果。比如搜(sou)索“拉行李箱的(de)人”,“万(wan)物搜(sou)”就会立(li)刻识(shi)别并(bing)输出对应的(de)结(jie)果。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲“万物搜”被许多(duo)观(guan)众围观(guan)体验

即便是一些十分小众的情况,“万(wan)物搜”也可以通过深度(du)解(jie)析和(he)语(yu)义理解(jie),搜索到用户所需内(nei)容(rong)。比(bi)如(ru)搜索“带狗头(tou)头(tou)套的人”这样语(yu)义更具(ju)体的描述,“万(wan)物搜”也能准(zhun)确地识别并找到。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲“万(wan)物搜”现场体(ti)验

当输入“一个(ge)举(ju)着手机拍(pai)照的年轻男士”这种多个(ge)任(ren)意元素组合(he)(he)的提(ti)示(shi)词(ci),“万(wan)物搜”也(ye)能(neng)立刻(ke)识别出来贴合(he)(he)表述的视频内容(rong)。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲“万物搜”现场体验

这(zhei)一(yi)应(ying)用(yong)具有很强(qiang)的(de)应(ying)用(yong)价值(zhi),比如(ru)可(ke)用(yong)于(yu)失物招(zhao)领(ling)。在(zai)一(yi)个智慧园区场景,某业主购买了(le)一(yi)份麦(mai)当劳外(wai)卖丢失了(le),他只需要借助“万物搜(sou)”去搜(sou)索“拿麦(mai)当劳外(wai)卖的(de)人”,就可(ke)以查(cha)询(xun)到(dao)相关的(de)视频(pin)记(ji)录,从而寻回(hui)失物。

宇视相关负责人郑勇告诉智东西,“万物搜”基于多模态大模型算法开发。相比于传统小模型时代的CV识别车牌、衣着等部分有限特征,“万物搜”的搜索对象的边界得到了极大扩展,从而使行(xing)业价值也得(de)到大幅提(ti)升。

究其背后主要的技术难点,还是多模态融合

据悉,“万物搜(sou)”基于宇视自研行(xing)业大模型“梧桐2.0”,融(rong)合自然语(yu)(yu)言处理、视频特征(zheng)提取和语(yu)(yu)音识别多种能力,深(shen)度(du)理解分析输(shu)入文本、语(yu)(yu)音或图片,及其上下文语(yu)(yu)境关系(xi),从而让用户可以准确搜(sou)索到所需(xu)的大部分视频内容(rong)。

“梧桐(tong)2.0”是一个(ge)覆(fu)盖了图像(xiang)编解码、计算(suan)机视(shi)觉、自然语言处理、多模(mo)态等(deng)多个(ge)领域的AIoT行业大模(mo)型(xing)。根据(ju)宇(yu)视(shi)官方数(shu)据(ju),其(qi)已经基于“梧桐(tong)2.0”大模(mo)型(xing)面向(xiang)十个(ge)行业推出了近千种长尾算(suan)法。与此(ci)同时,其(qi)在这十大行业“梧桐(tong)2.0”均(jun)已有(you)产品出货和项目实际(ji)落地。

“从业(ye)者(zhe)会有一个很直观的感受,越来越多(duo)的长(zhang)尾算法的需(xu)求都能得到响应(ying),行业(ye)对(dui)于视频能力的期待也因大(da)模型提高(gao)了。”郑勇说。

可以看到(dao),AI大模(mo)型已经(jing)催生了一大批智能(neng)功能(neng)和(he)行业算法(fa),呈现出落地(di)可用(yong)的效果。

而这,只是AI价值自证的一(yi)个开始。这些智能(neng)(neng)功能(neng)(neng)还(hai)需要(yao)在城市管(guan)理(li)、交(jiao)通治(zhi)理(li)、园(yuan)区运营(ying)等各行(xing)各业(ye)的场(chang)景中广泛应用,才能(neng)(neng)真(zhen)正发挥(hui)出(chu)行(xing)业(ye)价值。

二、装备进化:把大模型“塞进”摄像机

在大模型(xing)进入行业之前,有一个重要中间环(huan)节不容忽略(lve),那就是“装(zhuang)备大模型(xing)化”。

当下,我们看到微软正在将大模型“塞进”电脑,华为、苹果等手机厂商正将大模型“塞进”手机。而以(yi)宇视为(wei)代(dai)表的(de)AIoT头部企(qi)业,也正(zheng)将大模(mo)型“塞进”摄像机(ji)。

大(da)模型(xing)正催生新的(de)装备(bei)进(jin)化(hua)——本次,在宇视展(zhan)台上备(bei)受关注的(de)AI-ISP猎光(guang)系列智能摄(she)像机(ji)就是一大(da)代表。基于(yu)大(da)模型(xing)打(da)造的(de)“猎光(guang)2.0-AI-ISP”图(tu)像引擎,可以使得前端摄(she)像机(ji)应对多(duo)种(zhong)极黑、无光(guang)、微光(guang)场景挑(tiao)战。

在现场设(she)置的暗(an)室(shi)中(zhong),一台仅仅数百元的经济(ji)型摄像机,即使是(shi)在低至令人(ren)难(nan)以置信的≤0.0001 Lux的照度环境下,依(yi)然能够让图像呈现出如同在白(bai)昼中(zhong)一般(ban)的鲜艳(yan)色彩。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲AI-ISP猎光(guang)系列智能摄像(xiang)机效(xiao)果展示

大模型+智能摄像机设备,让过去AIoT行业(ye)难以解决的(de)痛点(dian)迎(ying)刃而解。

众所周知,夜间是安全隐(yin)患的(de)(de)高(gao)(gao)发时段。由于光(guang)线(xian)不足,人(ren)类(lei)视觉难(nan)(nan)以清(qing)晰地观(guan)察到周围的(de)(de)环境,往(wang)往(wang)使得安全隐(yin)患难(nan)(nan)以察觉,星光(guang)等夜视摄(she)像(xiang)机的(de)(de)出现大大缓解(jie)了这一问题。但(dan)具有高(gao)(gao)品质成(cheng)(cheng)像(xiang)效果的(de)(de)传统夜视摄(she)像(xiang)机成(cheng)(cheng)本(ben)较高(gao)(gao),在方案部(bu)署的(de)(de)时候容(rong)易(yi)被战略性(xing)舍(she)弃。

缺少高性价比的夜视摄像机,这是行业的一大痛点。

宇视AI-ISP猎光(guang)系列智能摄像机(ji)直击这一(yi)痛点。郑勇告诉智东西,基于“梧桐2.0”,摄像机(ji)算法在训练(lian)的过程中,可以采(cai)用由AI生成的大量不(bu)同场景的视频素材,例如微光(guang)的鱼(yu)塘(tang)、无光(guang)的乡村小(xiao)路(lu)等(deng),从而(er)大大压缩(suo)了训练(lian)成本。

同时(shi),基于数千种场景(jing)的(de)实验训练及测试(shi),AI-ISP猎光系列(lie)智能摄(she)像机算法快速迭代,强化拖影(ying)收敛(lian)、动态降噪、场景(jing)提亮、色彩还原、对比(bi)度(du)增强效果,使(shi)图(tu)像质量突(tu)破传统ISP极限(xian)。

可以看到,大模型已经(jing)展(zhan)现出对装备“点石成金”的(de)效果。

而这只是“装备大(da)模型(xing)化”众多例子(zi)中的一(yi)个(ge)。

今年4月,宇(yu)视(shi)提(ti)出“把所(suo)有装备(bei)用大(da)模(mo)(mo)型(xing)重(zhong)做一(yi)遍”的理念,随即推出了一(yi)大(da)批(pi)“装备(bei)大(da)模(mo)(mo)型(xing)化”产(chan)品,覆(fu)盖(gai)了AI端侧装备(bei)、AI边缘端装备(bei)、AI边缘域装备(bei)全业务场(chang)景(jing)。

在这三大场景(jing)中,除了AI-ISP猎(lie)光系列智(zhi)(zhi)能摄像机(ji),大模型改造(zao)的设备还涉及AI体测(ce)一体机(ji)、室内AI体锻屏、视(shi)频(pin)智(zhi)(zhi)能推训一体机(ji)、视(shi)频(pin)数(shu)据服务一体机(ji)等多种硬件,都实现了不同程度的数(shu)倍(bei)效果(guo)提升。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲猎光2.0家族

做(zuo)“装备大(da)模型化(hua)”的(de)难点是什(shen)么(me)?

郑勇告诉智东西,不同于(yu)手机、PC等设备大(da)模(mo)型(xing)化,AIoT设备在属于(yu)相(xiang)对弱交互(hu)但(dan)高专业度(du)的领域(yu),这就需(xu)要在大(da)模(mo)型(xing)、AIoT及行(xing)业中都(dou)有深耕的业务团队来进行(xing)支持(chi)开发,这也成(cheng)为(wei)宇(yu)视做这件事(shi)的一大(da)优势。

宇(yu)视正(zheng)通过软件硬件化(hua)、硬件装(zhuang)备化(hua)、装(zhuang)备序列(lie)化(hua)等一系列(lie)创(chuang)新(xin)研发,为全行业带来“装(zhuang)备大模型化(hua)”产(chan)品底座开放(fang)能力(li)的质变(bian)。

当下,无论是面(mian)向消费者市(shi)场(chang)还是企业级市(shi)场(chang),装备大模型化已经成为行业发展的必(bi)然(ran)趋势(shi)。

而从企(qi)业级数(shu)字(zi)化转型(xing)市场来看(kan),我国ICT装备门类众多、产品强大(da)而丰(feng)富。这些装备更是大(da)模(mo)型(xing)落(luo)地(di)的(de)重要载体(ti)(ti),是大(da)模(mo)型(xing)落(luo)地(di)实体(ti)(ti)物理(li)世界、释(shi)放(fang)千行百业新(xin)质生产力的(de)重要抓手(shou)。

三、行业破圈:AI技术的一次自证与他证

大模型带来了(le)智能功能和(he)装备(bei)的(de)进化,最终的(de)效果还要在行业中验(yan)证。

作为(wei)一(yi)家AIoT产品方案及(ji)能(neng)力(li)提供商,宇视在(zai)视图(tu)领(ling)域(yu)有(you)着多年(nian)的沉淀积累(lei),致力(li)于(yu)在(zai)智慧城市、交通、电力(li)、企业(ye)园(yuan)区等多个场景(jing)领(ling)域(yu)进行(xing)(xing)视图(tu)价值(zhi)赋能(neng)。如今这些行(xing)(xing)业(ye)经验,也正帮助其大模型加速在(zai)行(xing)(xing)业(ye)落(luo)地。

在本次安博会上(shang),我们可以看(kan)到(dao)基于“梧桐2.0”的(de)智(zhi)能功能、装(zhuang)备(bei)已经落(luo)地到(dao)了文(wen)体娱(yu)乐(le)、智(zhi)慧城市、智(zhi)慧交通(tong)、生(sheng)态保护等各个(ge)领域(yu)。

以宇视(shi)在现(xian)场展(zhan)示的AI体育方案为例,基于梧桐大模型的AI体育锻(duan)炼(lian)屏可以让很多人站在同一(yi)个屏幕前一(yi)起做(zuo)运动(dong)(dong),记录他们的动(dong)(dong)作细节和成绩(ji),为其自动(dong)(dong)打分并提供(gong)锻(duan)炼(lian)建议(yi)。这不(bu)仅可以帮助校园(yuan)开展(zhan)运动(dong)(dong)、教学,也(ye)为社区锻(duan)炼(lian)等(deng)更(geng)多场景(jing)提供(gong)了(le)可能性。

「装备大模型化」落地破圈!AI技术的一次自证与他证

▲AI体育解决方案(an)展示

郑勇透露,自梧桐大模(mo)型推出以(yi)来,宇(yu)视科技发力文(wen)教(jiao)体(ti)领域,推出了(le)AI体(ti)锻屏、AI跑步屏、AI足球(qiu)、旅拍(pai)兔VLOG、VR导游产品等多(duo)个(ge)创新解决方案(an),已快速落地全国百余个(ge)城市(shi)。

在刚(gang)(gang)刚(gang)(gang)结(jie)束的“2024吴(wu)钩足球(qiu)全国总决赛(sai)”中,直播正是由宇视(shi)的AI全景相机进行(xing)智能导(dao)播。在支持多视(shi)频拼接画面自动(dong)矫正消除画面畸变的同(tong)时,其基于(yu)AI画面矫正及运(yun)镜(jing)(jing)算法,让(rang)摄像(xiang)(xiang)机进行(xing)自动(dong)检(jian)测控球(qiu)权(quan)、自动(dong)运(yun)镜(jing)(jing)跟踪,从而让(rang)AI像(xiang)(xiang)人一样去进行(xing)精彩赛(sai)事(shi)直播。

基于宇视“梧桐2.0”打造的解决方案,也(ye)同(tong)时落(luo)地到了智(zhi)慧(hui)城市治理、智(zhi)慧(hui)人行(xing)(xing)、智(zhi)慧(hui)车行(xing)(xing)、动物保(bao)护等(deng)各个领域。

在某(mou)地的(de)(de)(de)智慧(hui)城(cheng)市治理(li)中,相关(guan)部(bu)门应用了基(ji)于(yu)“梧桐2.0”的(de)(de)(de)城(cheng)市解决方案,聚(ju)焦群众关(guan)注的(de)(de)(de)民生问题比如广场舞噪音管理(li)、社区(qu)及城(cheng)市的(de)(de)(de)卫生管理(li)等问题,使其得到高效解决,12345投诉量下(xia)降60%。

在这类场景中,各种细碎的(de)问题(ti)都可以找到个性化(hua)长尾算法,比(bi)如:噪音传感(gan)器(qi)加(jia)视频联动,解决(jue)(jue)工地(di)超时施工扰民难题(ti);物联网油箱盖加(jia)车载摄(she)像机,解决(jue)(jue)危险驾驶隐患(huan)和油耗异常(chang)等。这些行(xing)业解决(jue)(jue)方案,都不同(tong)程(cheng)度地(di)助力提升管理效率,减少安全隐患(huan)。

大(da)模型为各(ge)个行业的数字化转(zhuan)型带来(lai)了真实价(jia)值,也为各(ge)个行业的从业者带来(lai)更多机(ji)会和商(shang)机(ji)。

这不仅是(shi)宇视AI技(ji)术的一(yi)次自证(zheng),也是(shi)其与集成(cheng)商(shang)、渠道商(shang)伙伴开(kai)启的一(yi)次他证(zheng)。

在去年6月的北京安博会现场,宇视启动了(le)梧桐大模型种(zhong)子合作伙伴计划,与来自(zi)交通、教育、零售、体育公(gong)共(gong)服(fu)务等(deng)领域(yu)的多位伙伴合作开启共(gong)创。

宇(yu)视提供软件技术赋能平(ping)台(tai),推出了集(ji)数(shu)据管理、模(mo)型管理、服务管理、快(kuai)捷工具于一体(ti)的行(xing)业大(da)模(mo)型生态服务平(ping)台(tai);行(xing)业伙伴基于宇(yu)视平(ping)台(tai)和协助,进(jin)行(xing)解决方(fang)案的开发和推广。

时隔一(yi)年多,郑勇(yong)告诉智东(dong)西,一(yi)些合作比较(jiao)深入的伙伴已经能够收益。他们通(tong)过(guo)宇(yu)视推训一(yi)体机去训练(lian)行业自有模型(xing),将产(chan)品(pin)和方(fang)案销售给同行或(huo)终端用(yong)户,还能进行二(er)次收益。

可以看到,当集成商、渠道商从“搬箱子”的(de)人变为智能化方案咨询服(fu)务商,与(yu)上游设备商的(de)关(guan)系由(you)买卖变为培育和共(gong)创关(guan)系,AI技术的(de)自证(zheng)与(yu)他证(zheng)也正(zheng)在接近完成时。

生(sheng)态赋能(neng)(neng)是一个(ge)长(zhang)期过程。当(dang)下,仍然有一些生(sheng)态伙伴(ban)抱有惯(guan)性思维,希(xi)望买回一台机器就拥有了大模型(xing)能(neng)(neng)力(li),因此在(zai)初(chu)始阶段(duan)存在(zai)开发上手难的(de)问题(ti)。对此,宇(yu)视会直接跟进和协助(zhu)伙伴(ban)项目,保障(zhang)项目看到(dao)效果;同时打磨设备,以(yi)开发出让伙伴(ban)更易上手的(de)平(ping)台工(gong)具(ju)。

可以预测,AI大模(mo)型(xing)带(dai)来的(de)将是(shi)整个行业数(shu)字化生态的(de)变革。AIoT硬(ying)件(jian)市(shi)场或许会(hui)进一(yi)步向(xiang)头部集中,但算法、软件(jian)、解决方(fang)案的(de)能力将更多向(xiang)集成(cheng)商、渠(qu)道商靠(kao)近,从而形成(cheng)新的(de)行业秩序(xu)。

结语:宇视之路,AIoT行业之变

当全球大(da)模(mo)型技术产业(ye)(ye)竞赛加剧,中国企业(ye)(ye)与大(da)模(mo)型技术,正(zheng)以更快的(de)速度和(he)千(qian)行百业(ye)(ye)搭起桥梁,落(luo)地见(jian)效。宇视科(ke)技围绕“装备大(da)模(mo)型化”的(de)探索之(zhi)路(lu),也(ye)正(zheng)印(yin)证(zheng)了(le)中国AIoT行业(ye)(ye)之(zhi)变。

独行(xing)快(kuai),众行(xing)远。装(zhuang)备大模型化(hua)及产(chan)业(ye)落地前景(jing)远大,但道阻且长,这是一(yi)条必须有伙伴同行(xing)的(de)路(lu)。我(wo)们看到,产(chan)业(ye)链上(shang)的(de)不少玩(wan)家已经(jing)在转换角(jiao)色和(he)思路(lu),融(rong)入全新(xin)的(de)生态共融(rong)秩序。AI技术的(de)自证与他证仍在进行(xing)中,宇视和(he)他的(de)伙伴们将一(yi)起合力推动新(xin)业(ye)态的(de)形成。