智东西（公众号：zhidxcom）
作者 | 陈骏达
编辑 | 漠影
就在两天(tian)前(qian)的(de)除(chu)夕夜，一场科技(ji)(ji)感十足的(de)春晚拉开帷(wei)幕，从(cong)台(tai)前(qian)到幕后，中(zhong)国(guo)科技(ji)(ji)的(de)存在感让(rang)人惊(jing)叹不(bu)已，频频冲上(shang)热搜(sou)。时隔七年(nian)再度携手央视(shi)春晚的(de)阿里，更是献上(shang)了从(cong)云转(zhuan)播到AI特效(xiao)的(de)科技(ji)(ji)大(da)礼包。
甄子丹领(ling)衔的(de)《笔走龙蛇》节目，运用了巴黎奥运同款(kuan)的(de)通义大模型AI技术(shu)，呈现出电影般的(de)“子弹时间”画面(mian)，让观众享(xiang)受到“空中环绕、时空凝结”等创新观看体验(yan)。
春晚每(mei)年的保留节(jie)目(mu)《难(nan)忘今(jin)宵》也得到了通(tong)义(yi)万相(xiang)图像编辑模型(xing)Wanx-ACE的支持(chi)，舞台背景中变身为绚丽花(hua)灯的城市地标，便是由这款模型(xing)自动生成的。
2025年1月(yue)初，通(tong)义万相模型迎来(lai)了重磅升(sheng)级，推出了全新(xin)的2.1版本，视(shi)(shi)频生成(cheng)与图像(xiang)生成(cheng)能力提升(sheng)明显，今(jin)年春(chun)晚中不少惊艳的视(shi)(shi)觉效果(guo)，也来(lai)自这款模型。
升级后的通义万相不仅能(neng)处理复(fu)杂人物运动(dong)、遵循(xun)真实(shi)物理规(gui)律、匹配复(fu)杂提示词(ci)，还能(neng)生成影视质感画面，并首(shou)次实(shi)现了中文(wen)文(wen)字视频(pin)生成功能(neng)。
通(tong)义万相(xiang)2.1曾(ceng)一度(du)跃居视频(pin)生(sheng)成(cheng)(cheng)权威评测框架VBench榜首，成(cheng)(cheng)为国内乃至全球视频(pin)生(sheng)成(cheng)(cheng)模型的领(ling)跑者。
一、拿捏中国风，AI让创意走进现实
通义万(wan)相2.1在本届(jie)春(chun)晚中的(de)参与(yu)可谓(wei)是全方(fang)位、全流程的(de)，涵盖从预告片到现场舞美等(deng)多个环节(jie)。
这款模(mo)型能准(zhun)确理解(jie)多样(yang)的艺术风(feng)格，为(wei)创意工(gong)作(zuo)者(zhe)提(ti)供了有(you)力的创作(zuo)工(gong)具(ju)，帮助他们将脑海中的想法变为(wei)现实。
对于中(zhong)国风的(de)内容，通义(yi)万相可谓是手拿把掐。
在央视春晚预(yu)告(gao)片(pian)中，通(tong)义万相(xiang)文生(sheng)图让(rang)中国非(fei)遗苏绣焕发新(xin)生(sheng)。万相(xiang)不(bu)仅成功捕捉了(le)苏绣的(de)(de)整(zheng)体艺(yi)术风格，还(hai)将(jiang)细节还(hai)原到每一根丝线，而每一副画(hua)面(mian)(mian)的(de)(de)风格控制也较(jiao)为稳定，最(zui)终给这项(xiang)千年传统技艺(yi)带来了(le)别(bie)开生(sheng)面(mian)(mian)的(de)(de)呈现形(xing)式。
同(tong)款工具还在通(tong)义(yi)官网(wang)中上线，点击网(wang)站上放(fang)的(de)“非遗刺(ci)绣(xiu)”互动玩法，用(yong)户就可以输入文字，即刻生成一张刺(ci)绣(xiu)图。仅需等上几秒钟，便可生成一只栩(xu)栩(xu)如(ru)生的(de)刺(ci)绣(xiu)凤凰。
春晚舞台上的诸多(duo)舞美(mei)效果也由通(tong)义万相提(ti)供(gong)支持(chi)。
例(li)如，央(yang)视春晚节(jie)目《方的言》舞台背景的毛毡效果(guo)，便是由通义万相的文生(sheng)图(tu)、图(tu)生(sheng)视频(pin)等技术(shu)实(shi)现。图(tu)中的高楼、古建被转化成了温暖(nuan)、柔和、立体(ti)的毛毡画，与歌(ge)曲(qu)的主旨相得(de)益彰。
在莫文蔚与毛不易合唱(chang)的(de)《岁月(yue)里的(de)花》节目中(zhong)，阿里通义万相(xiang)利用图像风格化和首尾帧视频生成技术，生成了沉浸式的(de)油画风舞美效果。
二、央视春晚大放异彩，AI业内炙手可热
除了(le)登上央视春晚，给(ji)全球华人提供精彩的(de)视觉效(xiao)果(guo)外(wai)。大年初一，在AI业内1000余名(ming)创作者参(can)与(yu)的(de)AI春晚中，通义万相为三分之一的(de)节目提供了(le)技术支(zhi)持(chi)，升(sheng)级后(hou)的(de)模型能更(geng)好地理(li)解和模拟物理(li)世界，最终为观众呈现了(le)极佳的(de)观影体验。
其中(zhong)，取(qu)材自(zi)南宋画(hua)家刘(liu)松年名画(hua)《四景山水图》的同名AI MV，一(yi)亮相便(bian)引(yin)来众(zhong)多(duo)网友的称赞。
通义万相(xiang)显著改善了困扰视频(pin)生成模型(xing)的(de)幻觉问题，尤(you)其是在涉及复杂肢体动作的(de)画面(mian)中(zhong)。这类(lei)画面(mian)可谓(wei)是视频(pin)生成模型(xing)的(de)试(shi)金石，早期的(de)视频(pin)生成模型(xing)可能会生成各种“辣(la)眼睛”的(de)结果(guo)，AI圈知名的(de)鬼畜画面(mian)“威尔·史密斯吃意(yi)面(mian)”便(bian)是一个(ge)典型(xing)的(de)失败案例。
为(wei)处理此类动作，通义万(wan)相团(tuan)队自研了(le)高(gao)效的(de)VAE和DiT架构，增强了(le)模型(xing)的(de)时空上下(xia)文建模能(neng)力，让复杂的(de)肢(zhi)体运动、大幅度(du)动作、镜头的(de)移(yi)动都能(neng)稳定展现。
在AI MV《四景山(shan)水图》中(zhong)，通(tong)(tong)义(yi)(yi)万相(xiang)2.1完(wan)美地呈现了(le)“拥炉对(dui)酒，折梅入(ru)(ru)(ru)瓶”的(de)诗意画面。画面中(zhong)人(ren)物的(de)手型、持杯(bei)动(dong)(dong)作(zuo)都十分(fen)自然(ran)，温(wen)酒的(de)热气蒸腾也(ye)得到不(bu)错的(de)还原。即便是处理(li)折梅入(ru)(ru)(ru)瓶这样细致入(ru)(ru)(ru)微的(de)动(dong)(dong)作(zuo)时，通(tong)(tong)义(yi)(yi)万相(xiang)2.1也(ye)没(mei)有出现翻车的(de)情(qing)况。
在下(xia)方的(de)画(hua)面中，人(ren)物(wu)饮茶、放杯、合书、转(zhuan)身的(de)动(dong)作(zuo)一气呵成，运动(dong)轨迹流畅(chang)，人(ren)物(wu)与(yu)杯子(zi)、书本的(de)互动(dong)也符合物(wu)理规(gui)律。
《四景山水图》中(zhong)(zhong)的水墨(mo)画风格鲜明，人物(wu)、花鸟传神，还精准把握(wo)到了留白这一(yi)中(zhong)(zhong)国传统艺术中(zhong)(zhong)的独特审(shen)美理念，给观众以无限的想象空(kong)间。
在联合网易云(yun)音(yin)乐、W出(chu)品(pin)的(de)《穿过(guo)大山》中，通义(yi)万相同(tong)样在人物(wu)动作上实现(xian)了较高(gao)的(de)逼真度，外卖小(xiao)哥(ge)整理头盔的(de)动作，手(shou)指和周边物(wu)体(ti)也没有出(chu)现(xian)重叠、变形等问题。
在涉及复杂运镜(jing)效果时，通义万(wan)相(xiang)依旧(jiu)稳定地生成(cheng)高质量画面。下图中虽然镜(jing)头持续旋(xuan)转，但人物的五官都没有出现明显的形变。
三、通义万相新年多番王炸，迈出视频生成模型落地重要一步
除了亮相(xiang)央(yang)视春晚、AI春晚的(de)(de)众多(duo)视频、图像生成技术之外，通(tong)义万相(xiang)新年(nian)还有多(duo)项(xiang)其他(ta)领域的(de)(de)重(zhong)磅升级(ji)。
通(tong)义万相首次实(shi)现了中(zhong)文文字视(shi)频(pin)生成功能(neng)，能(neng)在图片与(yu)视(shi)频(pin)中(zhong)准(zhun)确呈现中(zhong)文内容(rong)，而(er)不是(shi)像大多(duo)数模型那(nei)样(yang)仅(jin)能(neng)生成大致的(de)轮廓。
此外，通义万相还(hai)(hai)支持艺术字一键(jian)生成，文字还(hai)(hai)可以加上视(shi)频特效(xiao)选项，如(ru)过渡、粒子效(xiao)果、模拟等(deng)，视(shi)觉表现力超强。
文(wen)生组图(tu)(tu)能(neng)力这次(ci)也登陆通义(yi)万(wan)相(xiang)，DiT架构增强了(le)文(wen)生图(tu)(tu)的(de)上下文(wen)能(neng)力，可对(dui)多(duo)张图(tu)(tu)像进行拼接与(yu)联(lian)合描(miao)述，轻松实现关联(lian)图(tu)(tu)像间的(de)组合生成(cheng)(cheng)，解锁(suo)了(le)通义(yi)万(wan)相(xiang)生成(cheng)(cheng)电影分镜、四格(ge)漫画、情侣头像等高度关联(lian)画面的(de)能(neng)力。
Prompt：一只小狗(gou)在(zai)抓(zhua)蝴蝶，撞到(dao)了一棵大树(shu)上，眼(yan)冒金星。
纵(zong)观通(tong)义万相的全面能(neng)力(li)升(sheng)级和多项跨界(jie)合(he)作，未来我(wo)们或许有望看到这款模型(xing)走(zou)进更(geng)多的应用场景，凭借其迭(die)代升(sheng)级的视频(pin)质(zhi)量、真(zhen)实(shi)性，让(rang)视频(pin)生(sheng)成由AI公司秀(xiu)肌肉的“角斗场”真(zhen)正转变为(wei)能(neng)产(chan)生(sheng)实(shi)际效(xiao)益的生(sheng)产(chan)力(li)工具。
例(li)如(ru)，影(ying)视(shi)制作(zuo)团队能用通义万相(xiang)快(kuai)速生成(cheng)多个备选方(fang)案，直观展现视(shi)觉效(xiao)(xiao)果；也可以直接生成(cheng)部分场景，极(ji)大地降低(di)影(ying)视(shi)后期特(te)效(xiao)(xiao)的(de)成(cheng)本。
电子商务(wu)场景里，增强(qiang)的图像与视频(pin)生(sheng)成(cheng)能力或许能用于宣传品生(sheng)成(cheng)、AI试衣等环(huan)节，在提(ti)升消费体验的同时(shi)还(hai)能降(jiang)低(di)成(cheng)本。
而在艺(yi)术领域(yu)，通义(yi)万相的(de)(de)风格(ge)化能力和(he)复杂提示词的(de)(de)理解(jie)能力，能帮助用户快速生(sheng)成具(ju)有特定风格(ge)的(de)(de)艺(yi)术作(zuo)(zuo)品(pin)，或是对自(zi)己原创的(de)(de)艺(yi)术作(zuo)(zuo)品(pin)进行高效的(de)(de)再创造、再利用，节省部(bu)分重复性(xing)劳动，让创作(zuo)(zuo)者能专注(zhu)于创意本身(shen)。
此外，通义(yi)万相还具备(bei)简洁直(zhi)观的交(jiao)互界面，这(zhei)(zhei)意味(wei)着即(ji)便是非专业人士也能(neng)享受到这(zhei)(zhei)项(xiang)技术的便利，显著(zhu)降低(di)创作门槛，使(shi)更多普通用户能(neng)够轻松创作高质量的视频内容，满足个性(xing)化需(xu)求。
例如(ru)，今(jin)年年初，通(tong)义万相便联合两马同春闹元宵(xiao)灯会，上线(xian)万物变花灯功能，用图生(sheng)图、文生(sheng)图、文生(sheng)视频(pin)、图生(sheng)视频(pin)等能力，将(jiang)福州各地的(de)(de)古(gu)建(jian)一键(jian)变化为精美(mei)的(de)(de)花灯，吸引不少个(ge)人(ren)用户的(de)(de)体验。
结语：通义万相跃居行业排头兵，引领视频生成赛道新趋势
2023年春节期(qi)间，OpenAI凭借Sora在视(shi)频(pin)(pin)生(sheng)成领域引发热潮(chao)，让视(shi)频(pin)(pin)生(sheng)成成为(wei)各大(da)AI厂商竞(jing)相追逐的(de)焦点。而今年春节，阿里旗下的(de)通义万相在春晚这一全(quan)国(guo)瞩目(mu)的(de)舞(wu)台上(shang)，展示(shi)了视(shi)频(pin)(pin)生(sheng)成技术令人瞩目(mu)的(de)显著(zhu)进(jin)步。
通义(yi)万相凭借对真(zhen)实物理规(gui)律的(de)(de)(de)(de)深度理解、复杂影视效果的(de)(de)(de)(de)完美呈现以及稳定(ding)清晰(xi)的(de)(de)(de)(de)输出能力(li)，几乎满足(zu)了人们对视频生(sheng)成模型理想形(xing)态的(de)(de)(de)(de)全部期待。这款(kuan)模型在落地场景(jing)时的(de)(de)(de)(de)积(ji)极探索和应用(yong)尝试(shi)，更(geng)为视频生(sheng)成赛(sai)道带来了广阔的(de)(de)(de)(de)想象空间，有望引领(ling)该(gai)领(ling)域的(de)(de)(de)(de)新(xin)趋势。
