近年来，基(ji)于(yu)激光雷达(da)的(de)场景生成(cheng)技术正在迅(xun)速发(fa)展，但现有方法主(zhu)要(yao)是(shi)生成(cheng)静态和单帧场景，忽略了真实(shi)驾驶环境固有的(de)动态特性(xing)。
为此(ci)，上(shang)海AI Lab联合CMU、NUS等提出一个4D动态场景生(sheng)(sheng)成框(kuang)架DynamicCity，该框(kuang)架能够(gou)生(sheng)(sheng)成大(da)规模(mo)、高质量(liang)的动态4D点(dian)云(yun)场景。其中，CMU硕士在读(du)、上(shang)海AI Lab科研实(shi)习(xi)生(sheng)(sheng)卞恒玮为论(lun)文(wen)一作，新(xin)加坡国(guo)立(li)大(da)学(xue)博(bo)士在读(du)、上(shang)海AI Lab科研实(shi)习(xi)生(sheng)(sheng)孔(kong)令东(dong)为论(lun)文(wen)二作。
DynamicCity框架采用(yong)了(le)VAE模型学习HexPlane作为紧(jin)凑的(de)4D表示，结(jie)合新提出的(de)投影模块和扩展压缩(suo)策略，显著(zhu)提升了(le)HexPlane的(de)拟(ni)合质量、重建(jian)效率和精度。该(gai)框架还引入了(le)“HexPlane展开”操(cao)作，结(jie)合基于DiT的(de)扩散模型实现了(le)HexPlane生成。
此(ci)外，DynamicCity框架通过条(tiao)件化(hua)生(sheng)(sheng)成(cheng)与(yu)HexPlane操控(kong)，支(zhi)持(chi)多样化(hua)的(de)(de)4D动态场(chang)景(jing)生(sheng)(sheng)成(cheng)应用(yong)，例如轨迹驱动生(sheng)(sheng)成(cheng) (trajectory-guided generation)、命(ming)令控(kong)制生(sheng)(sheng)成(cheng) (command-controlled generation) 、场(chang)景(jing)布局条(tiao)件生(sheng)(sheng)成(cheng) (layout-conditioned generation) 以及场(chang)景(jing)和物体inpainting等，展现了(le)优异的(de)(de)4D场(chang)景(jing)生(sheng)(sheng)成(cheng)性能和广(guang)泛的(de)(de)应用(yong)前(qian)景(jing)。
1月23日晚上7点，智猩猩邀请到卡耐基梅隆大学硕士在读、上海人工智能实验室科研实习生，以及新加坡国立大学博士在读、上海人工智能实验室科研实习生孔令东参与「智猩猩新青年讲座自动驾驶专题」第43讲，主讲《大规模4D自动驾驶场景生成》。
讲者
卞恒玮，卡耐基梅隆大学硕士在读、上海人工智能实验室科研实习生
卡(ka)耐(nai)基梅隆(long)大学硕士研(yan)究生(sheng)在读，本科毕业于(yu)新加坡南洋(yang)理工(gong)大学。同期于(yu)上(shang)海人工(gong)智能实(shi)验(yan)室3D AIGC团(tuan)队担任科研(yan)实(shi)习生(sheng)，导师是潘亮博(bo)士。研(yan)究方向为大规模3D场景生(sheng)成。相(xiang)关研(yan)究成果发(fa)表于(yu)CVPR、NeurIPS、MICCAI等国际(ji)会议中。
孔令东，新加坡国立大学博士在读、上海人工智能实验室科研实习生
新加坡国(guo)立大学(xue)计(ji)算机系博士在读，本(ben)科毕业于(yu)华南(nan)理工大学(xue)。于(yu)上海人工智能实验室(shi)、英伟达研(yan)究院、字(zi)节跳(tiao)动AI Lab等机构进行科研(yan)实习。研(yan)究方向(xiang)为3D场(chang)景感知(zhi)、理解与(yu)生成(cheng)。相关研(yan)究成(cheng)果发表于(yu)TPAMI、CVPR、ICCV、ECCV、NeurIPS、ICLR等国(guo)际期(qi)刊和会议(yi)中。
第 43 讲
主 题
《大(da)规模4D自动驾驶场景(jing)生成》
提 纲
1、3D和4D生成概述
2、4D场景生成基础知识
3、4D动态场景生成框架DynamicCity
4、实验结果评估与分析
5、4D场景(jing)生(sheng)成前景(jing)与(yu)应(ying)用
直 播 信 息
直播(bo)时间：1月(yue)23日19:00
成果
论文标题
《DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes》
论文链接
//arxiv.org/abs/2410.18084
项目地址
//dynamic-city.github.io
收录情况
ICLR 2025 在投
如何报名
有讲座直播观看需求的朋友，可以添加小助手“陈新”进行报名。已添加过“陈新”的老朋友，可以给“陈新”私信，发送“自动驾驶43”进行报名(ming)。对(dui)于(yu)通过报名(ming)的朋(peng)友，之后将邀请(qing)入群进行观看和交(jiao)流(liu)。
