「自(zi)动驾(jia)驶(shi)(shi)新(xin)青年(nian)讲座(zuo)」由(you)智猩猩企(qi)划，致力于邀请全(quan)球知(zhi)名高校、顶(ding)尖研究机构以及优秀企(qi)业(ye)的新(xin)青年(nian)，主讲在环境(jing)感知(zhi)、精准(zhun)定位、决策规划、控制执行等(deng)自(zi)动驾(jia)驶(shi)(shi)关键技(ji)术上(shang)的最新(xin)研究成果和开发实(shi)践。

「自动驾驶新(xin)青(qing)年讲座」目前已完结33讲;有兴趣分享的朋友，可以与智(zhi)猩猩教研团(tuan)队(dui)进行邮件（class@k193.net）联系(xi)

3D 场(chang)景感知(zhi)对(dui)于自动(dong)驾驶的(de)安(an)全性至关(guan)重要。来自新(xin)(xin)加坡国立大学的(de)博士生孔(kong)令(ling)东等人(ren)在 NeurIPS 2023 上提(ti)出了一个新(xin)(xin)颖(ying)的(de)点云(yun)(yun)无监督预训练框(kuang)(kuang)架(jia) Seal，该框(kuang)(kuang)架(jia)旨在利用视觉基础(chu)模型(xing) (VFM) 分割(ge)不(bu)同的(de)激光(guang)雷达(da)点云(yun)(yun)序列。


Seal 具有以下三(san)点特性：

1) 可扩展性：其将VFM中的知识直接蒸馏到点云上(shang)，从而(er)无需(xu)在预训练(lian)期间(jian)使用任何2D 或3D 标(biao)注。

2）一致性：其在(zai)相机到激(ji)光雷达(da)和点到簇(cu)两个正则化阶段分别进行了(le)空间和时间约束，以促(cu)进跨模式表示学(xue)习。

3) 通用(yong)性：Seal能(neng)够将现(xian)有模型中的知识迁移到涉及不(bu)同类型点云的下游任务中，包括(kuo)了来(lai)自真实/合成(cheng)、低(di)/高分辨率、大/小规模以(yi)及干(gan)净(jing)/损坏(huai)数据集的点云等。

在共(gong)11个(ge)不(bu)同(tong)的(de)点云数(shu)据集上进行(xing)的(de)广泛实验，也验证(zheng)了(le) Seal 的(de)有效性(xing)和优越性(xing)。 该(gai)成果已被 NeurIPS 2023 收录为 Spotlight。

除了(le) Seal，在如何(he)提升 3D 场(chang)景(jing)感知可靠性上(shang)，孔令东还分(fen)别提出了(le)首(shou)个关注于(yu)使用半监督信(xin)号进行激光雷达点云语义分(fen)割的框架 LaserMix 和包(bao)含恶(e)劣天(tian)气条件、外部干扰和内部传感器故障引起的八(ba)种(zhong)损坏类型(xing)的 3D 感知模型(xing)测(ce)试(shi)基线 Robo3D 。

1月11日晚7点，「自动驾驶新青年讲座」第34讲邀请到 Seal 一作、新加坡国立大学在读博士孔令东参与，主讲《运用视觉基础模型分割「任意」激光雷达点云》，包(bao)括 Seal、LaserMix 和 Robo3D 等成果内容。

讲者
孔令(ling)东(dong),新加坡国(guo)立大(da)学计算机系在读博(bo)士;研究(jiu)方向包括3D场景(jing)感知(zhi)、域适应和(he)无(wu)监督表征学习等(deng)；曾于Motional进(jin)行自动(dong)驾驶场景(jing)感知(zhi)方向的研究(jiu)实习；相关研究(jiu)工作已发表于TPAMI、CVPR、ICCV、NeurIPS和(he)ICRA等(deng)国(guo)际期刊和(he)会议中，并入选Highlight、Spotlight和(he)Best Workshop Paper。

第34讲

主 题
《运用(yong)视觉基础模型分割「任意」激光雷达点云(yun)》

提 纲
1、大模型在自动驾驶点云分割中的应用
2、半监督激光雷达点云语义分割 LaserMix
3、使用 VFM 的无监督预训练点云分割框架 Seal
4、Seal 的有效性和优越性验证
5、3D 场景感知的可(ke)靠(kao)性(xing)探索

直 播 信 息
直播时间：1月11日19:00
直播地点：智东西公(gong)开课知(zhi)识店(dian)铺

成果

论文标题
《Segment Any Point Cloud Sequences by Distilling Vision Foundation Models》
《LaserMix for Semi-Supervised LiDAR Semantic Segmentation》
《Robo3D: Towards Robust and Reliable 3D Perception against Corruptions》

 论文地址
//arxiv.org/pdf/2306.09347.pdf
//arxiv.org/pdf/2207.00026.pdf
//arxiv.org/pdf/2303.17597.pdf

代码链接
//github.com/youquanl/Segment-Any-Point-Cloud
//github.com/ldkong1205/LaserMix
//github.com/ldkong1205/Robo3D.