「AI新(xin)青年(nian)讲座」将邀请世界顶尖AI研究机构和大(da)学(xue)的科研新(xin)青年(nian)，主讲他(ta)们在计(ji)算机视觉、机器学(xue)习等人(ren)工智(zhi)能(neng)领域的最新(xin)重(zhong)要研究成果。

AI新(xin)(xin)青(qing)年(nian)(nian)是加速人(ren)工(gong)智能(neng)前(qian)(qian)沿研究(jiu)(jiu)的(de)(de)(de)新(xin)(xin)生力量。AI新(xin)(xin)青(qing)年(nian)(nian)的(de)(de)(de)视频讲解和直播答疑，将可以(yi)帮助大(da)家增进对人(ren)工(gong)智能(neng)前(qian)(qian)沿研究(jiu)(jiu)的(de)(de)(de)理解，相应领域的(de)(de)(de)专业知识也(ye)能(neng)够得(de)以(yi)积累加深。同时，通过(guo)与AI新(xin)(xin)青(qing)年(nian)(nian)的(de)(de)(de)直接交流，大(da)家在AI学习和应用AI的(de)(de)(de)过(guo)程中遇到的(de)(de)(de)问题(ti)，也(ye)能(neng)够尽快解决。

有(you)兴趣分(fen)享学术成果的朋友，可以(yi)与(yu)智东西公开课教研团队进行邮(you)件（class@k193.net）联(lian)系。

多模态传感(gan)器(qi)(qi)融合(he)对于自主(zhu)机器(qi)(qi)人完成复(fu)杂(za)和(he)危险的(de)任(ren)务至关(guan)重要，例如(ru)在(zai)地下环(huan)境中感(gan)知(zhi)、工业检(jian)查(cha)和(he)搜救。在(zai)这些无(wu)GPS 的(de)场景中，黑暗、空气(qi)中的(de)模糊条件（灰尘、雾(wu)和(he)烟雾(wu)）和(he)缺(que)乏(fa)感(gan)知(zhi)特征是目前(qian)阻碍我们采(cai)用机器(qi)(qi)人系统实(shi)现长(zhang)期自主(zhu)的(de)主(zhu)要挑(tiao)战。

然而在例如长隧道或(huo)存在遮挡(dang)物（例如雾(wu)(wu)、灰尘、烟雾(wu)(wu)）等这种无结构的(de)(de)环境(jing)中，由于退(tui)化和异常(chang)值，激(ji)光(guang)雷(lei)(lei)达的(de)(de)方(fang)法(fa)虽(sui)然可以提(ti)供高保真 3D 测量，但难以提(ti)供可靠的(de)(de)运动(dong)估计，而视(shi)(shi)觉(jue)(jue)相机的(de)(de)方(fang)法(fa)又很(hen)大程度上受限于光(guang)线条件(jian)。因此，基于激(ji)光(guang)雷(lei)(lei)达、基于视(shi)(shi)觉(jue)(jue)或(huo)基于激(ji)光(guang)雷(lei)(lei)达和视(shi)(shi)觉(jue)(jue)的(de)(de) SLAM 方(fang)法(fa)都不(bu)是在具有挑战性的(de)(de)环境(jing)中的(de)(de)最佳选择。

基于(yu)此，来自卡内基梅隆大学的(de)赵世博博士等人，针(zhen)对(dui)挑(tiao)战性环(huan)(huan)境提出(chu)了(le)(le)一(yi)种(zhong)鲁棒(bang)的(de)视觉(jue)里(li)程(cheng)计框(kuang)架 TP-TIO。该方(fang)法是基于(yu)深度特征的(de)热感(gan)-惯(guan)性里(li)程(cheng)计（TIO，Thermal-Inertial Odometry）框(kuang)架，在(zai)各种(zhong)视觉(jue)退化环(huan)(huan)境（主要是烟雾环(huan)(huan)境）中进行了(le)(le)全面的(de)评估(gu)。实验(yan)表明，在(zai)烟雾环(huan)(huan)境中，TP-TIO 优(you)于(yu)最先进的(de)视觉(jue)里(li)程(cheng)计和激(ji)光(guang)里(li)程(cheng)计方(fang)法，在(zai)正(zheng)常的(de)环(huan)(huan)境中也(ye)达到了(le)(le)具有竞争力的(de)精度。

同时(shi)，赵(zhao)世博(bo)等人(ren)还提出(chu)了一(yi)种高(gao)精度多模态传(chuan)感器(qi)融(rong)合(he)(he)框架(jia) Super Odometry，该方(fang)法提供了一(yi)种简单而(er)有(you)效的(de)方(fang)法来融(rong)合(he)(he)多个传(chuan)感器(qi)，例如 LiDAR、Camera 和(he)(he) IMU 传(chuan)感器(qi)。与传(chuan)统的(de)传(chuan)感器(qi)融(rong)合(he)(he)方(fang)法不同，Super Odometry 采用以 IMU 为中心的(de)数据处(chu)理方(fang)案，它结合(he)(he)了松耦合(he)(he)和(he)(he)紧耦合(he)(he)的(de)优点(dian)，并(bing)以粗到细的(de)方(fang)式恢复(fu)运(yun)动(dong)。为了确保实时(shi)的(de)高(gao)性(xing)能，赵(zhao)博(bo)等人(ren)还应用了一(yi)个动(dong)态八(ba)叉树，与静态 KD-tree 相比，它只(zhi)消耗 10% 的(de)运(yun)行时(shi)间。

Super Odometry 目前(qian)已(yi)作(zuo)为算法核心广泛(fan)应用(yong)到机(ji)器人所多(duo)个(ge)项(xiang)(xiang)目， 包括 DARPA 地(di)下机(ji)器人挑战(zhan)项(xiang)(xiang)目、DSTA无人机(ji)极(ji)端环境定位(wei)项(xiang)(xiang)目、Offroad 野(ye)外无人车导航项(xiang)(xiang)目、Multi-robot 多(duo)机(ji)器人协同定位(wei)项(xiang)(xiang)目，在不(bu)同的机(ji)器人平台累计测试长达2年，并一直沿用(yong)至今(jin)。

1月10日早10点，AI新青年讲(jiang)座第(di)189讲(jiang)邀请到卡内(nei)基梅(mei)隆大学(xue)Robotics Institute在读(du)博(bo)士赵(zhao)世博(bo)参与，主讲(jiang)《初探多(duo)机器人、多(duo)模态的通(tong)用SLAM框架设计(ji)》。

讲者
赵世博(bo)，卡(ka)内(nei)基梅(mei)隆(long)大学Robotics Institute在读博(bo)士；长(zhang)期(qi)(qi)从事在复杂(za)场景下的多机(ji)(ji)(ji)器(qi)人(ren)，多模(mo)态的鲁(lu)棒位(wei)姿估计和三维重(zhong)建；所(suo)开发的Super Odometry 已(yi)作为算法(fa)核心(xin)广泛(fan)应用到机(ji)(ji)(ji)器(qi)人(ren)所(suo)多个项(xiang)(xiang)目， 包括 1）DARPA 地下机(ji)(ji)(ji)器(qi)人(ren)挑(tiao)战项(xiang)(xiang)目 2）DSTA无人(ren)机(ji)(ji)(ji)极(ji)端(duan)环境定位(wei)项(xiang)(xiang)目 3） Offroad 野外(wai)无人(ren)车导(dao)航项(xiang)(xiang)目4）Multi-robot 多机(ji)(ji)(ji)器(qi)人(ren)协(xie)同定位(wei)项(xiang)(xiang)目，在不(bu)同的机(ji)(ji)(ji)器(qi)人(ren)平台(tai)累(lei)计测试长(zhang)达2年，并(bing)一直沿用至今；曾(ceng)获得DARPA挑(tiao)战赛城市赛道(dao)第二名(ming)(ming)，总决赛第四名(ming)(ming).先(xian)后在IROS、ICRA、JFR、TRO 等国际会议或期(qi)(qi)刊发表多篇论文(wen)并(bing)担任(ren)审稿人(ren)。

第189讲

主 题
《初探多机器人、多模态的通用(yong)SLAM框架(jia)设计》

提 纲
1、SLAM研究进展概述
2、SLAM框架目前存在的挑战
3、面向挑战性环境的鲁棒视觉里程计框架TP-TIO
4、以IMU为核心的激光雷达视觉惯性融合框架Super Odometry
5、工作不足之处以及SLAM未来展望(wang)

直 播 信 息
直播时间：1月10日10:00
直播(bo)地点：智东西公开(kai)课知识店铺(pu)

成果

TP-TIO/Super Odometry
《TP-TIO: A Robust Thermal-Inertial Odometry with Deep ThermalPoint》
《Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for Challenging Environments》

论文链接
//arxiv.org/pdf/2012.03455.pdf
//arxiv.org/pdf/2104.14938.pdf

项目地址
www.superodometry.com