在具身智能和机(ji)器(qi)人操作实(shi)验(yan)室中，往(wang)往(wang)会选择固定的(de)setting进行实(shi)验(yan)。但在现(xian)实(shi)环境中，实(shi)现(xian)机(ji)器(qi)人的(de)空间泛化，以应对多样化的(de)物体位置和复杂的(de)场景布(bu)置，一直(zhi)是个艰难(nan)的(de)挑战。
近日，来自清华和NUS的团队，发现了具身智能空间泛化Scaling Law。在此基础上，提出了一个创新的机器人操作算法框架ManiBox。其中，清华大学计算机系TSAIL实验室博士生谭恒楷为论文一作。
ManiBox深(shen)入(ru)探索了具身(shen)智(zhi)能(neng)的空间泛(fan)化(hua)性(xing) Scaling Law，并(bing)通过大量模(mo)拟器数(shu)据和Bounding Box这(zhei)样的视觉低维特征引(yin)导，成功实现了空间泛(fan)化(hua)、背(bei)景泛(fan)化(hua)和物体(ti)泛(fan)化(hua)的抓(zhua)取任务(wu)，能(neng)够从固定点到34440cm³最大操作空间范围的高效覆盖，抓(zhua)取成功率高达90%。
此外，ManiBox 不仅能够完成常(chang)规抓(zhua)取(qu)(qu)，还(hai)扩展到更复杂的任务，如倒水，抓(zhua)取(qu)(qu)杯子把手(shou)，杂乱(luan)桌(zhuo)面抓(zhua)取(qu)(qu)等(deng)等(deng)精细(xi)操(cao)作(zuo)场景，展现(xian)了出色(se)的 Sim2Real 能力(li)。更为引(yin)人注目(mu)的是，用户(hu)只(zhi)需输入(ru)一(yi)个物体(ti)的prompt，ManiBox 即可自(zi)动执行对应物体(ti)的抓(zhua)取(qu)(qu)、倾倒等(deng)操(cao)作(zuo)，显著提升了机器人操(cao)作(zuo)任务的鲁棒性与(yu)灵(ling)活性。
1月16日晚(wan)7点，智猩(xing)(xing)(xing)猩(xing)(xing)(xing)邀(yao)请(qing)到论文一作、清华(hua)大学计算机系TSAIL实验室谭恒楷参与(yu)「智猩(xing)(xing)(xing)猩(xing)(xing)(xing)新青(qing)年讲座具(ju)身(shen)(shen)智能(neng)(neng)专(zhuan)题(ti)」第19讲，以《探(tan)索具(ju)身(shen)(shen)智能(neng)(neng)空间泛化性的(de)Scaling Law》为主题(ti)带(dai)来(lai)直(zhi)播讲解。
讲者
谭恒楷，清华(hua)大学计算机系TSAIL实验室博士生
清华(hua)大学计算机(ji)系TSAIL实验室的(de)二年(nian)级博(bo)士(shi)生谭恒(heng)楷（Hengkai Tan），本(ben)科毕业(ye)于(yu)清华(hua)计算机(ji)系，师从朱军(jun)教授(shou)。主要研究(jiu)方向是具(ju)身智能和强(qiang)化学习，此前一(yi)作论文FCNet发表在ICML 2024，ManiBox一(yi)作，也(ye)是清华(hua) RDT 大模(mo)型的(de)作者(zhe)之一(yi)。还曾是全国青少年(nian)信(xin)息学奥(ao)林匹克竞(jing)赛（NOI）的(de)银牌(pai)，全国84名。
第 19 讲
主 题
《探索具身智能空间泛化性的Scaling Law》
提 纲
1、什么是空间泛化性
2、利用模拟器从视觉泛化转移到策略泛化
3、机器人操作算法框架ManiBox
4、sim2real经验分享
5、具身智能的空间泛化性Scaling Law
-空间泛化性、成功率和数据量的幂律
-Michaelis-Menten 动力学曲线
直 播 信 息
直播(bo)时间(jian)：1月16日19点
成果
论文成果1
标题：《ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation》
链接：//arxiv.org/abs/2411.01850
项目地址：//thkkk.github.io/manibox
收录情况：ICLR 2025在(zai)投(tou)
论文成果2
标题：《Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning》
链接：//arxiv.org/abs/2405.19885
项目地址：//thkkk.github.io/fcnet
收(shou)录(lu)情况：ICML 2024
论文成果3
标题：《RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION》
链接：//arxiv.org/abs/2410.07864
项目地址：//rdt-robotics.github.io/rdt-robotics/
收录情况：ICLR 2025在投
如何报名
有讲座直播观看需求的朋友，可以添加小助手“莓莓”进(jin)行报(bao)名(ming)。已(yi)添加(jia)过“莓莓”的(de)老朋友(you)，可以给(ji)“莓莓”私信，发送“具(ju)身智能(neng)19”进(jin)行报(bao)名(ming)。对于通过报(bao)名(ming)的(de)朋友(you)，之后将邀(yao)请入群进(jin)行观看和交流。
