控制人(ren)(ren)形(xing)机器(qi)人(ren)(ren)执行复杂(za)的(de)(de)全(quan)身动作(zuo)是(shi)机器(qi)人(ren)(ren)学领(ling)域(yu)的(de)(de)一(yi)个重(zhong)大挑战(zhan)。尽管，在人(ren)(ren)形(xing)机器(qi)人(ren)(ren)元年，一(yi)些研(yan)究(jiu)推动人(ren)(ren)形(xing)机器(qi)人(ren)(ren)在全(quan)身控制方(fang)面取得了(le)显著进展，但在执行复杂(za)任务和适应性(xing)方(fang)面仍(reng)然面临(lin)诸多(duo)问题。
为此，意(yi)大利技术研(yan)究(jiu)院(iit)博士(shi)生研(yan)究(jiu)员王进等提出用于(yu)不同场景(jing)中基(ji)于(yu)任务(wu)学习、选择(ze)和规划行为的框架HYPERmotion。相关论文(wen)成果收录(lu)于(yu)CoRL 2024。
该框(kuang)架能够结合强化(hua)学(xue)习与全身模(mo)型预测(ce)控制生成人(ren)形(xing)机器(qi)人(ren)全身动(dong)作(zuo)，并将其开发为(wei)运(yun)动(dong)库中的(de)(de)(de)(de)一(yi)种技能。此外，通过将LLMs的(de)(de)(de)(de)在线规划(hua)和(he)推理功能应(ying)用(yong)于复(fu)杂的(de)(de)(de)(de)移动(dong)操作(zuo)任务，还形(xing)成了(le)一(yi)个包含一(yi)系列基本行(xing)为(wei)的(de)(de)(de)(de)层(ceng)次化(hua)任务图，以桥接低(di)级执行(xing)和(he)高阶自动(dong)化(hua)规划(hua)。通过利用(yong)提炼(lian)的(de)(de)(de)(de)空间(jian)几何和(he)2D观测(ce)与VLM的(de)(de)(de)(de)交互(hu)，将知识(shi)嵌入构建的(de)(de)(de)(de)机器(qi)人(ren)形(xing)态选择(ze)器(qi)中，从而选择(ze)单臂或双(shuang)臂、腿式(shi)或轮(lun)式(shi)运(yun)动(dong)的(de)(de)(de)(de)适当动(dong)作(zuo)。
通过在仿真和(he)现(xian)实(shi)环境中(zhong)进(jin)行大规模实(shi)验，HYPERmotion展(zhan)示(shi)了(le)机器(qi)人所学的全身技能可以高(gao)效(xiao)适应新任务(wu)，表(biao)现(xian)出从自(zi)由文本(ben)指令中(zhong)获得的高(gao)自(zi)主性，并(bing)在非结构化场(chang)景(jing)中(zhong)进(jin)行规划。
此外，王进(jin)博士等研(yan)究人(ren)员(yuan)(yuan)又提出(chu)基于LLM的(de)人(ren)形(xing)机器人(ren)自主(zhu)行(xing)(xing)(xing)为规划框架，机器人(ren)能够(gou)根据文本指令自主(zhu)规划行(xing)(xing)(xing)为和(he)(he)低级(ji)执(zhi)(zhi)行(xing)(xing)(xing)，并(bing)观察和(he)(he)纠正任务(wu)执(zhi)(zhi)行(xing)(xing)(xing)中(zhong)的(de)失败(bai)。该框架提高(gao)了机器人(ren)在(zai)非(fei)结构化环境中(zhong)的(de)行(xing)(xing)(xing)动规划能力。王进(jin)博士等研(yan)究人(ren)员(yuan)(yuan)还设计了包含动作行(xing)(xing)(xing)为和(he)(he)感知行(xing)(xing)(xing)为的(de)机器人(ren)行(xing)(xing)(xing)为库，将(jiang)复杂任务(wu)分解为可(ke)执(zhi)(zhi)行(xing)(xing)(xing)的(de)子任务(wu)，提高(gao)了任务(wu)执(zhi)(zhi)行(xing)(xing)(xing)的(de)可(ke)靠性和(he)(he)可(ke)解释性。相关论文成果收录(lu)于IROS 2024。
10月24日晚(wan)7点(dian)，智(zhi)猩(xing)猩(xing)邀请(qing)到意大(da)利技术研(yan)究院(iit)博士生研(yan)究员王进参与「智(zhi)猩(xing)猩(xing)具身智(zhi)能前沿讲座(zuo)」第(di)14讲，主讲《HYPERmotion：结(jie)合语言模(mo)型实现人形(xing)机器(qi)人自主行为规划》。
讲者
王进
意大利技(ji)术研究院(iit)博士生研究员
师从Nikos Tsagarakis,是HHCM实验室的一员。其(qi)主要研究兴趣为机(ji)器(qi)人(ren)(ren)(ren)学习(xi)、具(ju)身(shen)智能以(yi)及仿(fang)人(ren)(ren)(ren)机(ji)器(qi)，具(ju)体为人(ren)(ren)(ren)形机(ji)器(qi)人(ren)(ren)(ren)的自(zi)主移动操作(zuo)，在(zai)机(ji)器(qi)人(ren)(ren)(ren)任务(wu)中融(rong)合基础模型(xing)并通过学习(xi)的方式提高(gao)机(ji)器(qi)人(ren)(ren)(ren)的自(zi)主性。部分(fen)研究发表(biao)在(zai)IROS、ICRA、CoRL等机(ji)器(qi)人(ren)(ren)(ren)相关会议(yi)。
第 14 讲
主 题
《HYPERmotion：结合语言模(mo)型实现(xian)人形机器人自主(zhu)行(xing)为规划》
提 纲
1、利用RL与全身模型预测控制生成人形机器人全身动作
2、基于LLM分解复杂操作任务构建层次化任务图
3、结合VLM选择机器人形态和相应动作
4、在仿(fang)真(zhen)和(he)真(zhen)实环(huan)境的实验(yan)中效果展示(shi)及分(fen)析
直 播 信 息
直播时间：10月24日19:00
成果
论文标题
《HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation》
《Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model》
论文链接
//arxiv.org/abs/2406.14655
//arxiv.org/abs/2408.08282v1
项目地址
//hy-motion.github.io/
如何报名
有讲座(zuo)直播观看需求(qiu)的朋(peng)友，可以添(tian)加小助手(shou)“莓(mei)莓(mei)”进(jin)行报名(ming)。已添(tian)加过“莓(mei)莓(mei)”的老(lao)朋(peng)友，可以给(ji)“莓(mei)莓(mei)”私信，发(fa)送“具身智能14”进(jin)行报名(ming)。对(dui)于通过报名(ming)的朋(peng)友，之后将邀(yao)请入群进(jin)行观看和交流。
