新闻动态
新闻动态

董豪课题组 ICLR 2022 入选论文解读:操作3D铰接物体的视觉操作轨迹学习

  本文是 ICLR 2022入选论文《VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects》的解读。该论文由北京大学前沿计算研究中心董豪课题组与斯坦福大学、腾讯人工智能实验室合作完成。文章提出了一种新型的物体功能可操作性表示,设计了一个通过交互进行感知学习的框架以学习这个表示,并在多样的物体上完成操作任务。

 

  项目主页:https://hyperplane-lab.github.io/vat-mart/

  

01

研究背景

 

  未来的家庭助理机器人,需要具备感知和操作人类环境中大规模多样性 3D 物体的能力。在 3D 物体中,3D 铰接物体包含具有重要的功能和语义信息的铰接部件(例如,橱柜的门和抽屉),人类和家庭助理机器人经常与它们进行交互,因此值得我们的关注。然而,与只有6个自由度(DoF)的普通刚性物体相比,铰接物体具有更高的自由度,更难以被机器人理解和交互。

 

  先前的工作,大多数使用估计 3D 铰接物体的关节、部件姿态、动力学模型等的方法来理解和操作 3D 铰接物体。在这篇论文里,我们通过预测目标物体铰接部件上每个点的可操作性分数,以及提出每个点上完成目标任务的多样性轨迹,提出了一种新型的可操作性视觉表示(图1)。这样的视觉可操作性表示,可以泛化到不同形状的物体上,且和操作物体的机器人型号无关。为了获得这种视觉可操作性先验表示,我们设计了一个通过交互进行感知学习的框架 VAT-Mart。

 

图1. 输入一个3D铰接物体,我们的方法输出了每个点的可操作性分数,以及多样的操作轨迹

 

02

方   法

 

  我们提出的 VAT-Mart 框架(图2),由两个模块构成:基于强化学习的交互式操作轨迹探索模块,以及视觉可操作性感知模块。轨迹探索模块为感知模块提出可操作性和多样的操作轨迹数据,感知模块从轨迹探索模块的数据中整合可操作性和操作轨迹信息,并且利用好奇心机制,为轨迹探索模块的轨迹多样性提供指导。

 

  具体而言,交互式操作轨迹探索模块,使用基于目标物体状态的强化学习方法,生成不同物体、不同铰接部件上可以完成不同任务的轨迹以及交互点的可操作性。为了收集多样性的轨迹,操作轨迹探索模块使用的强化学习方法的奖励由两部分构成:轨迹是否可以完成任务的外部奖励,以及感知模块提供的、当前轨迹是否新颖多样的内部奖励。感知模块由可操作性预测模块、轨迹提出模块、轨迹打分模块这三个子模块构成,它们分别预测每个点的可操作性、提出多样化的可以完成指定任务的轨迹、预测轨迹是否可以完成指定任务。轨迹打分模块的输出,同时会被作为内部奖励,激励轨迹探索模块以探索多样性的轨迹。

 

图2. 框架结构

 

03

实   验

 

  我们使用 SAPIEN 模拟器,在大规模 PartNet-Mobility 数据集上进行实验。我们选取了2类常见的关节类型:门(旋转)和抽屉(平移),选取开关门或抽屉作为4类任务,选取了7类物体,对于每个任务,我们把物体分为训练类别(train-cat)和在训练中没有出现的新类别(test-cat)。对于每个任务,我们的框架预测出物体上每个点的可操作性分数,以及提出多样的操作轨迹(图3)。

 

图3. 在不同任务和不同物体上,每个点的可操作性分数,以及多样的操作轨迹

 

  进一步地,我们在真实世界扫描的 3D 物体(Google Scan, RBO, Our Scan)上进行了实验(图4的左半部分),并且使用 franka panda 机械臂进行了真机实验(图4的右半部分)。

 

  在大规模数据集和真实世界数据、真机上,我们的方法展现能够高效地预测可操作性和提出动作轨迹,并且在新环境、新类别物体上展现出了不错的泛化能力。

 

图4. 在真实世界数据上(左),以及真机实验(右)的效果

 

04

总   结

 

  在这篇论文中,为了感知和操作 3D 铰接物体,我们提出了一个新颖的可泛化的视觉可操作性表示,并且设计了 VAT-Mart 框架,预测目标物体铰接部件上每个点的可操作性,以及提出可以完成目标任务的多样性操作轨迹。在大规模 PartNet-Mobility 数据集和真实世界数据、真实机械臂上的实验,证明了我们提出的框架的高效性。