本文是国际机器人和自动化顶级会议 ICRA 2023入选论文 DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation 的解读。

 

　　该论文由北京大学王鹤课题组与北京通用人工智能研究院合作完成。论文改进了现有灵巧机械手抓取物体的合成方法，提供了一套高效的程序框架用以合成多样、稳定的抓取姿势数据。通过该框架，团队为 ShadowHand 生成了大规模仿真数据集 DexGraspNet，包含133类5355个物体的132万抓取数据，在数量和质量上优于现有灵巧机械手抓取数据集。经过交叉数据集实验结果，新数据集能够显著提升数据驱动的灵巧机械手抓取合成算法的表现。

 

　　项目主页：https://pku-epic.github.io/DexGraspNet/

　　论文地址：https://arxiv.org/abs/2210.02697

　　代码地址：https://github.com/PKU-EPIC/DexGraspNet

　　

 

01 引 言

 

　　物体抓取是机器人系统设计的重要任务。近年来，基于视觉和学习的抓取方法在平行抓取器（Parallel Grippers）上取得巨大成功。然而，平行抓取器的自由度较低，无法完成例如张合剪刀这样的复杂动作。相比之下，多指灵巧机械手（Multi-Fingered Robotic Dexterous Hands）灵活性更高，是具身人工智能（Embodied AI）的重要研究对象。但是由于自由度更高，灵巧机械手的抓取算法远不如前者成熟，不仅缺少多样、稳定的抓取合成算法，还缺少大规模的抓取数据集。现有的灵巧机械手抓取数据集^[1]最多仅包含565个物体，拥有约6900条抓取数据，规模与多样性均不够大，极大限制了数据驱动抓取算法的泛化能力。

 

　　在本文中，我们合成了大规模仿真数据集 DexGraspNet，为包含133个种类的5355个物体合成了132万条抓取数据。这些物体从多个合成和扫描的物体数据集里挑选，涵盖了常见的人手可抓取的物体种类。我们的数据集不仅拥有前所未有的规模，而且保证了抓取数据的物理稳定性和姿势多样性。前者经由 Isaac Gym 仿真环境保证，后者得益于我们对已有的灵巧机械手抓取合成方法的改进。

 

　　需要注意的是，灵巧机械手抓取合成本身就是一个具有挑战性的任务。基于抓取特征空间搜索的算法^[2]由于搜索策略简单，得到的数据缺乏多样性。我们的算法基于最近的一篇工作^[3]，他们提出可微的抓取质量指标，通过优化方法合成高自由度的灵巧手抓取。但是该算法成功率较低、收敛较慢、对物体模型质量要求较高，无法支持我们合成大规模的数据集。因此我们为算法做出几条重要改进：我们设计了更好的初始化和接触点选取策略，从而加快算法的收敛速度；我们更换了计算可微有向距离场（Signed Distance Field）的方法，让算法能应用在低质量的物体模型上；我们定义了新的优化能量项，避免模型之间发生穿透。该算法也具有可迁移性，能适用于 MANO^[4]和 Allegro 等灵巧手上。

 

　　为了验证新数据集的效果，我们选择了两个数据驱动的抓取合成算法 DDG^[1]和 GraspTTA^[5]，进行数据集交叉实验，发现我们的数据集能够显著提升算法结果的稳定性和多样性，但都没有达到与数据集同等稳定且多样的程度，证明目前的抓取合成算法仍然有巨大的探索空间。

 

02 方 法

 

　　在数据集合成阶段，我们利用参考工作[3]提出的可微能量函数，从机械手的随机初始姿势开始，通过梯度下降法对抓取姿势进行优化，合成抓取姿势。假定机械手与物体的n个接触点为 x \in \mathbb{R}^{n \times 3}，物体表面在接触点的法线为c \in \mathbb{R}^{n \times 3}，通过放宽判定抓取稳定性的力封闭（Force Closure）条件，可微能量函数可以表示为：

　　此外，我们还添加了额外的能量项让机械手贴近物体E_{\mathrm{dis}}、防止穿模和自穿模E_{\mathrm{pen}} , E_{\mathrm{spen}}、防止关节过度弯折E_{\mathrm{joints}}。这些能量项通过加权来组成完整的能量函数：

　　在原有算法的基础上，我们提出了三点改进：首先，我们优化了初始化的方式，让机械手根据物体的凸包结构随机初始化在物体周围，显著提升合成算法的成功率。其次，我们提出了一个新的方法来计算 E_{\mathrm{pen}}，即计算物体点云相较于机械手的三维网格的穿模深度，使得算法能处理低质量的物体模型。最后，我们还优化了算法中可微有向距离场的计算方式，使用显卡即时计算，避免了原算法需要对物体模型信息进行预先的神经网络训练，简化了数据前处理流程并减少了算法的显存开销。

初始化示意图：首先在浅蓝色凸包上采样一个点，然后把机械手移动到该点上并对准被抓物体，最后对机械手的位姿与关节进行随机微扰。

 

　　初步合成的抓取结果被进一步放入基于 PhysX 物理引擎的 Isaac Gym 仿真环境中测试其物理稳定性。如果抓取姿势能在六个方向的重力下均维持一段时间，并且初始姿势穿模深度不超过1mm，则认为该抓取数据是有效的。

 

03 结 果

 

　　最终我们整合得到一套高效的框架，相较原有方法获得50倍以上的速度提升，同时保证结果的稳定性和多样性。我们为 ShadowHand 合成并筛选得到132万条抓取数据，覆盖了133个类别的5355个物体。下图展示了其中的部分数据：

 

 

　　此外，我们的方法还具有很高的泛用性，可以轻易迁移到人手或其他灵巧机械手上，同时不失算法原有的效率、质量与多样性。下图展示了我们为 ShadowHand、MANO 和 Allegro 生成的部分抓取数据：

　　我们为抓取数据做了定量统计，得出数据集在规模、抓取稳定性、抓取多样性上明显优于现有灵巧手抓取数据集。

 

现有灵巧抓取数据集的信息统计

 

表中指标为：1. Q_{1}，使物体脱离机械手所需要的最小外力扭（由外力及其力矩拼接的六维向量）的模长，用以衡量抓取的稳定性；2. H，关节角度分布的熵值，用以衡量抓取的多样性。

 

　　我们将数据集用以训练已有的灵巧机械手抓取合成算法 DDG 和 GraspTTA，显著提升了算法的表现。同时，我们注意到现有方法并不能兼顾稳定性和多样性，仍具有提升空间。

 

表中指标为：1. 在仿真环境中的抓取成功率；2. Q_{1}；3. 模型穿模深度的均值，单位为厘米。

 

04 总 结

 

　　在本论文中，我们合成了灵巧机械手的大规模抓取数据集，使其抓取数据相比以往数据集更具多样性，并使用物理仿真环境筛选结果来确保抓取的稳定性。我们选择的数据驱动的抓取合成算法在该数据集上进行训练，能够显著提升结果的稳定性和多样性。尽管如此，相比于平行抓取器上的成熟研究，灵巧机械手抓取任务仍有很大的研究空间，诸如精细抓取、功能性抓取等更具灵巧性的抓取任务也是待探索的问题。

 

参考文献

[1] M. Liu, Z. Pan, K. Xu, K. Ganguly, and D. Manocha, "Deep differentiable grasp planner for high-dof grippers," arXiv preprint arXiv:2002.01530, 2020.

[2] A. T. Miller and P. K. Allen, "Graspit! a versatile simulator for robotic grasping," IEEE Robotics & Automation Magazine, 2004.

[3] T. Liu, Z. Liu, Z. Jiao, Y. Zhu, and S.-C. Zhu, "Synthesizing diverse and physically stable grasps with arbitrary hand structures using differentiable force closure estimator," IEEE RA-L, 2021.

[4] J. Romero, D. Tzionas, and M. J. Black, "Embodied hands: Modeling and capturing hands and bodies together," ACM TOG, 2017.

[5] H. Jiang, S. Liu, J. Wang, and X. Wang, "Hand-object contact consistency reasoning for human grasps generation," ICCV, 2021.