近日，2024年度北京大学-中国光谷成果转化奖获奖名单揭晓，共四位教授获得该奖项，北京大学前沿计算研究中心助理教授、博士生导师王鹤位列其中。

 

　　他开创具身智能技术推动人形机器人实现通用性、拓展应用潜力，让科研成果走出实验室，走近我们身边。

 

图源：北京大学官方公众号

　　

#具身智能赋能人形机器人#

他为机器人注入灵魂

 

　　具身智能是指一种依托物理身体能够通过感知、决策、行动与环境进行交互的能力，人形机器人则是具身智能的最佳载体。具身智能技术的转化发展大大增强了人形机器人的感知、语言交流、导航、灵巧操作和自主学习能力，使其能更自然地与人类协作并执行更复杂的任务，从而在多个领域拓展应用潜力，积极应对我国面临的老龄化、少子化和劳动力短缺等重大社会挑战。

 

　　2024年度“北京大学-中国光谷成果转化奖”获奖者、北京大学前沿计算研究中心助理教授王鹤秉持着让人形机器人服务于千行百业、千家万户的信念，长期致力于具身智能探索和技术转化。他的获奖成果为“具身智能技术”。

 

　　“除了服务千行百业外，我们的最终愿景是将人形机器人应用于家庭环境中，服务千家万户。”在具身智能的道路上坚持深耕，他以人工智能赋予机器人灵魂。他的研究大大提升人形机器人的通用性，让机器人更好地服务于人类社会。

 

　　王鹤主要聚焦于具身智能这一前沿领域。在北大-银河通用具身智能联合实验室的支持下，他在材料无关的抓取、可泛化的物体操作、3D 寻物导航和灵巧手数据集等方面实现了技术成果的有效转化。

 

王鹤在“2024 Inclusion·外滩大会”

　　

#王鹤团队技术亮点#

材料无关的抓取

 

　　团队在机器人物体操作领域，全球范围内率先实现了任意材质下的泛化二指抓取技术突破，解决了深度传感器在透明反光物体上失效和泛化抓取的高标注成本问题。提出基于物理渲染和仿真的大规模深度传感器和抓取数据合成方案，达成基于仿真数据训练并直接向真实世界迁移的深度估计和抓取位姿预测。通过四代技术迭代，在国际范围内率先实现对任意场景、任意堆叠、任意材质（包括透明、高反光、吸光、柔性等）物体的高成功率泛化抓取。

 

　　

#王鹤团队技术亮点#

可泛化的物体操作

 

　　团队在关节类物体（如柜子、冰箱、抽屉等）的感知和操作领域建立第一个跨物体类别、关注零部件的数据集 GAPartNet，通过从三维视觉获得可泛化零部件位姿并直接赋能操作的路线，获得 CVPR 2023 满分论文及 Highlight；通过强化学习进行泛化操作的路线，斩获 ManiSkill Challenge 2021 冠军。

 

　　

#王鹤团队技术亮点#

3D 寻物导航

 

　　团队提出了三维视觉点云融合带语义的实时建图导航技术，能够实现精准的室内导航和定位，使得机器人能够在复杂环境中更准确地感知周围环境，实时处理和分析大量环境数据，快速做出决策，如避障、路径规划和任务执行。这种实时性对于需要快速响应的应用场景至关重要。

 

　　

#王鹤团队技术亮点#

灵巧手数据集

 

　　团队在机器人技能学习领域率先突破灵巧手高泛化大规模强化学习。将原有算法加速50倍，首次合成百万量级的 DexGraspNet 数据集，工作被 ICRA 2023 评为最佳操作论文候选；基于此数据集的 UniDexGrasp 系列工作提出以三维几何引导相似物体一同进行泛化强化学习的思路，首次达成数千物体上泛化的高成功率灵巧手抓取策略，获得了 ICCV 2023 满分论文和最佳论文候选（前千分之0.2），对机器人在零售等场景中的应用产生重要推动力。

 

　　

#具身智能赋能人形机器人#

银河起航 通用无疆

 

　　王鹤团队所取得的技术成果，已向包括国务院副总理丁薛祥、国家发展和改革委员会主任郑栅洁、北京市委书记尹力等国家领导人进行了真机演示。受到 CCTV、新华社、人民日报等媒体的广泛关注和报道。在这些技术成果的支持下，成果转化对象北京银河通用机器人有限公司现已获得12亿人民币融资，获得北京市科技新星创业新星支持。

 

 

　　目前，银河通用已推出全球首例可以线下真机展示泛化干活技能的具身大模型机器人 Galbot （G1）。“银河起航，通用无疆”是王鹤给 Galbot 的宣传语，他也在这片尚待开垦的无疆田野里敢为人先、开拓边界，在全球产业之战中勇攀高峰。获取足够多的数据是具身智能发展的难点，经过基于本土情况的思考和落地场景的商业化考量，他选择 all in “Sim2Real（从仿真到真机的迁移）”，即主要依靠合成仿真数据，突破了特斯拉、Google 都选择用“遥操”采集数据的先例，极大地降低了成本。

 

　　据银河通用透露，Galbot 目前在国际范围内首次实现了成功率在95%以上抓取随机堆放、从未见过的透明、高光等物体，甚至已进一步掌握类似开柜子、开抽屉、晾衣服等泛化操作技能。针对商业领域无人值守以及工厂、车厂的应用场景，银河通用已与奔驰、极氪等各领域头部企业展开合作。王鹤的具身智能技术成果将深刻影响多个领域，为我国社会的劳动力短缺等未来挑战提出新的方案。

　　

Galbot 正在车厂进行天窗转运工作

　　

王鹤博士简介

 

 

　　王鹤，北京大学前沿计算研究中心助理教授、博士生导师。他创立并领导了北大具身感知与交互实验室，研究目标是通过发展具身技能及具身多模态大模型推进通用具身智能。他同时是北大-银河通用具身智能联合实验室主任，北京智源人工智能研究院具身智能研究中心主任。他已在计算机视觉、机器人学和人工智能的顶级会议和期刊上发表五十余篇工作，其论文获得 ICCV 2023 最佳论文候选，ICRA 2023 最佳操纵论文候选，2022年世界人工智能大会青年优秀论文奖，Eurographics 2019最佳论文提名奖等，荣获2024北京大学-中国光谷成果转化奖，英特尔中国学术英才计划荣誉学者，蚂蚁 InTech 科技奖等。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士 Leonidas. J Guibas 教授，于2014年从清华大学获得学士学位。

　　

北京大学-中国光谷奖学金

 

　　2022年，北京大学设立“北京大学-中国光谷奖学金”，分为“学生奖学金”和“成果转化奖”。其中，“北京大学-中国光谷成果转化奖”的设立，是为进一步推动北京大学产学研工作，鼓励教职工进行科技成果转化和技术转移，服务国家科教兴国战略、人才强国战略、创新驱动发展战略，奖励北京大学取得重要科技成果并在科技成果转化方面做出重要贡献的在职科研人员。