近日，北京大学前沿计算研究中心助理教授、博士生导师王鹤在国际顶级会议2024 IROS 上带来了主旨演讲，他也是本届会议 Plenary Talk 和 Keynote 报告人中唯一的国内学者。

　　2024智能机器人与系统国际会议（IROS 2024）于10月14日至18日在阿联酋阿布扎比的国家展览中心（ADNEC）举行。作为国际机器人与系统领域的顶级学术会议，大会汇集了全球顶尖学者和专家，涵盖机器人感知、控制、导航、智能算法等多个领域，是展示最新研究成果和前沿技术的重要平台。

　　北京大学前沿计算研究中心助理教授、博士生导师王鹤博士受邀出席 IROS 2024，作为本届大会 Plenary Talk 和 Keynote 报告人中唯一的国内学者，在10月17日的 Keynote Session 3 - AI & Robotics 会议上，带来了题为 Towards Generalist Robots: Embodied Large Model System Empowered by Synthetic Data 的主旨报告。与他同台的还有来自德国汉堡大学、西班牙卡洛斯三世大学、阿联酋哈利法大学、日本东京大学等高校的国际顶尖学者。

王鹤在大会报告中

　　在报告中，王鹤系统阐释了合成数据驱动通用机器人能力发展的重要意义。

　　他认为，机器人动作数据少是当今具身智能发展面临的一个难点。特斯拉和 Google 都是通过“遥操”采集数据，采集成本十分昂贵。更重要的是需要知道，究竟用多少数据和多长时间的远程操作，才能达到足以构建通用机器人大模型的数据水平。

　　通过对合成数据的研究和应用，团队发现数据规模与成功率之间存在显著关系。例如，在抓取未知随机物体时，使用十亿次抓取数据，机器人的成功率很高；而当数据量缩小到10万次时，成功率则下降28%。这表明，要涵盖不同的场景和任务，确实需要大量的数据，而在真实世界里很难获得十亿量级的数据，Google 收集十几万条数据，用了十多个月、且花费巨大且目前训练出的模型泛化性不高便是证明。

　　在报告的最后，王鹤提出了构建未来通用机器人框架的一些思考。他表示，这一框架可能基于低成本的移动操控平台，并配备一个具备多任务和多技能能力、直接输出动作的“小脑”大模型。该模型比较轻量、高频率闭环运行，将吸收天量机器人任务数据，绝大部分数据采用合成得到，以逐步实现技能的涌现。在此之上是一个具有空间智能的“大脑”大模型，能理解三维场景、与人自然语言交互并将长程任务进行多步分解。这样的“大小脑”联动系统或将成为通用机器人的未来。

　　此外，值得一提的是，由北大-银河通用具身智能联合实验室孵化的首代具身大模型机器人Galbot也来到了 IROS 现场，进行了为期5天的商业无人值守场景实机工作展示，凭借稳定、高效的工作能力吸引了众多海内外专业观众的关注，展位前时常云集专家学者交流互动。

Galbot 在 IROS 现场展示

　　本届 IROS 汇聚了来自世界各地具身智能等领域的顶尖学者，报告现场座无虚席，观众反响热烈。王鹤的精彩演讲引发了与会嘉宾与学者们的强烈共鸣与认同，这不仅展示了他扎实的学术能力，更彰显了北大前沿计算研究中心在国际学术舞台上的影响力。未来，北大前沿计算研究中心将继续支持具身智能领域的创新发展，培养和吸纳更多优秀人才，为中国科技发展，全球科技进步贡献力量。

大会全体报告现场

王鹤博士简介

　　王鹤，北京大学前沿计算研究中心助理教授、博士生导师。他创立并领导了北大具身感知与交互实验室，研究目标是通过发展具身技能及具身多模态大模型推进通用具身智能。他同时是北大-银河通用具身智能联合实验室主任，北京智源人工智能研究院具身智能研究中心主任。他的工作获得 ICCV 2023最佳论文候选，ICRA 2023最佳操纵论文候选，2022年世界人工智能大会青年优秀论文奖，Eurographics 2019最佳论文提名奖等。他荣获英特尔中国学术英才计划荣誉学者，蚂蚁 InTech 科技奖等。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士 Leonidas. J Guibas 教授，于2014年从清华大学获得学士学位。