2022年12月11日，北京大学前沿计算研究中心具身计算日在线举办。本次具身计算日邀请来自中国、美国、新加坡等地多位具身智能（Embodied AI）领域活跃的专家学者，介绍在机器人操纵、导航、抓取等具身智能前沿问题上的最新进展。活动由中心助理教授董豪、王鹤主持，通过 B 站和抖音直播，吸引近8000人观看并参与讨论。

CFCS Embodied Computing Day讲者合影

　　活动伊始，前沿计算研究中心副主任王亦洲教授代表中心对与会嘉宾和观众表示欢迎。他表示，中心的一个重要的研究方向即为具身智能，并简单介绍了具身智能的概念、核心问题和未来展望。他期待今天该领域内的优秀学者在一起交流和研讨，碰撞出新的火花。

王亦洲教授开幕致辞

　　加州大学圣迭戈分校助理教授王小龙博士首先介绍了基于视觉的电机控制学习的泛化挑战。接着，介绍了自己在平行抓手操作、灵巧手操作和四足机器人运动控制三个方向的工作。这些工作分别解决了如何学习可泛化的奖励函数、如何利用网络视频提供模仿大量学习需要的数据以及基于视觉策略的 sim-to-real 问题。

王小龙：真实机器人场景下视觉运动控制的可泛化性

　　加州大学圣迭戈分校助理教授苏昊博士介绍了当前具身智能的核心挑战。他指出，学习可泛化到新任务、新物体的技能是核心瓶颈。为此，他的团队开发了如 Maniskill 等的完全物理仿真引擎并以此研究技能学习的基本原理。他强调，基于三维视觉的强化学习很重要，三维视觉将会为RL带来独特的泛化性能上的优势。

苏昊：具身智能中的3D真实世界建模

　　清华大学助理教授高阳博士首先介绍了基于视觉的强化学习的主要挑战——样本效率。他强调高效的强化学习算法应当 model-based、off-policy 以及利用好 self-supervision 相关的手段以辅助 model 的学习。随后他介绍了近期在这个方向的一系列工作，这些工作分别在基于视觉的强化学习、模仿学习以及基于模型的强化学习上取得显著更好的样本效率。

高阳：视觉机器人学习

　　普林斯顿大学助理教授金驰博士首先介绍了部分可观测的强化学习问题的数学定义以及该问题在计算和统计上的困难。他的工作给出了鉴别一类统计上可解的部分观测强化学习问题的方法，以及解决这类问题的有保证的算法。他指出，未来他将继续扩充可解决的部分观测强化学习问题的类型，让该问题“不再可怕”。

金驰：部分可观测的强化学习什么时候不令人恐惧？

　　香港中文大学助理教授窦琪博士介绍了手术机器人场景下的具身智能问题。她指出，目前 AI 社区普遍使用的仿真环境大都无法满足医疗场景的需求，打造任务定制的仿真环境是首要任务。随后她介绍了该领域的具身智能算法以及两个主要挑战——如何学出高效的策略以及如何将人类专家知识与策略结合。

窦琪：手术机器人中的具身智能---该领域的模拟器和前沿研究

　　北京大学前沿计算研究中心助理教授董豪博士分享了他在关于实现统一的、可泛化的机器人操作的相关工作。这些工作通过机器人和环境的交互，以自监督的方式学习机器人可交互的场景表示。这种表示在不同任务、物体和机器人结构下都能具有优异的表现。

董豪：构建统一的机器人操作

　　加州大学圣克鲁兹分校助理教授王鑫博士介绍了构建可泛化和可信赖的具身智能中的关键问题。王鑫博士还分享了相关领域的前沿工作，包括可泛化的多模型表示学习、视觉和语言引导的机器人操作任务，以及隐私安全的视觉语言导航算法。

王鑫：构建可泛化和可信赖的具身机器人学习

　　北京大学前沿计算研究中心助理教授王鹤博士首先介绍在材质无关的机器人抓取中的数据和算法挑战。然后提出了两种方案：大规模的仿真深度图修复数据集，和基于端到端的隐式神经场的抓取模型。两种方法都在真机实验中都取得了鲁棒的抓取表现。

王鹤：面向材料无关的机器人抓取泛化研究

　　新加坡国立大学助理教授邵林博士探讨如何构建机器人学习中从观察到执行的映射问题，并分享了基于可微的物理模拟器构建机器人与真实世界进行交互的框架。邵林博士通过实验展示了该方法在多种真实任务下具有良好的学习和泛化的能力。

邵林：通过可微分的物理模拟和渲染构建基于模型的强化学习的机器人操作算法

　　王亦洲教授在最后对此次活动进行了总结，并对所有与会嘉宾和听众表示感谢。

　　受新冠疫情影响，本次具身计算日活动为线上举行，但这并没有影响到与会者的交流热情。线上会议有近8000人参加，参会者积极提出问题，并得到了报告者的及时解答。此次活动增进了学者间的交流与互动，同时也为公众提供了一个了解最新计算机视觉和机器人技术的机会，为我国具身智能的发展提供了有力支持。

　　报告视频合集回放请见：https://b23.tv/Ue4E0Y7