静园5号院前沿讲座:Ming C. Lin教授谈动力学启发的虚拟试衣
2022 年 3 月 11 日,马里兰大学(University of Maryland)的 Ming C. Lin 教授受邀于北京大学前沿计算研究中心作题为“Dynamics Inspired Learning-based Virtual Try-On”的在线报告。报告由中心陈宝权教授主持,相关内容通过蔻享学术、Bilibili 同步直播,线上线下累计近千人观看。
Ming C. Lin 教授在线报告现场
Lin 教授本次报告关注于虚拟试衣问题,希望通过结合计算机图形学和计算机视觉的各种技术,帮助用户在在线购物中得到实时试穿衣物的效果。在报告的开始,Lin 教授就介绍了这项技术未来广阔的市场,以及自己对于这一技术强烈的个人兴趣。
Ming C. Lin 教授在线报告
想要实现虚拟试衣的效果,Lin 教授介绍了这个问题主要的三个挑战:
- 人体几何的精确重建
- 衣服材料的可信估计
- 友好的衣服与人体的交互
这三个问题需要各个击破,然后整合为一个系统供用户使用。为此,在接下来的报告中,Lin 教授介绍了她们从2017年开始针对各个问题做的一系列工作,最后介绍了她们为 Amazon 搭建的虚拟T恤试穿系统。
首先,Lin 教授介绍了她们发表在 SIGGRAPH 2018 上的文章“Physics-Inspired Garment Recovery from a Single-View Image”。在这个工作中,她们使用单张用户拍摄的图片和人体、衣服的数据集作为输入,在一个系统中优化人体的几何、衣服的材质以及衣服的剪裁。这个系统可以实现只需要用户输入一张图片,就可以生成三维空间中的人体和衣物,并可以通过模拟实现衣服对于人体姿势改变或者风吹动的反馈运动。
接下来,Lin 教授介绍了她们发表在 ICCV 2019 和 ICCV 2017 的两个工作,分别单独解决人体几何精确重建的问题和衣服物理材质恢复的问题。在两个工作中,Lin 教授介绍两个都使用了物理模拟合成的数据集辅助训练,在人体几何重建的任务上还使用了多视角、多阶段的重建策略,都实现了比之前的工作更好的重建结果。
之后 Lin 教授又介绍了她们分别使用可微模拟和 GAN 两个技术在布料控制以及衣物生成上的应用,分别发表在 NeurIPS 2019 和 ECCV 2020 上。最后 Lin 教授介绍了她们为 Amazon 搭建的虚拟 T恤试衣系统“FAST PHYSICS”。在这个系统中,用户拍摄自己正面和背面照片,填写身高体重数据,就可以获得 T恤在自己身上的试穿效果。
在报告的最后,Lin 教授总结了虚拟试衣领域依然面临的问题,并总结了未来可能的研究方向。
报告人简介
Ming C. Lin 教授是国际计算机图形学领域的著名学者,ACM Fellow、IEEE Fellow、Amazon scholar。她带领团队研究出多项面向大规模复杂自然现象的可扩展模拟的创新性技术,实现了高达100倍的计算速度提升;她长期从事大规模人群和交通状况模拟技术的研究,提出了多项交互式人群模拟方法,其中的大规模多主体的碰撞规避技术与人群系统已经被业界多家领军企业应用到产品中;她是最早开展声音渲染技术研究的学者之一,她带领科研团队研究开发了用于求解高复杂度三维环境下的数值声波方程,提高了计算速度,实现了大型三维场景下的声音效果实时合成。
2021年,Ming C. Lin 教授获“CCF海外杰出贡献奖”。