2019年10月8日，图灵奖得主、蒙特利尔大学教授、Mila创始人Yoshua Bengio在北京大学静园五院带来了题为“Towards Compositional Understanding of the World by Deep Learning”的在线讲座。报告由中心执行主任陈宝权教授主持，听众包括来自北京大学、清华大学、北京理工大学等高校的师生，以及微软亚洲研究院、旷视科技等工业界研究人员。

　　

Yoshua Bengio 教授报告现场

　　

　　尽管人工智能在近十几年取得了突破性的进展，现在的人工智能离具有人类智慧的人工智能还很遥远。现有机器学习算法的样本复杂度相对较高，模型对世界的理解还停留在浅层，人们在解耦表示学习方面也没有取得令人满意的突破。

　　

Yoshua Bengio教授报告主题

　　

　　Bengio 教授就此现象提出了深度学习需要的四要素：

　　1. 元学习

　　2. 稀疏交互模块

　　3. 因果理解

　　4. 以代理视角看待深度学习

 

　　1. 元学习（Meta Learning）

　　现有的机器学习算法理论只保证了模型在同分布的数据集上的泛化能力。但真实世界的数据分布往往是不断变化的。为了提高模型的泛化能力以及更好更快地在不同分布的数据集上进行迁移，元学习扮演了重要的角色。

 

 

　　以上两个公式体现了元学习的核心思想。元学习包含两个优化过程：内层优化依赖于元学习参数 ω，并在某个数据分布上进行独立学习，其目标函数是在给定的数据分布上取得最小的经验误差；外层优化学习元学习参数 ω，其目标函数是在给定的多个数据分布上取得最小的泛化误差。学习如何去学习（leaning to learn），这就是对元学习最好的概括。

 

　　2. 稀疏交互模块（Sparsely Interacting Modules）

 

 

　　Bengio 教授主要强调了2个概念：

　　注意力机制（attention mechanism）

　　人的一个想法（thought）可以认为是一个低维的目标，由几个方面的状态组成，而这些方面是从一个巨大的集合中挑选的。注意力机制让人类在解决问题时可以挑选重要的方面形成自己的思维，这个机制在深度学习中也同样适用。深度学习的注意力机制（attention-mechanism）最早出现在2014年的一篇机器翻译的文章中，现在它已经成为了许多模型中的标准模块（Transformer, Bert etc.）

 

 

 

　　意识（consciousness）

 

 

　　如上图所示，从原始输入直接得到的高维抽象向量通常是无意识（unconsciousness），它包含了各种概念（concepts）和因素（factors）。通过注意力机制，我们可以抽取无意识表示中我们需要的方面，组成低维有意识表示 c。由注意力机制的定义，c 中包含了各个因素的键（key）和值（value）。

　　

　　概括地讲，使用注意力机制、学习有意识表示的最终目的是关注那些重要的变量，将纠缠的因素分解成互相独立的因素，每个因素捕捉了某一方面的知识（disentangle）。

 

　　3. 因果理解（Casual Understanding）

　　让机器学会因果理解就是让其学习世界运行的规律 ，而不是简单的利用数据集的统计特征。因此深度学习的目标之一就是学习那些可以捕捉因果变量的抽象表示。

 

　　4. 以代理视角看待深度学习（The Agent Prespective in Deep Learning）

　　这个要素其实是之前三个要素的一个总结。Agent 是一个会采取行动来改变环境的机器。Agent 需要真正的理解整个环境和世界来获得很好的泛化能力。Agent 在不断的从环境中获取知识，学习更好的表示。

　　

　　此外，Bengio 教授还介绍了两种系统的定义：

　　定义系统1：这类系统采取的动作往往是快速的，直觉的，没有意识的，好比人类的条件反射。现有深度学习在这类系统上可以做的非常好。

　　定义系统2：这类系统采取的动作往往是缓慢的，有逻辑的，有意识的，好比人类的非条件反射。

　　

　　系统1非常高效，但是在训练数据分布外的泛化能力非常差。系统2非常低效和缓慢，但它可以像人一样去推理那些不存在的场景。将这两个系统相互结合，就可以融合他们各自的优势，使得人工智能像人类一样思考。

　　

　　最后，Bengio 教授总结了四大组合式深度学习的工具：

　　1. 元学习（快速迁移到变化后到数据分布上）

　　2. 稀疏交互机制（有意识的表示学习）

　　3. 抽象的变量具有因果关系，他们的依赖关系可以被模块化表示

　　4. 系统1和系统2相结合

 

　　

　　报告结束后，在座的师生们围绕机器学习和深度学习这两个话题，向 Yoshua Bengio 教授提出了许多问题，Bengio 教授进行了耐心和细致的回答。陈宝权教授代表中心感谢 Bengio 教授在加拿大的清晨专程为北京大学的师生带来内容丰富而精彩的讲座。

　　

报告提问环节

　　

　　后记：以上即为对 Bengio 教授本次讲座的总结。本次讲座涉及到许多抽象的深层次的概念，翻译成中文后所表达的概念的准确性可能会受到影响，经 Bengio 教授授权，以下附报告的slides供大家学习。slides仅供个人学习，禁止转载及任何商业用途。

　　

　　此外，报告录像也将在近期通过“北大讲座网”公开，敬请关注。