静园5号院科研讲座: 哈佛大学Yiling Chen教授谈信息质量评定的机制设计

  2019年8月5日,哈佛大学 Yiling Chen 教授受邀访问北京大学前沿计算研究中心,并在静园五院做了题为“Assessing Quality of Information without Ground Truth”的报告。报告由中心讲席教授邓小铁老师主持,听众包括来自北京大学信息科学技术学院、数学学院等单位的师生,以及清华大学、中国科学院等单位的科研人员。

  

Yiling Chen教授报告现场

  

  这次报告中,Yiling Chen 教授从机制设计的角度分析了在没有真相(Ground truth)的情况下如何对信息质量进行评定,并由此设计机制激励人们报出内心真实的想法。Chen老师的工作在信息提取(Information elicitation)、众包(Crowdsourcing)等领域具有重要意义。

  

  无论是众包还是调查问卷,机制设计者总是希望人们根据自己真实想法报出高质量的答案,然后根据信息的质量给予参与者相应的报酬。例如,明天是下雨、晴天或是下雪的概率分别是多少?当参与者给出答案后,我们可以根据第二天的天气情况对这个答案进行评分。为了激励参与者真实地给出答案,我们使用一种称为 Strictly Proper Scoring Rules (SPSR)[1] 的评定规则。

  

  

  1. Strictly Proper Scoring Rules (SPSR) 

  SPSR 实现了这样一种激励机制:当参与者按照自己真实的信念 q 进行作答,他获得的报酬最高;而当他给出任何一个不同于 q 的答案 p 时,获得的报酬都会减少。这种评定规则通常使用凸函数来实现,常见的有基于二次函数的 Brier score,基于对数函数的 Logarithmic score 等等[2]。

  

  

  SPSR除了能够激励参与者报出自己真实的想法外,也可以帮助确定机器学习中的损失函数,这是因为由SPSR可以导出预测分布 p 和真实分布 q 间的“距离”(divergence)。例如,由 Logarithmic score 可以导出著名的 KL散度。Liu 和 Chen[3] 证明了当这种“距离”小时,相应的 SPSR 也会提高。

  

  

  2. Surrogate Scoring Rules (SSR) 

  当可以获得真相(Ground Truth)时,我们使用 SPSR 对参与者给出的答案进行评分;那么当没办法获取真相时,该如何对参与者给出的信息进行质量评定呢?而这种情况在现实中相当普遍。例如,使用众包去标记图像的标签(如果我们想获得真相,需要自己去标注,这样就失去了众包的意义);询问一些假设性/个人偏好比较强的问题等等。

  

  为了解决没有真相的情况下信息质量评定的问题,Chen 老师先对问题进行了简化:假设我们知道真实的偏差。由此构造出了一个新的指标 Surrogate Scoring Rules (SSR)。这个指标在期望意义下等同于使用真相构造出的SPSR。

  

  随后,Chen 老师带大家一起证明了这个指标的性质。当我们知道真实的偏差时,使用 SSR 可以得到和 SPSR 相同的效果。

  

  

  3. Uniform Dominant Truth Serum (DTS) 

  当把SSR应用于实际问题时,我们很难直接知晓真实的偏差,只能通过统计估计。Chen 老师设计了一个新的机制,称为 Uniform Dominant Truth Serum (DTS)[3],来实现多任务的信息评定。DTS只需要知道所有参与者的答案和关于整个任务集1bit 的信息,就可以对参与者的答案就行质量评估,非常强大。

  

  传统的 Peer Prediction 方法更关注不同参与者答案间的相关性,但当一个参与者给出了不诚实的答案时,为了在 Peer Prediction 方法中获得高回报,其他参与者可能也需要谎报自己的答案。而 DTS 更关注参与者答案和可能的真相间的距离,所以可以获得更为有用的信息评定。

  

  Chen 老师最后也展示了她们在不同数据集上的实验效果。

  

Yiling Chen 老师报告中

  

  

  Chen 老师报告时细致而认真,深入浅出地讲解了机制设计的基本原理,与会师生均受益良多。

  

中心邓小铁老师、孔雨晴老师与Yiling Chen老师合影

  

  Reference 

  [1] Gneiting T, Raftery A E. Strictly proper scoring rules, prediction, and estimation[J]. Journal of the American Statistical Association, 2007, 102(477): 359-378.

  [2] Proper Scoring Rules. Yiling Chen.

  http://www.eecs.harvard.edu/cs286r/courses/fall12/presentations/lecture4.pdf

  [3] Liu Y, Chen Y. Surrogate Scoring Rules and a Dominant Truth Serum[J]. arXiv preprint arXiv:1802.09158, 2018.