近期，由北京大学前沿计算研究中心助理教授董豪博士等编写的深度强化学习专著：《深度强化学习：基础、研究和应用（Deep Reinforcement Learning: Fundamentals, Research and Applications）》开始在Springer预售。英文版预购链接：https://www.springer.com/gp/book/9789811540943。中文版预计在年底推出，敬请期待。更多信息，请移步本书主页：https://deep-reinforcement-learning-book.github.io

内容概要

　　深度强化学习是实现智能决策的关键技术之一，对人工智能、机器人、认知科学、金融、资源调配等重大应用需求和研究方向有重要的意义。深度学习是基于深度神经网络的机器学习方法。深度强化学习是强化学习和深度学习的结合体，随着近几十年来深度学习发展的热潮，深度强化学习作为一个新的重要学科分支吸引了越来越多的科研和产业人员的关注。本书从基本强化学习理论，到深度强化学习算法，再到实际应用与实践，给读者带来相对全面且实用的深度强化学习知识，便于读者学习和开展日后研究工作。

　　本书分为三大部分，覆盖了学习深度强化学习所需的所有内容。第一部分介绍了强化学习的基础知识、常用的深度强化学习算法及其实现方法。第二部分对精选的深度强化学习研究方向展开介绍，这对希望开展相关研究的读者非常有意义。为了帮助读者更加深入地理解深度强化学习细节并把相关技术应用到实际中，本书第三部分仔细地讲述了大量应用的实现细节，例如机器人学习跑步、机械臂控制、下围棋、多智能体平台等等，并提供相关的开源代码。

　　本书可以作为在深度强化学习相关领域工作的教师、学生或工程师的阅读材料和参考书。一方面可以帮助读者从零开始学习强化学习，到深入具体的研究方向；另一方面可以帮助读者快速地把深度强化学习技术用于实际项目中。

编者团队

　　董豪，北京大学前沿计算研究中心助理教授。于2019年秋获得英国帝国理工学院博士学位。研究重点包括可泛化的机械臂操作、机器人视觉和移动设备自主决策等方面。董豪博士在NeurIPS、ICLR、CVPR、ICCV、ECCV、ICRA、IROS等国际顶尖会议/期刊上发表论文40余篇，Google Scholar引用4000余次，多次担任国际顶尖会议如NeurIPS、CVPR、AAAI的领域主席。其领导了多个开源项目，例如TensorLayer和OpenMLsys，在ACM Multimedia 2017获得了最佳开源软件奖，并在2021年和2022年获得了OpenI杰出项目奖。在加入北大之前，董博士于2019年秋从英国帝国理工毕业，师从郭毅可教授。在博士之前，董博士分别从英国帝国理工和英国中央兰开夏大学获得一等硕士和一等学士学位，并与郭毅可教授共同创办过人工智能可穿戴硬件公司。

　　丁子涵，普林斯顿大学博士生。于2019年获得英国帝国理工一等研究生学位，本科就读于中国科技大学获物理和计算机双学位。研究方向主要涉及强化学习、机器人控制、计算机视觉等。在ICRA、NeurIPS、AAAI、IJCAI、Physical Review等顶级期刊与会议发表多篇论文。是TensorLayer-RLzoo, TensorLet和Arena开源项目的贡献者。

　　仉尚航，加州大学伯克利分校Berkeley AI Research Lab (BAIR) 博士后研究员。于2018年获得卡内基梅隆大学博士学位。研究方向主要涉及深度学习、计算机视觉及强化学习。在NeurIPS、CVPR、ICCV、AAAI等人工智能顶级期刊和会议发表多篇论文。目前主要从事有限样本机器学习理论与算法研究，包括low-shot learning、domain adaptation、meta learning等。获得美国2018 Rising Stars in EECS，及Adobe Collaboration Fund, Qualcomm Innovation Fellowship Finallist Award等奖励。

作者团队

　　本书作者团队全部为一线科研人员和开源社区成员，使用深度强化学习解决不同领域的问题。本书内容缩小了理论和实践之间的距离，提供了大量工程实现的细节和技巧。团队的多样性使得本书风格对不同领域的读者更为友好，并对代码库进行支持和维护。

编者访谈

Q：可否从作者的角度谈一下写书的初衷？
董豪：我们写这本书的初衷是为了更好地做知识传播，打造一本综合性的深度强化学习书籍，从基础代码到新研究方法做全面的覆盖。在信息爆炸的时代，我们希望读者能从一个地方获取到大部分需要的内容。

Q：写作中遇到的最大的困难是什么？
董豪：例子代码开发量是巨大的，我们为了这本书开发了两个强化学习库及一系列的大型应用例子，这需要团队有较好的合作意识。此外，作者们大多有自己的工作，都是兼职写这本书，能按计划完成是挺不容易的。这本书从开题到出版用了一年的时间。

Q：最大的收获是什么呢？
董豪：对我来说有两方面的收获。一方面，实现了我们知识传播的初衷。另一方面，对我个人来说，我从其它作者那学习了很多知识。

Q：有什么希望对读者说的话吗？
董豪：这本书这周就要正式出版了，希望能帮助到大家，同时华人读者欢迎加微信群讨论。

专家推荐

I am impressed by the breadth of topics covered by the book. From fundamental underlying theory  of deep reinforcement learning  to technical implementation with elaborated code details, the authors devoted significant efforts to provide a comprehensive description. Such a style makes the book  an ideal study material for novices and scholars. Embracing the open-source community is an indispensable reason for deep learning to have such a rapid development.  I am glad that this book is accompanied by the open-source code. I believe that this book will be very useful for researchers who can learn from such a comprehensive overview of the field, as well as the engineers who can learn from scratch with hands on practice using the open source code examples.

-郭毅可，帝国理工学院教授、数据科学研究所所长，香港浸会大学副校长，英国皇家工程院院士，欧洲科学院院士

This book provides the most reliable entry to deep reinforcement learning, bridging the gap between fundamentals and practices, featuring detailed explanation and demonstration of algorithmic implementation, offering tips and cheat sheet. The authors are researchers and practitioners from leading universities and open source community who conduct research on deep reinforcement learning or apply its new techniques in various applications. The book serves as an extremely useful resource for readers of diverse background and objectives.

-陈宝权，北京大学博雅特聘教授，前沿计算研究中心执行主任，IEEE Fellow

This is a timely book in an important area---deep Reinforcement Learning (RL). The book presents a comprehensive set of tools in a clear and succinct fashion: covering the foundations and popular algorithms of deep RL, practical implementation details, as well as forward-looking research directions. It is ideally suited for anyone who would like to learn deep RL, to implement deep RL algorithms for their applications, or to begin fundamental research in the area of deep RL.

-金驰，普林斯顿大学助理教授　

This is a book for pure fans of reinforcement learning, in particular deep reinforcement learning.

Deep reinforcement learning (DRL) has been changing our lives and the world since 2013 in many ways (e.g. autonomous cars, AlphaGo). It has showed the capability to comprehend the 'beauty of Go' better than professionals. The same idea is currently being implemented in technology, healthcare and finance. DRL explores the ultimate answer to one of the most fundamental questions: how do human beings learn from interaction with environment? This mechanism could be a silver bullet of avoiding the 'big data' trap, a necessary path towards 'Strong AI', as well as a virgin land that no human intelligence has touched before.

This book, written by a group of young researchers with full passion in machine learning, will show you the world of DRL and enhance your understanding by means of practical examples and experiences. Recommend to all learners who want to keep the key to future intelligence in their own pocket.

-李克之，伦敦大学学院助理教授