青源LIVE第29期|清华叉院高阳：使用1/500数据掌控Atari游戏EfficientZero算法详解

当前强化学习已在许多应用中取得了巨大成功。但样本效率仍是强化学习中一个重大挑战&＃xff0c;重要的方法需要数百万&＃xff08;甚至数十亿&＃xff09;的环境步骤来训练。虽然&＃xff0c;当前在基于图像的样本高效RL算法方面取得了重大进展&＃xff1b;但是&＃xff0c;在Atari游戏基准上&＃xff0c;要达到与人类水平相一致&＃xff0c;仍然是一个难以实现的目标。

智源社区特邀请了清华大学交叉信息研究院助理教授高阳博士分享其团队的新研究《使用有限数据掌控Atari游戏》&＃xff08; Mastering Atari Games with Limited Data&＃xff09;。

论文链接&＃xff1a;https://arxiv.org/abs/2111.00210#

主讲人&＃xff1a;高阳&＃xff0c;博士&＃xff0c;清华大学交叉信息研究院助理教授。博士毕业于美国加州大学伯克利分校&＃xff0c;本科毕业于清华大学计算机系。主要研究计算机视觉与机器人学。

个人主页&＃xff1a;http://people.iiis.tsinghua.edu.cn/~gaoyang/

主题&＃xff1a;使用有限的数据掌握Atari游戏

时间&＃xff1a;2021年11月23日&＃xff08;周二&＃xff09;19&＃xff1a;00~20&＃xff1a;00

形式&＃xff1a;线上

入会方式&＃xff1a;

腾讯会议-ID&＃xff1a;976 455 019

直播地址一&＃xff1a;

https://event.baai.ac.cn/activities/191

直播地址二&＃xff1a;

http://live.bilibili.com/21484823

报告简介&＃xff1a;

近期&＃xff0c;清华大学交叉信息研究院高阳团队的新研究《使用有限数据掌握Atari游戏》&＃xff08; Mastering Atari Games with Limited Data&＃xff09;提出了EfficientZero算法。基于该算法可实现&＃xff0c;通过少量的数据学习就能让RL智能体获得超越人类的性能&＃xff0c;这使得通用强化学习更加接近真实场景。此项重大的研究在学术界引起了大范围的关注和热议。

这是一种基于MuZero的基于模型的视觉RL算法&＃xff0c;在贴近现实复杂情况的Atari&＃xff08;雅达利&＃xff09;游戏中&＃xff0c;它从零开始仅用两个小时的训练数据&＃xff0c;就能超过相同条件下人类的平均水平。这是第一次一个算法在Atari游戏中用如此少的数据达到超人的表现。

EfficientZero的性能也接近DQN在2亿帧时的性能&＃xff0c;而其的数据消耗量却减少了500倍。EfficientZero的低样本复杂度和高性能可以使RL在现实世界中更具适用性。

扫描下面二维码报名参加活动

了解更多信息请加入「强化学习」交流群