论文介绍
一直以来，”如何有效探索环境“都是强化学习领域所重点关注的问题。好的探索方法可以大大加速智能体的学习进程，使其在短时间内达到超乎寻常的水平。已有相关研究中，表现较好的要数bonus-based方法，即通过额外的奖励信号来引导智能体探索已知状态中相对不常见的状态。虽然bonus-based方法可以让智能体更好的利用已知信息，但由于其限制了在已知状态中进行探索，会令智能体过多探索已知状态，进而忽略寻找更有价值的完全未知状态。
基于此，本文提出一种action balance exploration探索方法，来更加平衡的在状态空间中进行探索。在决定探索方向时，action balance exploration会考虑各个动作的已有执行次数，并选择不常执行的动作，进而达到寻找完全未知状态的目的。同时，我们的action balance exploration可以很方便的与已有bonus-based探索方法进行结合，使用二者的优势。最后，通过验证实验和真实游戏实验，我们展示了action balance exploration探索未知状态的能力，证明了其对于提升智能体最终表现的正向作用。
论文链接
https://arxiv.org/abs/2003.04518
论文下载
https://arxiv.org/pdf/2003.04518.pdf
