论文介绍
软件bug数据库和基准测试是推进自动化软件测试的轮子。在实践中,相对于软件代码的数量,真正的bug通常很少出现,软件代码的提取和管理非常耗费人力,但对于促进测试技术的创新至关重要。在过去的十年中,构建bug数据库已经取得了几个里程碑,推动了自动化软件测试研究的进展。然而,到目前为止,它仍然缺乏真正的bug数据库和游戏软件基准,使得目前的游戏测试研究大多停滞不前。bug数据库和框架的缺失极大地限制了自动游戏测试技术的发展。
为了弥补这一差距,我们首先对5款大型商业游戏进行了大规模的真实bug收集和手动分析,总共有超过250000行代码。基于此,我们提出了GBGallery,一个游戏bug数据库和一个可扩展框架,以实现自动游戏测试研究。在最初的版本中,GBGallery包含了5款游戏中的76个真实bug,并结合了5种最先进的测试技术进行对比研究,作为进一步研究的基础。借助GBGallery,我们进行了大规模的实证研究,发现当前的自动化游戏测试仍处于早期阶段,因此需要广泛研究游戏软件的新测试技术。对此,我们公开了GBGallery,希望能促进游戏测试研究。
论文地址
https://dl.acm.org/doi/abs/10.1007/s10664-022-10158-x