网易伏羲RL4RS荣获SIGIR2023 Resource Paper,推动深度学习技术创新

发布:2023-05-10 10:41:57
阅读:4773
作者:网易伏羲

近日,信息检索领域的顶级会议SIGIR 2023公布了论文的接收结果:网易伏羲以RL4RS为主题的论文凭借其技术与创新实力成功选入本届Resource Paper,网易伏羲实验室在深度学习研究中所做的工作获得国际审稿专家的高度评价,审稿专家们认为RL4RS将在强化学习推荐技术在现实场景应用中发挥重要作用。

SIGIR2023会议

SIGIR(International ACM SIGIR Conference on Research and Development in Information Retrieval)是信息检索领域的旗舰会议,也是中国计算机学会CCF推荐的A类会议,在国际上享有极高的学术声誉。本届会议共收到822篇长文投稿,仅有165篇长文被录用,录用率约20.1%,被录用的稿件体现出信息检索领域国际最前沿的研究水平。以下为网易伏羲入选论文概要:

RL4RS:一个面向基于强化学习的推荐系统的工业数据集

关键词:基于强化学习的推荐系统、工业数据集

RL4RS:A Real-World Dataset for Reinforcement Learning based Recommender System
RL4RS套件:https://github.com/fuxiAIlab/RL4RS

随着推荐系统的发展,SLATE Recommendation、Bundle Recommendation等场景提出了新的挑战。为了解决这些挑战,最近的研究者采用强化学习来进行推荐,其中推荐过程被形式化为用户(环境)和推荐代理(RL代理)之间的序列交互。强化学习是一个备受业界关注的方向,因为RL范式本质上适合处理多步决策问题,直接优化长期用户满意度,并有效地探索组合空间。但是最近的研究中仍存在两个问题:

第一个问题是缺乏针对基于RL的RS问题的真实世界数据集。主要有两种替代方案,一种是人工数据集,例如RecoGym和RECSIM,但它们不是真实应用中用户的实际反馈。另一种是半模拟数据集,即转换为RL数据格式的传统RS数据集(如MovieLens),其主要缺点是许多强制数据转换不合理。以MovieLens数据集为例:为了满足RL数据格式的要求,Adversarial User Model引入了外部电影信息,并假设用户的选择上下文是一个月内发布的电影,每个显示集的最大大小设置为40。

第二个问题是缺乏无偏评估方法。目前的研究中主要有两种评估指标:传统的推荐指标(召回率、准确度等)和纯强化学习指标(如累积奖励)。然而,前者是短期评估指标,后者高度依赖于仿真环境的准确性。策略评估的偏差也来自“外推误差”,即未见过的状态-动作对被错误地估计为具有不切实际的值。

针对这两大问题,网易伏羲提出了RL4RS。

RL4RS是一个全新的资源,旨在解决基于强化学习的推荐系统领域中的现实差距问题。它包括两个真实世界数据集、数据理解工具、可复现的仿真环境、相关RL前沿算法、Batch RL算法和反事实策略评估算法。我们还尝试提出一个新的系统评估框架,包括环境模拟评估、环境评估、反事实策略评估和来自测试集构建的环境评估。

RL4RS数据集

作为强化学习的推荐系统领域内第一个完全开源的工业数据集,RL4RS有助于更好的推荐算法的研究和更好的模拟环境构建的研究。RL4RS提供了强化学习部署前和部署后的数据集,这非常有助于Batch RL等离线强化学习算法的使用与评估。RL4RS能帮助设计更好的推荐系统,有力支持了游戏经济系统平稳运行,呵护游戏产品生命周期,并结合玩家体验为目标提升了用户满意度,在多款雷火游戏业务中落地应用。

2021年RL4RS曾与IEEE BigData 2021大会合办了网易伏羲第一届大数据竞赛——IEEE BigData Cup 2021:RL-based RecSys,吸引了国内外高校近百支队伍的参赛,并在大会上成功举办了主题WorkShop。网易伏羲RL4RS也将于2023年底在全球首屈一指的大数据技术峰会Ray Summit 2023上宣讲。在IEEE BigData 2021比赛中,网易伏羲RL4RS的解决方案获得了大量的好评,让人期待其即将到来的Ray Summit 2023上的发言,为深度学习的技术发展贡献力量。

关于网易伏羲

网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文,拥有400多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,已服务超200家客户,应用日均调用量超数亿次。

相关文章
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
近日,Noisylabels榜单发布了最新排名,引起了广泛的关注。在这次榜单中,网易伏羲以其两项研究成果:《ProMix:Combating Label Noise via Maximizing Clean Sample Utility》和《Rethinking Noisy Label Learning in Real-world Annotation Scenarios from the Noise-type Perspective》高位入选。
2023-09-26 09:57:22
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
近日,第二届Ray Summit会议在美国旧金山顺利举行。作为国际顶尖的大数据技术峰会,Ray Summit致力于展示和讨论使用Ray框架构建和扩展人工智能应用和基础设施的最佳实践,旨在促进人工智能、机器学习和分布式计算领域的创新和交流,每年会有来自DeepMind、OpenAI、Uber、LinkedIn、Niantic等公司和机构的数千名工程师、学者和行业专家参与。网易伏羲作为国内人工智能领域的前沿团队,也受邀参加此次会议。
2023-09-22 09:59:12
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
AI赋能 绿色智能!网易伏羲工程机器人亮相长沙工程机械展
会议期间,网易伏羲工程机器人产品负责人杨小新围绕“游戏化人工智能如何赋能工程机械”话题进行分享。
2023-09-19 21:24:49
AI赋能 绿色智能!网易伏羲工程机器人亮相长沙工程机械展
【科技赋能】中建八局联合网易发布国内第一款无人装载机及其环境系统
随着人工智能技术的迅猛发展和具身智能概念的兴起,传统工程行业也面临着巨大的变革和机遇。在这个背景下,网易伏羲提出了AOP的编程范式,并基于AOP及自研工业大模型,网易与中建八局携手首次将具身智能技术应用于工程机械领域,推出了首个“自我进化”的工程机械大脑,以AI技术助力实体经济高效数字化升级。
2023-09-19 21:22:46
【科技赋能】中建八局联合网易发布国内第一款无人装载机及其环境系统
对话网易伏羲:为什么做不“性感”的事情
在浙江省平台经济高质量发展大会上,网易CEO丁磊表示:用最快的速度探索AI大模型的创新、应用,是网易的首要任务。
2023-09-19 21:19:44
对话网易伏羲:为什么做不“性感”的事情
网易伏羲获CVPR 2023 UG2+、VizWiz大赛第一名,相关论文入选TIP
网易伏羲实验室在CVPR 2023 UG2+Object Detection in Haze Challenge(雾霾目标识别挑战赛)、CVPR 2023 VizWiz Few-Shot Object Recognition Challenge(少样本目标识别挑战赛)两项赛事中斩获第一,相关论文入选国际顶级期刊TIP。网易伏羲在计算机视觉领域展现出的顶尖技术创新能力,得到国际范围内的高度认可。
2023-08-30 09:56:32
网易伏羲获CVPR 2023 UG2+、VizWiz大赛第一名,相关论文入选TIP
有灵众包平台助力大模型行业构建高质量数据,完成高效人类对齐
8月23日,网易伏羲用户画像组技术负责人吴润泽博士受邀参加大模型产业主题论坛“沸腾的资本,踏浪的AGI ”,在论坛中分享了以《面向大模型落地应用的高效人类对齐》为主题的演讲,向现场众多大模型产业的相关企业介绍了网易伏羲助力打造大模型数据闭环,以低成本构建高质量数据的案例和经验。
2023-08-25 09:58:06
有灵众包平台助力大模型行业构建高质量数据,完成高效人类对齐
网易伏羲算法大赛|面向挖掘机液压驱动系统的状态转移模型训练
网易伏羲算法大赛为广大参赛者提供真实挖掘机上收集的数据集,进一步提高状态转移模型的效果,为挖掘机等设备的智能化提供更好的训练基础,为人工智能和机器人技术地快速发展和落地以及解决未来人口红利消失的难题带来希望。
2023-08-14 10:14:26
网易伏羲算法大赛|面向挖掘机液压驱动系统的状态转移模型训练
2023 ChinaJoy AIGC大会:网易伏羲在AIGC领域的探索与应用
7月28日,网易伏羲实验室AI技术负责人吕唐杰受邀参加ChinaJoy AIGC技术论坛,并在论坛中分享了关于《网易伏羲在AIGC领域的探索与应用》的相关演讲,向与会者分享了网易伏羲实验室在人工智能和游戏领域取得的成就以及创新应用。
2023-08-07 10:23:39
2023 ChinaJoy AIGC大会:网易伏羲在AIGC领域的探索与应用
网易伏羲与杭州AICC携手开启大模型联合创新
7月6日上海,昇腾人工智能产业高峰论坛在WAIC举办。华为轮值董事长胡厚崑在致辞中表示,伴随大模型带来的生成式AI突破,人工智能正进入一个新时代。华为将通过系统级创新、坚持开源开放、深耕行业,加速昇腾人工智能产业生态繁荣发展,与伙伴联合创新推进人工智能走深向实,用强大的算力支撑人工智能高质量的发展。
2023-07-12 10:02:05
网易伏羲与杭州AICC携手开启大模型联合创新

在线客服

合作咨询