网易伏羲荣膺双赛道三连冠!再创CVPR2023人脸表情竞赛四项佳绩

发布:2023-04-17 14:04:28
阅读:5943
作者:网易伏羲

近日,IEEE/CVF计算机视觉国际顶级会议(CVPR 2023)公布第五届人脸表情国际挑战赛(ABAW5)的结果,网易伏羲AI实验室虚拟人团队再创佳绩:在人脸表情(肌肉)动作单元检测(AU)、人脸情绪识别(EXPR)、愉悦度-唤醒度估计(VA)和情绪反应强度估计(ERI)四个赛道中,分别获得了两项冠军、亚军和季军的优异成绩,这已是网易伏羲连续三次在该赛事中获得AU和EXPR双赛道冠军。这些成果充分展现了网易伏羲在人脸表情感知领域的长期沉淀和技术实力。

CVPR是全球计算机视觉领域顶级的学术会议之一,拥有40年历史,长期享誉盛名,是学术界和工业界公认的重要会议之一。ABAW赛事是专注于自然环境下(in-the-wild)的人脸表情感知的国际赛事,本届比赛吸引了众多国内外知名企业和高校的参与,包括百度、思图、天翼云、斯坦福大学、南加州大学、南洋理工大学、莱斯特大学、清华大学,中国科学技术大学、浙江大学、中国人民大学等。能从一流竞赛队伍中脱颖而出,离不开伏羲众包平台所提供的高质量的数据标注与管理服务。

CVF计算机视觉国际顶级会议

第五届人脸表情国际挑战赛

在今年的比赛中,网易伏羲虚拟人团队继续优化了自研表情表征技术和基于transformer的多模态情绪分析框架,进一步提高了模型的识别准确性和泛化能力。

网易伏羲成绩一览

网易伏羲成绩一览

网易伏羲虚拟人团队解决ABAW5挑战赛难题

人脸表情分析是计算机视觉领域一个重要的研究方向,其在人机交互、心理疾病诊断与治疗、刑侦安防等领域有着广阔的应用前景。常见的人脸表情情绪表征包括表情(肌肉)动作单元、基本情绪类别以及愉悦度-唤醒度。ABAW5针对这三种表征分别提出了挑战赛道,此外,今年还新增了ERI估计这一项新挑战。ERI指人类在面对某种刺激时所产生情绪反应的程度,赛事将其归纳为7个情绪维度的连续值。该赛事提供的视频数据存在复杂多样的光照、角度、遮挡以及数据类别不均衡问题,这对模型的泛化性提出了挑战。针对这些挑战,网易伏羲提出自己的解决方案,为行业的实际落地提供了新的思路。

pipeline框架图

pipeline框架图

利用自研MAE-Face技术,网易伏羲成功实现了人脸视觉细粒度特征集成模型。该技术借鉴了Masked Autoencoder(MAE)的结构,基于大规模的人脸数据集,采用掩码的自监督训练方式,同时结合伏羲在表情表征技术的长期积累,实现了隐空间细粒度的表情表征能力。同时,为了优化性能,该技术使用了时序和音频等多模态信息的融合,并运用transformer技术进行特征整合,取得了多个赛道的领先成绩。

除此以外,网易伏羲还加入了基于对比学习的表情编码预训练特征,该特征在前两届比赛中也得到了应用。为了进一步加强这一特征,在本次比赛中,网易伏羲制造了更多的对比样本并基于网易有灵众包平台完成了高质量、高效率的人工标注。具体来说,网易有灵众包在"人工样本标注"和"人工检验"阶段将相应的众包任务通过低代码平台发布到众包平台中,然后经过人类标注的数据再通过AOP规范化接口输入到AI能力系统中,喂给表情编码算法进行表情相似度的训练,值得一提的是,众包数据的质量直接影响着表情编码表征细粒度表情的效果。网易有灵众包平台提供了基于用户画像的区间估计、真值推断等自动质检功能,在降本增效、缩短标注周期、保证质量等方面都有一系列的前沿算法举措。得益于有灵机器人平台提供的能力支撑,网易伏羲才能在短时间内提升了表情编码的表征,为最后的获胜打下了坚实的基础。

人类表情AI感知技术广泛应用于游戏、数字文旅、心理测试等领域。以游戏场景为例,人类表情AI感知技术能够提高AI对于玩家情绪的精准感知,并以更为自然合理的方式进行回应。网易伏羲的模型提取到的表情特征,能够帮助游戏开发者实现更为细腻、传神的NPC表情动画,配合语音生成表情技术,进一步提升AI合成动画的质量,缩短游戏研发周期,降低制作成本

持续深化虚拟人领域的探索与实践

网易伏羲在AI人脸表情迁移、情绪识别等研究领域取得了显著成果,并已在网易集团内外部多个产品中得到验证,为产品及用户提供了更加便捷、高效、智能化的服务。例如,伏羲人脸表情迁移技术可以将真实人脸的表情迁移到虚拟人物上,使虚拟人物与用户进行更加自然流畅的交互,提高互动体验。

网易伏羲语音驱动表情动画自动合成

素材来源:《天谕》手游

网易伏羲语音驱动表情动画自动合成

素材来源:《逆水寒》端游

网易伏羲将持续深化在虚拟人科研领域的探索,积极将最新的AI人脸表情分析技术应用于游戏、文旅、文娱等产业,为用户提供更为自然、流畅的虚拟人互动体验。借助智能捏脸、动画迁移、动画合成、语音合成、语音转换等完善的虚拟人能力服务,推动AI技术在实际应用中发挥更大价值,为行业带来前崭新的AI+应用体验。

关于网易伏羲

网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文,拥有400多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,已服务超200家客户,应用日均调用量超数亿次。

相关文章
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
近日,Noisylabels榜单发布了最新排名,引起了广泛的关注。在这次榜单中,网易伏羲以其两项研究成果:《ProMix:Combating Label Noise via Maximizing Clean Sample Utility》和《Rethinking Noisy Label Learning in Real-world Annotation Scenarios from the Noise-type Perspective》高位入选。
2023-09-26 09:57:22
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
近日,第二届Ray Summit会议在美国旧金山顺利举行。作为国际顶尖的大数据技术峰会,Ray Summit致力于展示和讨论使用Ray框架构建和扩展人工智能应用和基础设施的最佳实践,旨在促进人工智能、机器学习和分布式计算领域的创新和交流,每年会有来自DeepMind、OpenAI、Uber、LinkedIn、Niantic等公司和机构的数千名工程师、学者和行业专家参与。网易伏羲作为国内人工智能领域的前沿团队,也受邀参加此次会议。
2023-09-22 09:59:12
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
AI赋能 绿色智能!网易伏羲工程机器人亮相长沙工程机械展
会议期间,网易伏羲工程机器人产品负责人杨小新围绕“游戏化人工智能如何赋能工程机械”话题进行分享。
2023-09-19 21:24:49
AI赋能 绿色智能!网易伏羲工程机器人亮相长沙工程机械展
【科技赋能】中建八局联合网易发布国内第一款无人装载机及其环境系统
随着人工智能技术的迅猛发展和具身智能概念的兴起,传统工程行业也面临着巨大的变革和机遇。在这个背景下,网易伏羲提出了AOP的编程范式,并基于AOP及自研工业大模型,网易与中建八局携手首次将具身智能技术应用于工程机械领域,推出了首个“自我进化”的工程机械大脑,以AI技术助力实体经济高效数字化升级。
2023-09-19 21:22:46
【科技赋能】中建八局联合网易发布国内第一款无人装载机及其环境系统
对话网易伏羲:为什么做不“性感”的事情
在浙江省平台经济高质量发展大会上,网易CEO丁磊表示:用最快的速度探索AI大模型的创新、应用,是网易的首要任务。
2023-09-19 21:19:44
对话网易伏羲:为什么做不“性感”的事情
网易伏羲获CVPR 2023 UG2+、VizWiz大赛第一名,相关论文入选TIP
网易伏羲实验室在CVPR 2023 UG2+Object Detection in Haze Challenge(雾霾目标识别挑战赛)、CVPR 2023 VizWiz Few-Shot Object Recognition Challenge(少样本目标识别挑战赛)两项赛事中斩获第一,相关论文入选国际顶级期刊TIP。网易伏羲在计算机视觉领域展现出的顶尖技术创新能力,得到国际范围内的高度认可。
2023-08-30 09:56:32
网易伏羲获CVPR 2023 UG2+、VizWiz大赛第一名,相关论文入选TIP
有灵众包平台助力大模型行业构建高质量数据,完成高效人类对齐
8月23日,网易伏羲用户画像组技术负责人吴润泽博士受邀参加大模型产业主题论坛“沸腾的资本,踏浪的AGI ”,在论坛中分享了以《面向大模型落地应用的高效人类对齐》为主题的演讲,向现场众多大模型产业的相关企业介绍了网易伏羲助力打造大模型数据闭环,以低成本构建高质量数据的案例和经验。
2023-08-25 09:58:06
有灵众包平台助力大模型行业构建高质量数据,完成高效人类对齐
网易伏羲算法大赛|面向挖掘机液压驱动系统的状态转移模型训练
网易伏羲算法大赛为广大参赛者提供真实挖掘机上收集的数据集,进一步提高状态转移模型的效果,为挖掘机等设备的智能化提供更好的训练基础,为人工智能和机器人技术地快速发展和落地以及解决未来人口红利消失的难题带来希望。
2023-08-14 10:14:26
网易伏羲算法大赛|面向挖掘机液压驱动系统的状态转移模型训练
2023 ChinaJoy AIGC大会:网易伏羲在AIGC领域的探索与应用
7月28日,网易伏羲实验室AI技术负责人吕唐杰受邀参加ChinaJoy AIGC技术论坛,并在论坛中分享了关于《网易伏羲在AIGC领域的探索与应用》的相关演讲,向与会者分享了网易伏羲实验室在人工智能和游戏领域取得的成就以及创新应用。
2023-08-07 10:23:39
2023 ChinaJoy AIGC大会:网易伏羲在AIGC领域的探索与应用
网易伏羲与杭州AICC携手开启大模型联合创新
7月6日上海,昇腾人工智能产业高峰论坛在WAIC举办。华为轮值董事长胡厚崑在致辞中表示,伴随大模型带来的生成式AI突破,人工智能正进入一个新时代。华为将通过系统级创新、坚持开源开放、深耕行业,加速昇腾人工智能产业生态繁荣发展,与伙伴联合创新推进人工智能走深向实,用强大的算力支撑人工智能高质量的发展。
2023-07-12 10:02:05
网易伏羲与杭州AICC携手开启大模型联合创新

在线客服

合作咨询