7月28日,网易伏羲实验室AI技术负责人吕唐杰受邀参加ChinaJoy AIGC技术论坛,并在论坛中分享了关于《网易伏羲在AIGC领域的探索与应用》的相关演讲,向与会者分享了网易伏羲实验室在人工智能和游戏领域取得的成就以及创新应用。
今年爆火的《逆水寒》手游,将北宋的古风吹进了每个玩家的心中。吕唐杰在演讲中表示:网易伏羲自2017年成立以来,就以“创建人工智能与游戏交叉领域的世界一流实验室”为宗旨,运用人工智能尖端技术为玩家营造新世代的游戏体验,同时借助游戏平台的海量数据和仿真环境,推动智能体编程的快速发展。
2021年下半年,AIGC的技术热潮涌入各行各业,人们开始讨论生成式AI是否能成为推进下一轮技术革新的重要动力。同时,也有越来越多的人开始关注中国生成式AI的发展还有多远的路要走。作为国内顶尖的人工智能实验室,网易伏羲从成立之初就在探索生成示AI的建设工作,并从21年起依托浙江省重点研发计划“超大规模预训练云平台”项目,尝试从数据、算法、系统、应用等多个方面进行相关技术的积累和探索。
在分享中,吕唐杰向听众们展示了网易伏羲实验室在AIGC领域的发展历程:自2019年起,伏羲在生成式AI领域构建了自然语言和图文多模两个领域的多个系列模型。其中,文本模型“玉言”从最初的1亿类GPT架构增长至千亿MoE架构,多模态方向则实现多个版本的跨模态理解及生成模型的训练。这些模型能力的建设支撑了在公司内多个场景的应用落地。
其中文本生成预训练模型“玉言”先后登顶知名中文榜单FewCLUE和CLUE分类榜单。该模型是基于网易自有高质量数据和各类百科、新闻、社区问答、小说等数据进行训练的。通过对数据的去重和清洗,我们获得了大量高质量的训练数据,并用这些数据训练模型,使其具有出色的泛化性能,能在各种任务上表现出色。目前“玉言”模型以应用在网易多款游戏中,例如《遇见逆水寒》等游戏中,为交互式文字玩法和歌词辅助创作等场景提供了支持。
在文本理解的基础之上,网易伏羲自2021年起着力打造“玉知”多模态图文理解大模型,采用图片-文本双塔结构和模块化的训练思想,基于亿级别的中文图文数据对,先后迭代了三种规格的模型版本,在中文图文理解水平上达到业界领先水平,并具有良好的泛化性,在下游各类任务如分类,检索,推荐等方面同样也表现优异。并且,在图文模型的预训练过程中,针对包含不同文本长度的图文对采用不同的训练策略,这使得“玉知”模型对语义具有较强的理解能力。
在图文理解预训练模型的基础上,伏羲进一步推进自研文图生成模型——“丹青”的研发,一种语义增强的文图生成扩散模型。依托于扩散模型的原理,在广泛的图文数据上训练以达到较好的生成结果。网易伏羲的有灵美术平台则集成了丹青约等多种美术工具,为行业提供高效、透明、规范的生产流程。目前网易多款游戏的游戏图标、场景及素材的美术资产设计都已经接入了有灵美术众包平台,大大提升了游戏美术资产创作的生产效率。
未来,网易伏羲实验室将继续秉承“人机协作”和“数据闭环”的技术思路,不断探索大规模预训练模型的领域;并借助网易伏羲全新的面向智能体的编程范式AOP以及自身独有的有灵众包能力,引入人的决策和数据闭环,进一步提升大模型的能力。我们致力于为玩家们带来更出色的游戏体验,并不断推动人工智能技术与游戏产业的融合。
关于网易伏羲
网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文,拥有500多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,已服务超200家客户,应用日均调用量超数亿次。