网易伏羲预训练模型”玉言“登顶CLUE分类榜单,成绩首次超过人类水平

发布:2023-01-17 17:20:37
阅读:7946
作者:网易伏羲

1月17日,网易伏羲的“玉言”系列模型在CLUE分类任务排行榜中超越其他模型,荣登榜单第一。在CLUE1.1分类任务排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分类]、IFLYTEK[长文本分类]、OCNLI[自然语言推理]、WSC[代词消歧]、CSL[关键词识别]6个理解任务)上首次超过人类水平。

网易伏羲预训练模型”玉言“登顶CLUE分类榜单

作为中文语言理解领域最具权威性的测评基准之一,CLUE榜单在学术界及工业界有着深远影响。此次「玉言」成功登顶CLUE分类任务榜,是网易伏羲在中文文本预训练领域又一重要里程碑。值得一提的是,一年前网易伏羲的“玉言”系列模型也曾登顶CLUE推出的中文小样本学习评测榜单FewCLUE。

"玉言“是网易伏羲自主研发的中文文本预训练大模型系列,这次登顶CLUE分类任务榜单的模型参数达到110亿,结构由深层Encoder和浅层Decoder组成,这种结构可以使得大模型具有优秀理解能力的同时,也有着较为优秀的生成能力。除此之外,Encoder-Decoder结构方便训练任务的设计,不需要复杂的掩码策略。其预训练数据包括网易自有高质量数据、各类百科、新闻、社区问答、wiki、小说等等;网易伏羲对收集到的数据进行去重,清洗,产出了大量高质量数据,并采用这些数据训练模型,使得模型具有良好的泛化性,在各类任务上都有着出色的性能。

网易伏羲在"玉言“模型的训练中,采用多任务训练框架对模型Encoder和Decoder进行训练。为了提升模型的语义表示能力,同时让模型更好的理解不同长度的文本信息,提出了不同的预训练策略来帮助模型学习:

掩码策略:掩码[MASK]将句子中的词进行掩盖,让模型还原被掩盖的词语,提升模型对词语的语义表示能力;

Word Shift策略:通过打乱中文词语里单字的顺序,让模型对其进行还原,从而提升模型对中文词语表达的关注能力,增强对中文词语的敏感性;

Short Sentence Reorder策略:通过打乱出现在句子中的短句,再让模型还原以提升模型对句子语义的理解;

Word/Sentence Deleted策略:删除句子中的单词或整句后再让模型进行还原,以提升模型对不同长度的文本的语义表示能力;

网易伏羲的大规模预训练相关工作由网易高级副总裁、网易雷火事业群总裁胡志鹏牵头主持,并且入选2022年度浙江省科技计划项目--“尖兵”项目。自研模型规模从最早的一亿参数增长至千亿参数,模型领域从文本拓展到图文、音乐、行为序列等多种模态,积累了丰富的预训练模型训练和工程优化的经验。相关技术也已经应用在网易集团内的文字游戏、智能NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,并取得了显著的业务效果。

另外,网易伏羲参与了中国人工智能产业发展联盟组织的大规模预训练模型技术的应用评估方法编写,并且在由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等机构发起的2022可信AI峰会上,网易伏羲的大模型应用「LOFTER-AI写文」和「傀儡戏-互动式文字游戏」同时入选“2022大规模预训练模型优秀应用案例”,在大模型技术及AI实践领域获行业认可。

网易伏羲作为国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构,未来会在大规模预训练模型领域持续探索,并结合有灵机器人众包能力,引入“人”的决策及数据闭环,进一步提升大模型的能力。

相关文章
相似矩阵的概念和应用
在机器学习中,相似矩阵是一种用于描述数据之间相似性的数学工具。相似矩阵在机器学习中有广泛的应用,例如在聚类、降维、分类、推荐系统等领域中。
2023-03-23 11:01:44
贝叶斯理论中的先验概率和后验概率分析以及应用
先验概率和后验概率是贝叶斯定理中的两个重要概念,可以用于推断和估计未知量的概率。
2023-03-23 10:50:32
机器学习中的特征工程(模型关系与算法)
特征工程是指对原始数据进行处理,提取出对于问题有用的特征,以便于机器学习算法的训练。在机器学习领域中,特征工程是模型性能的关键因素之一,好的特征工程可以提高模型的准确率和鲁棒性。
2023-03-22 10:54:03
机器学习中归一化概念(归一化处理的目的和意义)
在机器学习中,归一化是一种常见的数据预处理方法,其主要目的是将数据缩放到相同的范围内,消除特征之间的量纲差异,从而提高模型的性能和稳定性。
2023-03-22 10:37:05
用于自然语言处理(NLP)的MLOps
对于自然语言处理(NLP)来说,MLOps可以帮助团队更好地管理NLP模型的生命周期,从数据收集、预处理、特征提取、模型训练到模型部署和监控。
2023-03-21 10:15:34
演化策略算法
演化策略是一种通过迭代搜索来优化数学函数的算法。演化策略算法将函数优化看作是在参数空间中搜索最优解的过程,通过随机选择一些解,并通过变异和选择操作来生成新的解。
2023-03-17 10:17:19
符号回归算法
符号回归算法是一种机器学习算法,用于从输入的数据中自动构建数学模型。它的目标是发现输入变量之间的函数关系,以预测输出变量的值。该算法基于遗传算法和演化策略,通过随机生成和组合数学表达式,逐步优化模型的准确性
2023-03-17 10:06:37
网易伏羲获得NeurIPS MineRL BASALT竞赛冠军
人工智能竞赛NeurIPS 2022 MineRL BASALT Competition公布了最终结果,网易伏羲凭借在所有竞赛任务上的出色表现,在历时三个月的严格评审环节中脱颖而出,夺得了冠军。
2023-03-16 13:58:41
网易伏羲获得NeurIPS MineRL BASALT竞赛冠军
低估大型数据集上的模型性能的意义和方法
低估大型数据集上的模型性能可能会导致错误的决策。如果模型在实际应用中表现不佳,可能会导致损失或浪费资源。此外,低估模型性能可能会导致对数据集的错误解释,从而影响后续的数据分析和决策。
2023-03-16 10:34:23
评估梯度下降算法的时间复杂度
评估梯度下降算法时间复杂度的意义在于可以帮助我们更好地理解和优化算法的性能和效率。
2023-03-16 10:14:49

在线客服

合作咨询