网易伏羲预训练模型”玉言“登顶CLUE分类榜单,成绩首次超过人类水平

发布:2023-01-17 17:20:37
阅读:10498
作者:网易伏羲

1月17日,网易伏羲的“玉言”系列模型在CLUE分类任务排行榜中超越其他模型,荣登榜单第一。在CLUE1.1分类任务排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分类]、IFLYTEK[长文本分类]、OCNLI[自然语言推理]、WSC[代词消歧]、CSL[关键词识别]6个理解任务)上首次超过人类水平。

网易伏羲预训练模型”玉言“登顶CLUE分类榜单

作为中文语言理解领域最具权威性的测评基准之一,CLUE榜单在学术界及工业界有着深远影响。此次「玉言」成功登顶CLUE分类任务榜,是网易伏羲在中文文本预训练领域又一重要里程碑。值得一提的是,一年前网易伏羲的“玉言”系列模型也曾登顶CLUE推出的中文小样本学习评测榜单FewCLUE。

"玉言“是网易伏羲自主研发的中文文本预训练大模型系列,这次登顶CLUE分类任务榜单的模型参数达到110亿,结构由深层Encoder和浅层Decoder组成,这种结构可以使得大模型具有优秀理解能力的同时,也有着较为优秀的生成能力。除此之外,Encoder-Decoder结构方便训练任务的设计,不需要复杂的掩码策略。其预训练数据包括网易自有高质量数据、各类百科、新闻、社区问答、wiki、小说等等;网易伏羲对收集到的数据进行去重,清洗,产出了大量高质量数据,并采用这些数据训练模型,使得模型具有良好的泛化性,在各类任务上都有着出色的性能。

网易伏羲在"玉言“模型的训练中,采用多任务训练框架对模型Encoder和Decoder进行训练。为了提升模型的语义表示能力,同时让模型更好的理解不同长度的文本信息,提出了不同的预训练策略来帮助模型学习:

掩码策略:掩码[MASK]将句子中的词进行掩盖,让模型还原被掩盖的词语,提升模型对词语的语义表示能力;

Word Shift策略:通过打乱中文词语里单字的顺序,让模型对其进行还原,从而提升模型对中文词语表达的关注能力,增强对中文词语的敏感性;

Short Sentence Reorder策略:通过打乱出现在句子中的短句,再让模型还原以提升模型对句子语义的理解;

Word/Sentence Deleted策略:删除句子中的单词或整句后再让模型进行还原,以提升模型对不同长度的文本的语义表示能力;

网易伏羲的大规模预训练相关工作由网易高级副总裁、网易雷火事业群总裁胡志鹏牵头主持,并且入选2022年度浙江省科技计划项目--“尖兵”项目。自研模型规模从最早的一亿参数增长至千亿参数,模型领域从文本拓展到图文、音乐、行为序列等多种模态,积累了丰富的预训练模型训练和工程优化的经验。相关技术也已经应用在网易集团内的文字游戏、智能NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,并取得了显著的业务效果。

另外,网易伏羲参与了中国人工智能产业发展联盟组织的大规模预训练模型技术的应用评估方法编写,并且在由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等机构发起的2022可信AI峰会上,网易伏羲的大模型应用「LOFTER-AI写文」和「傀儡戏-互动式文字游戏」同时入选“2022大规模预训练模型优秀应用案例”,在大模型技术及AI实践领域获行业认可。

网易伏羲作为国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构,未来会在大规模预训练模型领域持续探索,并结合有灵机器人众包能力,引入“人”的决策及数据闭环,进一步提升大模型的能力。

相关文章
人脸检测和模糊算法的比较分析
人脸检测算法和模糊算法在准确性、效率、鲁棒性和隐私保护等方面具有不同的特点。人脸检测算法在人脸识别等领域有较高的准确性和鲁棒性,但可能需要较高的计算资源。模糊算法主要用于隐私保护,具有较高的效率和鲁棒性。根据具体应用场景的需求,可以选择合适的算法或将两种算法结合使用,以实现更好的效果。
2023-09-27 10:07:19
处理表格数据:基于树的算法通常优于神经网络
在处理表格数据时,选择适当的算法对于数据分析和特征提取至关重要。传统的基于树的算法和神经网络是常见的选择。然而,本文将重点探讨基于树的算法在处理表格数据时的优势,并分析其相对于神经网络的优点。
2023-09-27 10:02:13
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
近日,Noisylabels榜单发布了最新排名,引起了广泛的关注。在这次榜单中,网易伏羲以其两项研究成果:《ProMix:Combating Label Noise via Maximizing Clean Sample Utility》和《Rethinking Noisy Label Learning in Real-world Annotation Scenarios from the Noise-type Perspective》高位入选。
2023-09-26 09:57:22
网易伏羲获得Noisylabels榜单高位入选,两项研究引领标签噪声领域
AI怎么增加图片对比度和透明度
要通过AI增加图片的对比度和透明度,可以使用图像处理中的增强方法。常用的方法包括直方图均衡化、对比度拉伸和伽马校正等。本文将介绍这些方法以及如何在Python中实现它们。
2023-09-25 10:01:37
使用AI进行文档对比
通过AI进行文档对比的好处在于它可以自动检测并快速比较两个或多个文档之间的变化和差异,从而节省了时间和劳动力,减少了人为错误的风险。此外,AI可以处理大量的文本数据,提高了处理效率和准确性,并且可以在文档的不同版本之间进行比较,帮助用户快速找到最新的版本和变化的内容。
2023-09-25 09:57:28
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
近日,第二届Ray Summit会议在美国旧金山顺利举行。作为国际顶尖的大数据技术峰会,Ray Summit致力于展示和讨论使用Ray框架构建和扩展人工智能应用和基础设施的最佳实践,旨在促进人工智能、机器学习和分布式计算领域的创新和交流,每年会有来自DeepMind、OpenAI、Uber、LinkedIn、Niantic等公司和机构的数千名工程师、学者和行业专家参与。网易伏羲作为国内人工智能领域的前沿团队,也受邀参加此次会议。
2023-09-22 09:59:12
网易伏羲 & Ray Summit 2023:强化学习推荐系统的创新之旅
机器学习分类器算法
机器学习分类器算法是一种广泛应用于数据挖掘、人工智能等领域的算法,它可以对数据进行分类和预测,是现代人工智能技术的重要组成部分。下面将详细介绍一些常用的机器学习分类器算法。
2023-09-21 09:55:18
基于Attention机制的算法及应用
Attention机制是一种处理序列数据的重要算法,其核心思想是为每个输入序列中的元素分配一个权重,以便在计算输出时考虑这些元素的相对重要性。这种机制已经被广泛应用于自然语言处理、图像处理以及其他领域。下面将介绍几种基于attention机制的算法及其应用。
2023-09-20 10:08:33
Attention模型详解
Attention模型是深度学习中的一种重要模型,它能够帮助模型处理序列数据,从而在机器翻译、语音识别、图像处理等领域中取得了很好的效果。本文将详细介绍Attention模型的原理、应用和发展。
2023-09-20 10:04:47
svm网格搜索参数寻优过程
SVM是一种经典的监督学习算法,常用于分类和回归问题。SVM的核心思想是找到一个最佳的超平面,将不同类别的数据分隔开来。SVM网格搜索是一种常用的参数优化方法,通过对不同的参数组合进行试验,寻找最优的参数组合,以提高模型的性能。
2023-09-15 10:27:02

在线客服

合作咨询