8 月 18 日至 19 日，AICon 2024 全球人工智能开发与应用大会（上海站）顺利举办。本届大会以“智能未来，探索AI无限可能”为主题，聚焦于大模型的开发与应用领域，深入探讨大模型带来的变革及其深远影响。网易伏羲受邀参与会议并分享大模型实战案例，一同探索人工智能和大模型如何引领行业变革与创新。
AICon 全球人工智能开发与应用大会是由极客邦科技旗下 InfoQ 中国主办的人工智能和大模型技术盛会，主要面向工程师、产品经理、数据分析师等中高端技术人员，会议聚焦大模型训练与推理、AI agent、RAG、多模态大模型等热门方向。会议设置了主题演讲、闭门会议、圆桌交流和互动展区等多种社交活动，旨在为参会者提供交流学习的机会，为企业和机构提供展示实力和成果的平台。网易伏羲语言智能组负责人生生受邀分享《可实时语音交流的游戏队友AI Agent创新应用》，现场揭示这一创新应用如何切实落地并带来变革。
一、创新引领-让人工智能点亮游戏的未来
围绕演讲主题，生生向现场观众介绍道，作为中国第一个游戏人工智能研究机构，网易伏羲早在2017年成立之初，就对人工智能研发方向进行了极为全面的布局，包括强化学习、自然语言、用户画像、视觉计算、虚拟人五大方向，希望通过人工智能技术的研究与应用释放创作者的生产力，革新游戏体验，最终“让人工智能点亮游戏的未来”。目前，网易伏羲已在全球各类学术顶级会议中发表200余篇学术论文，相关技术研发成果已拥有专利600余项。
在不断深化AI技术研发的同时，网易伏羲也持续致力于将技术成果转化为实际应用，推动AI技术在游戏及其他领域的广泛应用。生生为现场观众详细讲解了网易伏羲打造的多模态大模型“易生诸相”，并指出相关技术能够广泛应用于数字文娱、音乐、文旅等领域，如游戏中的智能NPC、智能捏脸、AI音乐创作、角色扮演等场景，从而助力游戏设计、开发和运营。
基于行业领先的技术研究成果和“AI+游戏”的创新思维模式，网易伏羲几乎每年都会推出行业首创的游戏AI应用，部分甚至达到全球首创水平。例如，2018年，网易伏羲率先在行业内采用基于深度学习的端到端训练技术实现了AI照片捏脸功能；2019年，又运用基于Transformer的NLP技术，推出了首个智能养育系统；此后的几年里，网易伏羲继续引领潮流，接连研发出AI故事接龙玩法、文字捏脸玩法、AI游戏剧情动画、AI游戏匹配、AI反外挂等众多创新应用；自2023年《逆水寒》手游上线之后，又陆续推出了文字捏脸、智能NPC、剧组模式等突破性AI应用。
二、全球首创-语音AI队友助力游戏体验升级
除了技术创新的最新动态外，此次分享还深入展示了网易伏羲近期在游戏AI方面的最新应用成果：基于网易伏羲“易生诸相”多模态 AI 技术和有灵AOP平台所打造的多模态实时交互的语音AI队友Agent。该玩法在《永劫无间》手游中上线后获得了玩家的高度认可和喜爱，每日大量玩家携手AI队友进行战斗，共同享受丝滑的多模态游戏交互体验。
作为全球首款游戏Copilot队友，该功能基于最新的AI大模型推理能力，成果打造出与真人玩家几乎无异的AI队友。AI队友不仅能自主完成跑图、跑圈、搜寻物资、参与战斗等战术行动，还能在战斗中提供辅助和救援，通过自然流畅的语音与玩家进行双向互动沟通。
为了实现“能感知”、“会表达”、“懂执行”的AI队友这一创新应用，网易伏羲基于有灵AOP平台，集成了先进的语音识别、语义理解、人设对话大模型、语音生成、强化学习以及模仿学习等多项智能体能力，赋予AI队友以“感知”战场情况、“认知”玩家意图、“决策”战斗策略、并采取“行动”的能力，并通过数据闭环训练自动更新模型，不断优化其行为决策，实现了与玩家的深度协作；此外，网易伏羲采用强化学习、自模仿学习等技术，接入“易生诸相”人设对话大模型打造多风格AI队友，使其具备不同的性格和行为模式，最终实现了这样一个听指挥、能战斗、懂配合，也会判断战场局势、做出决策，并且性格各异、还能聊天、保证情绪价值拉满的AI队友。
生生强调，AI 技术不仅能够提升游戏玩家的交互体验，打造更加流畅和沉浸式的游戏体验，在教育、音乐、工业等实体领域同样发挥着重要作用。秉承着“人机协作，万物有灵”的愿景，网易伏羲正将原本专注于游戏世界的AI技术应用于更多实体产业，通过创新性研发面向智能体编程框架(Agent-oriented programming,AOP)，构建了可以直接面向智能体发布和运营各种任务的网易伏羲有灵AOP平台。目前，基于AOP平台打造的智能体，已经在实体和虚拟机器人方面有了广泛的应用，除了游戏中的AI队友外，还覆盖工程机器人自动作业、理疗机器人自动按摩、二次元社区虚拟陪伴、AI玩具智能对话等多种场景，展现了其在多个行业的通用性和实用性。
分享的最后，生生透露网易伏羲AOP SDK即将迎来首次内测，期待更多的开发者和合作伙伴加入其中，携手拓展智能体的应用边界，共同探索和塑造未来。网易伏羲也将继续深化AI领域的研究与实践，推动AI技术与实体产业的深度融合，为未来社会的数字化转型贡献更大的力量。
想了解更多有灵AOP平台助力打造《永劫无间》手游中的AI队友背后的科技？8月24日（本周六）掘金AI Talk沙龙，网易伏羲AOP框架技术负责人Joysy将带来专题演讲，敬请期待！
扫码入群，参与 AOP SDK 内测
