AI Agent 自诞生之初，大众就对把它应用在游戏领域充满了期待。随着 LLM 的不断发展，Agent 不管是在游戏设计、玩家体验，还是在 NPC 行为模拟等方面都展示了巨大的潜力。
游戏中有机器人队友可能并不新奇，但是过往的机器人也许总给人留下「智商不高」的印象，比如站在原地被人砍？招式木讷重复？听不懂指令？送人头……
如果你还有这种想法，那你可能真的 out 了。
《永劫无间》手游率先发布了全球首创的游戏 Copilot-多模态实时交互的语音 AI 队友。
传统的AI系统通常只能执行一些简单的任务，例如路径规划、目标锁定或基本的攻击防御操作，缺乏对复杂战局的理解和判断能力。
而《永劫无间》手游的 Copilot 通过先进的算法和深度学习技术，能够分析战局中的每一个细节。
从敌人的动向到队友的状态，再到地形和资源的分布，统统纳入考量范围。因此，Copilot 能够在瞬息万变的游戏环境中做出最优决策，为玩家提供精准的支持。
值得一提的是，语音 AI 队友不仅可以在战斗中自主跑图、战斗、听指令、报战况，而且无需语音唤醒，即可随时和玩家进行实时自由对话，给玩家带来极高的情绪价值，对于新手玩家，语音AI队友还能进行教学引导。
那么这些是怎么做到的呢？这就离不开最近很火的一个词 AI Agent。
在人工智能领域，Agent 指的是能够感知环境、做出决策并执行行动的系统，具备自主性、交互性、反应性和适应性等基本特征，能够在复杂多变的环境中独立完成任务。
它是怎么变成 AI 队友的呢？所依赖的技术基础是什么？
在讨论这个问题之前，可能需要先了解一下单一垂类游戏中的 AI 模型。它们是专门针对某一种游戏类型进行优化和训练的 AI 系统，这类模型通常能在特定领域表现出色，OpenAI Five 就是一个典型的例子。
与单一模态的模型相对应，还有多模态 AI 模型。这类模型不仅能处理单一类型的游戏任务，还能在多种游戏场景中表现出色。多模态 AI 模型结合了视觉、语音和行动等多种能力，使其在复杂的游戏环境中能够自主决策和执行任务。
在单一垂类和多模态 AI 模型的基础上，还有具备更高泛化能力的 AI 模型，它可以应对更加复杂的游戏场景。《永劫无间》手游中的 AI 队友正是在这种多模态、高泛化能力模型的基础上开发的。
这些模型具体是如何实现 AI 游戏队友的呢？其中又有哪些技术上的创新和思考呢？
网易伏羲语音技术负责人莫名受邀出席DataFunSummit2024: 生成式 AI 技术峰会的【AI Agent 落地实践】论坛，并将带来《实时语音交互的游戏队友- AI Agent创新应用》的主题分享。
本次分享将会为大家详细拆解AI实时语音交互的游戏队友背后的技术创新和技术实践，帮助大家掌握如何构建多模态AI队友，以及如何应用数据闭环提升智能体能力，希望能为大家带来启发。
DataFunSummit是由业界知名技术社区DataFun发起的年度技术峰会，自2021年3月首次推出以来，已连续四年成功举办。峰会深度聚焦于大数据与人工智能技术的前沿动态与企业实践，致力于搭建一个高端、互动的知识交流平台。本次生成式AI技术峰会将重点关注AI技术的实际应用，展示已经在业务上成功落地生成式AI的团队经验，并探讨诸如AI搜索、AI4Science、具身智能等AI前沿技术的应用话题。
9月21日DataFun 直播间，峰会全程免费，快来叫上同事朋友们一起报名学习吧！现在报名还有《生成式AI实战手册》等你领取!
扫码入群，参与直播交流
市场生态合作:fuxi.mkt@service.netease.com
商务合作：fuxi@service.netease.com
合作电话：（0571）89852163转21951
