科技
业界 互联网 行业 通信 科学 创业

《永劫无间》手游正式开服!网易伏羲揭秘语音AI队友背后的黑科技

来源:看点时报 2024-07-26 15:36:38
A+ A-

7月25日,备受期待的《永劫无间》手游正式开启公测,该手游预下载阶段便荣登App Store免费总榜TOP1!游戏中全新引入的语音AI队友功能,迅速吸引了广大玩家的关注和好评。

这一创新玩法由网易24工作室联合网易伏羲AI实验室共同研发,作为全球首款游戏Copilot队友,该功能依托于最前沿的AI大模型推理技术,成功塑造了与真人玩家体验相媲美的AI队友。AI队友不仅能够自主执行跑图、搜索物资、参与战斗、跑圈等战术动作,更能在战斗中提供辅助和救援,通过自然语音与玩家进行双向无缝沟通。

image.png

《永劫无间》手游上线当日,网易伏羲AI技术负责人睿风应邀在「2024骁龙游戏技术赏」上发表演讲,首次公开分享《永劫无间》手游中语音AI队友的技术探索和应用成果。该活动为高通公司循例在ChinaJoy前夕举办的年度盛会,今年,高通公司携手网易伏羲等产业合作伙伴,共同探讨移动技术创新如何赋能前沿数字娱乐体验。

因演讲当日恰逢《永劫无间》手游公测上线,睿风无法到达现场,所以通过连线方式进行分享。以下是他的演讲实录:

大家好,我是来自网易伏羲的睿风,很高兴能够参加「骁龙游戏技术赏」。

image.png

(网易伏羲AI技术负责人睿风现场连线分享画面)

网易伏羲成立于2017年9月份,是国内第一个面向游戏行业进行AI研究的人工智能实验室,我们以“创建人工智能与游戏交叉领域的世界一流实验室”为宗旨,运用人工智能尖端技术为玩家营造新世代的游戏体验,同时也借助游戏平台的海量数据和仿真环境,推动人工智能技术的发展。

自2017年成立至今,网易伏羲已经在多款游戏中落地大量的AI玩法。例如我们在《逆水寒》端游中首创AI照片捏脸玩法和智能养育系统,在《永劫无间》端游中,我们上线了基于强化学习技术的噩梦人机玩法,利用AI反外挂技术定位和处罚违规玩家确保公平游戏环境。去年我们在现象级游戏《逆水寒》手游中落地了大量创新的AI应用,包括智能NPC、文字捏脸、大宋头条、UGC剧组模式等等,打造了全球首款AI游戏,也获得了玩家们的高度认可和欢迎。

今年我们在今天正式上线的《永劫无间》手游中,率先发布了全球首创的语音AI队友玩法。在这个玩法中,玩家可以邀请智能AI队友进行一场完整的游戏体验。玩家可以通过语音交互的方式,直接跟AI进行交流。这个AI队友首先能听懂指挥,搜装送装、团战配合样样精通;其次能实时观察战况,汇报关键信息并答疑解惑;此外AI队友还具备强大的战斗能力,博弈强、配合好;最后该AI队友还能自由交流,给予玩家较高的情绪价值。

为了能实现这个能听、能说还能做的AI队友,网易伏羲基于多年的技术积累,结合语音识别、语义理解、文本生成、语音合成、强化学习、模仿学习等多项AI技术,解决了大量的技术难题。为了实现跟真人队友几乎无异的语音交互体验,我们给这个玩法设定了几个技术指标。

首先相比于唤醒词或手动按钮触发的交互方式,全开麦的实时语音交互对我们提出了更多的技术挑战,其中最核心的就是噪音检测和非交互内容识别的能力,为了尽可能降低误触率,我们使用网易伏羲的有灵众包平台,在开发期就采用自动数据闭环方式,通过持续采集各种机型和项目成员们的真实体验数据,不断优化模型效果。

其次,为了让AI能够精确识别玩家指令并做出最合理的行为决策,我们不仅引入了自然语言理解技术来提升指令识别能力,而且采用了基于指令的强化学习技术,让模型能够根据指令和实时的战场状态,做出最合理的行为决策,实现了尽可能遵循玩家指令的基础上,又保持较高强度的游戏能力。

最后,为了达到极低的交互体验速度,我们做了大量的工程优化工作。当前线上的实时响应时长最短可以实现300ms内的语音和行为响应,最长响应时长也能控制1s左右,从而实现了让交流不延迟,让配合更及时。

正如前面提到的,这个语音AI队友玩法对于时延非常敏感,为了给用户带来更极致的交互体验,伏羲跟高通进行了深入合作,将部分AI推理从云端GPU迁移到第三代骁龙8移动平台的NPU上。

为什么我们要去做端侧推理?首先就是低时延,相比于基于云的推理,端侧推理可以节省网络传输带来的时间延迟,特别是对于一些网络条件不太好的地区的玩家,这部分的时延降低带来的收益是非常可观的,从而给这部分玩家带来更好的游戏体验。其次从公司层面来说,AI推理从云端迁移到端侧,可以充分利用玩家的终端算力,降低服务运行成本。我们知道目前云端的GPU服务都是比较贵的,为了控制成本,很多AI服务都会对应用做一些使用限制或让玩家采用付费使用的方式,而端侧推理可以让这部分玩家自由地体验AI玩法。

当前在《永劫无间》手游的AI队友玩法中,网易伏羲跟高通已经迁移了部分AI能力到端侧,目前正在做更多深入合作。我们期望未来可以将更多AI能力,包括大语言模型(LLM),语音合成(TTS)等技术适配到手机终端,给玩家们带来更好的游戏体验。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

责任编辑:kj005
文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com

相关新闻

精彩推荐