首页 保险

GVoice AI Codec语音技术落地《和平精英》,实现手游端“超音速”游戏语音体验

2022-09-19 11:28:03 来源:互联网

你有没有试过如许的场景:当你“开黑”正酣,批示着队友有条不紊朝“仇敌”后方挺进,忽然语音掉落线,因为接洽不到队友而陷入孤立无援之境,进而痛掉好局,不得不咽下掉利的苦果……

据懂得,GVoice AI Codec 经由过程自研编解码模型算法,传输带宽实现了紧缩,并以 5-12kbps 的AI Codec调换了本来24kbps的Opus,用户在主不雅听觉上的体验没有明显差别。这意味着,GVoice AI Codec在包管音效质量的同时,传输码率更低,流量也更少。

跟着移动端游戏产品的爆发,让游戏内的语音交换成为天南地北的玩家社交的刚需,也成为定义“高品德游戏”的重要身分之一,游戏内语音交互已经成为近年来浩瀚游戏厂商的存眷重点。

近日,腾讯游戏宣布了最新游戏语音技巧筹划,腾讯游戏光子S工作室《和平精英》团队联袂腾讯AI Lab、腾讯游戏CROS GVoice(腾讯游戏语音)团队,基于深度进修在语音编解码器上的赓续冲破,将AI Codec应用于《和平精英》游戏中,在行业内率先实现AI Codec 更低码率更高质量的语音编码,由此成为首个将AI Codec技巧周全应用于游戏语音范畴的产品。

\ 

弱网情况下的语音交换成“开黑”痛点 

此前艾媒咨询对移动游戏社交相干数据的统计注解,近 40% 的玩家因为社交身分选择一款游戏;15.6% 的玩家因为一款游戏社交性差而选择分开。是以,进步游戏的社交属性已成为各大年夜游戏厂商的重要工作。

首个游戏移动端AI Codec语音技巧落地《和平精英》 

作为削减玩家“孤军奋战”感触感染的有效手段,游戏语音自出生起就深受玩家爱好,并且在手游时代,玩家们对移着手机端的游戏语音传输的质量、延迟时光和应用情况,提出了越来越高的请求。

\ 

事实上,及时语音通信技巧在行业内早已不是一个新话题,但游戏内及时语音交换不仅仅是简单地实现及时通话即可。一个“好”的语音,最重要的是听感质量相符人的听觉请求,在这个前提下,传输码率越低,用户消费的流量就越少;占用算力越少,CPU的能耗就越少。

成长至今,游戏语音传输技巧在两个方面寻找冲破。

起首是在弱网恶劣情况下,若何确保语音交换流畅是游戏语音技巧面对的一个重要课题。同样的听感质量,假如语音信息的码率越低,其传输的连贯性就越有保障,换言之,低码率更实用于弱网情况。

其次,算力的损耗也是游戏语音要推敲的身分。因为重度游戏对CPU算力请求较高,是以,若何让语音功能尽可能的削减对CPU的占用,在保障用户的交换体验的同时,纰谬游戏操作和计算资本进行过多的挤压,成为个中的重点。

人工智能为游戏语音加上BUFF” 

\ 

当语音开黑、游戏社交成为刚需,浩瀚国表里的科技企业也开端涉足这一范畴。

在确保语音质量的前提下,传统的音频解码技巧Codec致力于应用较少的收集带宽资本、较低的传输码率去传递更保真的语音信息。跟着深度进修技巧的成长,完全基于神经收集的语音编码器逐渐替代了传统的基于旌旗灯号处理的办法,成为了业内前沿的解决筹划。在此基本上,基于人工智能技巧进化的AI Codec也越来越受到业界的存眷。

为了给游戏内语音交互加上人工智能的“BUFF”,游戏界也进行了诸多测验测验。例如,业界常用的Opus声音编码格局在低码率语音信息传输方面表示不如人意。2019年,行业出现了一些超低码率 AI Codec,可以或许以极低码率对语音进行紧缩,然则还原出的语音质量不太幻想。

Google同样将眼光对准了这一范畴。2021岁首?年代,Google宣布了基于自回归收集的AI Codec Lyra。Lyra可以或许在以低码率传输的同时包管声音后果,但不克不及供给高质量的及时通信,算法存在延迟的情况。 半年后,Google再次宣布了新的AI Codec模型SoundStream,比拟于Lyra,SoundStream在语音传输质量方面有所晋升,但因为模型复杂度较高,无法在大年夜多半的手机上安稳运行。

与此同时,针对游戏内语音交互,国内厂商也在积极摸索更好的解决筹划。

作为国内头部战术竞技手游,《和平精英》一向致力于晋升游戏品德优化玩家游戏体验。 个中游戏语音因为应用处景浩瀚,应用率极高,语音品德的好坏对游戏核心体验有着至关重要的影响,一向都是《和平精英》团队最存眷的功能。

2021岁尾,《和平精英》团队联袂腾讯AI Lab、CROS游戏语音GVoice团队一路正式立项GVoice AI Codec研发项目,基于腾讯音频与语音处理Oteam在语音编解码偏向的技巧积聚,新项目出力实现高质量、低码率和低功耗的游戏内及时语音情况。经由过程针对游戏场景进行深度优化,GVoice AI Codec在游戏场景下的语音处理算法比传统即时通信软件有加倍优良的音质表示,并且在弱网情况下,以低码率包管了音质表示不受伤害,确保在移动端得以应用。

腾讯游戏语音GVoice是Tencent Games CROS为游戏打造的语音解决筹划。材料显示,今朝GVoice办事已经覆盖全球跨越200个国度和地区,日活泼用户超3亿,相干解决筹划被应用于《和平精英》《豪杰联盟手游》《天际明月刀手游》等数千款游戏。GVoice AI Codec技巧也将慢慢拓展至其他游戏,晋升语音交换流畅度,改良弱网情况下的用户体验。

\ 

在算力消费方面,GVoice AI Codec须要将这一运算复杂度与资本占用极高的编解码方法,经由过程模型紧缩、量化、并交运算、移动端指令集适配等工程化办法,赓续降低运算与资本开销,达到移动端落地请求。数据显示,GVoice AI Codec在手机OnePlus 3双工通话下测试,比拟Opus格局 CPU占用率资本增长约为2.3%;在iPhone 6s下测试,采取GVoice AI Codec后CPU占用率增长约1.3%。这注解,GVoice AI Codec用极低的CPU应用率增幅,换来了手机端更低流量的高质量及时通话。

\ 

(左图为原始语音,右图为GVoice AI Codec 编解码后语音,从波形上看右图语音保真度高,主不雅听感接近原始语音)

GVoice AI Codec技巧在《和平精英》中应用后,语音办事质量整体获得了进一步的晋升。起首,经由过程对语音流量的优化,GVoice AI Codec可以或许极大年夜的晋升玩家在交通出行、户外活动等弱网情况下的语音流畅性,避免在激烈战斗时出现卡麦、断麦的情况。其次,GVoice AI Codec因为应用AI模型算法,比拟传统的语音算法在人声传输方面会有所晋升,在《和平精英》中玩家间的语音沟通后果会加倍清楚,无论是战术合营照样多人闲聊都有更佳的社交体验。项目组经由过程在不合嘈杂情况、多种游戏情景下进行了多轮语音测试,成果显示均获得了更优胜的玩家反馈。

从游戏成长的角度而言,GVoice AI Codec在《和平精英》上的成功落地,为更多游戏语音技巧的研发成果落地打下了基本,使得相干技巧拓展至更多游戏成为可能。

无社交,不游戏。可以预感的是,跟着云游戏、VR/AR等更多游戏品类的萌发,GVoice AI Codec 技巧也将在更多品类的游戏体验方面起到越来越大年夜的感化,成为新的行业标准。

(责任编辑:ysman

推荐频道

请使用底部浏览器自带功能分享

分享至

微博

QQ

朋友圈

微信