IVAS：多功能沉浸式语音及音频编解码器|解码器_新浪科技

通信世界网消息（CWW）在EVS（Enhanced Voice Services）标准完成后不久，3GPP TSG SA WG4（The 3rd Generation Partnership Project TS GSA WG4）委员会就启动了IVAS（Immersive Voiceand Audio Services）项目，目标是开发一个支持语音和音频实时沉浸式通话的编解码标准，并具备多模式及多比特率的特性以适用于5G网络。经过6年开发，该项目于2023年8月在瑞典哥德堡举行的SA4125会议上正式确定了IVAS编解码标准。本文对IVAS编解码技术标准及其一些商用案例进行简介。

IVAS编解码器简介

IVAS编解码器是一个支持低时延语音和音频编解码及渲染的系统，能在5G网络特性下实现立体声或实时沉浸式语音及音频通信。它包括编码器、解码器、渲染器，以及支持立体声和沉浸式音频格式相关的几个辅助功能。IVAS满足了3GPP对该标准提出的所有技术需求。

IVAS编解码器是3GPP EVS编解码器的扩展，在单声道语音或音频信号输入模式下，能够提供完整的EVS编解码器功能，并保证比特的一致性。

IVAS支持多声道音频（MC）、基于场景的音频（Ambisonics）、基于元数据的空间音频（MASA）、基于对象的音频（ISM）等立体声及沉浸式音频信号的编码和解码，并可实现立体声和沉浸式对话语音的非连续传输（VAD/DTX/CNG），进一步有效地降低带宽。

为降低传输错误和丢包损失的影响，IVAS支持误码错误掩盖或缓解机制，降低误码对通信质量的影响，同时还提供抖动缓冲管理机制。IVAS编解码器帧长是20ms，并可以以5ms的粒度进行渲染处理。

IVAS支持的码率为：13.2、16.4、24.4、32、48、64、80、96、128、160、192、256、384及512（kbit/s），并可以通过指令控制进行码率切换。

IVAS编码器的输入信号为单声道、立体声/双耳信号、对象、多声道、Ambisonics、MASA，以及对象和MASA的组合或对象和Ambisonics的组合等音频信号。如果是对象或MASA，则还需要输入元数据，再使用中编码器对场景进行分析，导出空间音频参数，将输入通道降阶并混合到传输通道，随后由编码模块进行处理。这些编码模块包括单通道模块（包含一个核心编码器）、双通道模块（包含两个核心编码器）和多通道模块（包含多个核心编码器的联合编码），而核心编码器源于EVS编码器，并具有额外的灵活性和可变的比特率，IVAS编码器数据流如图1所示。

图1 IVAS编码器数据流

IVAS解码器对接收到的码流进行处理，支持单声道、立体声、多声道、FOA、HOA 2、HOA3、双耳渲染或带有房间效果的双耳渲染格式的输出音频信号，IVAS解码器数据流如图2所示。

IVAS编解码器支持的典型业务场景

IVAS编解码器的低时延特性能支持未来实时沉浸式交互会话业务，本文介绍两个典型业务场景。

第一个典型业务场景是沉浸式音频通话分享。在A、B两个参与者之间建立基于IVAS标准的音频呼叫，刚开始用EVS单声道模式，在通话过程中，具有沉浸式音频捕获能力终端的参与者A希望与对方分享其环境声场体验（氛围/环境音），以丰富对话效果。参与者A通过简单配置调整，将空间声音场景传输给参与者B并通过其接收端解码加渲染实现声场重现。

第二个典型业务场景是沉浸式远程课堂或会议。多个参与者用支持立体声/多声道渲染或双耳渲染的设备互联。对于具有3自由度能力的参与者，其在虚拟教室中只能改变方向，而位置是固定的；具有6自由度能力的演示者具备在虚拟教室中改变位置和方向的能力。在此场景中，教师/演示者和一个或多个学生/参与者可以在现实环境中自由移动，但学生/参与者只能作为3自由度参与者在虚拟教室中的预定位置参与交互。虚拟教室中的这些预定义位置类似于现实教室中的座位，由教师/演示者事先安排好；学生/参与者可以选择他们想在课堂/会议室想坐的位置，但课程/会议开始后，位置不能更改。教师/演示者可以作为在虚拟教室/会议室内移动的6自由度组织者与其他参与者进行交互。该应用场景能增强远程课堂/会议的沉浸感，提高学生/参与者在一定时间内的学习兴趣或参与注意力。

IVAS编解码器特性和后续计划

IVAS支持多模式运作，每种模式都支持多个离散的比特率，因此IVAS标准实现的语音/音频质量跨度比较大，这也将是IVAS在完成标准化前需重点测试的特性。

一般来说，在较高的比特率下，语音/音频质量往往是透明或接近透明的，而在中档比特率范围IVAS实现了质量与带宽的折中，即使在苛刻的网络条件下，IVAS也能在低比特率范围维持一定质量的基本服务。

2023年9月，3GPP SA更高级别的委员会批准了SA4对IVAS编解码器标准的选择，使其正式成为标准；到第四季度，SA4将准备IVAS的特性测试，并开展IVAS编解码器标准规范的撰写工作。2024年第一季度，SA4需要完成所选IVAS编解码器的定点代码开发，并启动特征测试，SA批准一部分相关的规范；到第二季度，SA4和SA需要先后批准特征测试结果和完整规范集的其余部分，最终完成IVAS编解码器标准的开发工作。