语音模型也能freestyle！阿里新模型可定制角色、模拟背景音

快科技3月2日消息，今日，阿里发布两款语音新模型，基于参考音频的声音克隆模型Fun-CosyVoice3.5、无参考音频的音色设计模型Fun-AudioGen-VD。

据介绍，两款模型均引入了强大的“指令遵循”能力，自由控制声音的情感、语速、场景等。

其可用freestyle（自由风格模式）定制角色，适用于有声书、游戏、客服、播客、教育、直播等多个场景。

值得注意的是，两款模型在同尺寸模型的基准评测中斩获多项SOTA。

在Seed-TTS基准测试的中文“困难案例”指标中，Fun-CosyVoice3.5表现抢眼，词错误率(Word Error Rate,WER)和说话人相似度(Speaker Similarity,SSIM)均为最佳。

同时，因为优化了“困难案例”的发音，生僻字句错率由15.2%降低到5.3%。

其中，Fun-CosyVoice3.5支持freestyle指令控制，解决了传统克隆模型只会模仿不能指定角色的痛点。

Fun-AudioGen-VD专注“从无到有”的音色设计。在指令遵循能力和可控性的Instruct-TTS基准测试中超过gemini2.5-pro和gpt-4o-mini-tts。

该模型不仅能根据描述定制音色和情感，还能同步模拟复杂的听觉环境，实现“人物+场景”的一体化。

在强化学习中，两款模型通过使用DiffRO和GRPO，增加了时长和韵律多通道的奖励。

此外，Fun-CosyVoice3.5所用的tokenizer帧率减半，提高训练效率，且首包延迟降低35%，大幅提升了实时交互体验。

即日起，用户可在阿里云百炼调用这两款最新模型。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：哈尔