元宇宙推出支持36种语言的“智慧”即时语音翻译模型

元宇宙推出支持36种语言的“智慧”即时语音翻译模型
2025年01月18日 15:53 澎湃新闻

Meta 开发出一款机器学习模型,其研究人员称该模型可以在近乎实时的情况下在约 36 种语言之间进行语音到语音的翻译。

这个名为 SEAMLESSM4T 的基础模型让人联想到《银河系漫游指南》中的巴别鱼,它通过利用互联网音频片段,巧妙地避开了繁琐的数据标注过程,在 450 万小时的人类语音记录上进行训练。

Facebook 母公司的研究团队今天在《自然》杂志上发表论文称,这个相对开放的模型可以作为其他应用程序的基础,支持"在各种场景下实现多语言即时交流"。

爱沙尼亚塔林理工大学语音处理教授 Tanel Alumae 在随附文章中表示,该模型在包含 450 万小时多语言口语音频的海量数据(15.460, 0.15, 0.98%)(维权)集上进行预训练,以帮助建立数据模式,"这使得模型可以在无需大量定制训练数据的情况下,更容易针对特定任务进行微调"。

研究团队还使用了一种新的自动化技术来避免标注大量训练数据。

Alumae 解释说:"SEAMLESS 团队最巧妙的策略之一是从互联网上'挖掘'跨语言对齐的训练数据对 — 比如一种语言的音频片段与另一种语言的字幕相匹配。从一些已知可靠的数据开始,作者训练模型识别两个内容片段(如视频片段和相应字幕)在含义上是否真正匹配。"

这种技术帮助 Meta 的无缝通信团队收集了约 443,000 小时带有匹配文本的音频,并对齐了约 30,000 小时的语音对,然后用于进一步训练模型。Alumae 赞扬了 Meta 对模型的开放程度 - 这与可用于创建其他应用程序的 Llama 系列大语言模型类似。"对于缺乏从头构建这些模型所需大量计算资源的研究人员来说,这种开放程度是巨大的优势。"

然而,也有人批评 LLaMA-3 的"明显非开放使用限制"。

据称,Meta 的新模型还可以将语音翻译成多达 100 种语言的文本。Alumae 指出,虽然这个数字令人印象深刻,但与世界上约 7,000 种语言相比还相差甚远。

他说:"该工具在人类相对容易处理的许多情况下仍然存在困难 — 例如在嘈杂环境中的对话或口音很重的人之间的对话。不过,作者利用真实世界数据的方法将为开发能够媲美科幻作品的语音技术开辟一条有前途的道路。"

康奈尔大学信息科学系的 Allison Koenecke 在第二篇随附文章中指出,虽然这一突破可能代表着比人工更高效和更具成本效益的转录和翻译方法,但"必须要理解这些技术失效的方式 — 对某些群体的影响尤其不成比例"。

她说:"未来的工作必须确保语音技术研究人员能够改善性能差异,并让用户充分了解这些模型相关的潜在利益和危害。"在论文中,Meta 描述了如何衡量语言的"毒性"和性别偏见。

研究人员还表示,自然语音"包含一系列韵律 — 节奏、重音、语调或声调 — 和情感成分,这些都值得进一步研究。"

他们补充说:"要创建感觉自然和有机的语音到语音翻译系统,应该将更多研究投入到保留表现力的输出生成中。此外,要完全实现巴别鱼的愿景,需要在低延迟语音翻译研究方面进行更深入的投入。开发能够流式处理的系统(即在输入句子呈现时进行增量翻译)可能会增加这些系统在各种机构环境中的采用率。我们希望 SEAMLESSM4T 能为这两个研究领域开辟新的可能性。"

海量资讯、精准解读,尽在新浪财经APP
Meta 语音翻译 研究人员

0条评论|0人参与网友评论
最热评论

APP专享直播

开播时间 | 3-03 20:00
创金合信基金 肖伊莎:创金看市丨风格切换在即,如何踩准节奏?
开播时间 | 3-03 19:30
富国基金:两会前后,热点资产追什么?怎么追?
开播时间 | 3-03 19:00
融通基金:升级版!量化如何赋能中证A500?
开播时间 | 3-03 16:30
银河基金:中证A500这只指数有何特色?
开播时间 | 3-03 16:00
易方达基金:大道至简问指数
开播时间 | 3-03 16:00
光大证券李泉:固态电池成行业热点,批量车企公布2月销量
开播时间 | 3-03 15:30
银华基金:指点迷津 第161期 百亿出海订单!中国创新药能否席卷全球?
开播时间 | 3-03 15:00
国投瑞银:追上科技热点 | 行情分化,科技怎么投?
开播时间 | 3-03 14:50
全国政协十四届三次会议发布会
开播时间 | 3-03 14:00
万家基金:低利率时代到来,投资如何求稳求进?
开播时间 | 3-03 20:00
创金合信基金 肖伊莎:创金看市丨风格切换在即,如何踩准节奏?
开播时间 | 3-03 19:30
富国基金:两会前后,热点资产追什么?怎么追?
开播时间 | 3-03 19:00
融通基金:升级版!量化如何赋能中证A500?
开播时间 | 3-03 16:30
银河基金:中证A500这只指数有何特色?
开播时间 | 3-03 16:00
易方达基金:大道至简问指数
开播时间 | 3-03 16:00
光大证券李泉:固态电池成行业热点,批量车企公布2月销量
开播时间 | 3-03 15:30
银华基金:指点迷津 第161期 百亿出海订单!中国创新药能否席卷全球?
开播时间 | 3-03 15:00
国投瑞银:追上科技热点 | 行情分化,科技怎么投?
开播时间 | 3-03 14:50
全国政协十四届三次会议发布会
开播时间 | 3-03 14:00
万家基金:低利率时代到来,投资如何求稳求进?
上一页下一页
1/10

热门推荐

“英雄团长”祁发宝,再获表彰 收起
“英雄团长”祁发宝,再获表彰

“英雄团长”祁发宝,再获表彰

  • 2025年03月03日
  • 01:08
  • APP专享
  • 扒圈小记
  • 23,858
APP专享
“菜刀哥”李坤朋因病去世,享年39岁

“菜刀哥”李坤朋因病去世,享年39岁

  • 2025年03月03日
  • 02:40
  • APP专享
  • 扒圈小记
  • 21,707
APP专享
年仅39岁!救人英雄“菜刀哥”李坤朋去世 家属讣告:因病抢救无效辞世,殡期定于3月5日

年仅39岁!救人英雄“菜刀哥”李坤朋去世 家属讣告:因病抢救无效辞世,殡期定于3月5日

  • 2025年03月03日
  • 03:26
  • APP专享
  • 北京时间
  • 4,004
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.19 -0.24%
京东方A 4.34 +0.70%
TCL科技 4.67 +1.08%
中远海控 13.52 -0.73%
格力电器 40.56 -0.71%
广告

7X24小时

  • 01-17 宏海科技 920108 5.57
  • 01-16 亚联机械 001395 19.08
  • 01-16 海博思创 688411 19.38
  • 01-14 富岭股份 001356 5.3
  • 01-13 超研股份 301602 6.7
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部