IT之家 6 月 18 日消息,据谷歌 DeepMind 新闻稿,DeepMind 近日公布了一项利用 AI 为无声视频生成背景音乐的“video-to-audio”技术。
IT之家获悉,当前 DeepMind 这款 AI 模型依然存在局限性,需要开发者使用提示词为模型预先“介绍”视频可能的声音,暂时不能直接根据视频画面添加具体音效。
据悉,该模型首先会将用户输入的视频进行拆解,此后结合用户的用户文字提示,利用扩散模型反复运算,最终以生成与视频画面协调的背景声音,例如输入一条“在黑暗中行走”的无声视频,再添加“电影、恐怖片、音乐、紧张、混凝土上的脚步声”等文字提示,相关模型就能生成恐怖风格的背景音效。
![](http://n.sinaimg.cn/spider20240618/423/w1440h583/20240618/a61e-1100cfaa65b85ecaabe31d2631cc1934.png)
DeepMind 同时表示,该“video-to-audio”模型可以为任何视频生成无限数量的音轨,还能够通过提示词内容判断生成的音频“正向性”或“反向性”,从而令生成的声音更贴近某些特定场景。
展望未来,DeepMind 表示研究人员正进一步优化这款“video-to-audio”模型,计划未来能够让模型直接根据视频内容,无须通过提示词即可生成视频背景音,同时还将改善视频中人物对白的口型同步能力。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)