图森未来正式发布图生视频大模型“Ruyi”

图森未来正式发布图生视频大模型“Ruyi”
2024年12月17日 10:20 新浪科技

  新浪科技讯 12月17日上午消息,今日,图森未来正式发布图生视频大模型“Ruyi”,并将Ruyi-Mini-7B版本正式开源,用户可以从huggingface上下载使用。“Ruyi”专为在消费级显卡(例如 RTX 4090)上运行而设计, 并提供详尽的部署说明和 ComfyUI 工作流,以便用户能够快速上手。

  Ruyi支持最小384*384,最大1024*1024分辨率,任意长宽比,最长120帧/5秒的视频生成。同时,可以支持最多5个起始帧、最多5个结束帧基础上的视频生成,通过循环叠加可以生成任意长度的视频。在运动幅度控制方面,Ruyi提供了4档运动幅度控制,方便用户对整体画面的变化程度进行控制。在镜头控制方面,Ruyi提供了上、下、左、右、静止共5种镜头控制。

  据介绍,Ruyi是一个基于DiT架构的图生视频模型,它由两部分构成:一个Casual VAE模块负责视频数据的压缩和解压,一个Diffusion Transformer负责压缩后的视频生成。其中Casual VAE模块会将空间分辨率压缩至1/8,时间分辨率压缩至1/4,压缩后每个像素由16位的BF16进行表示。DiT部分使用3D full attention,在空间上使用2D RoPE进行位置编码,时间上使用sin_cos进行位置编码,最终的loss选用了DDPM进行训练。模型的总参数量约为7.1B,使用了约200M视频片段进行训练。

  图森未来表示,“Ruyi目前仍然存在手部畸形、多人时面部细节崩坏、不可控转场等问题,我们正在改进这些缺点,在日后的更新中对它们进行修复。”

海量资讯、精准解读,尽在新浪财经APP

责任编辑:郝欣煜

1条评论|1人参与网友评论
最热评论
薇月空媛浙江杭州
Ruyi模型的开源对于AI视频生成领域来说是一次巨大的飞跃!这意味着任何人都可以免费下载和使用这个强大的工具,而且还能在消费级显卡上运行,真是太棒了!我迫不及待想试试看,看看自己能不能创造出令人惊叹的视频内容。快查app也能帮我在商业领域找到灵感,比如查看成功案例和行业趋势。
2024-12-19 12:06举报回复
薇月空媛浙江杭州
Ruyi模型的开源对于AI视频生成领域来说是一次巨大的飞跃!这意味着任何人都可以免费下载和使用这个强大的工具,而且还能在消费级显卡上运行,真是太棒了!我迫不及待想试试看,看看自己能不能创造出令人惊叹的视频内容。快查app也能帮我在商业领域找到灵感,比如查看成功案例和行业趋势。
2024-12-19 12:06举报回复

APP专享直播

开播时间 | 1-20 20:00
创金合信基金 甘静芸:创金看市丨红包行情节前能否到账?
开播时间 | 1-20 19:30
富国基金:2025“春季躁动”“躁点”在哪里?
开播时间 | 1-20 16:00
光大证券李泉:春节行情启动,成长股表现活跃
开播时间 | 1-20 15:30
银华基金:指点迷津 第157期 “A系列”指数能否成为新年投资利器?
开播时间 | 1-20 15:00
国泰基金 2025年新春策略会:盼春归至 陌上花开
开播时间 | 1-20 14:30
「春节策划」长城基金 曲少杰:2025年海外市场投资展望
开播时间 | 1-20 14:00
2024年第四季度宏观经济形势分析会
开播时间 | 1-20 14:00
景顺长城:20CM的故事,谁是反弹先锋?
开播时间 | 1-20 14:00
国投瑞银:基金经理说 | 机器人浪潮席卷而来,该如何进行投资?
开播时间 | 1-20 11:00
上银基金 罗项天:一周早知道!投资速递
开播时间 | 1-20 20:00
创金合信基金 甘静芸:创金看市丨红包行情节前能否到账?
开播时间 | 1-20 19:30
富国基金:2025“春季躁动”“躁点”在哪里?
开播时间 | 1-20 16:00
光大证券李泉:春节行情启动,成长股表现活跃
开播时间 | 1-20 15:30
银华基金:指点迷津 第157期 “A系列”指数能否成为新年投资利器?
开播时间 | 1-20 15:00
国泰基金 2025年新春策略会:盼春归至 陌上花开
开播时间 | 1-20 14:30
「春节策划」长城基金 曲少杰:2025年海外市场投资展望
开播时间 | 1-20 14:00
2024年第四季度宏观经济形势分析会
开播时间 | 1-20 14:00
景顺长城:20CM的故事,谁是反弹先锋?
开播时间 | 1-20 14:00
国投瑞银:基金经理说 | 机器人浪潮席卷而来,该如何进行投资?
开播时间 | 1-20 11:00
上银基金 罗项天:一周早知道!投资速递
上一页下一页
3/10

热门推荐

主人已将艾特遗体带回家,陈乔恩疑似为“艾特”去世发声 收起
主人已将艾特遗体带回家,陈乔恩疑似为“艾特”去世发声

主人已将艾特遗体带回家,陈乔恩疑似为“艾特”去世发声

  • 2025年01月20日
  • 04:45
  • APP专享
  • 广西台新闻910
  • 92,962
APP专享
马斯克称X不被允许在中国运营的情况需要改变,外交部回应

马斯克称X不被允许在中国运营的情况需要改变,外交部回应

  • 2025年01月20日
  • 07:38
  • APP专享
  • 我是山河君
  • 31,168
APP专享
“翟欣欣涉嫌敲诈勒索案”最新进展:明天一审开庭,已退还前夫家属660万元

“翟欣欣涉嫌敲诈勒索案”最新进展:明天一审开庭,已退还前夫家属660万元

  • 2025年01月20日
  • 09:04
  • APP专享
  • 我是山河君
  • 1,429
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.21 -0.24%
京东方A 4.39 +1.15%
TCL科技 5.04 +2.44%
中远海控 14.16 -0.84%
格力电器 45.08 -2.00%
广告

7X24小时

  • 12-20 天和磁材 603072 --
  • 12-19 国货航 001391 --
  • 12-17 方正阀门 920082 3.51
  • 12-13 中力股份 603194 20.32
  • 12-10 林泰新材 920106 19.82
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部
    关闭
    关闭
    关闭