一发布就失望?Stable Diffusion 3有什么大问题

一发布就失望?Stable Diffusion 3有什么大问题
2024年06月28日 08:00 中关村在线

前不久,StabilityAI发布了开源的StableDiffusion 3Medium,让各大探索AI的网友们兴奋不已,毕竟SD1.5、SDXL的发布已经带来了很多震撼,这次的SD3更是期待拉满,很多网友都在开源的第一时间去下载,然而体验似乎并没有StabilityAI所说的那么神。

在一开始的宣传中,StabilityAI表示SD3已经能生成文字,但目前只能生成英文,中文还无法识别,而且最重要的是,SD3似乎在人物生成上开了倒车,对于人画像的生成,SD3经常产出畸形的人物形态,特别是人的四肢、手脚方面的错误,整体体验还不如上一代模型。

也就是说,只要不生成人物的四肢,SD3模型在局部画面上的表现还是很精致的,在物品和动物的生成上,SD3也基本没有什么问题,对于复杂的长提示词也有着很高的识别率,但是就是画不好四肢健全的人类,在这方面反而退化了一般,引起了很多人的不解。

国外论坛Reddit用户则分析称,表示SD3的人体四肢理解错误,是因为在训练时,开发者过多干预内容,设置过滤限制级内容,而且通过的条件非常苛刻,从而导致AI识别错误,一些正常的图片也因此被识别为限制级内容,因此在公开的SD3模型中,人体的效果因为训练不足而导致畸形。

这就解释了,为什么SD3并未翻起很大风浪,因为除了会识别英文外,最主要的人体识别反而开了倒车,原本在解决手部问题,这下子演变成了还要解决四肢的问题,需要很长的提示词去修复,但对于非人类,SD3的效果还是出奇的好,细节都很到位,也遵循物理规则,可惜这一版本并不完美。

当然这也许和StabilityAI陷入困境有关,在此之前,公司财务状况并不佳,且ceo辞职,曾经的主要成员也离开,加上裁员风波,如今能推出SD3也是不容易,更有网友表示公司内部混乱,如今不成熟的SD3就是证明,但终究它还是推出了,并且开源了,这都遵守了之前的承诺,也许只是单纯的出错了呢?(图为StableDiffusion 3 模型架构)

但这也只是个中杯的SD3,也就是说后续还有大杯和小杯的推出,也许要经历过这次问题后,StabilityAI会对训练数据进行修改,完善出更好的SD3也说不定,而且现在也有SD1.5与SDXL的在持续创作与使用,如果修改后的SD3能在SDXL的基础上再进步,那就值得赞赏,当然SD3如果支持其他语言的理解那就更好了

目前SD3模型还暂时只支持ComfyUI,想要体验的网友可以下载ComfyUI进行尝试,虽然SD3开源的为中杯版本,但对于显卡的要求,还是比较推荐大显存会更好,因此我们推荐使用影驰RTX4070 Ti SUPER星曜OC显卡。

影驰RTX4070 Ti SUPER星曜OC显卡,相比于4070Ti,显存上为更大的16GBGDDR6X,并且核心性能也得到了加强,无论是AI创作者还是游戏玩家,都能感受到明显的提升,同时16GB显存也是非常适合AI软件运行,是一款不容错过的高性能大显存的显卡,如果你对这张显卡感兴趣,欢迎前往影驰官方商城挑选~

显卡
新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片