就在刚刚,Stable Diffusion 3 Medium 如约而至。
几天前,Stability AI 在社交平台 X 上官宣,SD3 Medium 将在 6 月 12 日正式开源。
这一次,没有跳票,它是真的来了。
20 亿参数大小,笔记本也能玩转 SD3 Medium
据 Stability AI 官方博客介绍,SD3 Medium 模型包含 20 亿个参数,能够生成更高质量、更细腻的图像。
得益于模型较小的尺寸,SD3 Medium 尤其适合在消费类 PC 和笔记本电脑以及企业级 GPU 上运行。
SD3 Medium 特点如下:
克服常见的手部和面部瑕疵,无需复杂工作流程即可提供高质量图像。
理解涉及空间关系、构图元素、动作和风格的复杂提示。
在生成文本方面取得前所未有的成果,无人工痕迹和拼写错误。
低 VRAM 占用,适用于标准消费级 GPU,也不会降低性能。
能够从小数据集吸收细微细节,使其非常适合定制。
在训练 SD3 Medium 上,Stability AI 花了不少心思。
据介绍, Stability AI 采用合成数据和筛选过的公开数据来训练模型。
Stability AI 在 10 亿张图片上进行了预训练。微调数据集包含 3000 万张针对特定视觉内容和风格的高质量美学图片,以及 300 万张基于偏好的数据图片。
像所有模型一样,该模型有时也会「三观不正」,输出生成一些不准确、有偏见或有害的内容。
为此,Stability AI 对 SD3 Medium 做了很多检查工作,包括让专业团队(像红队测试那样)从内外部找问题。
在训练模型时,Stability AI 给 AI 用的数据也都是精心挑选过的。
Stability AI 还特别强调,所有使用者都得遵守 SD3 Medium 的使用规则,按照自己产品的要求和规定来设置防护措施,防止传播不良内容。
附上 Hugging Face 项目地址:https://huggingface.co/stabilityai/stable-diffusion-3-medium
AI 生图迎来史诗级进化,网友玩疯了
第一波下载模型的网友已经开始玩疯了。
X 用户 @recatm 让 SD3 Medium 生成的骷髅头,光影效果处理得当,明暗对比也拉满了。
在他看来,SD3 Medium 还解决了两大难题,一是色彩过猛、对比度太狠,以往逼真肖像分分钟变「辣眼照」的尴尬,二是解决了 jpg 伪影、像素渣和糊一脸的朦胧美等问题。
向左滑动查看更多内容
老人脸上的褶子和衣服的质感,细腻得让人想伸手去摸一摸,很难让人相信这居然是 AI 生成的,
冰块与阳光的浪漫邂逅,晶莹透亮,美得让人心颤,仿佛每一缕光线都是大自然的调色盘。
轮廓的鲜明、色彩的巧妙搭配,狮子像素画在有限的像素中达到了尚可的表现力。
网友 @toyxyz3 分享的照片更是直观地展示了 Stable Diffusion 模型的进化轨迹,不过,各花入各眼,相比之下,你更喜欢哪个版本生成的图片。
向左滑动查看更多内容
Stability AI 官方也在博客中晒出了一些 SD3 Medium 的得意之作。
从样张中也可以看到,生成的图片具有极高的逼真度,色彩搭配十分和谐,几乎可以与真实拍摄的照片相媲美。
又比如,以前生成图片文字足以让人头大,但点满文字渲染技能的 SD3 Medium ,也不再轻易「乱码」了。
开源界的英雄,却成了最先倒下的明星公司?
从 SDXL、Stable Audio、Stable Video ,再到今天升级的 SD3 Medium,在过去的一年里,Stability AI 发布的产品可谓是一波接一波。
但与产品稳定的发布节奏截然相反的是,这家公司的技术团队动荡不断,高层及技术人才像走马灯似地换。
全球最大 AI 开源社区 Hugging Face 首席执行官曾预言,2024 年某个当红的 AI 公司会破产,或者以极低的价格被收购。
现在,几乎大部分人都认为 Stability AI 最有可能成为这个应验者。
说到这儿,就不能不提一嘴 Stability AI 的前 CEO Emad Mostaque。
Mostaque 的上份职业是对冲基金经理,大部分时间在搞石油交易,虽然拥有计算机科学学位,但之前从未创办或入职科技公司,还有说大话和抢功劳的毛病。
比如,他在融资时将亚马逊称为「战略合作伙伴」,其实两者只是普通的甲乙方。
他说 Stability 正在为数十家客户构建定制 AI 模型,但被问到具体的名字时,只透露了一家印度控股公司和一个非洲国家。
更迷的是,明明公司已经资金困难,Mostaque 和他曾经担任公关主管的妻子,与公司财务之间的关系还不清不楚。
而出走 Stability AI 后,Mostaque 又开始了新的创业项目,业务方向将集中在政务、医疗保健和教育,他介绍道「将大模型想象为一名毕业生——你仍然需要对他们进行工作培训。」
高管和人才走得走、散得散,Stability AI 自己能不能稳住阵脚,仍是个未知数。但今天的主角 SD3 Medium 也用实际行动给外界一个响亮的回答。
要知道,在这 AI 圈子里,一开始大家都爱听故事,梦想、未来啥的随便聊,瑕疵也能睁一只眼闭一只眼。
但现在光靠画大饼可不够,得拿出真本事,才能让投资者心甘情愿掏腰包,
Stability AI 依然称得上开源英雄,但跟 Midjourney 一比,日子过得紧巴巴的,这也是目前开源模型所面临的窘境。
开源虽美,但公司得先生存,才能谈发展嘛。