老铁们,大家好,相信还有很多朋友对于深度学习模型Stable Diffusion 3安装指南与官方案例展示和的相关问题不太懂,没关系,今天就由我来为大家分享分享深度学习模型Stable Diffusion 3安装指南与官方案例展示以及的问题,文章篇幅可能偏长,希望可以帮助到大家,下面一起来看看吧!
本次搭建使用的平台配置如下:
考虑到本地运行 Stable diffusion 3 对算力的强大需求,我们本次选用了影驰 GeForce RTX 4070 Ti SUPER 星曜 OC 显卡。GEFORCE RTX 4070 Ti SUPER 基于 AD103 核心所打造,也是这款显卡最大的改变。内部包含 8448 个 CUDA 核心,相比 RTX 4070 Ti 的 7680 个核心数提升了 10% 以上,显存位宽相比 RTX 4070 Ti 提升到了 256bit,而且显存规格也增加到 16GB GDDR6X,无论是对游戏还是 AI 创作都有帮助。
选择这块显卡,算是在价格和性能上取了个平衡,这块显卡搭载了 16GB GDDR6x 显存,显存位宽 192bit,长 35.4cm。
为了确保这块显卡可以胜任本次 Stable diffusion 3 的搭建,IT之家也提前对这块显卡的计算性能进行了一些测试,GeForce RTX 4070 Ti SUPER 的 8448 个 CUDA 核心可以提供硬件加速,使得工作效率得以提高。几乎所有的建模软件都会对 NVIDIA 的 GPU 进行优化,因此在效率、稳定性和兼容性方面都能够兼顾。我们测试了 V-Ray Benchmark 的性能表现。其中 GPU CUDA 测试项目得分为 2746 分。
而在 Stable Diffusion 1.7 的测试中,通过选择模型 v2-1_768-ema-pruned.ckpt,以文生图的方式绘制 21 张小木屋的图像,图像分辨率为 768*768,最终花费 54 秒完成。而在开启 TensorRT Engines 功能后,速度再次缩减一半,27 秒即可完成。
那么经过一系列的测试,我们已经确定了这块显卡完全可以胜任此次的 Stable Diffusion 3 搭建,下面我们就撸起袖子,开干!
一、资源准备
硬件平台搭建完,接下来就是 UI 界面的选择和模型的下载了,这里要补充一句,整个搭建过程包括模型文件的下载,对网络环境的要求比较高,不过IT之家会把搭建所需的文件都放到文末供大家学习交流。
由于 Stable Diffusion 3 刚刚发布不久,Web UI 目前还没有适配,所以本次使用的是 ComfyUI。Github 网址如下:
https://github.com/comfyanonymous/ComfyUI下滑找到下载链接,单击下载。
UI 先下载着,我们这边去下载重磅的 Stable Diffusion 3 模型文件。网址如下:
https//huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main(这个网址是官方链接跳转过来的,无需质疑权威性。)
下载模型文件需要先登录网站,没有账号的小伙伴可以注册一下,注册过程比较常规。注册后可以看到如下的模型文件。先下载图中标注的三个模型文件即可。
此外,还需要下载这两个文件夹中的部分文件。
text_encoders 文件夹中需要下载这三个文件。
comfy_example_workflows 文件夹中的三个文件体积比较小,为官方提供的示例工作流,这里下载以便后续演示使用,如果不需要也可以不下载。
如果顺利的话,如下这些文件下载好后,我们的搭建工作就可以正式开始啦。
二、平台搭建
首先解压 new_ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z,得到如下文件。
接下来定位到…ComfyUI_windows_portable / ComfyUI / models / checkpoints 文件夹,将我们前面下载的文件中,三个“sd3”开头的文件移动到这里。
再定位到…ComfyUI_windows_portable / ComfyUI / models / clip 文件夹,将“clip”和“t5xxl”开头的三个文件移动到这里。
回到…/ComfyUI_windows_portable/ 文件夹,由于我们是主要依靠影驰 GeForce RTX 4070 Ti SUPER 星曜 OC 显卡的算力,因此我们这里双击运行 run_nvidia_gpu.bat。
如果没有意外的话,打开后你会看到如下的界面,那么恭喜你,基于 ComlfyUI 的 Stable Diffusion 3 搭建过程就初步完成了。
三、官方工作流示例
那么接下来,怎么使用呢,还记得我们前边下载的三个官方工作流吗,这三个官方提供的工作流示例中,第一个为基本的单提示词生成图片,第二个为多提示词生成图片,第三个则是在第一个基础上,增加了一步图片分辨率提升,这里我们就依次演示一下如何跑通三个官方工作流。
将下载的第一个.json 文件直接拖入到 ComfyUI 界面中,可以看到工作流发生了变化。
这时候如果直接运行,是会报错的,需要重新指定一下模型的文件位置。在模型这里,按照原有的模型名称,对应的选择我们之前放入的模型文件即可。
全部选定之后,就可以开始运行了,官方的提示词为
a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character's face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres.
翻译过来就是
一个留着飘逸长发的女性角色,头发看起来像是用类似于北极光或北极光的旋涡图案制成的。背景以深蓝色和紫色为主,营造出神秘而戏剧性的氛围。角色的脸很平静,皮肤苍白,五官精致。她穿着深色衣服,上面有微妙的图案。这幅画的总体风格让人想起奇幻或超自然体裁。
上图工作流中绿色文本框中就是正向提示词的输入区域,红色文本框为反向提示词的输入区域,运行后生成的图片如下,我们使用影驰 GeForce RTX 4070 Ti SUPER 星曜 OC 生成这张 1024*1024 像素的图片,仅用了 21.23 秒,体验非常丝滑。可以看到,运行模型的时候,GPU 负载瞬间拉满,可见模型对 GPU 算力的需求还是相当恐怖的。
第一个工作流跑通了,那么我们再来试试第二个工作流。与第一个类似,也是将官方的.json 文件拖入界面中,得到与刚才类似的工作流。
仍然需要对模型文件位置进行配置。
配置后,就可以正常运行工作流了。影驰 GeForce RTX 4070 Ti SUPER 星曜 OC 跑这个模型耗时 14.92s,比上一个要短不少。不过运行模型的时候,GPU 负载仍旧是瞬间拉满。
前两个工作流整体部署思路上大同小异,主要看大家日常使用时候的需求进行选择了,跑通之后可以结合个人需求对其中的参数进行进一步调整优化,这里就不展开了。
接下来我们再来说说这第三个工作流。依样画葫芦,把.json 文件拖进来,就看见了报错,大概意思为缺少相关的模型文件。
关闭报错,可以看到有一个流程框是红色的,这就是提高图片分辨率所需要的模型缺失造成的。
一劳永逸的解决类似问题的思路是,安装一个 ComfyUI 的插件 ——ComfyUI Manager,该插件可以检测、下载并补充当前工作流中缺失的模型和插件。插件网址如下:
https://github.com/ltdrdata/ComfyUI-Manager官方提供了多种安装方法,感兴趣的小伙伴可以自行研究,我们这里选用第一种方法进行安装。安装前先关闭 ComfyUI 界面。
虽然官方没有提及,但使用第一种方法进行安装,前提还是要先下载并安装 git,我们这里下载并安装 64 位的 Standalone Installer。
安装完成后打开终端,依次运行如下三个命令。
cdC\Users\ithome\Documents\comfyui_sd3\ComfyUI_windows_portable\ComfyUIcdcustom_nodesgitclonehttps//github.com/ltdrdata/ComfyUI-Manager.git其中第一个命令中的文件夹地址需要根据你安装 ComfyUI 的位置自行确定。
此处对网络要求较高,网络不好的话可能会报错,多试几次即可,成功后会看到下载完成的命令。成功后再打开 ComfyUI,可以看到右下角多了两个按钮。
点击 Manager,可以看到丰富的设置项,我们这里主要用到的是红框中的两项。
先点击 install Missing Custom Nodes,可以看到已经检测到了缺失的插件,点击安装即可。
安装后可以看到工作流中的红色方块已经恢复正常。
不过如果此时再次运行该模型,会发现只能运行到与第一个官方模型相同的步骤,后面的分辨率提升就停住不跑了。这是因为我们还没有安装这个 4x-UltraSharp.pth 模型。
打开 Manager 中的 Install Models,搜索 4x-UltraSharp,可以看到相关模型,点击后边的 Install 即可。
安装完成后,再次运行,可以看到,跑完了文生图的模型后,还会有 4 个分辨率提高的模型进程,完整过程用时 51.09s,这个工作流的压力不小,影驰 GeForce RTX 4070 Ti SUPER 星曜 OC 的这个表现相当不错。
可以看到提升分辨率后的图片
图片大小也是飙升了约 4 倍。
总结
Stable Diffusion 3 的发布,让我们再一次看到了 AI 大模型的飞速进步和发展,作为一项能够在日常生活中大幅提高效率的工具,工作之余研究一下总是有益无害的。
用户评论
终于找到这个教程了!一直想尝试Stable Diffusion,但是感觉官网的资料太专业了。这个教程讲解的很清楚,跟着步骤一步一步做,真的成功在本地搭建出来了!
有15位网友表示赞同!
视频演示做的很棒,看得清清楚楚。我还在想怎么把模型参数调优一下,不知道你有没有什么推荐?
有17位网友表示赞同!
搭建的过程有点复杂,需要一定的技术基础才能理解每个步骤。不过教程写的详细,加上代码注释也很易于理解,还是不错的。
有20位网友表示赞同!
我已经成功运行了官方示例,生成的图片质量挺高的!之前用其他开源模型生成的效果实在不敢恭维,这个Stable Diffusion 3是真的棒!
有9位网友表示赞同!
这个教程的链接好像失效了? 我试着搜索了一下,但是找不到有效的资源怎么办啊? 希望作者能更新一下链接。
有20位网友表示赞同!
学习 Stable Diffusion 也不是一件容易的事情,需要花时间去理解模型的工作原理才能更好地掌握各项参数调节技巧。 建议想要搭建此软件的读者多阅读相关文档和教程,积累一点AI领域的知识。
有7位网友表示赞同!
我试着用这个软件生成了一张人像,结果效果简直不敢恭维!感觉比之前其他的开源模型还差一截,这Stability AI 的官方实例好像有点虚假宣传的感觉啊?
有6位网友表示赞同!
教程视频中的操作步骤和文字讲解都非常清晰简洁易懂。对于小白来说这个教程非常友好,可以快速上手学习使用 Stable Diffusion 3。我赞赏作者的用心!
有11位网友表示赞同!
希望以后能看到更多针对特殊场景或特定图像类型(比如风景、动漫风格)的教程视频,这样对我们想进行精细雕琢创作的用户很有帮助!
有10位网友表示赞同!
这个软件能生成什么样的图片效果? 我很想知道它在文本到图像的转化上有多大的提升和优势。 期待看到更多令人惊艳的效果图!
有9位网友表示赞同!
搭建 Stable Diffusion 3 的过程挺费时间,硬件配置要求也比较高。建议有条件的朋友可以选择云平台部署,这样省时省力也更方便。
有6位网友表示赞同!
虽然这个开源的工具还是需要一定的学习成本,不过其强大的生成能力和灵活的可定制性确实让人眼前一亮!相信随着更多人的参与和改进,Stable Diffusion 3 会发展得更加强大!
有15位网友表示赞同!
这个教程很适合想要入门稳定扩散模型的人参考,它将复杂的技术概念用通俗易懂的语言解释得很清楚。但是如果要想深入学习和应用,还得需要多研究相关领域的知识。
有8位网友表示赞同!
我一直在寻找一款能够生成高品质图像的工具,看到这款 Stable Diffusion 3 的官方演示视频后就被深深吸引了。教程讲解得非常清晰,我计划后续抽时间好好把这个软件学习一下。
有12位网友表示赞同!
搭建过程中遇到了一些问题,比如环境配置和模型下载的问题,还好在论坛里找到了解决方法。我觉得教程可以更详细地介绍遇到的常见问题及解决方案,会更加方便用户上手。
有11位网友表示赞同!
我一直很喜欢 AI 图像生成技术的可能性,这个 Stable Diffusion 3 看起来很有前途!期待未来能用它创作出更多有趣的作品!
有14位网友表示赞同!
我对开源软件的态度是鼓励,支持!希望稳定扩散模型能够被更多人使用和研究,最终造福人类!
有6位网友表示赞同!