以下教程仅是自己的安装过程,可能有不准确的地方,但可以保证快速的初步上手,更多的软件设置和研究自己也还在学习中,所有软件及模型来自于网络分享。
-------------------------------------------------------------------------------------------------
首先确认电脑显卡显存4g以上,就可以生成图片了,如果要自己训练模型,需要更高显存。
1.基础软件下载(来自B站秋葉aaaki分享)
AI 绘画 webui 版本整合包v3
链接: https://pan.baidu.com/s/1qWggi0qMMTdMpqCNCRcjoQ
提取码: a241
这个一键运行包可以省去很多前置软件的安装,点击启动器,一键启动,出现控制台不用管,一直开着,稍后弹出浏览器软件窗口,基本软件就完成了。
2.建筑使用的话,最好下载专门的大模型和lora模型(来自于B站AI建筑研究室整理分享,不定期更新)。
【腾讯文档】AI辅助设计-SD模型共享文档
https://docs.qq.com/sheet/DRXF5cXNlVUpKUnVL
基础模型有CKPT和safetensors格式的,有官方的也有个人根据不同需求单独训练后分享的,大小一般在5-7G左右,下载后放在models\Stable-diffusion中,然后在运行界面中模型处点1更新,2下拉菜单中即可选择模型。
lora模型我简单理解为定向风格模型,针对不同需求,可以网上下载,也可以自己训练,格式一般为safetensors,相对主模型一般没有那么大,下载后放在\models\Lora中,
使用的时候在运行界面1处点击小图标,2处点lora,就可以看到下载的lora模型了,选择想用的模型后,在3处文字栏内出现括号内的内容就可以了。以后直接复制这个文字内容也可以。
3.Controlnet插件安装
上面基础模型下载好后可以直接文字出图了,但设计过程中我们需要更精确的根据手稿或者模型导图去定向的生成图的话就需要安装controlnet插件。
直接在软件里就可以安装
如果不能下载,可以在网上下载压缩包, 解压到extensions文件夹目录内,重启软件
我在这里下载的 https://openai.wiki/controlnet-models-download.html
在软件界面内看见这个就安装好了
使用的时候勾选1启动,在2和3选择不同的预处理和模型,就可以控制生成了。
4.Controlnet模型下载
点预处理器会发现有很多种类,想使用还需要下载对应的模型
模型下载,网上有不同版本下载,我用的是在这下载的
https://openai.wiki/controlnet-models-download.html
比较基础常用的前四个。
下载后文件格式为PTH文件,大小一个5G左右,放在models\ControlNet内,在软件页面点1更新图标,下拉菜单中就可以选择模型了。
5.基本操作运行
1选模型2关键词3选lora,4算法5尺寸 ,效果不好的话蓝色数据可以改成30再试
6放手绘7选模型8调权重按需要调,越大生成图越接近原稿9取样尺寸,合适就好,不用太大10看情况调整11预览12出现处理好的线稿
生成
效果不理想可以调整红框数值再试,多试不同的参数和controlnet的预处理模型(切换预处理模式有时候会失效,看下控制台如果报错,就重启软件),试几次就基本可以根据自己需求调整生成方向了。
图生图的基本方法基本一致,只是可以在原始图的基础上去生成,如果要想控制的话还是加controlnet。
以上就是从安装到基本出图的流程,仅是个人的实验方法,还处于学习研究阶段,有错误的地方欢迎指出。