本文内容很长很干,建议先收藏+关注!
一、小白入门AI绘画三件套
简单易用AI绘画工具Fooocus+对标midjourney的AI绘画模型SDXL+免费试用的阿里云服务器资源。
1.1 为什么是Fooocus?
Fooocus 是参考 Stable Diffusion 和 Midjourney 的优缺点后博采众长重新设计的一款开源 AI 绘画软件。
采Stable Diffusion所长:这款软件是开源、离线和免费的
采Midjourney所长:不需要手动调整,用户只需要专注于提示和图像。
Fooocus免费
免费开源,易上手,让midjourney去哭吧
Fooocus简单好用易上手
比stable diffusion的webUI简单,解压即可使用;midjourney是需要魔法的这限制了很多人入门AI绘画。
Fooocus速度快
小显存设备的福音,你们的4设备g又活了。
1.2 为什么是SDXL?
SDXL是Stability. AI 发布最新一代AI绘画模型,特点如下
SDXL效果更好
对midjourney,生成的图像效果,相对于之前的模型有突飞猛进的效果提升
SDXL生成图像更大
默认图有512×512 提升到1024x1024
SDXL提示词更贴近自然语言
不用学习提示词语法,用自然语言表达即可达到预期效果。
1.3 为什么是阿里云资源?
一句话不用白不用。
Mac电脑不能安装最新的fooocus,限制了Mac用户入门AI绘画
Windows电脑对显存有要求,限制了Windows用户入门AI绘画,用云资源不需要入门就买昂贵的显卡。
阿里云的资源现在是有免费试用活动的,并且v100的出图速度杠杠的快。
二、免费阿里云资源安装fooocus教程
2.1 领取免费资源-机器学习PAI
第一步:阿里云官网:阿里云-计算,为了无法计算的价值
第二步:选择产品 机器学习PAI
点击免费试用
立即试用
2.2 创建实例走资源
第一步:进入机器学习PAI 产品 ——点击创建
第二步:创建实施 选择GPU设备
选择 stable difussion webUI的镜像
第三步: 创建成功 点击启动
2.3 安装Fooocus
Fooocus安装.ipynb文件便捷安装
第一步:下载Fooocus安装.ipynb文件
云盘文件
下载到本地后上传到云端示例,把文件拖拽到示例目录。
上传后双击打开Fooocus安装.ipynb:
按照文件中的步骤说明进行操作。
第二步:按照Fooocus安装.ipynb 安Fooocus
1、点击执行 下载fooocus
!git clone https://github.com/lllyasviel/Fooocus.git
2、点击执行激活环境 下载模型
激活环境
%cd /mnt/workspace/Fooocus!pwd!python3 -m pip install --upgrade pip!pip3 install pygit2==1.12.2
下载大模型
!wget -P ./models/checkpoints/ https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/modelscope/models/fooocus/models/checkpoints/sd_xl_base_1.0_0.9vae.safetensors!wget -P ./models/checkpoints/ https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/modelscope/models/fooocus/models/checkpoints/sd_xl_refiner_1.0_0.9vae.safetensors!wget -P ./models/loras/ https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/modelscope/models/fooocus/models/loras/sd_xl_offset_example-lora_1.0.safetensors!wget -P ./models/vae_approx/ https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/modelscope/models/fooocus/models/vae_approx/taesdxl_decoder.pth!wget -P ./models/prompt_expansion/fooocus_expansion/ https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/modelscope/models/fooocus/models/prompt_expansion/fooocus_expansion/pytorch_model.bin
3、安装依赖并执行 启动
第一次会安装依赖文件:执行中的文件可以从网盘下载后 上传到对应的目录。
方法1:把文件下载到本地拖拽到对应目录。
链接:夸克网盘分享
提取码:yXgy
1、xlvaeapp.pth 放到目录 /mnt/workspace/Fooocus/models/vae_approx/xlvaeapp.pth2、vaeapp_sd15.pth 放到目录/mnt/workspace/Fooocus/models/vae_approx/vaeapp_sd15.pth3、xl-to-v1_interposer-v3.1.safetensors 放到目录/mnt/workspace/Fooocus/models/vae_approx/xl-to-v1_interposer-v3.1.safetensors
方法2:通过oss上传(方法1完成可以忽略)把报错的文件都通过数据集上传到对应的目录 常用命令 pwd 查看目录 ls 查看文件夹下的文件 mv 移动文件
cd到对应的文件目录执行移动
打开控制台
cd /mnt/data/
mv 移动文件
mv xlvaeapp.pth /mnt/workspace/Fooocus/models/vae_approx/从云盘下载以下三个文件:
链接:夸克网盘分享
提取码:yXgy
1、xlvaeapp.pth 放到目录 /mnt/workspace/Fooocus/models/vae_approx/xlvaeapp.pth2、vaeapp_sd15.pth 放到目录/mnt/workspace/Fooocus/models/vae_approx/vaeapp_sd15.pth3、xl-to-v1_interposer-v3.1.safetensors 放到目录/mnt/workspace/Fooocus/models/vae_approx/xl-to-v1_interposer-v3.1.safetensors
3、执行启动
三fooocus开始使用
打开链接后进入fooocus页面正式使用。
3.1 文生图
输入输入提示词
点击生成
3.2 图生图
点击Input Image 、
点击Upscale or Variation
选择 Vary (Subtle) / Vary (Strong)
点击生成四、图像高清放大
四、图像高清修复
使用过程中如果提示有模型需要下载可以去网盘下载对应的文件放到对应的目录。模型较大建议通过oss上传。
4.1 原图重绘
会有微调 相当于midjourney的 V1 V2 V3 V4
点击Input Image 、
点击Upscale or Variation
选择 Vary (Subtle) / Vary (Strong)
点击生成
从结果看图片和原图有了二创的感觉,图片发生了很多细节的变化。
4.2 高清修复
基本保持原图, 相当于midjourney的U1 U2 U3 U4
点击Input Image 、
点击Upscale or Variation
选择 Upscale (1.5x) / Upscale (2x)
点击生成
输入相同图片对比效果。更接近原图的直接高清修复。
五、高级功能 controlnet
controlnet入口:点击input image(图生图),点击Image Prompt (图像提示词)。
5.1 Image Prompt (ip-adapter)
上传图片-选择Image Prompt
1、仅用Image Prompt 输入,无提示词
2、提示词+Image Prompt 输入
5.2 canny
上传图片-选择PyraCanny
1、仅使用canny
2、组合使用Canny+Image Promp
5.3 CPDS (depth)
无提示词
有提示词
Chinese style
六、局部重绘画和图像外绘
6.1 局部重绘
点击Input Image
点击 Inpaint or Outpaint 上传图片
用鼠标涂抹 重绘的画面局部
点击生成
可以看出要重绘的内容进行了局部重绘
6.2 图像外绘
点击Input Image
点击 Inpaint or Outpaint 上传图片
选择外绘方向Up / Down / Left / Right
高级设置-设置图片大小
点击生成
原图内容进行基于原内容的外绘。
以上基础教程,个人认为fooocus是最适合新手的AI绘画工具。
欢迎收藏+关注 关注后续分享!