AI景观制图与人类助理（上）：Stable Diffusion | Needle 福利分享
Needle福利分享
AI景观制图与人类助理（上）：Stable Diffusion
AI | 景观制图丨Stable Diffusion
Needle福利系列介绍，这次的Stable Diffusion 分享分为三篇：第一篇 关于模型差异、安装、目前一些工作流,景观建筑ai出图训练出的模型分享。第二篇介绍两个插件的组合使用（comfy ui and control net），快速可视化生成流程，在sd的出图流程更贴近景观，建筑的空间和样式的高阶运用。第三篇则是通过target的训练集训练图片合集，与和第二篇分享结合，根据项目特点做匹配的生成产物。
Needle竞赛星球
#01 前言
Needle福利系列介绍，这次的Stable Diffusion 分享分为三篇：第一篇 关于模型差异、安装、目前一些工作流，景观建筑ai出图训练出的模型分享。
▲图片来源 ：https://dirt.asla.org/2022/08/08/things-you-should-know-about-artificial-intelligence-and-design/
第二篇介绍两个插件的组合使用（comfy ui and control net），快速可视化生成流程，在sd的出图流程更贴近景观，建筑的空间和样式的高阶运用。
▲图片来源 ：-zho-architecture
第三篇则是通过target的训练集训练图片合集，与和第二篇分享结合，根据项目特点做匹配的生成产物。
▲图片来源 ：https://www.hayo.com/article/64107dacb847f9412b5a257f
作为景观人，建筑人，这个行业看起来好像永远在追赶。前有景观设计师有使用机器学习来迭代街景设计，探索沿海地形改造的新方法，并生成高级城市设计概念，而后对于aigc，图像生成这一块更多的存在与概念上的迭代和作为意向图纸的输出。
目前来说 MJ 和Stable Diffusion 是目前ai生成图像中运用广泛的，在单词指令输入后，mj总是能够带给人们更好的艺术效果，而sd的优秀则在于本地化的操作可以有更大的自由度。
▲图片来源 ：https://stable-diffusion-art.com/midjourney-vs-stable-diffusion/
对于景观，建筑项目而言，如果只是在短期时间希望可以找到好看的图片作为参考或氛围素材，midjourney是不二之选，反之若是有足够的时间去调试sd模型，从tex2img到controlnet等不同功能的插件和模式的帮助下，ai能够更加与项目内容匹配，形成属于自身项目独一无二的风格。
因此本篇作为系列第一篇为带来Stable Diffusion的基本配置，安装，训练的模型网站分享，和插件介绍。
#02 Stable diffusion的安装与前期准备
相对于官方网站和其他人提供的调用接口，本地化部署Stable Diffusion没有生成数量的限制，不用花钱，不用被NSFW约束，生成时问快，不用排队，自由度高，重点是插件库极为丰富，调试和个性化的地方也更多。
关于本地部署的一些要求 ：
(1）电脑拥有NVIDIA显卡，GTX1060 （或者同等算力的N卡）以上，显存4G以上。内存16G或者以上，至少有一个128G以上的SSD固态硬盘。具体电脑讯息可以打开任务管理器，性能可以查看相应参数。
(2) 操作系统需要win10或者win11的系统。
(3) 科学快乐上网
关于如何安装，这边小编分享来自大佬秋葉aaaki 在b站 BV1n4y1v7QU免费分享的一键启动器，可以自动下载运行Stable Diffusion所需要的运行环境，并且包括webui插件与汉化，可以令人快速上手，在文末的福利分享中可以获取。当然也推荐对于电脑能力熟悉，有钻研精神的同学们一步一步去安装运行环境，去读取github上几个模型和插件的下载安装，这样对于后期文件位置，需要配置的文件类型有一定了解后就可以自由的去搜寻更适合的模型和其他插件来辅助自己的设计啦。
具体的安装教程网上已经有非常详细的教程，这里就不再赘述，推荐参考https://www.tjsky.net/tutorial/457 步骤十分详细，且对于AMD显卡，win11系统，苹果系统的的同学也有对应的解决措施。
#03 替换训练模型
同样也在这里推荐一个可以在网上下载别人训练好的ai模型网站civitai，对于同学们来说可以快速筛选想要的风格并进行下载模型进行跑图生成。也可以看看各种其其奇怪怪的生成图，拓展一些视野与审美包容性。
▲图片来源：https://civitai.com/models/31479/zarchillustration
▲图片源 https://civitai.com/models/29594/landscape-rendering
以上图这个国内建筑竞赛流行之一的插画风拼贴风格，和另一个景观渲染效果图模型的为例子，在右侧讯息栏中可以了解到他的生成风格类型使用的模型不同，分别为checkpoint 和lora，可以去对应的github搜索并下载在Stable Diffusion 文件夹中。基础扩散sd模型为1.5（sd模型目前主要流行的由两个版本，分别为sd1.x和2.1系列，简而言之1.5目前来说是使用最多且比较稳定的版本，sd2在真实图像，尤其是光影效果和对于文本连贯性的理解更优于1.5，而1.5在描绘特定艺术家风格，负面关键词优化上远胜于2）。
▲图片来源：https://www.assemblyai.com/blog/stable-diffusion-1-vs-2-what-you-need-to-know/#negative-prompts
同学们可以先下载和安装这一期分享的Stable Diffusion_web UI进行关键词尝试，尝试不同的关键词对于画面的影响程度。个人回习惯于使用等轴视角Axonometric view 作为固定的视角关键词进行生成景观场景，能够更好的体现空间结构。
而在下一篇将会分享如何搭建基于Comfy ui和control net组件，适用于可视化的ai 生成节点系统（Node graph）。
#04 模型插件
Comfy ui 基于节点的ai生成控制系统强大且模块化的稳定扩散 GUI 和后端ui 将允许，使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。组合不同模型的生成效果并在过程中进行可视化。基于节点的生成系统相信大家以及有所耳闻或由实践操作了解，包括grasshopper中的电池组，到unreal engine的蓝图系统，hudini ，blender等3d软件的几何，动画，节点生成以及unity 的 shader graph 等。而control net则是能够读取图片的深度，ao等信息，意味着通过这个插件可以更好的控制画面的空间前后关系，是ai辅助建筑和景观的必备插件之一了。
▲图片来源：https://comfyanonymous.github.io/ComfyUI_examples/inpaint/
#05 本期福利
1. Stable Diffusion 懒人安装包（来自秋葉aaaki）
2. Stable Diffusion Prompt Book 介绍一些常用，稳定，面向sd1.5系列和sd2.0、2.1系列的稳定关键词与负面关键词
3. 几个在civitai 上预先训练好与建筑景观有关的ai模型分享（部分模型过大，分享网址可具体查看福利内txt详情，在网盘中选择models/we.txt下载，预先查看）
参考：
https://dirt.asla.org/2022/08/08/things-you-should-know-about-artificial-intelligence-and-design/
https://bootcamp.uxdesign.cc/how-ai-is-changing-the-design-landscape-edde2659e3e2
https://americangroundskeeping.com/ai-in-landscaping-how-artificial-intelligence-is-changing-the-game-for-landscape-and-hardscape-design/#:~:text=With%20the%20help%20of%20AI,design%20for%20each%20unique%20space.
https://www.lafoundation.org/news/2023/01/laf-fellowship-spotlight-phil-fernberg
https://www.archdaily.com/987336/things-you-should-know-about-artificial-intelligence-and-design
https://stable-diffusion-art.com/midjourney-vs-stable-diffusion/
安装教程文字与部分图片来自：https://www.tjsky.net/tutorial/457
Git：
https://github.com/CompVis/stable-diffusion
https://github.com/AUTOMATIC1111/stable-diffusion-webui
https://github.com/comfyanonymous/ComfyUI
*本文部分文字与图片资源来自于网络，仅供读者参考，本文仅供学习分享使用。若有来源 标注错误或侵犯了您的合法权益，请联系后台删除。
*Some of the text and image resources in this article come from the Internet, for readers' reference only, this article is for learning and sharing purposes only. If any of the sources are incorrectly marked or violate your legal rights, please contact the backstage to delete.
作者 | 温布利猫猫头
排版 | 一只champion
审核 | 小宇