用AI能为古诗词生成插图吗？

作者：铁华团的黄金船发布时间：2024-01-29

提示词 Stable Diffusion

当然可以。

背后的逻辑是先把古诗词（文言文）翻译成英语，再用英语作为AI的提示词去绘画。

以Stable Diffusion为例，只需要一款提示词中文翻译插件，就可以实现古诗词生成插图的效果。

一、准备工作

1、下载和安装Stable Diffusion，推荐秋叶一键包。

现在这个一键包几乎是傻瓜式安装和使用。

2、下载和准备大模型

SDXL的大模型对自然语言理解比较好，因此推荐使用SDXL的大模型。

兼顾画质和速度，风景类的推荐“dreamshaperXL_sfwTurboDpmppSDE”，这个模型比较稳定，使用了Turbo技术，出图只需要几秒；人物类的推荐“国风4 GuoFeng4 XL”，顾名思义这个适合出古典人物。

（下载链接见文末）

3、安装翻译插件：sd-webui-prompt-all-in-one

在扩展-从网址安装-扩展的git仓库地址输入以下地址即可：

https://gitcode.net/ranting8323/sd-webui-prompt-all-in-one

二、如何使用

安装完翻译插件后，WebUI的提示词框会出现翻译录入框，如图所示：

出现此录入框后，不需要再在原提示词框输入文字了，只需要在这里输入汉字即可。

比如，我们输入“白日依山尽，黄河入海流”。

回车以后，这行汉字会自动转换成英语进入提示词框。

需要注意的是，这款插件使用了几个免费翻译接口，对古文翻译比较好的，推荐用阿里的接口。

点击齿轮图标，再点击API按钮即可弹出。

选择阿里翻译，然后点一下测试。测试通过或，点击保存。

1、白日依山尽，黄河入海流

阿里的翻译是：the white sun is on the mountain,yellow river into the sea,

Stable Diffusion画出来是：

这个画面有点绘画风格，为了让AI更好的理解，增加一个词：真实（real）。

变成了这样：

基本上是想象中的诗句了。

2、落霞与孤鹜齐飞，秋水共长天一色，照片质量，真实

阿里的翻译：

sunset and lone harrier qi fei,the autumn waters are the same color as the sky,photo quality,reality,

这个翻译有点问题，齐飞没翻译出来，直接放上了汉语拼音，果然免费版差点事，但这个词没有影响Stable Diffusion的发挥：

3、二川溶溶，流入宫墙。五步一楼，十步一阁;廊腰缦回，檐牙高啄;各抱地势，钩心斗角（阿房宫赋）。

阿里翻译成这样：2 sichuan dissolution,flow into the palace wall,5 step first floor,ten steps to 1 the pavilion; corridor waist back,eaves and teeth peck high; each embracing terrain,hook heart fighting angle

事实上，这段翻译还是有些问题的。依然不影响AI的理解。

把画幅横过来，再增加俯瞰的视角：wide angle lens,24mm,overlooking,aerial photography,

4、明月松间照，清泉石上流（照片质量，真实）。

阿里翻译：bright moon pine photo,qingquan stone upper stream,photo quality,reality,

换个风格，中国画风格，增加一个词组：chinese painting,

5、大江东去浪淘尽，中国画

阿里的翻译依然有点小问题：the great river east gone to the langtao,chinese painting,

但AI的理解依然可以。

6、东风夜放花千树。更吹落，星如雨。宝马雕车香满路。凤箫声动，玉壶光转，一夜鱼龙舞

阿里翻译成功的把宝马翻译成了BMW... ...

flower thousand trees at night in the east wind,more blowing down,stars like rain,bmw carving car xiangman road,fengxiao sound,jade pot light turn,one night fish dragon dance,