本地运行腾讯文生图扩散模型ELLA，效果超OpenAI！

ELLA（Efficient Large Language Model Adapter，高效大型语言模型适配器）由腾讯研究人员开发。该技术旨在提高文本到图像生成模型在处理复杂文本提示时的语义对齐能力。通过整合大型语言模型（LLM），ELLA极大增强了模型的文本对齐性能，而这一切无需对U-Net或LLM进行额外的训练。

以下是ELLA与OpenAI的DALL-E模型对比示例。可以看出，ELLA在细节处理上明显优越。

ELLA的核心功能

• 语义对齐增强：通过与大型语言模型(LLM)的结合，ELLA提升了扩散模型对文本提示中的多样对象、细节属性以及复杂关系的理解，生成与文本提示更加匹配的图像。

• 时序感知语义提取：ELLA的Timestep-Aware Semantic Connector（TSC）模块能够根据扩散过程中的不同时间步骤动态提取语义信息，让模型在图像生成的不同阶段重点关注相应的文本内容。

• 无需重新训练：ELLA的独特设计使其能够直接应用于现有的预训练LLM和U-Net模型，免除了额外训练的需求，节约了大量计算资源和时间。

• 高度兼容性：ELLA能够无缝集成进现有的社区模型（例如Stable Diffusion）和下游工具（例如ControlNet），增强它们处理复杂文本提示时的性能。

学术Fun为了方便使用，已将上述工具打包成一键启动程序，用户只需简单点击即可开始使用，避免了配置Python环境可能遇到的问题。下载地址请点击：https://xueshu.fun/4259/，页面右侧区域提供了下载链接。

电脑配置要求如下：

• Windows 10/11 64位操作系统

• 至少8G显存的NVIDIA显卡

下载和使用指南

1. 下载压缩包
   访问https://xueshu.fun/4259/，页面右侧区域提供下载链接。

2. 解压压缩包
   解压后，请确保路径中不包含中文字符。解压完成后，如下图所示，双击启动.exe文件运行。

1. 在浏览器中使用
   打开浏览器，访问 http://127.0.0.1:7860/，即可开始在浏览器界面中使用ELLA。