Dify是一个开源的大语言模型(LLM)应用开发平台,旨在简化和加速生成式AI应用的创建和部署。它结合了后端即服务(Backend as Service, BaaS)和LLMOps的理念,使开发者能够快速搭建生产级的AI应用。
Dify的核心功能包括:
低代码/无代码开发:Dify提供了一个用户友好的界面,通过可视化的方式允许开发者轻松定义Prompt、上下文和插件等,无需深入底层技术细节。
模块化设计:采用模块化的设计,每个模块都有清晰的功能和接口,可以根据需求选择性地使用。
丰富的功能组件:包括AI工作流、RAG管道、Agent、模型管理、可观测性功能等,帮助开发者从原型到生产的全过程。
支持多种大语言模型:已支持OpenAI GPT系列等模型,并计划进一步扩展。
数据处理和特征工程工具:提供了数据清洗、特征选择、特征变换等功能,帮助开发者更好地准备数据。
集成外部知识源:允许自定义API接入外部知识源,让大型语言模型深入理解企业知识和业务。
此外,Dify还具有以下特点:
面向各种技术背景的开发者:即使是没有编程基础的用户也能快速上手并参与到AI应用的定义和数据运营过程中。
开源和社区支持:作为一个开源项目,Dify在GitHub上有活跃的社区支持,鼓励用户贡献和分享经验。
dify本身集成第三方工具和工作流。
目前我们系统通过自定义工具来和LLM 和ai agent进行整合,今天给大家介绍一下工作流绘图案例分享
硅基流动是一家专注于人工智能基础设施和生成式AI技术的初创公司。硅基流动是致力于构建可扩展、标准化且高性能的生成式AI计算基础设施平台,提供包括SiliconCloud(模型云服务平台)、SiliconLLM(大型语言模型推理引擎)和OneDiff(高性能文本到图像/视频加速库)在内的多种软件解决方案。
公司的网站https://siliconflow.cn
目前公司有三个产品siliconCloud、siliconLLm、OneDiff
该公司提供市面上主流模型,而且最关键是免费。
免费的模型涵盖文本生成、向量&重排序模型、图片生成、多模态大模型 等各种模型。提供一站式模型服务,这个比较爽。
目前新户注册送14块钱,大家可以通过我提供分析网址连接来感受这个免费的api模型服务。https://cloud.siliconflow.cn/i/e0f6GCrN
注册登录后我们就可以进入体验中心
我们可以在右边的模型下拉列表中选择免费或则收费的模型
文本类模型还是蛮丰富的。
文生图和图生图 也支持目前市面主流图像生成模型(FLUX.1-dev 、FLUX.1-schnell、stable-diffusion-3-medium、stable-diffusion-xl-base-1.0、stable-diffusion-2-1、sd-turbo、sdxl-turbo、SDXL-Lightning)
其他使用方法这里就不过多介绍了。
登录https://cloud.siliconflow.cn/account/ak,账号管理,点击新建API秘钥
这个创建的秘钥记得保存,后面流程中会用到。
登录dify 点击右上角设置-模型供应商
找到硅基流动,输入步骤4上创建的API
接着来到Dify中按下图顺序依次点击并点击创建
然后,点击头像,点击导入DSL导入我的DSL
dsl 内容如下
我们打开这个工作流,这块我们看到工作流有4个。 开始、生成提示词、flux1绘画、绘画结果4个流程。
这个开始流程其实主要是用户输入的query这个输入参数,这个很好理解其实就是接受用户的输入参数。其他都是系统参数。
流程节点下一步是接入一个llm大语言模型
这个流程节点主要的目的是接受用户输入的参数,然后通过提示词工程+llm大语言模型转换成lux.1模型的提示词生成,模型我们这里使用硅基流动提供的免费模型internlm/internlm2_5-7b-chat
模型系统提示词如下
你是一个基于Flux.1模型的提示词生成机器人。根据用户的需求,自动生成符合Flux.1格式的绘画提示词。虽然你可以参考提供的模板来学习提示词结构和规律,但你必须具备灵活性来应对各种不同需求。最终输出应仅限提示词,无需任何其他解释或信息。你的回答必须全部使用英语进行回复我!
流程的下一个节点是将模型转换的提示词发送给flux1绘画模型
这个主要是使用了硅基流动的提供的文本生成图像的绘画模型black-forest-labs/FLUX.1-schnell,调用这个绘画模型使用了python脚本来实现的。以下是python脚本
其实以上代码就是硅基流动的绘画模型接口。dify提供的沙箱环境所以很好的支持python脚本的运行。
这里输入变量有2个,第一个是上个流程输入的提示词,第二个是系统环境变量硅基流动APIKEY
程序运行完成后把输出结果输出到下一个流程节点(绘画结果)
这个节点就很简单了把flux1输出结果输出展示就可以了。
通过以上4个流程节点就完成了 用户输入简单中文 然后通过llm大模型+文本生成模型输出我们要的图片了。
以上完成工作流程,我们可以点击发布按钮,将其发布和分享给其他用户使用
http://101.126.84.227:88/chat/UypF9KWD9CRmHLCT
分享的这个URL链接给其他人使用。使用浏览器打开这个链接
接下来我们就可以通过AI绘画机器人创作了。
点击图片放大看一下
效果还不错。
大家可以点击这个
地址来感受一下,这个AI绘画机器人