当前位置:首页|资讯

dify工作流实战:手把手教学,轻松制作你的flux绘画机器人!

作者:wwwzhouhui发布时间:2024-10-19

1 什么是dify

Dify是一个开源的大语言模型(LLM)应用开发平台,旨在简化和加速生成式AI应用的创建和部署。它结合了后端即服务(Backend as Service, BaaS)和LLMOps的理念,使开发者能够快速搭建生产级的AI应用。

Dify的核心功能包括:

  1. 低代码/无代码开发:Dify提供了一个用户友好的界面,通过可视化的方式允许开发者轻松定义Prompt、上下文和插件等,无需深入底层技术细节。

  2. 模块化设计:采用模块化的设计,每个模块都有清晰的功能和接口,可以根据需求选择性地使用。

  3. 丰富的功能组件:包括AI工作流、RAG管道、Agent、模型管理、可观测性功能等,帮助开发者从原型到生产的全过程。

  4. 支持多种大语言模型:已支持OpenAI GPT系列等模型,并计划进一步扩展。

  5. 数据处理和特征工程工具:提供了数据清洗、特征选择、特征变换等功能,帮助开发者更好地准备数据。

  6. 集成外部知识源:允许自定义API接入外部知识源,让大型语言模型深入理解企业知识和业务。

此外,Dify还具有以下特点:

  • 面向各种技术背景的开发者:即使是没有编程基础的用户也能快速上手并参与到AI应用的定义和数据运营过程中。

  • 开源和社区支持:作为一个开源项目,Dify在GitHub上有活跃的社区支持,鼓励用户贡献和分享经验。

dify本身集成第三方工具和工作流。

目前我们系统通过自定义工具来和LLM 和ai agent进行整合,今天给大家介绍一下工作流绘图案例分享

2.什么是硅基流动

硅基流动是一家专注于人工智能基础设施和生成式AI技术的初创公司。硅基流动是致力于构建可扩展、标准化且高性能的生成式AI计算基础设施平台,提供包括SiliconCloud(模型云服务平台)、SiliconLLM(大型语言模型推理引擎)和OneDiff(高性能文本到图像/视频加速库)在内的多种软件解决方案。

公司的网站https://siliconflow.cn

目前公司有三个产品siliconCloud、siliconLLm、OneDiff

该公司提供市面上主流模型,而且最关键是免费。

 免费的模型涵盖文本生成、向量&重排序模型、图片生成、多模态大模型 等各种模型。提供一站式模型服务,这个比较爽。

目前新户注册送14块钱,大家可以通过我提供分析网址连接来感受这个免费的api模型服务。https://cloud.siliconflow.cn/i/e0f6GCrN

3 硅基流动功能介绍

注册登录后我们就可以进入体验中心

 我们可以在右边的模型下拉列表中选择免费或则收费的模型

   文本类模型还是蛮丰富的。

   文生图和图生图 也支持目前市面主流图像生成模型(FLUX.1-dev 、FLUX.1-schnell、stable-diffusion-3-medium、stable-diffusion-xl-base-1.0、stable-diffusion-2-1、sd-turbo、sdxl-turbo、SDXL-Lightning)

 其他使用方法这里就不过多介绍了。

4 硅基流动创建API

登录https://cloud.siliconflow.cn/account/ak,账号管理,点击新建API秘钥

这个创建的秘钥记得保存,后面流程中会用到。

5.dify创建绘画机器人

5.1 模型设置

登录dify  点击右上角设置-模型供应商

找到硅基流动,输入步骤4上创建的API

5.2 创建工作流

接着来到Dify中按下图顺序依次点击并点击创建

然后,点击头像,点击导入DSL导入我的DSL

dsl 内容如下

完成导入后我们就看到FLUX绘画机器人了

5.3工作流代码分析

我们打开这个工作流,这块我们看到工作流有4个。 开始、生成提示词、flux1绘画、绘画结果4个流程。

5.3.1 开始

 这个开始流程其实主要是用户输入的query这个输入参数,这个很好理解其实就是接受用户的输入参数。其他都是系统参数。

流程节点下一步是接入一个llm大语言模型

5.3.2  生成提示词

这个流程节点主要的目的是接受用户输入的参数,然后通过提示词工程+llm大语言模型转换成lux.1模型的提示词生成,模型我们这里使用硅基流动提供的免费模型internlm/internlm2_5-7b-chat

模型系统提示词如下

你是一个基于Flux.1模型的提示词生成机器人。根据用户的需求,自动生成符合Flux.1格式的绘画提示词。虽然你可以参考提供的模板来学习提示词结构和规律,但你必须具备灵活性来应对各种不同需求。最终输出应仅限提示词,无需任何其他解释或信息。你的回答必须全部使用英语进行回复我!

流程的下一个节点是将模型转换的提示词发送给flux1绘画模型

5.3.3  FLUX1绘画

这个主要是使用了硅基流动的提供的文本生成图像的绘画模型black-forest-labs/FLUX.1-schnell,调用这个绘画模型使用了python脚本来实现的。以下是python脚本

其实以上代码就是硅基流动的绘画模型接口。dify提供的沙箱环境所以很好的支持python脚本的运行。

这里输入变量有2个,第一个是上个流程输入的提示词,第二个是系统环境变量硅基流动APIKEY

程序运行完成后把输出结果输出到下一个流程节点(绘画结果)

5.3.4  绘画结果

这个节点就很简单了把flux1输出结果输出展示就可以了。

  通过以上4个流程节点就完成了 用户输入简单中文 然后通过llm大模型+文本生成模型输出我们要的图片了。

5.4 分享工作流程

以上完成工作流程,我们可以点击发布按钮,将其发布和分享给其他用户使用



http://101.126.84.227:88/chat/UypF9KWD9CRmHLCT

分享的这个URL链接给其他人使用。使用浏览器打开这个链接



接下来我们就可以通过AI绘画机器人创作了。



点击图片放大看一下



效果还不错。

6 体验地址

 大家可以点击这个体验地址来感受一下,这个AI绘画机器人

7.总结

   我们通过dify和硅基智能提供的免费的API 这样非常方便创造出绘画机器人的一个工作流。今天的分享就到这里我们下个文章见。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1