当前位置:首页|资讯|AI芯片|GPT-4

免魔法白嫖Groq平台算力!第三方平台融合,打造你的专属小助手!

作者:wwwzhouhui发布时间:2024-07-21

1.什么是groq

Groq是一家美国AI芯片公司,专注设计高性能的AI处理器,目前借助自研的AI芯片LPU,每秒能够输出近500个token。和GPT-4,Gemini对标,同一个问题所需的时间,Groq完全碾压了其他两者,输出速度比Gemini快10倍,比GPT4快18倍。

目前国内环境下Groq使用起来不是太方便,而且国外很多网络也不能通畅访问Groq。下面教大家一个方法来实现代理访问Groq,从而体验Groq超快速度。

2.groq注册

目前groq访问地址https://groq.com/,不出意外你会看到如下界面

这里我们需要一些魔法来实现groq网站的访问。这些就不做详细开展了。正常访问应该能看到下面的画面

Groq平台和其他平台一样我们可以申请免费apikey,这些APIKEY也有一定的限制要求,主要是每分钟请求速率方面。(个人认为测试使用完全是够用的)Groq平台提供个人免费的API-KEY接口,不同的模型限制如下:

以llama3-70b举例,每分钟30次request,每分钟6000 tokens,每天14400次,相信可以满足大部分个人用户。

Groq平台API-KEY

打开https://console.groq.com/keys网址,申请一个Groq账号,在此处点击Create API KEY。

给你的API Key随意命名:

从弹出的对话框中拷贝API Key,保存到你的本地待用(以下key仅作展示参考,已删除)

3.Deno实现代理

我们上面提到由于网络原因我们在国内是不能直接使用Groq网站或者使用Groq apikey的,所以我们需要借助第三方平台部署代理软件来实现代理访问。

  可以考虑Cloudflare(全球连通云,提供分析师认可的企业级安全性和连接性服务,包括 SASE/SSE、Web 应用程序交付和敏捷的开发)代理 (目前DNS污染,很不稳定)。因为很多人利用Cloudflare实现chatgpt、google gemini实现代理。用的人多了也就自然导致部分DNS污染,很不稳定。今天给大家介绍使用Deno来实现。下面具体介绍如何使用。

访问 https://dash.deno.com,这里会出现如下画面

我们使用github账号登录授权deno

输入github账号和密码完成登录授权

这个时候我们就进入deno管理界面。

创建代理

 点击 右上角“new  playground”  这个时候我们进入了deno 发布程序界面

目前它已经发布了一个Hello World 的服务。左边是它的发布服务代码。右边是它的输出。我们需要修改服务代码。讲如下代码

复制到左边输入框中。

在media type 选择TypeScript

发布完成后我们回到deno主页会看道代理程序已经发布成功。

如果不需要修改自定义域名化,我们就直接使用deno提供的二级域名访问

看到服务访问地址 https://rich-cat-23.deno.dev/

这个deno代理配置完成。

4.第三方客户端配置

因为我们后面更多是使用groq 接口配合第三方客户端以代码来实现功能。下面我们就大家介绍几个客户端配置。

dify

   关于dify 这里就详细展开,可以看我上个文章零基础代码,也能在dify中创建自定义工具?手把手教你

  登录dify平台

点击右上角-用户名-设置-模型供应商

   默认的dify 是支持gropcloud配置的

  这里面我们不能直接使用这个配置,因为这个配置只有填入上面申请的groq APIkey填入,没有代理转发groq 地址。所以我们不能在这个地方输入。

我们需要选择兼容 openAI-API-compatible

模型名称:gemma2-9b-it    上面有grop支持的模型,我这里以gemma2-9b-it  为案例

API Key: 11111111111111    这个就是上面Groq平台API-KEY 申请的KEY

API endpoint URL:https://rich-cat-23.deno.dev/openai/v1

其他默认,填写截图如下,点击保存完成模型设置

如果需要添加 groq其他模型按照上面设置在操作一遍。

dify 测试

接下来我们验证测试一下。

创建空白应用

解析来我们选择我们配置的模型

我们使用多个模型测试对比它的速度

我们输入 问题:随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字

测试结果


从上面的耗费的时间来看,grop写800字作文耗费时间2.82秒。siliconflow提供的 qwen2-7B模型生成800字作文消耗7.60秒。

通过这对比我们看出来groq的确是快不少,呵呵。

Chatbox

   这里我们使用chatbox 来测试。关于chatbox下载地址是https://chatboxai.app/zh



下载对应的版本即可。软件的安装我们就不详细展开了,重点说一下它的配置

默认的chatbox 最新版本也是支持groq的。同样它没有URL地址设置。我们还是选择OpenAI API 这种兼容OpenAI 方式配置

模型提供方:OpenAI API

API秘钥:11111111111111    这个就是上面Groq平台API-KEY 申请的KEY

api域名:https://rich-cat-23.deno.dev/openai

模型:选择自定义模型

自定义模型名称:gemma2-9b-it    上面有grop支持的模型,我这里以gemma2-9b-it  为案例

以上配置设置完成后,点击保存按钮

Chatbox 测试

我们输入 问题:随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字


5.总结

Groq是非常强大的平台,使用LPU使得模型推理速度比在英伟达显卡上同样大小的模型推理速度要快不少。由于网络原因导致国内很多小伙伴还没替换到它的速度。本次给大家介绍的方法可以轻松实现Groq访问,由于第三方套壳软件比较多,本次就给大家介绍了dify和chatbox 两种方式实现Groq访问。当然你也可以通过编写代码在自己应用程序上实现整合免费使用groq来实现更多业务扩展功能。今天的分享就到这里,感兴趣的小伙伴可以支持关注我的作品,我们下个文章见。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1