Groq是一家美国AI芯片公司,专注设计高性能的AI处理器,目前借助自研的AI芯片LPU,每秒能够输出近500个token。和GPT-4,Gemini对标,同一个问题所需的时间,Groq完全碾压了其他两者,输出速度比Gemini快10倍,比GPT4快18倍。
目前国内环境下Groq使用起来不是太方便,而且国外很多网络也不能通畅访问Groq。下面教大家一个方法来实现代理访问Groq,从而体验Groq超快速度。
目前groq访问地址https://groq.com/,不出意外你会看到如下界面
这里我们需要一些魔法来实现groq网站的访问。这些就不做详细开展了。正常访问应该能看到下面的画面
Groq平台和其他平台一样我们可以申请免费apikey,这些APIKEY也有一定的限制要求,主要是每分钟请求速率方面。(个人认为测试使用完全是够用的)Groq平台提供个人免费的API-KEY接口,不同的模型限制如下:
以llama3-70b举例,每分钟30次request,每分钟6000 tokens,每天14400次,相信可以满足大部分个人用户。
打开https://console.groq.com/keys网址,申请一个Groq账号,在此处点击Create API KEY。
给你的API Key随意命名:
从弹出的对话框中拷贝API Key,保存到你的本地待用(以下key仅作展示参考,已删除)
我们上面提到由于网络原因我们在国内是不能直接使用Groq网站或者使用Groq apikey的,所以我们需要借助第三方平台部署代理软件来实现代理访问。
可以考虑Cloudflare(全球连通云,提供分析师认可的企业级安全性和连接性服务,包括 SASE/SSE、Web 应用程序交付和敏捷的开发)代理 (目前DNS污染,很不稳定)。因为很多人利用Cloudflare实现chatgpt、google gemini实现代理。用的人多了也就自然导致部分DNS污染,很不稳定。今天给大家介绍使用Deno来实现。下面具体介绍如何使用。
访问 https://dash.deno.com,这里会出现如下画面
我们使用github账号登录授权deno
输入github账号和密码完成登录授权
这个时候我们就进入deno管理界面。
点击 右上角“new playground” 这个时候我们进入了deno 发布程序界面
目前它已经发布了一个Hello World 的服务。左边是它的发布服务代码。右边是它的输出。我们需要修改服务代码。讲如下代码
复制到左边输入框中。
在media type 选择TypeScript
发布完成后我们回到deno主页会看道代理程序已经发布成功。
如果不需要修改自定义域名化,我们就直接使用deno提供的二级域名访问
看到服务访问地址 https://rich-cat-23.deno.dev/
这个deno代理配置完成。
因为我们后面更多是使用groq 接口配合第三方客户端以代码来实现功能。下面我们就大家介绍几个客户端配置。
关于dify 这里就详细展开,可以看我上个文章
登录dify平台
点击右上角-用户名-设置-模型供应商
默认的dify 是支持gropcloud配置的
这里面我们不能直接使用这个配置,因为这个配置只有填入上面申请的groq APIkey填入,没有代理转发groq 地址。所以我们不能在这个地方输入。
我们需要选择兼容 openAI-API-compatible
模型名称:gemma2-9b-it 上面有grop支持的模型,我这里以gemma2-9b-it 为案例
API Key: 11111111111111 这个就是上面Groq平台API-KEY 申请的KEY
API endpoint URL:https://rich-cat-23.deno.dev/openai/v1
其他默认,填写截图如下,点击保存完成模型设置
如果需要添加 groq其他模型按照上面设置在操作一遍。
接下来我们验证测试一下。
创建空白应用
解析来我们选择我们配置的模型
我们使用多个模型测试对比它的速度
我们输入 问题:随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字
测试结果
从上面的耗费的时间来看,grop写800字作文耗费时间2.82秒。siliconflow提供的 qwen2-7B模型生成800字作文消耗7.60秒。
通过这对比我们看出来groq的确是快不少,呵呵。
这里我们使用chatbox 来测试。关于chatbox下载地址是https://chatboxai.app/zh
下载对应的版本即可。软件的安装我们就不详细展开了,重点说一下它的配置
默认的chatbox 最新版本也是支持groq的。同样它没有URL地址设置。我们还是选择OpenAI API 这种兼容OpenAI 方式配置
模型提供方:OpenAI API
API秘钥:11111111111111 这个就是上面Groq平台API-KEY 申请的KEY
api域名:https://rich-cat-23.deno.dev/openai
模型:选择自定义模型
自定义模型名称:gemma2-9b-it 上面有grop支持的模型,我这里以gemma2-9b-it 为案例
以上配置设置完成后,点击保存按钮
我们输入 问题:随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字