当前位置:首页|资讯|ChatGLM|ChatGPT

ChatGLM+贝锐花生壳,实现本地部署可远程访问的“ChatGPT”

作者:科技方向针发布时间:2023-06-20

原标题:ChatGLM+贝锐花生壳,实现本地部署可远程访问的“ChatGPT”

最近这段时间,ChatGPT一直是比较热门的话题。但ChatGPT在使用上也存在不少的问题,比如限制了国内IP、有访问限制,或是被很多人诟病的是安全隐患,存在数据泄露的风险。那么,有没有什么方法可以解决这些问题呢?

方式之一,就是结合自身需求部署私有化的类ChatGPT服务。在此之中,清华大学ChatGLM是近期关注度比较高的方案,支持中英双语对话。不同于ChatGPT,由于ChatGLM是开源项目,不仅便于二次开发、训练私有模型,也可以寻找到已经过训练的模型。

而且,结合贝锐花生壳内网穿透之类的方案,还能够快速实现ChatGLM的远程访问,可用于测试环境,或是部分项目,完全不会存在ChatGPT那样的访问难题。

ChatGLM详细信息可见github的THUDM/ChatGLM-6B项目,如果希望快速部署WebUI可使用Akegarasu/ChatGLM-webui或是寻找一些已有的一键安装包,搭配贝锐花生壳就能在没有固定公网IP、不设置网关/路由的情况下进行远程访问。

以下是局域网主机安装ChatGLM-webui+贝锐花生壳实现快速远程访问的整体流程:

一、ChatGLM-webui安装过程

1.1 准备运行环境Python 3.10,这部分相信大家都非常熟悉了,就不展开说明了。

1.2 从github上拉取Akegarasu/ChatGLM-webui项目。

1.3 进入ChatGLM-webui目录,直接使用“bash install.sh”或以下命令即可完成安装。

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117

pip install --upgrade -r requirements.txt

1.4 如需运行WebUI,使用“python webui.py”就行,首次运行需要下载一些数据和模型,成功运行后浏览器通过“127.0.0.1:17860”就能访问。

二、使用贝锐花生壳快速实现远程访问

2.1 下载安装贝锐花生壳的客户端,并登录注册好的贝锐帐号,目前支持Windows、Linux、Mac OS等主流平台。

2.2 在内网穿透界面根据提示信息填写,提交后会自动生成外网访问地址。

2.3 远程主机在浏览器中输入贝锐花生壳生成的外网访问网址就能访问到局域网主机上的ChatGLM-webui。

以上就是快速实现远程访问ChatGLM-webui的整体流程,希望能给大家一些参考。

总体来说,开源、能够私有化部署的ChatGLM-webui解决了ChatGPT访问困难和信息安全问题,而贝锐花生壳内网穿透实现了没有固定公网IP,不设置路由情况下的快速远程访问,而且不仅能够满足测试也能用于正式项目。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1