当前位置:首页|资讯|AI大模型

热门开源AI大模型本地安装部署教程

作者:Vesper_63发布时间:2024-03-26

本文将介绍如何使用ollama本地安装热门的开源AI大模型。

第一步:注册ollama账号

(已经注册过账号的跳过这一步骤,直接看下一步)

ollama下载地址:https://ollama.com/ ,复制该链接到任意的浏览器中打开。

进入链接后来到首页,先点击Sign In到登录界面,如下所示

然后点击下面的Create account,创建一个账号

创建的界面如下所示,需要输入邮箱、用户名和密码

注册好后来到登录界面登录

到这里完成账号注册

第二步:下载安装ollama

登录好之后点击右上角的Download按钮

到下载界面后选择对应的版本然后点击下载

下载后找到下载的安装包直接双击安装,安装完成后需要验证一下是否安装成功。验证安装是否成功的方法如下:

按住Windows键+R键会弹出一个弹窗

输入cmd后点击确认,这时候终端控制台就会被打开,在控制台中输入ollama,然后回车打印如下表示安装成功

ollama安装流程结束

第三步:选择和部署AI大模型

返回到刚刚的下载界面,点击右上角的Models选项

在该界面你可以看到当前支持通过ollama部署的所有的AI大模型,你也可以通过右上角的搜索功能来搜索你需要的大模型(不一定有)。

这里以当前下载次数最多的llama2模型为例(其他模型流程一样),点击上图中的llama2进入到说明介绍的界面。在这个界面你可以查看该模型有哪些分支,然后选择对应的分支后右边会自动生成对应的运行命令行,直接复制该命令到终端运行就行

这里需要说明的是,在你的电脑上不是所有分支的模型都可以运行。你可以在上面的界面下滑查看该模型的介绍,以及不同分支模型的硬件要求

UP的显卡是8G的显存,这里对应选择的模型是分支是7b,右侧会自动生成对应的运行代码

下面需要做的就是复制生成的这段命令"ollama run llama2:7b" 到之前打开的控制台,输入命令后回车,然后终端就会自己下载并安装大模型。下载安装过程中可以在控制台看到当前的进度

部署成功后界面打印如下

这里测试一下AI的代码编写功能,让它输入一段java的冒泡排序

大概四五秒左右就给出了结果,速度还是很快的,如果你的显卡显存更高的话可以尝试更高级的模型。

这里完整的安装介绍就结束了,拜拜



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1