作为GPT-4的强势替代，记录LLava（仅用作inference）本地部署方法。

代码：https://github.com/haotian-liu/LLaVA.git

实验环境

os：ubuntu 

cpu：i9-10940X

gpu：2*3090

python：3.10  torch：2.0.1

依赖&环境（和github上一致）

安装依赖

由于暂时不需要训练和更新，故不安装训练依赖；

下载LLava权重（huggingface）

https://github.com/haotian-liu/LLaVA/blob/main/docs/MODEL_ZOO.md

我这里下的是7b的，大小和llama2基本一致

推断

就可以开始直接推断了

没有下载的包需要重新单独下载

量化后双卡显存占用大概4G

Gradio Web UI

github上已经非常详细，就懒得复制了

https://github.com/haotian-liu/LLaVA/blob/main/README.md#demo

基本可以告别传统VQA任务了

我在想是否可以将其作为caption以及VQA qa的生成工具，将caption、qa对作为上下文提示学习，不同模型的answer作为不同权重（？）的candidates，用于其他传统LLM比如llama2、GPT-3的Prompt？

开源促进人类社会进步。