【Mini GPT-4】7B 使用指南

一. 常见问题

1. 不支持 A卡

2. 模型大，机械硬盘加载时间很长（13B 有30多个G，更慢），建议放SSD

3. 经过反馈 11G显存也可以用

4. 用英文做输入比中文 效果好很多，但是你可以让它帮你把英文的输出翻译成中文，效果也很好。

   
   

但是 它 对中文输入的理解很差，翻译也很差，比如下面这段:

Beam search numbers 默认为1，这个参数在训练时候作用比较大，默认为1的话只生成一条结果，增大这个的话会输出多个结果，然后从中找出最优的，但是会用额外的显存。

Temperature 数值 0.1-2，这个用来控制结果的随机性，不会有额外的显存占用

在 eval_config目录下有名为 minigit4_eval.yaml 的配置文件

这个选项设置成False，就会开启16bit模式（默认8bit），会增大显存占用，建议16-24G显存的可以试试。

后续补充...