当前位置:首页|资讯|ChatGPT|Bard|LLaMA|Alpaca

盘点 ChatGPT 与 Bard 的 8 个开源替代品

作者:21CTO发布时间:2023-04-25


导读:这里为您找到被广泛使用的开源框架怀模型,用于创建ChatGPT聊天机器人、集成 LLM 或启动您的新 AI 软件产品。

以下为各位介绍 8 种开源ChatGPT开源替代品。

LLaMALLaMA 项目包含一组基础语言模型,其大小从 70 亿到 650 亿个参数不等。


这些模型在数百万个 Token 上进行训练,并且专门在公开可用的数据集上进行训练。因此,LLaMA-13B 优于 GPT-3 (175B),LLaMA-65B 的性能与 Chinchilla-70B 和 PaLM-540B 等优质模型相似。 


图片来源:LLaMA (https://arxiv.org/abs/2302.13971)

相关资源:  

    GitHub: https://github.com/facebookresearch/llama

    演示地址:https://huggingface.co/spaces/project-baize/baize-lora-7B


2. Alpaca


Stanford Alpaca(https://crfm.stanford.edu/2023/03/13/alpaca.html)声称它可以与 ChatGPT 竞争,任何人都可以以用不到 600 美元的价格复制并使用它。


Alpaca 7B 是根据 LLaMA 7B 模型在 52K 指令中进行微调。 


训练图谱:https://crfm.stanford.edu/2023/03/13/alpaca.html

相关资源:  

    相关博客:https://crfm.stanford.edu/2023/03/13/alpaca.html

    GitHub: https://github.com/tatsu-lab/stanford_alpaca

    Demo:https://huggingface.co/spaces/tloen/alpaca-lora


3.Vicuna


Vicuna(https://vicuna.lmsys.org/)是根据 LLaMA 模型对从ShareGPT(https://sharegpt.com/)收集的用户共享对话数据进行微调。

Vicuna-13B 模型已达到 OpenAI ChatGPT 和 Google Bard 90%以上的质量。即使在 90% 的情况下,它的表现也优于 LLaMA 和 Stanford Alpaca 模型。目前训练 Vicuna 的费用约为 300 美元。 训练和服务代码,以及在线演示都是公开的,可用于非商业用途。


图片来自Vicuna(https://vicuna.lmsys.org/)

相关资源参考:  

  • Vicuna:开源聊天机器人,以能够 90%以上达到 ChatGPT 质量,也给 GPT-4 留下深刻象(https://vicuna.lmsys.org/)

  • GitHub: lm-sys/FastChat(https://github.com/lm-sys/FastChat#fine-tuning)

  • 演示:FastChat (lmsys.org)(https://chat.lmsys.org/)


4. OpenChatKit


OpenChatKit:开源 OpenChatKit 是一个用于创建聊天机器人的完整工具包。它提供了用于训练属于你自己的指令调整的大型语言模型、微调模型、用于更新机器人响应的可扩展检索系统,以及用于过滤问题的机器人审核指令。 



图片来自TOGETHER

正如我们所见,GPT-NeoXT-Chat-Base-20B 模型在问答、提取和分类任务上的表现优于基本模式 GPT-NoeX。 

相关资源:  

        GitHub:https://github.com/togethercomputer/OpenChatKit
        参考文章:
OpenChatKit:开源 ChatGPT 替代方案

5. GPT4ALL


GPT4ALL(https://github.com/nomic-ai/gpt4all)是一个社区驱动的开源项目,它在大量精选辅助交互语料库上进行训练,包括代码、故事与相关描述。


此团队也是非常勤奋,他们提供了数据集、模型权重、数据管理过程和训练代码,以全力促进开源。此外,他们还发布了可以在笔记本上运行的模型量化版本。


开发者甚至可以使用 Python 客户端来运行模型推理。 



来源:GPT4ALL(https://github.com/nomic-ai/gpt4all) 

相关资源:  

  • 技术报告:

    https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf

  • GitHub: https://github.com/nomic-ai/gpt4all

  • 演示:https://huggingface.co/spaces/rishiraj/GPT4All(非官方)

  • 模型:https://huggingface.co/nomic-ai/gpt4all-lora


6.Raven RWKV


Raven RWKV 7B(https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B)是一款开源聊天机器人,由RWKV(https://github.com/BlinkDL/RWKV-LM)语言模型提供支持,可产生与 ChatGPT 类似的问答结果。


该模型使用的 RNN 可以在质量和缩放方面匹敌ChatGPT,同时速度更快并节省 VRAM。


Raven 在 Stanford Alpaca、code-alpaca 以及更多数据集上进行了微调。


图片来源:Raven RWKV 7B

相关资源:  

    GitHub:https://github.com/BlinkDL/ChatRWKV

    演示:BlinkDL/rwkv-4-raven


七、OPT


OP‍T(https://arxiv.org/abs/2205.01068):Open Pre-trained Transformer Language Models 的效果目前尚不如 ChatGPT 好,但它在零样本和少样本学习以及刻板偏见分析方面表现出了卓越的能力。


可以将它与 Alpa、Colossal-AI、CTranslate2 和 FasterTransformer 集成,可以获得更好的结果。 


注意:它之所以上榜是因为它的受欢迎程度,因为它在文本生成类别中的每月下载量为 624,710 次。 


图源:https://arxiv.org/abs/2205.01068

相关资源:  

    研究论文OPT:开放预训练的 Transformer 语言模型 (arxiv.org)

    GitHub: https://github.com/facebookresearch/metaseq

    演示:https://huggingface.co/spaces/tomg-group-umd/lm-watermarking

    https://huggingface.co/facebook/opt-1.3b


8.Flan -T5-XXL


Flan-T5-XXL在一组表述为指令的数据集上微调 ,称之为T5 模型。该指令微调显着提高了各种模型类(例如 PaLM、T5 和 U-PaLM)的性能。Flan-T5-XXL 模型针对 1000 多项额外任务进行了微调,它涵盖了多种语言。 



图片来源:Flan-T5-XXL

相关资源:  

    GitHub: https://github.com/google-research/t5x

    演示:https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming


总结


本文中为各位总结了一些流行的类ChatGPT开源选项。


可以看到,开源聊天机器人和模型正在越来越好。预计在今年接下来的几个月里,我们也许会看到一个在性能上可以完全超越 ChatGPT 的新模型。 


如果你有更好的建议,欢迎在评论部分告诉我们。如果本文对你有,不要忘记给点赞和加星标~ 


作者:万能的大雄


相关阅读:


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1