大模型的应用是其核心目标,因此应以实际应用为导向。在使用大模型的过程中,我们应当利用它来辅助自我提升。例如,通过执行翻译任务和总结任务,不仅能拓宽视野,还能检验和了解不同大模型的能力。这样,我们可以在实践中不断学习和进步。
前端框架与应用:
LobeChat:https://github.com/lobehub/lobe-chat/wiki/Usage-Agents.zh-CN
LobeChat是一款开源的现代聊天应用框架,具备语音合成和多模态交互功能,类似于ChatGPT。其可扩展插件系统简化了创建自定义应用的过程。
Open WebUI:https://github.com/open-webui/open-webui
Open WebUI是专为离线运行设计的自托管Web界面,兼容多种LLM引擎,如Ollama,并与OpenAI API无缝对接,具有高度可扩展性。
AI工具与应用:
简约翻译:https://github.com/fishjar/kiss-translator
开源翻译替代方案,提供翻译、润色和总结功能,支持55种语言,实时响应,确保流畅体验。
OpenAI-Translator:https://github.com/openai-translator/openai-translator/blob/main/README-CN.md
FastGPT:https://github.com/labring/FastGPT
智能工作流程工具。
Dify: https://github.com/langgenius/dify
另一款智能工作流程工具。
建立稳定的测试环境:首先创建一个熟悉的测试环境,包括prompt和工作流,确保它们始终保持一致。
从基础开始实践:开始时选择简单的任务,以便更容易上手并熟悉操作。
API的协作性:在线API之间应无冲突,应相互补充,提供全面的功能集。
在线API的使用价值:优质的在线API是评估和学习本地大模型的重要参考,通过实际使用,可以加深对大模型的理解。
推荐的在线API:
零一万物平台 https://platform.lingyiwanwu.com/
DeepSeek代码写作工具 https://www.deepseek.com/
智普清言对话系统 https://chatglm.cn/
通过开源项目OneAPI(GitHub链接)管理并分发OpenAI接口,支持多种语言模型,提供英文界面的单一API。https://github.com/songquanpeng/one-api
部署本地大模型后,通过OneAPI接入各种应用,可结合在线API使用。
ollama:https://github.com/ollama/ollama
LMstudio:https://lmstudio.ai/
vllm:https://github.com/vllm-project/vllm
以上详细部署步骤和注意事项可参考各自官方文档和B站视频。