当前位置：首页|资讯|大语言模型|OpenAI

仅一个命令行！用 2MB 推理 App 在本地跨平台运行大语言模型

作者：Second_State发布时间：2023-12-19
大语言模型OpenAI

由 Second State 开发的 `run-llm.sh`[1] 脚本是一个命令行工具，用于让你快速在本地设备使用 CLI 和与 OpenAI 兼容的 API 服务器运行开源大型语言模型（LLMs）。这个命令行应用程序会自动下载并安装 WasmEdge runtime、模型文件以及用于推理的可移植 Wasm 应用程序。用户只需按照命令行提示选择所需的选项即可。 运行 run-llm.sh bash <(curl -sSfL 'https://code.flows.network/webhook/iwY...【查看原文】

chartGPT

相关资讯

告别OpenAI 一个命令行跨设备运行 Dolphin-2.6-Phi-2

轻量 2MB AI 推理APP 可完全跨平台运行，在自己的 Mac 试试吧！ 想要快速开始，只需在自己的设备上运行一个命令[1]即可与 Dolphin-2.6-Phi-2 交互。 这个命令行工具会自动下载并安装 WasmEdge 运行时、模型文件和用于推理的完全可移植 Wasm 应用。 Dolphin 2.6 Phi-2[2] 由 Eric Hartford 和 Fernando Fernandes 开发，是基于 Phi-2 架构的高级大语言模型。 该模型由 Convai 赞助，在最新的 2.6 版本中进

OpenAI大语言模型

Second_State 2024-01-18

在Mac运行 OpenChat 3.5 完全可移植 仅2MB

用 Rust + Wasm 轻松跨设备运行 OpenChat-3.5-GGUFOpenChat-3.5 模型是一个 7B 大型语言模型 (LLM)，采用名为 C-RLFT 的独特策略进行了微调，该策略的灵感来自于离线强化学习。 这种方法允许模型在没有偏好标签的情况下从混合质量的数据中学习，使其性能可以与复杂的 ChatGPT 模型相媲美。OpenChat-3.5-7B 模型于 2023 年 11 月 1 日发布，据说在各种基准测试中都超越了 ChatGPT。本文我们将讲解如何在自己的设备上运行 OpenC

大语言模型ChatGPT

Second_State 2023-12-28

用 ChatGPT 开发一个能听懂人话的命令行工具

本文将通过一个简单的命令行自然语言翻译程序，来展示如何使用 ChatGPT API，更重要的是让前端的你对 Prompt Engineering 有更深的理解。

ChatGPT提示词

字节前端 2023-04-04

我只用一个命令行就跨设备运行了 Nous-Hermes-2-Mixtral-8x7B-SFT

轻量 2MB AI 推理APP 可完全跨平台运行，在自己的 Mac 试试吧！想要快速开始，只需在自己的设备上运行一个命令[1]即可在本地跑 Nous-Hermes-2 大模型。 这个命令行工具会自动下载并安装 WasmEdge 运行时、模型文件和用于推理的完全可移植 Wasm 应用。Nous Hermes 2 Mixtral 8x7B SFT[2] 是 Nous Research 基于 Mixtral 8x7B MoE 大模型上训练的受监督微调模型。 它接受了超过 1,000,000 个主要由 GPT-4

GPT-4

Second_State 2024-01-23

只需4个命令行，就能在Mac上运行Mistral-7B-Instruct大模型

Mistral-7b-Instruct-v0.1 模型[1] 是 Mistral AI 发布的一款 7B 指令调优 LLM。它是一个真正的开源模型，采用 Apache 2.0 许可证。它的上下文长度为 8,000 个token，并且与 13B llama2 模型的性能相当。它非常适合生成散文、总结文档和编写代码。 在这篇文章中，我们将介绍：如何在你自己的设备上运行 mistral-7b-instruct-v0.1如何为 mistral-7b-instruct-v0.1 创建一个与 OpenAI 兼容的

编程OpenAI

Second_State 2023-11-16

近期资讯

如何通过个性化设置提升苹果手机锁屏声音体验

工具，它也是个性化表达的一部分。通过这些细节的调整，让你的苹果手机更加符合你的风格，享受每一次解锁的声音和视觉体验。希望这些小技巧能帮助你找到适合自己的锁屏声音设置方法，让你在使用苹果手机的过程中，感受到更多的乐趣和个性化的魅力。无论是锁屏的音效，还是整体的使用体验，尽情享受吧！

新报观察 2024-12-27

东莞市柯氏五金取得单头自动排线收线装置专利，有效降低操作人员工作量

金融界2024年12月27日消息，国家知识产权局信息显示，东莞市柯氏五金有限公司取得一项名为“单头自动排线收线装置”的专利，授权公告号CN222204318U，申请日期为2024年4月。

金融界 2024-12-27

爆料称AMD新旗舰性能堪比RTX 4080

根据论坛用户zhangzhonghao的爆料，一款公版AMD新显卡在游戏测试中的表现与NVIDIARTX4080相当，差距保持在5%以内。结合之前的信息，在硬件配置方面，预计AMDRadeonRX9070XT基于Navi48GPU设计，并配备32个WGP和16GBGDDR6显存，位宽达到256bit。

中关村在线 2024-12-27

英伟达用真的姜饼主机作为电脑有什么创意？网友：这波秀的不错

英伟达GeForce近日推出了一段视频，展示了他们全新设计的节日姜饼主题RTXPC主机。这款主机完美融入了圣诞节的气氛，给人留下深刻印象。值得一提的是，这台主机的姜饼部分是由面粉制作而成的可食用品。这一细节设计引起了网友们的热议，有人调侃道：“装完还能吃吗？”这段视频中的画面展示了一个精美的姜饼主机，令人印象深刻。

中关村在线 2024-12-27

曝RTX 5060移动显卡性能逼近RTX4070

若这一消息真实可靠，那么RTX5060移动版显卡足以在1080p分辨率下运行大多数游戏，并且还有潜力以60FPS的速度运行大部分1440p分辨率下的游戏。此外，据预测，GeForceRTX5060移动版显卡的内存带宽将达到507GB/s，是RTX4060和RTX4070移动版256GB/s内存带宽的两倍。

中关村在线 2024-12-27

佛山市洪峰机械取得分切机内置收边结构专利，节省设备占用空间

金融界2024年12月27日消息，国家知识产权局信息显示，佛山市洪峰机械有限公司取得一项名为“一种分切机的内置收边结构”的专利，授权公告号CN222204321U，申请日期为2024年5月。

金融界 2024-12-27

如何将抖音精彩视频轻松分享至微信的详细步骤与技巧

在如今这个信息爆炸的时代，短视频已经成为了我们生活中不可或缺的一部分。抖音作为一个热门的短视频平台，吸引了无数用户分享他们的生活、才艺和创意。而微信则是我们日常沟通中最常用的社交工具之一。很多人都想知道，如何将抖音上的精彩视频分享到微信，让更多的朋友看到这些有趣的内容。接下来，我就来详细讲讲这个过程。

新报观察 2024-12-27

如何处理硬盘坏道问题：备份、检测、修复与更换指南

硬盘有坏道怎么办？无论是工作中使用的电脑，还是平时玩游戏的设备，硬盘作为存储数据的“家”，出问题的时候总是让人心烦意乱。那么，遇到这种情况该如何处理呢？

新报观察 2024-12-27

安徽省创力特种带取得涤纶缝纫线生产用绕线装置专利，提升装置使用灵活性

金融界2024年12月27日消息，国家知识产权局信息显示，安徽省创力特种带有限责任公司取得一项名为“一种涤纶缝纫线生产用绕线装置”的专利，授权公告号CN222204320U，申请日期为2024年5月。

金融界 2024-12-27

TCL杀进80英寸大屏市场：超越三星成为行业龙头

中国电视制造商在超大尺寸电视市场取得了显著进展，TCL成功超越三星成为80英寸及以上电视领域的领军品牌。根据市场研究公司Omdia的数据显示，截至2024年第三季度，TCL占据市场份额23%，而三星则由去年的26%下降至19%。目前，韩国公司正在寻找其他盈利途径。

中关村在线 2024-12-27

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

Copyright © 2025 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1