当前位置：首页|资讯|大语言模型|OpenAI

仅一个命令行！用 2MB 推理 App 在本地跨平台运行大语言模型

作者：Second_State发布时间：2023-12-19
大语言模型OpenAI

由 Second State 开发的 `run-llm.sh`[1] 脚本是一个命令行工具，用于让你快速在本地设备使用 CLI 和与 OpenAI 兼容的 API 服务器运行开源大型语言模型（LLMs）。这个命令行应用程序会自动下载并安装 WasmEdge runtime、模型文件以及用于推理的可移植 Wasm 应用程序。用户只需按照命令行提示选择所需的选项即可。 运行 run-llm.sh bash <(curl -sSfL 'https://code.flows.network/webhook/iwY...【查看原文】

chartGPT

相关资讯

告别OpenAI 一个命令行跨设备运行 Dolphin-2.6-Phi-2

轻量 2MB AI 推理APP 可完全跨平台运行，在自己的 Mac 试试吧！ 想要快速开始，只需在自己的设备上运行一个命令[1]即可与 Dolphin-2.6-Phi-2 交互。 这个命令行工具会自动下载并安装 WasmEdge 运行时、模型文件和用于推理的完全可移植 Wasm 应用。 Dolphin 2.6 Phi-2[2] 由 Eric Hartford 和 Fernando Fernandes 开发，是基于 Phi-2 架构的高级大语言模型。 该模型由 Convai 赞助，在最新的 2.6 版本中进

OpenAI大语言模型

Second_State 2024-01-18

在Mac运行 OpenChat 3.5 完全可移植 仅2MB

用 Rust + Wasm 轻松跨设备运行 OpenChat-3.5-GGUFOpenChat-3.5 模型是一个 7B 大型语言模型 (LLM)，采用名为 C-RLFT 的独特策略进行了微调，该策略的灵感来自于离线强化学习。 这种方法允许模型在没有偏好标签的情况下从混合质量的数据中学习，使其性能可以与复杂的 ChatGPT 模型相媲美。OpenChat-3.5-7B 模型于 2023 年 11 月 1 日发布，据说在各种基准测试中都超越了 ChatGPT。本文我们将讲解如何在自己的设备上运行 OpenC

大语言模型ChatGPT

Second_State 2023-12-28

用 ChatGPT 开发一个能听懂人话的命令行工具

本文将通过一个简单的命令行自然语言翻译程序，来展示如何使用 ChatGPT API，更重要的是让前端的你对 Prompt Engineering 有更深的理解。

ChatGPT提示词

字节前端 2023-04-04

我只用一个命令行就跨设备运行了 Nous-Hermes-2-Mixtral-8x7B-SFT

轻量 2MB AI 推理APP 可完全跨平台运行，在自己的 Mac 试试吧！想要快速开始，只需在自己的设备上运行一个命令[1]即可在本地跑 Nous-Hermes-2 大模型。 这个命令行工具会自动下载并安装 WasmEdge 运行时、模型文件和用于推理的完全可移植 Wasm 应用。Nous Hermes 2 Mixtral 8x7B SFT[2] 是 Nous Research 基于 Mixtral 8x7B MoE 大模型上训练的受监督微调模型。 它接受了超过 1,000,000 个主要由 GPT-4

GPT-4

Second_State 2024-01-23

只需4个命令行，就能在Mac上运行Mistral-7B-Instruct大模型

Mistral-7b-Instruct-v0.1 模型[1] 是 Mistral AI 发布的一款 7B 指令调优 LLM。它是一个真正的开源模型，采用 Apache 2.0 许可证。它的上下文长度为 8,000 个token，并且与 13B llama2 模型的性能相当。它非常适合生成散文、总结文档和编写代码。 在这篇文章中，我们将介绍：如何在你自己的设备上运行 mistral-7b-instruct-v0.1如何为 mistral-7b-instruct-v0.1 创建一个与 OpenAI 兼容的

编程OpenAI

Second_State 2023-11-16

近期资讯

晋江文学城回应「崩了」：出现网络运营商线路故障，技术正在处理

鞭牛士9月14日消息，不少网友反映#晋江崩了#，对此官方发布公告回应称，称因网络运营商线路故障，可能会导致部分地区用户出现无法正常登录、购买或阅读等问题。请用户暂缓报错，目前技术正在紧急协调处理中，恢复后会第一时间通知。

鞭牛士 2024-09-14

iPhone 16 Pro/Max更换电池涨20%至969元；曝小米15系列蓄势待发；极氪001杭州过火已排除动力电池起火...

极氪官方于9月13日发布“关于杭州车辆过火事件的情况说明”：2024年9月12日，浙江杭州一辆极氪001车辆发生过火事件。

IT之家 2024-09-14

副中心企业闪亮登场服贸会线上展

在智能化的法律、金融与水务等服务领域，城市副中心企业已掌握一大批自研专利软著与算法，成为业界领跑的翘楚。

北京日报 2024-09-14

2024服贸会｜金柚网「梧桐数字员工」升级版首发首秀，为企业低门槛引入AI新质生产力

近年来，AI技术飞速发展，已成为推动全球经济增长和社会进步的重要力量。9月12日-16日，2024年中国国际服务贸易交易会在京召开，我们共同见证了AI技术的最新成就及其广泛的应用场景，并亲身体验AI带来的无限可能。

中国财富网 2024-09-14

服贸会上解锁生活更多“未来感”

中新网北京新闻9月13日电数字技术蓬勃发展，未来生活会有怎样的可能？自动驾驶时，车辆根据路况在2毫秒内迅速作出反应，安全性大大提升；远程手术中，2毫秒内的延迟可减少操作误差，远程控制更精准；游戏开黑时，2毫秒内的延迟让游戏过程更加流畅，创造更多“神话”······备受瞩目的2024年中国国际服务贸易交易会(简称“服贸会”)在北京开幕。

中国新闻网 2024-09-13

2024服贸会 |民营商业航天加速发展 太空农产品、太空花园等科技产品集中展出

讯（记者王思琦）9月13日，2024年中国国际服务贸易交易会期间，文旅服务专题展区北京首钢园区9号馆迎来了一波航天科技企业与文旅服务企业的集中签约。

北京商报 2024-09-14

号称博士生水准！OpenAI最新模型仍分不出9.11和9.8哪个大

快科技9月14日消息，OpenAI推出了OpenAIo1预览模型，官方宣称推理能力更强，可达理科博士生水准。按照官方技术博客说法，o1在推理能力上代表了人工智能最强的水平。这个游戏的目标是控制一只考拉躲避不断增加的草莓，并在3秒后找到出现的松鼠。

驱动之家 2024-09-14

荣耀200系列又一新机官宣 9月19日发布 国内或无缘

【CNMO科技消息】2024年7月，荣耀在印度发布了荣耀200和荣耀200Pro，而即将在9月19日发布的荣耀200Lite，将为这一系列增添新的选择。据官方消息，荣耀200Lite将于下周9月19日正式在印度上市。

手机中国 2024-09-14

AI智能体推动从“人机交互”到“人人交互”的模式变革

“过去一年，人工智能出现了新的发展趋势，AI智能体成为大模型最重要的发展方向。”近日，百度集团资深副总裁梁志祥在第十三届中国知识产权年会上表示，尤其是基于大模型生成的AI智能体，真正实现了从“人机交互”到“人人交互”，不仅能成为企业的“金牌员工”和用户的“专属助理”，而且搭建门槛低、易分发，让每个人都能成为人工智能时代的创造者。

光明网 2024-09-14

联创电子：公司生产的车载镜头及影像模组均可以应用到自动驾驶领域

有投资者在投资者互动平台提问：请问公司有哪些产品可以应用在FSD完全自动驾驶的系统？联创电子（002036.SZ）9月12日在投资者互动平台表示，公司生产的车载镜头及影像模组均可以应用到自动驾驶领域，感谢您的关注！免责声明：本文内容与数据仅供参考，不构成投资建议，使用前核实。据此操作，风险自担。

每日经济新闻 2024-09-13

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1