奔腾2 CPU+128MB内存成功运行Llama大模型：速度还挺快

作者：黑白发布时间：2024-12-30

快科技12月30日消息，据媒体报道，EXO Labs最近发布了一段视频，展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型（LLM）。这台主频350MHz电脑成功启动进入Windows 98系统，随后EXO启动...【查看原文】

相关资讯

速度还挺快！无界14 Pro轻薄本实战Stable Diffusion AI画图

Stable Diffusion AI画图现在简直太火爆了。各路大神使用支持CUDA或是Rocm技术的显卡做出了无数吸引眼球的作品。但是对于没有搭载独立显卡的轻薄本来说，AI画图就不能实现了吗？当然不是！Stable Diffusion其实是有基于DirectML运行库的版本的，但凡支持DirectML计算的显卡或是CPU都能够实现运行，只是效率上要比CUDA和Rocm要低一些。AMD锐龙7 7840HS处理器中集成了目前性能最强的核心显卡Radeon 780M，因此这也是目前最适合运行Stable Di

Stable Diffusion

机械革命笔记本 2023-10-09

在Mac运行 OpenChat 3.5 完全可移植仅2MB

用 Rust + Wasm 轻松跨设备运行 OpenChat-3.5-GGUFOpenChat-3.5 模型是一个 7B 大型语言模型 (LLM)，采用名为 C-RLFT 的独特策略进行了微调，该策略的灵感来自于离线强化学习。这种方法允许模型在没有偏好标签的情况下从混合质量的数据中学习，使其性能可以与复杂的 ChatGPT 模型相媲美。OpenChat-3.5-7B 模型于 2023 年 11 月 1 日发布，据说在各种基准测试中都超越了 ChatGPT。本文我们将讲解如何在自己的设备上运行 OpenC

大语言模型 ChatGPT

Second_State 2023-12-28

仅一个命令行！用 2MB 推理 App 在本地跨平台运行大语言模型

由 Second State 开发的 `run-llm.sh`[1] 脚本是一个命令行工具，用于让你快速在本地设备使用 CLI 和与 OpenAI 兼容的 API 服务器运行开源大型语言模型（LLMs）。这个命令行应用程序会自动下载并安装 WasmEdge runtime、模型文件以及用于推理的可移植 Wasm 应用程序。用户只需按照命令行提示选择所需的选项即可。运行 run-llm.sh bash

大语言模型 OpenAI

Second_State 2023-12-19

联发科运用Llama2大语言模型，让手机可运行生成式AI

预计年末实现。

大语言模型生成式AI

杨亮 2023-08-24

【夏曹俊】LLama实战CPU推理C++大语言模型

机器之心报道。通常，神经网络的推理代码是使用 Python 语言编写的。但相比于 Python，C/C++ 代码运行速度更快，编写过程更严谨，因此一些开发者尝试用 C/C++ 语言实现神经网络。在众多使用 C/C++ 语言编写神经网络代码的开发者中，Georgi Gerganov 是一位佼佼者。Georgi Gerganov 是资深的开源社区开发者，曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。

LLaMA 大语言模型编程 OpenAI

丨超能力丶 2023-09-20

近期资讯

axios 个人使用二次封装(包括取消请求, 错误重试)

axios 封装 2. 定义全局常量定义了一个全局常量MAX_RETRY用于设置重试次数的最大值： 3. 创建 Axios 实例通过axios.create()创建了一个自定义配置的Axios实例

小飞棍来咯_ 2024-12-26

h5中如何播放rtsp视频流-插件版本

rtsp rtp 简介 RTSP（Real-Time Streaming Protocol） RTSP 是一种应用层协议，用于控制音视频流的传输。它类似于 HTTP，但专注于流媒体服务，可实现播放、暂

WilliamLuo 2024-12-26

ArkWeb页面拦截与自定义响应 - 控制加载过程

简介在Web应用开发中，有时我们需要对页面加载过程进行更精细的控制，比如拦截特定的请求并返回自定义的响应内容。ArkWeb框架提供了这样的能力，允许开发者拦截页面和资源加载请求，并自定义响应。本文将

xiajia123 2024-12-26

写个hoc来应付小程序的审核！

有没有遇到要为小程序添加一个“暂未显示”的功能的情况？一个hoc帮助你更容易应付产品和微信小程序的审核🤓👆

提不起劲的刀阁V 2024-12-26

「工具链🛠️」Rollup是什么？卷起来！🌮🌮（简单用例带你上手现代 JavaScript 打包工具）

今天我们来聊聊 Rollup和webpack不同，这是一款专注于优化打包效率和代码体积的工具。你可能熟悉 Webpack 或 Vite，但 Rollup 也一直在前端打包工具也一直在前端打包工具...

JustHappy 2024-12-26

Rust移动端开发：SQLite数据库集成实战

在移动端开发中，许多应用都需要存储本地数据。SQLite 作为一个轻量级的嵌入式关系型数据库，因其高效、强大、稳定而被广泛应用。对于 Rust 开发者来说，`rusqlite` 提供了与 SQLite

ddfree 2024-12-26

monorepo-pnpm构建

Monorepo 什么是 Monorepo ? Monorepo 是管理项目代码的方式之一，指在一个大的项目仓库（repo）中管理多个模块/包（package），这种类型的项目大都在项目根目录下有一

TomorrowLM 2024-12-26

分享一些不错的JS/TS代码片段

整理笔记的时候发现之前存的一些写得还不错的代码片段，分享出来参考参考如在映射类型中使用as子句重新映射映射类型中的键

新大陆的白风 2024-12-26

Android OpenGLES2.0开发（八）：Camera预览

终于到该章节了，还记得Android OpenGLES2.0开发（一）：艰难的开始章节说的吗？本章讲解了如何使用外部纹理渲染Camera预览数据

小智003 2024-12-26

虚拟dom :Virtual DOM 到底是个啥？我亲手撸了个小实验！

前段时间，我的项目里有个需求，要动态渲染一大串数据。刚开始用原生 DOM 操作，结果页面一卡一卡的，我直接傻眼了。后来折腾了一下 Virtual DOM，这性能提升直接让我惊掉下巴。所以，Virtu

代码简单说 2024-12-26

奔腾2 CPU+128MB内存成功运行Llama大模型：速度还挺快

推荐体验

相关资讯

速度还挺快！无界14 Pro轻薄本实战Stable Diffusion AI画图

在Mac运行 OpenChat 3.5 完全可移植仅2MB

仅一个命令行！用 2MB 推理 App 在本地跨平台运行大语言模型

联发科运用Llama2大语言模型，让手机可运行生成式AI

【夏曹俊】LLama实战CPU推理C++大语言模型

近期资讯

axios 个人使用二次封装(包括取消请求, 错误重试)

h5中如何播放rtsp视频流-插件版本

ArkWeb页面拦截与自定义响应 - 控制加载过程

写个hoc来应付小程序的审核！

「工具链🛠️」Rollup是什么？卷起来！🌮🌮（简单用例带你上手现代 JavaScript 打包工具）

Rust移动端开发：SQLite数据库集成实战

monorepo-pnpm构建

分享一些不错的JS/TS代码片段

Android OpenGLES2.0开发（八）：Camera预览

虚拟dom :Virtual DOM 到底是个啥？我亲手撸了个小实验！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响