欢迎来到 「OpenBMB 每周端侧 AI 观察」栏目，在该系列中，我们将从端侧模型、推理框架、芯片、硬件产品、厂商动态等方面切入，一起探索端侧 AI 的最新进展、创新应用及行业洞察。

未来，我们将持续聚合端侧 AI 的前沿信息、技术分享和案例分析，打造一个高质量端侧 AI 社区，帮助从业者和爱好者们快速了解这一领域，从理论到落地应用，描摹“端侧 AI 如何在身边”的未来图景。

端侧模型动态  

Mistral AI 发布 Ministral 3B/8B
用于端侧和边缘计算

Mistral 公司于 10 月 17 日发布了两款新的边缘计算小模型：Ministral 3B 和 Ministral 8B，主要适用于设备端计算和边缘计算场景。两款模型在 10B 以下规模的知识、常识、推理、函数调用和效率方面表现出色，支持 128k 上下文。官方将其称为“世界上最好的边缘模型”。目前两款模型都可以在官方平台提供 API 调用，需要联系官方获得商业许可。

DeepSeek 发布 Janus1.3B

DeepSeek 推出了 Janus 1.3B，这是一款开源的、统一的多模态理解与生成模型，能够同时处理文本和图像。通过将视觉编码解耦为独立路径，同时利用单一的统一 Transformer 架构进行处理，解决了以往方法的局限性。Janus 不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。

端到端视觉-音频助手 Mini-Omni2 发布

Mini-Omni 更新了 Mini-Omni2，它是一个能够实时提供用户视频和语音 Query 的端到端语音响应的视觉-音频助手，同时集成听觉功能。它加入了视觉内容编码器，可以基于视觉信息实时语音问答增加了中断机制，在对话过程中支持灵活交互，支持打断。

Ollama 史诗级升级！
一键拉取 Huggingface 4万+ 模型

Ollama 平台推出新功能，让你轻松运行 Hugging Face Hub 上的 GGUF 模型。你可以使用 ollama run 命令运行 Hub 上 45K 个 GGUF 模型中的任何一个，而无需创建新的 Modelfile。

微软开源 bitnet.cpp，CPU 推理 100B 模型

10 月 17 日，微软开源 bitnet.cpp，致力于在 CPU 上对超大尺寸模型的推理。bitnet.cpp 是 1bit LLMs（如 BitNet b1.58）的官方推理框架。它提供了一套优化的内核，支持在 CPU 上对 1.58 bit 模型进行快速无损的推理（接下来将支持 NPU 和 GPU）。目前，在 x86 CPU 上，加速范围为 2.37 倍到 6.17 倍，能耗降低在 71.9% 到 82.2% 之间。bitnet.cpp 可以在单个 CPU 上运行 100B BitNet b1.58 模型，达到与人阅读相当的速度（每秒 5-7 个 token）。

端侧行业动态  

OPPO ColorOS 15 系统发布

10 月 17 日，2024 OPPO 开发者大会（ODC24）如期举行，主题为“AI 更近一步”。活动中，OPPO 发布了全新的系统级AI与 ColorOS 15。此外还官方宣布：OPPO Find X8系列手机将于 10 月 24 日发布。在 ColorOS 15 上，AI 体验升级，全新上线系统级 AI“超级小布助手”，支持一键问屏、一拍即问、一圈即搜、图片问答、文档问答等多种交互方式。通过系统级 AI 的感知与调度能力，ColorOS 15 实现了自有应用与三方应用间的生态握手，包括英语陪练、求职面试、旅游攻略、美食点评等等。

vivo X200 系列正式发布
首发搭载OriginOS 5

10 月 14 日，全新一代 vivo X200 系列旗舰手机在国家游泳中心（水立方）发布。vivo X200 系列首次集齐全面升级的四大 vivo 蓝科技，带来“一超多能”年度旗舰手机。全新一代 OriginOS 5 重构更多元更个性化的智能体验，实现性能、通信、屏幕、续航、AI等“多能”体验的全面飞跃。

联想 2024 Tech World 大会正式开幕
推出 AI Now 智能体

10 月 16 日，联想 2024 Tech World 在美国西雅图召开，一口气发布了 PC 个人AI 智能体、搭载英伟达新核弹Blackwell的液冷服务器，以及海量 AI 手机、AI PC、AI 服务器相关新产品、新技术。与此同时，全球六大 AI 巨头齐聚，与联想一起加速 AI 下半场落地。此次，联想发布了最新的 AI Now个人 AI 智能体，该功能未来将率先搭载在联想旗下 AI PC 中。

英特尔携手 AMD
组建 X86 生态咨询小组

在联想 Tech World 2024 大会上，英特尔和 AMD 共同宣布组建 X86 生态系统咨询小组，组织成员还包括联想、博通、戴尔、Google、惠普、微软、Meta、甲骨文、Red Hat、HPE 等。根据官方说法，这个组织专注于通过实现跨平台兼容性、简化软件开发，并为开发者提供一个识别架构需求和特性的平台，来探索扩展 x86 生态系统的新方法，以创造未来创新且可扩展的解决方案。

爆火人形双足机器人TRON 1开卖！
6.98万 起售

10 月 16 日，逐际动力（LimX Dynamics）宣布正式发售其首款多形态双足机器人 TRON 1，并在中国和海外市场同步上架。据悉，TRON 1 的标准版早鸟价为6.98 万元，买一得三，预订正式开启。

中国信息通信研究院与荣耀等企业联合发布
《终端智能化分级研究报告》

10 月 18 日，中国信息通信研究院与荣耀等企业联合发布了《终端智能化分级研究报告》，标志着行业内首次对终端智能化能力进行系统分级，确立了 L1 至 L5 五个等级的评价标准。

为了促进行业知识的共享与思想的碰撞，我们还特别建立了端侧 AI 讨论群（扫描下方二维码填写问卷加入），在这里，你可以交流端侧 AI 的最新资讯和见解、分享您自己的项目经验或寻求合作机会。我们也会定期举办线上线下研讨会与活动，期待您的参与～

 ➤  为了保证高质量交流，我们将邀请端侧 AI 从业者及关注者进入群聊：🔗 https://modelbest.feishu.cn/share/base/form/shrcnLwlJ4amCqt2t14EOguCCUc

如果您对该栏目有新的想法，也欢迎通过上述二维码与我们联系，期待一起建设一个前沿、高质量的端侧 AI 社区！

 ➤  欢迎加入 OpenBMB 社区一起讨论：

官方网站

https://www.openbmb.org

GitHub

https://github.com/OpenBMBhttps://github.com/thunlp

长期开放招聘｜含实习

开发岗  |  算法岗  |  产品岗

交流QQ群

735930538