GPU推理提速4倍，256K上下文全球最长：无问芯穹刷新大模型优化记录

作者：机器之心发布时间：2023-11-06

大模型业务到底多烧钱？前段时间，华尔街日报的一则报道给出了参考答案。报道显示，微软的 GitHub Copilot 业务（背后由 OpenAI 的 GPT 大模型支撑）虽然每月收费 10 美元，但平...【查看原文】

相关资讯

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

王小川公布最新大模型，号称全球最长上下文，是GPT-4的14倍｜钛媒体焦点

钛媒体获悉，10月30日上午，王小川创立的AI大模型公司“百川智能”宣布，推出Baichuan2-192K大模型，其上下文窗口长度高达192K，能够处理约35万个汉字。目前百川智能已经启动该大模型的API内测，并开放给法律、媒体、金融等行业的核心合作伙伴。

王小川 GPT-4 AI大模型法律金融

钛媒体APP 2023-10-30

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

商汤发布日日新5.0大模型：推理上下文窗口200K，对标GPT-4 Turbo

IT之家4月24日消息，4月23日，商汤科技发布了日日新5.0大模型。据介绍，该模型采用MOE混合专家架构，在知识、数学、推理和代码能力方面大幅提升。该模型基于超过10TBtokens训练，具备200K推理上…

商汤 GPT-4 编程

IT之家 2024-04-24

ChatGPT大更新！新增杀手级能力还降价：新模型、4倍上下文

ChatGPT一夜间再次进化，OpenAI一口气推出大量更新！最核心的是API新增函数调用（Function calling）能力，与网页版的插件类似，API也能使用外部工具了。这个能力被交到开发者手上，ChatG

ChatGPT OpenAI

2023-06-14

近期资讯

从零实现Vue响应系统（一、概念与基础架构）

本文是《Vue 设计与实现》一书的阅读笔记，包括原文的部分摘抄以及本人的总结，尽可能用自己的理解描述一遍，并附上完整的实现代码，主要描述了 Vue 响应式系统的底层架构。

non_hana 2024-12-25

PDF书籍《手写调用链监控APM系统-Java版》第2章第一个Agent应用

本人阅读了 Skywalking 的大部分核心代码，也了解了相关的文献，对此深有感悟，特此借助巨人的思想自己手动用JAVA语言实现了一个 “调用链监控APM” 系统。本书采用边讲解实现原理边编写代

接游戏架设_单机_联网 2024-12-26

从零实现Vue响应系统（二、computed与watch）

接着上一篇的 Vue 响应系统实现，主要讲了一下调度执行、computed 和 watch 这两个 API 的底层实现。

non_hana 2024-12-25

Ruby札记 2024-12-26

JAVA反序列化漏洞

Java反序列化漏洞 1.序列化与反序列化概述序列化(Serialization)是将对象的状态信息转换为可以存储或传输的形式过程。对象转换为字节流，以便可以将其保存到磁盘上或通过网络传输到另一个网

帆船 2024-12-25

Go语言中，函数参数是空接口的场景

在 Go 语言中，函数参数使用空接口有着重要的意义，以下是相关的含义和用途： 1. 实现多态性空接口类型通常用 interface{} 来表示，它不包含任何方法签名定义

我是区块链小学生 2024-12-26

企业版 YashanDB 23.2.4 分布式集群数据库一主二备集群安装部署指南

一、概述 1.1 文档目标本部分旨在为技术人员提供崖山数据库企业版 23.2 在 CentOS 7 x86_64 操作系统上进行安装部署操作的全面且清晰的指引。通过对系统架构、集群拓扑和部署需求的精

尚雷 2024-12-26

GPU推理提速4倍，256K上下文全球最长：无问芯穹刷新大模型优化记录

推荐体验

相关资讯

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

王小川公布最新大模型，号称全球最长上下文，是GPT-4的14倍｜钛媒体焦点

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

商汤发布日日新5.0大模型：推理上下文窗口200K，对标GPT-4 Turbo

ChatGPT大更新！新增杀手级能力还降价：新模型、4倍上下文

近期资讯

从零实现Vue响应系统（一、概念与基础架构）

PDF书籍《手写调用链监控APM系统-Java版》第2章第一个Agent应用

从零实现Vue响应系统（二、computed与watch）

Python入门必读：💡从零到自动化，一次搞懂80%的实用技能🚀

java常用队列

攻克 LeetCode 186：反转字符串中的单词，你学会了吗？

Rails 8 Authentication 实现分析(2) - 自己实现注册功能

JAVA反序列化漏洞

Go语言中，函数参数是空接口的场景

企业版 YashanDB 23.2.4 分布式集群数据库一主二备集群安装部署指南

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响