LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

C#调用C++代码，以OpenCV为例

前言使用C#调用C++代码是一个很常见的需求，因此本文以知名的C++机器视觉库OpenCV为例，说明在C#中如何通过使用P/Invoke（平台调用）来调用C++代码。只是以OpenCV为例，实际上在

mingupup 2024-12-27

范文杰 2024-12-27

go 第三方库源码解读---go-errorlint

analysis.Pass 中有一个 TypesInfo 字段，这个字段的保存这语法类型相关的信息 analysis.Pass.TypesInfo： Types：把每个合法表达式与其类型关联起来，比如

uccs 2024-12-27

如何控制bean的加载顺序？

## 写在前面 `springboot`遵从约定大于配置的原则，极大程度的解决了配置繁琐的

Seven97 2024-12-26

还记得十几年前 PHP 那个 0x00+2=4 的 Bug 吗

十几年前，在还能因“PHP 是最好的语言”而争论起来、还能在上海举办 PHPCon 的那个时代，记得看到过 0x00+2=4 这么一个有关十六进制加法的 Bug……

胡译胡说 2024-12-27

Docker Container 可观测性最佳实践

一键部署 Agent，自动采集 Docker 相关的日志、指标等数据，在观测云平台一键开启监控 Dashboard 和监控器，实时观测容器运行情况，使容器可观测性变的方便、快捷、高效。

可观测性用观测云 2024-12-27

C#使用Tesseract C++ API过程记录

Tesseract Tesseract 是一个开源的光学字符识别（OCR）引擎，最初由 Hewlett-Packard（惠普）实验室开发，后来由 Google 收购并继续维护和开源贡献。Tessera

mingupup 2024-12-27

从商业到开源的一些思考

本文讨论了商业项目 vs 开源项目在多个方面的差异，关键要点包括：交付品：开源项目交付品更复杂，源码、开发过程等都需透明，对各方面要求更高。工程化：开源项目人力紧缺，对工程化、自动化需求更高，

范文杰 2024-12-27

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

C#调用C++代码，以OpenCV为例

【1.7 万字】破解代码质量密码：可维护性技术深度解析

线程池的高级使用技巧与最佳实践

Stop using barrel files, now!

go 第三方库源码解读---go-errorlint

如何控制bean的加载顺序？

还记得十几年前 PHP 那个 0x00+2=4 的 Bug 吗

Docker Container 可观测性最佳实践

C#使用Tesseract C++ API过程记录

从商业到开源的一些思考

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响