LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

小米SU7城市销量榜：杭州人买的最多上海、深圳包揽亚季军

快科技12月29日消息，易车榜今日发布了小米SU7今年1-11月份的城市销量Top20榜单。榜单显示，小米SU7的主要受众为新一线及一线城市，尤其以北上广深为销量大户。具体来看，杭州是小米SU7销量最高的城市，今年前11月累计销售9402辆，接近万辆。

快科技 2024-12-29

上海财经大学成立计算机与人工智能学院，“80后”院长什么来头？

12月28日，上海财经大学成立计算机与人工智能学院，“80后”学者、现上海财经大学教授陆品燕担任院长。陆品燕是世界知名的理论计算机科学家，曾获2014年中国计算机学会青年科学家奖、2019年国际计算机学会(ACM)杰出科学家奖、第八届世界华人数学家大会ICCM数学银奖及2020年上海市劳动模范（先进工作者）。

澎湃新闻 2024-12-29

海关总署：促进海关业务数据互联互通，深入推进长三角云擎站点建设

钛媒体App12月29日消息，海关总署今天公布出台新一轮支持长三角区域一体化发展16项措施。

钛媒体快报 2024-12-29

Intel三款酷睿Ultra 200H处理器性能曝光：最高16核、5.4GHz

快科技12月29日消息，英特尔即将推出的新款酷睿Ultra200H系列的三款SKU在Geekbench上曝光，揭示了它们的单核和多核性能以及规格。首先是酷睿Ultra5225H，其在Geekbench6测试中单核得分2665分，多核得分14526分。

驱动之家 2024-12-29

未来智能COO王超：人工智能新浪潮下，AI硬件如何破局

随着AI应用的不断渗透，AI距离普通人的生活越来越近。大到智能汽车，小到AI耳机，从即问即答的AI助手，到能智能化点餐的AIAgent，AI正在从软、硬件两方面，重构每个人的生活。

财经天下WEEKLY 2024-12-29

一加Ace 5系列双品齐发，开启游戏体验天花板

2024年12月26日，一加正式发布游戏体验天花板一加Ace5系列——一加Ace5及一加Ace5Pro。一加Ace5系列深度聚焦性能和游戏体验，搭载骁龙8系旗舰平台和行业首个自研芯片级游戏技术「风驰游戏内核」，带来持久满帧的流畅游戏体验。一加Ace5Pro售价3399元起，一加Ace5售价2299元起。

时代周报 2024-12-29

这一家族又添利器 2025年“探索三号”将进行常规化科考

12月29日，我国首艘具有覆盖全球深远海探测并具备冰区载人深潜支持能力的综合科考船“探索三号”正式入列，标志着“探索”系列家族又添一大国利器。“探索三号”入列后，明年上半年将搭载“深海勇士”号载人潜水器在南海开展常规科考作业、深海装备海试以及深海考古等工作。2025年下半年，将进入深海大洋开展载人深潜作业。

千龙网 2024-12-29

深圳：竞逐“低空第一城”

1000多架无人机腾空而起，在空中不断变换造型，组成奥运五环、火炬手、运动员等图案，配合无人机释放的流光溢彩焰火秀，点亮了城市夜空……参加表演的无人机全部来自深圳一家专精特新的“小巨人”企业。公司创始人高建民介绍。这只是深圳1700余家无人机及产业链企业中的一家，烟花表演也只是深圳众多无人机应用场景中的一项。

金台资讯 2024-12-29

全球跑得最快的高铁！CR450动车组样车发布

12月29日，CR450动车组样车发布，这标志着“CR450科技创新工程”取得重大突破。试验速度时速450公里，运营速度时速400公里，未来投入商业运营后可进一步压缩时空距离，让旅客出行更加便捷高效。

光明网 2024-12-29

日喀则和长白山40米射电望远镜启用

从中国科学院获悉，由中国科学院上海天文台负责建设的日喀则和长白山40米射电望远镜，27日正式落成启用，并将于2025年执行“天问二号”小行星探测任务。这将显著改进我国VLBI网的构型，不仅能更加有力地保障探月四期和深空探测任务，还将成为支撑射电天文研究观测的新利器。

中国战略新兴产业 2024-12-29

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

小米SU7城市销量榜：杭州人买的最多上海、深圳包揽亚季军

上海财经大学成立计算机与人工智能学院，“80后”院长什么来头？

海关总署：促进海关业务数据互联互通，深入推进长三角云擎站点建设

Intel三款酷睿Ultra 200H处理器性能曝光：最高16核、5.4GHz

未来智能COO王超：人工智能新浪潮下，AI硬件如何破局

一加Ace 5系列双品齐发，开启游戏体验天花板

这一家族又添利器 2025年“探索三号”将进行常规化科考

深圳：竞逐“低空第一城”

全球跑得最快的高铁！CR450动车组样车发布

日喀则和长白山40米射电望远镜启用

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响