LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

OPPOK12x，非常适合作为元旦礼物，送给长辈！

OPPOK12x自发布以来，就以其均衡的性能和实惠的价格，赢得了众多用户的青睐，在千元机市场中占据了一席之地。在年货节，这款手机更是以822元的惊爆价，成为了百元机市场中的一颗璀璨明星。OPPOK12x采用6.67英寸OLED直屏，分辨率高达2400×1080，像素密度394ppi，屏占比更是达到了92.2%。

大话百科天地 2024-12-30

万和燃气热水器评测：性能优秀、设计简约、安全保障全面的家居必备设备

在现代家居生活中，热水器几乎是每个家庭必不可少的设备了。无论是洗澡、洗碗还是其他日常用水的需求，热水器都扮演着重要的角色。

新报观察 2024-12-30

新报观察 2024-12-30

荣耀高层：部分机型升win11后有bug 建议谨慎升级

昨天，荣耀首席影像工程师罗巍分享了一组手机“200X”变焦的内部仿真效果，并表示“看来支持200X有机会”。针对荣耀手机以后是否会支持放大至200倍，他表示“有可能哦”，而针对12倍以内长焦的后续优化计划，他说“端侧的我们也会有优化推出，不过比云测慢”。

中关村在线 2024-12-30

保护个人隐私：手机应用隐藏与安全管理全攻略

工具等，大家可以在这些应用里设置独立的密码保护。对于一些敏感信息，使用加密的云存储服务也是个不错的选择。这样一来，即使有人拿到你的手机，也无法轻易获取到你的重要数据。很多云存储服务提供了多重加密的功能，可以大大提升数据的安全性。还有一点需要注意的是，避免在公共场合使用敏感应用。

新报观察 2024-12-30

人类大脑的转速慢得超乎你想象

对人类大脑处理信息的能力进行研究后，美国加州理工学院的神经科学家发现，人类思考的速度并没有想象中的那么快。大脑处理信息的速度仅为每秒10比特，与计算机每秒能执行数万亿次操作根本无法相比。这一发现提出了一个有趣的悖论：我们的大脑究竟是如何过滤如此庞大的信息量，以便有效地感知世界并作出决策的？

北青网 2024-12-30

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

OPPOK12x，非常适合作为元旦礼物，送给长辈！

万和燃气热水器评测：性能优秀、设计简约、安全保障全面的家居必备设备

江门中微子实验液体灌注启动

世界首片8.6代OLED玻璃基板在国内诞生

小米又有新品！小米MK71 Pro机械键盘将于2025年1月1日开启众筹

高度集成的铭凡 UN1250 迷你主机全新上市 1599元起

轻松掌握视频截取技巧，提升创作与分享的乐趣与质量

荣耀高层：部分机型升win11后有bug 建议谨慎升级

保护个人隐私：手机应用隐藏与安全管理全攻略

人类大脑的转速慢得超乎你想象

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响