LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

台州市黄岩美娜电器有限公司取得挂烫机喷头专利，提高喷头使用寿命

金融界2024年12月27日消息，国家知识产权局信息显示，台州市黄岩美娜电器有限公司取得一项名为“一种挂烫机喷头”的专利，授权公告号CN222205826U，申请日期为2024年4月。

金融界 2024-12-27

台州市黄岩喜运来电器有限公司取得挂烫机喷头冷凝水回流结构专利，避免冷凝水逆流减弱蒸汽量和压力

金融界2024年12月27日消息，国家知识产权局信息显示，台州市黄岩喜运来电器有限公司取得一项名为“一种挂烫机喷头的冷凝水回流结构”的专利，授权公告号CN222205825U，申请日期为2024年4月。专利摘要显示，本实用新型有关一种挂烫机喷头的冷凝水回流结构，属于挂烫机技术领域。

金融界 2024-12-27

地平线机器人-W早盘涨近6% 高盛维持“买入”评级

地平线机器人-W（09660）早盘上涨5.83%，现报3.81港元，成交额8531.80万港元。高盛发布研究报告称，维持地平线机器人-W（09660）“买入”评级，目标价6.1港元。

金融界 2024-12-27

艾美特电器取得除湿烘干装置专利，能够提高散热效率

金融界2024年12月27日消息，国家知识产权局信息显示，艾美特电器（深圳）有限公司取得一项名为“除湿烘干装置”的专利，授权公告号CN222205819U，申请日期为2024年3月。

金融界 2024-12-27

顺德海珀取得蒸汽发生器及蒸汽熨烫机专利，有效减少蒸汽喷出管出现冷凝水或不会出现冷凝水

金融界2024年12月27日消息，国家知识产权局信息显示，广东顺德海珀科技有限公司取得一项名为“一种蒸汽发生器及蒸汽熨烫机”的专利，授权公告号CN222205823U，申请日期为2024年1月。

金融界 2024-12-27

江苏欧喜玛机电科技有限公司取得智能自动裁剪机专利，能减少裁剪平台的漏气，提高原料定位的精度，保证裁剪的质量

金融界2024年12月27日消息，国家知识产权局信息显示，江苏欧喜玛机电科技有限公司取得一项名为“一种智能自动裁剪机”的专利，授权公告号CN222205842U，申请日期为2024年4月。

金融界 2024-12-27

四川善知纺取得服装自动熨烫服装生产线专利，便于更快更好的进行熨烫

金融界2024年12月27日消息，国家知识产权局信息显示，四川善知纺科技有限公司取得一项名为“一种服装自动熨烫服装生产线”的专利，授权公告号CN222205824U，申请日期为2024年4月。

金融界 2024-12-27

惠州一诺纯美取得具有防偏移效果的断布机专利，保证切割合格率

金融界2024年12月27日消息，国家知识产权局信息显示，惠州市一诺纯美家居用品有限公司取得一项名为“一种具有防偏移效果的断布机”的专利，授权公告号CN222205841U，申请日期为2024年4月。专利摘要显示，本实用新型公开了一种具有防偏移效果的断布机，涉及断布机技术领域，包括支撑桌。

金融界 2024-12-27

英发德坤取得导流筒非标准毡裁毡机专利，提高了裁毡机适用范围

金融界2024年12月27日消息，国家知识产权局信息显示，宜宾英发德坤科技有限公司取得一项名为“导流筒非标准毡裁毡机”的专利，授权公告号CN222205846U，申请日期为2024年4月。专利摘要显示，本实用新型涉及裁毡机领域，尤其涉及导流筒非标准毡裁毡机。

金融界 2024-12-27

三寸光取得一种反光布用裁边结构专利，提高工作效率

金融界2024年12月27日消息，国家知识产权局信息显示，安徽三寸光反光材料有限公司取得一项名为“一种反光布用裁边结构”的专利，授权公告号CN222205847U，申请日期为2024年4月。

金融界 2024-12-27

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

台州市黄岩美娜电器有限公司取得挂烫机喷头专利，提高喷头使用寿命

台州市黄岩喜运来电器有限公司取得挂烫机喷头冷凝水回流结构专利，避免冷凝水逆流减弱蒸汽量和压力

地平线机器人-W早盘涨近6% 高盛维持“买入”评级

艾美特电器取得除湿烘干装置专利，能够提高散热效率

顺德海珀取得蒸汽发生器及蒸汽熨烫机专利，有效减少蒸汽喷出管出现冷凝水或不会出现冷凝水

江苏欧喜玛机电科技有限公司取得智能自动裁剪机专利，能减少裁剪平台的漏气，提高原料定位的精度，保证裁剪的质量

四川善知纺取得服装自动熨烫服装生产线专利，便于更快更好的进行熨烫

惠州一诺纯美取得具有防偏移效果的断布机专利，保证切割合格率

英发德坤取得导流筒非标准毡裁毡机专利，提高了裁毡机适用范围

三寸光取得一种反光布用裁边结构专利，提高工作效率

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响