总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

作者：机器之心发布时间：2024-03-18

大语言模型（Large Language Models, LLMs）在过去两年内迅速发展，涌现出一些现象级的模型和产品，如 GPT-4、Gemini、Claude 等，但大多数是闭源的。...【查看原文】

相关资讯

中国科学院团队首篇《大语言模型LLM模型压缩》综述：细聊剪枝、知识蒸馏、量化技术随

随着 LLM 的突破性工作逐渐放缓，对于如何让更多人使用 LLM 成为时下热门的研究方向，模型压缩可能是 LLM 未来的一个出路。此前 OpenAI 首席科学家 Ilya Sutskever 表示可以通过压缩的视角来看待无监督学习。本文首次总结了关于 LLM 的四种模型压缩方法，并提出了未来进一步研究的可能方向，引人深思。近来，大型语言模型（LLM）在各种任务中表现出色。然而，即便有卓越的任务处理能力，LLM 却面临着巨大的挑战，这些挑战源于其巨大的规模和计算需求。举个例子，GPT-175B 版本具有惊人

大语言模型 OpenAI Ilya Sutskever

junmm521 2023-08-31

「深度学习中知识蒸馏」研究综述

来源丨专知编辑丨极市平台在人工智能迅速发展的今天，深度神经网络广泛应用于各个研究领域并取得了巨大的成功，但也同样面临着诸多挑战．首先，为了解决复杂的问题和提高模型的训练效果，模型的网络结构逐渐被设计得深而复杂，难以适应移动计算发展对低资源、低功耗的需求．知识蒸馏最初作为一种从大型教师模型向浅层学生模型迁移知识、提升性能的学习范式被用于模型压缩．然而随着知识蒸馏的发展，其教师学生的架构作为一种特殊的迁移学习方式，演化出了丰富多样的变体和架构，并被逐渐扩展到各种深度学习任务和场景中，包括计算机视觉、自然语言

人工智能深度学习

极市平台 2023-02-07

AIGC时代的视频扩散模型，复旦等团队发布领域首篇综述

AI 生成内容已经成为当前人工智能领域的最热门话题之一，也代表着该领域的前沿技术。近年来，随着 Stable Diffusion、DALL-E3、ControlNet 等新技术的发布，AI 图像生成和

AIGC 复旦人工智能 Stable Diffusion

机器之心 2023-10-23

《大模型(LLM)基础篇》（一）：大模型介绍

我接下来会给大家介绍一下大模型中的一些基础概念以及会解释一下大模型中的名词 ChatGPT是什么？从OpenAI的官网中可以查询到，在2022年宣发时，OpenAI称ChatGPT是一种模型。从公

ChatGPT OpenAI

居然JuRan 2024-08-28

大模型相关知识

一、大模型文件类型（一）ComfyUI 与文件类型差异大模型的文件类型如同图片的 png 或 jpeg 那样，因不同的深度学习框架而有所不同。例如 ComfyUI 的模型文件类型就是根据其使用的框架来确定的，具体类型会有所差异。（二）Stable Diffusion 常见文件类型.ckpt这是 Stable Diffusion 中常用的模型检查点文件扩展名，常用于 TensorFlow 和 PyTorch 等框架。它保存了模型在训练过程中的权重和状态，包含模型的全部参数和训练信息，可用于恢复模型

深度学习 Stable Diffusion

火柴_三维动态设计 2024-10-24

近期资讯

Galaxy S25定档！三星AIOS来了，AI手机有戏？

雷科技 2024-12-26

机构：预计2024年中国折叠屏手机出货量将达到910万部，同比增长2%

36氪 2024-12-26

周鸿祎做IP给企业家提供了新思路

全天候科技 2024-12-26

英国拟试用全球首个AI工具评估糖尿病风险：提前10年识别潜在患者

IT之家 2024-12-26

勇闯虚实之境：AR 设计的专业实践成果与经验集成

人人都是产品经理 2024-12-26

如何设计OTWB中的TMS系统—全流程核心功能解析

人人都是产品经理 2024-12-26

曝V社规模小但盈利能力惊人：员工平均年收入远超Facebook和苹果

IT之家 2024-12-26

荣耀工程师称手机拍照只有 2 家可比，卷影像上无惧任何挑战

IT之家 2024-12-26

畅想未来和AI工作的方式

人人都是产品经理 2024-12-26

消息称三星Galaxy Ring 2智能戒指将亮相Galaxy Unpacked 2025

IT之家 2024-12-26

总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

推荐体验

相关资讯

中国科学院团队首篇《大语言模型LLM模型压缩》综述：细聊剪枝、知识蒸馏、量化技术随

「深度学习中知识蒸馏」研究综述

AIGC时代的视频扩散模型，复旦等团队发布领域首篇综述

《大模型(LLM)基础篇》（一）：大模型介绍

大模型相关知识

近期资讯

Galaxy S25定档！三星AIOS来了，AI手机有戏？

机构：预计2024年中国折叠屏手机出货量将达到910万部，同比增长2%

周鸿祎做IP给企业家提供了新思路

英国拟试用全球首个AI工具评估糖尿病风险：提前10年识别潜在患者

勇闯虚实之境：AR 设计的专业实践成果与经验集成

如何设计OTWB中的TMS系统—全流程核心功能解析

曝V社规模小但盈利能力惊人：员工平均年收入远超Facebook和苹果

荣耀工程师称手机拍照只有 2 家可比，卷影像上无惧任何挑战

畅想未来和AI工作的方式

消息称三星Galaxy Ring 2智能戒指将亮相Galaxy Unpacked 2025

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响