[图片] ?【AIGC每日新闻】【清华微软推出LLMLingua-2:更高效、更准确的AI语言模型压缩技术】清华联合微软最近发表了一篇论文,介绍了一种名为LLMLingua-2的新技术,这项技术能够更高效且不失准确性地压缩大型语言模型(LLM)的提示。传统的信息熵压缩方法可能会导致信息丢失,而LLMLingua-2通过数据蒸馏过程和新的数据集,将压缩任务视为一个token分类问题,从而保留了原始文本的关键信息。这种方法不仅压缩比率高,而且在不同LLM上展现出强大的泛化能力,并且在端到端延迟上实现了显著的...【查看原文】