南京中新赛克科技申请大模型推理加速专利，加速大模型推理

金融界 2024 年 9 月 19 日消息，天眼查知识产权信息显示，南京中新赛克科技有限责任公司申请一项名为“一种结合机器学习和投机采样的大模型推理加速方法及系统“，公开号 CN202411110911.X，申请日期为 2024 年 8 月。

专利摘要显示，本发明公开了一种结合机器学习和投机采样的大模型推理加速方法及系统，其中方法包括：根据检索出的本地知识构建 n‑gram 语言模型；n‑gram 语言模型推理阶段根据给定文字 token，预测下一个 token 在词表中的概率分布，并采样预测下一个 token；基于构建的 n‑gram 模型和大模型，实现投机采样算法，加速大模型推理。与当前的主流方法相比，本发明生成的内容相比较于现有投机采样算法所使用的近似小模型，更加可靠，其计算量少且减少了内存访问的需求，速度更快。本发明还进一步分别将改进的投机采样算法应用于 transformers 库和推理框架 vLLM，推理速度获得进一步提升。

来源：金融界