当前位置:首页|资讯|清华|AI大模型

阿里云与清华大学共建AI大模型推理项目Mooncake正式开源

作者:凌敏发布时间:2024-11-21

为了加速大模型推理技术的发展,特别是以 KVCache 为中心的缓存池化层的标准化,阿里云与清华大学深度共建Mooncake 项目,结合主流大模型推理框架,抽象池化 KVCache的底层接口,实现高效分布式KVCache。...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1