当前位置:首页|资讯

云天励飞:IPU-X6000加速卡支持适配30+开源大模型,预期能使大模型推理成本大幅度下降

作者:金融界发布时间:2024-09-30

金融界9月30日消息,有投资者在互动平台向云天励飞提问:请问:配置X6000加速卡,玩悟空效果怎么样?适配吗?谢!

公司回答表示:公司于2024年推出IPU-X6000加速卡,主要用于大模型云端推理,其内置高效大模型推理DeepEdge200芯片,具有256T大算力、486GB/s超高带宽、128GB大显存、c2c mesh互联,可应用于语言大模型、视觉大模型、多模态大模型等各类大模型推理加速领域,目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型,涵盖1.5B参数到70B参数量,预期能使大模型推理成本大幅度下降。

来源:金融界


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1