据悉,智谱 AI 今日宣布,GLM-4-Flash 大模型免费开放,通过智谱 AI 大模型开放平台调用。
据介绍,GLM-4-Flash 适用于完成简单垂直、低成本、需要快速响应的任务,生成速度能达到 72.14token/s,约等于 115字符/s。
GLM-4-Flash 具备多轮对话、网页浏览、Function Call(函数调用)和长文本推理(支持最大 128K 上下文)等功能,同时支持包括中文、英语、日语、韩语、德语等在内的 26 种语言。
官方表示,通过采用自适应权重量化、多种并行化方式、批处理策略以及投机采样等多种方法,在推理层面实现模型的延迟降低与速度提升,更大并发量和吞吐量不仅提升了效率,而且让推理成本显著降低,从而免费推出。