【ChatGLM3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度11w tokens/s，真的超级快

作者：freewebsys发布时间：2023-12-05

ChatGPT

1，视频演示 https://www.bilibili.com/video/BV1fC4y1c7nf/ 更多chatgpt资料： https://blog.csdn.net/freewebsys/ca...【查看原文】

相关资讯

【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频

在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！其他chatgpt 和chatglm3 资料： https://blog

ChatGPT

freewebsys 2023-11-13

码钉泥 2023-12-08

简单三步使用OpenVINO 搞定ChatGLM3的本地部署

工具介绍英特尔OpenVINO 工具套件是一款开源AI推理优化部署的工具套件，可帮助开发人员和企业加速生成式人工智能 (AIGC)、大语言模型、计算机视觉和自然语言处理等 AI 工作负载，简化深度学习推理的开发和部署，便于实现从边缘到云的跨英特尔平台的异构执行。 ChatGLM3是智谱AI和清华大学KEG实验室联合发布的对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了以下新特性： 1更强

人工智能 AIGC

英特尔技术汇 2024-04-17

近期资讯

江苏蓝力重工科技取得重工机械用属具加工用清洁装置专利，清洁大尺寸属具时更便捷方便

金融界2024年12月30日消息，国家知识产权局信息显示，江苏蓝力重工科技有限公司取得一项名为“一种重工机械用属具加工用清洁装置”的专利，授权公告号CN222220563U，申请日期为2024年4月。

金融界 2024-12-30

湖南瓦特曼机器人科技有限公司被认定为高新技术企业

12月30日，高企认定官网披露对湖南省认定机构2024年认定报备的第三批高新技术企业进行备案的公告，湖南瓦特曼机器人科技有限公司在列，证书编号GR202443003791，发证日期为2024年12月30日。天眼查商业履历信息显示，湖南瓦特曼机器人科技有限公司，成立于2022年，位于长沙市，是一家以从事研究和试验发展为主的企业。

金融界 2024-12-30

义乌市永胜胶带取得有效粘尘胶带专利，提高粘尘效率

金融界2024年12月30日消息，国家知识产权局信息显示，义乌市永胜胶带有限公司取得一项名为“一种有效粘尘胶带”的专利，授权公告号CN222220575U，申请日期为2024年3月。

金融界 2024-12-30

安凯微：视觉SoC芯片已量产，算力达2T OPS

金融界12月30日消息，安凯微披露投资者关系活动记录表显示，公司目前已量产的具有0.5TOPS和2TOPS算力的视觉SoC芯片，可应用于家用摄像机、安防摄像机、婴儿监视器、智能门锁、云台摄像机等典型摄像机终端以及其他具有视觉处理功能的非典型摄像机终端。

金融界 2024-12-30

海峡西岸规模最大的中小学生科创赛事厦门落幕

中新网福建新闻12月30日电(何明诚)第七届厦门市中小学创客大赛29日在厦门大学翔安校区闭幕，为期七个月的科创之旅圆满落下帷幕。

中国新闻网 2024-12-30

山西昔阳：全省率先应用电网“银卫士” 提升安全

中新网山西新闻12月30日电(任丽娜)近日，国网山西昔阳县供电公司在山西率先应用XS型户外高压交流跌落式熔断器，为县域电网及14台用户专用变压器提供了更加可靠的保护措施。这一创新设备的投入使用，有效提升了电网运行的安全性与稳定性。

中国新闻网 2024-12-30

深圳市艾贝特取得LED工件表面加工装置专利，可提高清理胶水效率

金融界2024年12月30日消息，国家知识产权局信息显示，深圳市艾贝特电子科技有限公司取得一项名为“一种LED工件表面加工装置”的专利，授权公告号CN222220572U，申请日期为2023年11月。

金融界 2024-12-30

林琰科技取得机电设备维修用零件清洁装置专利，实现可方便工作人员操作使用清洁装置的效果

金融界2024年12月30日消息，国家知识产权局信息显示，北京林琰科技有限公司取得一项名为“一种机电设备维修用零件清洁装置”的专利，授权公告号CN222220566U，申请日期为2023年12月。

金融界 2024-12-30

福建省晋江质赢建材取得瓷砖表面处理装置专利，提高了装置的清理效率和效果

金融界2024年12月30日消息，国家知识产权局信息显示，福建省晋江质赢建材有限公司取得一项名为“一种瓷砖生产的瓷砖表面处理装置”的专利，授权公告号CN222220568U，申请日期为2024年4月。

金融界 2024-12-30

本田动力取得盲孔吹净装置专利，能够解决现有盲孔的吹净和断刀的检测两项操作独立进行导致生产效率低下的问题

金融界2024年12月30日消息，国家知识产权局信息显示，本田动力（中国）有限公司取得一项名为“盲孔吹净装置”的专利，授权公告号CN222220564U，申请日期为2024年4月。

金融界 2024-12-30

【ChatGLM3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度11w tokens/s，真的超级快

推荐体验

相关资讯

【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频

ChatGLM3革新：推理速度提升2-3倍，成本降低一半的AI大模型

大模型国产化适配6-基于昇腾910B快速验证ChatGLM3-6B/BaiChuan2-7B模型推理

利用ChatGLM3量化模型免费搭建本地的AI大语言模型

简单三步使用OpenVINO 搞定ChatGLM3的本地部署

近期资讯

江苏蓝力重工科技取得重工机械用属具加工用清洁装置专利，清洁大尺寸属具时更便捷方便

湖南瓦特曼机器人科技有限公司被认定为高新技术企业

义乌市永胜胶带取得有效粘尘胶带专利，提高粘尘效率

安凯微：视觉SoC芯片已量产，算力达2T OPS

海峡西岸规模最大的中小学生科创赛事厦门落幕

山西昔阳：全省率先应用电网“银卫士” 提升安全

深圳市艾贝特取得LED工件表面加工装置专利，可提高清理胶水效率

林琰科技取得机电设备维修用零件清洁装置专利，实现可方便工作人员操作使用清洁装置的效果

福建省晋江质赢建材取得瓷砖表面处理装置专利，提高了装置的清理效率和效果

本田动力取得盲孔吹净装置专利，能够解决现有盲孔的吹净和断刀的检测两项操作独立进行导致生产效率低下的问题

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响