Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

上海汉测智能科技取得基于空气及水槽控温的电池测试用试验箱专利，提升测试结果的可靠性

金融界2024年12月28日消息，国家知识产权局信息显示，上海汉测智能科技有限公司取得一项名为“一种基于空气及水槽控温的电池测试用试验箱”的专利，授权公告号CN222212899U，申请日期为2023年12月。

金融界 2024-12-28

轻松设置电视，享受高质量观影体验的实用指南

视频等。在设置中，你可以找到应用商店，下载自己喜欢的应用。安装完成后，打开应用，输入账号和密码，就能开始观看自己喜欢的节目了。此外，智能电视还支持语音助手功能，这让观看体验更加便捷。比如，你可以通过语音命令来更换频道、调节音量，甚至搜索你想看的节目。设置语音助手时，可能需要进行一些简单的训练，让它识别你的声音。

新报观察 2024-12-28

深圳市汉森软件取得接线异常检测装置及系统专利，可快速检测连接状态提高排查修复效率

金融界2024年12月28日消息，国家知识产权局信息显示，深圳市汉森软件股份有限公司取得一项名为“接线异常检测装置及系统”的专利，授权公告号CN222212916U，申请日期为2024年2月。

金融界 2024-12-28

浦林成山取得防止误报的漏电报警系统专利，解决现有漏电报警系统常误报问题

金融界2024年12月28日消息，国家知识产权局信息显示，浦林成山(山东)轮胎有限公司取得一项名为“一种防止误报的漏电报警系统”的专利，授权公告号CN222212910U，申请日期为2024年2月。

金融界 2024-12-28

曼德电子电器取得灯板检测工装专利，使灯板能进行有效的性能检测

金融界2024年12月28日消息，国家知识产权局信息显示，曼德电子电器有限公司取得一项名为“一种灯板检测工装”的专利，授权公告号CN222212907U，申请日期为2024年4月。

金融界 2024-12-28

广州天幸机电取得新能源设备漏电检测电缆装置专利，提高检测效率

金融界2024年12月28日消息，国家知识产权局信息显示，广州天幸机电设备有限公司取得一项名为“一种新能源设备漏电检测电缆装置”的专利，授权公告号CN222212913U，申请日期为2024年4月。

金融界 2024-12-28

辽宁奥普泰通信取得交通信号灯故障检测装置专利，可解决电压监测设备安装部分无法进行调节的问题

金融界2024年12月28日消息，国家知识产权局信息显示，辽宁奥普泰通信股份有限公司取得一项名为“交通信号灯故障检测装置”的专利，授权公告号CN222212906U，申请日期为2024年3月。

金融界 2024-12-28

珠海市圣昌电子取得一种开路和超载检测电路专利，实现开路检测和超载检测共用一个检测信号

金融界2024年12月28日消息，国家知识产权局信息显示，珠海市圣昌电子有限公司取得一项名为“一种开路和超载检测电路”的专利，授权公告号CN222212915U，申请日期为2024年1月。

金融界 2024-12-28

河南白光取得智能接地监控系统多路采样电路专利，提高监控效率和维护便捷性

金融界2024年12月28日消息，国家知识产权局信息显示，河南白光工具有限公司取得一项名为“一种智能接地监控系统多路采样电路”的专利，授权公告号CN222212912U，申请日期为2024年4月。装置，连接至MCU控制装置，用于数据管理包括数据存储、统计分析及报表生成。

金融界 2024-12-28

漳州市东方智能仪表取得一种插座测试器专利，实现非接触式交流电压探测功能

金融界2024年12月28日消息，国家知识产权局信息显示，漳州市东方智能仪表有限公司取得一项名为“一种插座测试器”的专利，授权公告号CN222212921U，申请日期为2024年1月。专利摘要显示，本实用新型涉及一种插座测试器，属于电路技术领域。

金融界 2024-12-28

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

上海汉测智能科技取得基于空气及水槽控温的电池测试用试验箱专利，提升测试结果的可靠性

轻松设置电视，享受高质量观影体验的实用指南

深圳市汉森软件取得接线异常检测装置及系统专利，可快速检测连接状态提高排查修复效率

浦林成山取得防止误报的漏电报警系统专利，解决现有漏电报警系统常误报问题

曼德电子电器取得灯板检测工装专利，使灯板能进行有效的性能检测

广州天幸机电取得新能源设备漏电检测电缆装置专利，提高检测效率

辽宁奥普泰通信取得交通信号灯故障检测装置专利，可解决电压监测设备安装部分无法进行调节的问题

珠海市圣昌电子取得一种开路和超载检测电路专利，实现开路检测和超载检测共用一个检测信号

河南白光取得智能接地监控系统多路采样电路专利，提高监控效率和维护便捷性

漳州市东方智能仪表取得一种插座测试器专利，实现非接触式交流电压探测功能

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响