Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

陕西地建取得一种水域生态环境监测预警装置专利，方便水质监测仪稳定检测一定区域内水质

金融界2024年12月28日消息，国家知识产权局信息显示，陕西地建土地工程技术研究院有限责任公司取得一项名为“一种水域生态环境监测预警装置”的专利，授权公告号CN222212745U，申请日期为2024年3月。

金融界 2024-12-28

斯芮弗科技取得高效的TOC流路系统专利，结构简单、价格优势明显

金融界2024年12月28日消息，国家知识产权局信息显示，斯芮弗（无锡）科技有限公司取得一项名为“一种高效的TOC流路系统”的专利，授权公告号CN222212748U，申请日期为2024年4月。

金融界 2024-12-28

武汉楚江取得工程管道检修用检测装置专利，提高检测效率

金融界2024年12月28日消息，国家知识产权局信息显示，武汉楚江水利水电工程质量检测有限公司取得一项名为“一种工程管道检修用检测装置”的专利，授权公告号CN222212727U，申请日期为2024年4月。

金融界 2024-12-28

山西志源生态环境科技取得一种空气污染检测设备专利，保证空气质量检测结果精准

金融界2024年12月28日消息，国家知识产权局信息显示，山西志源生态环境科技有限公司取得一项名为“一种空气污染检测设备”的专利，授权公告号CN222212736U，申请日期为2024年11月。

金融界 2024-12-28

南京诺邦取得二氧化氮报警仪防尘机构专利，提高清洁效率

金融界2024年12月28日消息，国家知识产权局信息显示，南京诺邦电子科技有限公司取得一项名为“一种二氧化氮报警仪的防尘机构”的专利，授权公告号CN222212723U，申请日期为2024年4月。

金融界 2024-12-28

青海碳谷取得温室气体监测设备专利，能够避免水蒸气和杂质对监测数据的干扰

金融界2024年12月28日消息，国家知识产权局信息显示，青海碳谷信息科技有限公司取得一项名为“一种温室气体监测设备”的专利，授权公告号CN222212729U，申请日期为2024年4月。

金融界 2024-12-28

湖南丽赛药业取得抗 HPV 凝胶敷料反应试验观察箱专利，便于对比不同处

金融界2024年12月28日消息，国家知识产权局信息显示，湖南丽赛药业有限公司取得一项名为“一种抗HPV凝胶敷料反应试验观察箱”的专利，授权公告号CN222212738U，申请日期为2024年4月。

金融界 2024-12-28

山东中创安防取得矿用便携式气体分析仪专利，便于携带提高便携性

金融界2024年12月28日消息，国家知识产权局信息显示，山东中创安防科技有限公司取得一项名为“一种矿用便携式气体分析仪”的专利，授权公告号CN222212722U，申请日期为2024年4月。

金融界 2024-12-28

南通辰聚取得带防护外壳的气体探测器专利，防止内部器件受损

金融界2024年12月28日消息，国家知识产权局信息显示，南通辰聚电子科技有限公司取得一项名为“一种带防护外壳的气体探测器”的专利，授权公告号CN222212726U，申请日期为2024年4月。

金融界 2024-12-28

山东三润生物科技取得方便清理的水分测定仪专利，便于对盛料盘内部进行清理

金融界2024年12月28日消息，国家知识产权局信息显示，山东三润生物科技有限公司取得一项名为“一种方便清理的水分测定仪”的专利，授权公告号CN222212742U，申请日期为2024年3月。

金融界 2024-12-28

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

陕西地建取得一种水域生态环境监测预警装置专利，方便水质监测仪稳定检测一定区域内水质

斯芮弗科技取得高效的TOC流路系统专利，结构简单、价格优势明显

武汉楚江取得工程管道检修用检测装置专利，提高检测效率

山西志源生态环境科技取得一种空气污染检测设备专利，保证空气质量检测结果精准

南京诺邦取得二氧化氮报警仪防尘机构专利，提高清洁效率

青海碳谷取得温室气体监测设备专利，能够避免水蒸气和杂质对监测数据的干扰

湖南丽赛药业取得抗 HPV 凝胶敷料反应试验观察箱专利，便于对比不同处

山东中创安防取得矿用便携式气体分析仪专利，便于携带提高便携性

南通辰聚取得带防护外壳的气体探测器专利，防止内部器件受损

山东三润生物科技取得方便清理的水分测定仪专利，便于对盛料盘内部进行清理

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响