Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

金成中天科技取得室外新能源充电桩专利，实用性强

金融界2024年12月26日消息，国家知识产权局信息显示，金成中天科技（北京）有限公司取得一项名为“一种室外新能源充电桩”的专利，授权公告号CN222202292U，申请日期为2024年4月。

金融界 2024-12-26

平安科技申请语音情绪识别专利，提高情绪识别准确性且提高识别效率

金融界2024年12月26日消息，国家知识产权局信息显示，平安科技（深圳）有限公司申请一项名为“语音情绪识别方法和装置、电子设备、存储介质”的专利，公开号CN119181385A，申请日期为2024年9月。专利摘要显示，本申请实施例提出的语音情绪识别方法和装置、电子设备、存储介质，涉及人工智能技术领域及金融科技领域。

金融界 2024-12-26

深圳市格灵申请人脸视频生成专利，保证生成的目标人脸视频的准确性

金融界2024年12月26日消息，国家知识产权局信息显示，深圳市格灵人工智能与机器人研究院有限公司申请一项名为“人脸视频生成方法和装置、电子设备及存储介质”的专利，公开号CN119181373A，申请日期为2024年8月。专利摘要显示，本申请实施例提供了一种人脸视频生成方法和装置、电子设备及存储介质，属于深度学习技术领域。

金融界 2024-12-26

如熠智能科技取得种 AGV 充电桩专利，避免充电桩主体因 AGV 小车剐蹭造成损坏

金融界2024年12月26日消息，国家知识产权局信息显示，如熠智能科技（苏州）有限公司取得一项名为“种AGV充电桩”的专利，授权公告号CN222202304U，申请日期为2024年5月。专利摘要显示，本实用新型公开一种AGV充电桩，涉及AGV充电桩技术领域。

金融界 2024-12-26

三星手机双卡双待设置详解：轻松管理两张SIM卡的便捷体验

体验。希望这篇文章能帮到你，让你更好地使用三星手机的双卡双待功能。无论是工作还是生活，双卡双待都能给你带来更多的便利，快来试试吧！

新报观察 2024-12-26

中国长江电力申请一种基于transformer的水轮机声音监测方法专利，实现对设备状况实时跟踪

金融界2024年12月26日消息，国家知识产权局信息显示，中国长江电力股份有限公司申请一项名为“一种基于transformer的水轮机声音监测方法”的专利，公开号CN119181378A，申请日期为2024年8月。

金融界 2024-12-26

英特尔申请存储器接口电路专利，提高存储器接口性能

金融界2024年12月26日消息，国家知识产权局信息显示，英特尔公司申请一项名为“存储器接口电路”的专利，公开号CN119181393A，申请日期为2023年6月。专利摘要显示，一种存储器接口电路，包括驱动器级和向驱动器级提供控制代码的逻辑电路。驱动器级具有多条支路，每条支路包括上拉(PU)晶体管、下拉(PD)晶体管和电阻器。

金融界 2024-12-26

华为手机录屏功能详解：简单步骤与实用技巧

在现代生活中，录屏已经成为了一个非常实用的功能。无论是想记录下精彩的游戏时刻，还是想分享一些手机操作技巧，录屏都能帮你轻松实现。今天，我们就来聊聊华为手机上如何进行录屏，步骤简单易懂，适合所有用户。在开始之前，确保你的华为手机已经更新到最新的系统版本。虽然大部分华为手机都自带录屏功能，但不同的系统版本可能会有些许差异。

新报观察 2024-12-26

长沙翊丰申请聋哑人发音纠正方法专利，帮助用户更高效纠正和学习

金融界2024年12月26日消息，国家知识产权局信息显示，长沙翊丰汽车科技有限公司申请一项名为“种聋哑人发音纠正方法”的专利，公开号CN119181382A，申请日期为2024年9月。

金融界 2024-12-26

华为手机呼叫等待功能设置详解与注意事项

在现代生活中，手机已经成为我们不可或缺的工具。今天，我们就来聊聊华为手机上如何设置呼叫等待，让你在接听电话时不再错过重要的来电。如果你在设置过程中遇到任何问题，或者有其他关于手机使用的疑问，随时可以查阅华为的官方帮助文档，或者在网上寻找相关的教程。

新报观察 2024-12-26

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

金成中天科技取得室外新能源充电桩专利，实用性强

平安科技申请语音情绪识别专利，提高情绪识别准确性且提高识别效率

深圳市格灵申请人脸视频生成专利，保证生成的目标人脸视频的准确性

如熠智能科技取得种 AGV 充电桩专利，避免充电桩主体因 AGV 小车剐蹭造成损坏

三星手机双卡双待设置详解：轻松管理两张SIM卡的便捷体验

中国长江电力申请一种基于transformer的水轮机声音监测方法专利，实现对设备状况实时跟踪

英特尔申请存储器接口电路专利，提高存储器接口性能

华为手机录屏功能详解：简单步骤与实用技巧

长沙翊丰申请聋哑人发音纠正方法专利，帮助用户更高效纠正和学习

华为手机呼叫等待功能设置详解与注意事项

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响