Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

如何轻松关闭手机及其他设备的横屏模式

在日常生活中，很多人都喜欢用手机看视频、玩游戏或者浏览网页。尤其是当我们把手机横过来时，屏幕会自动转为横屏模式，这样看起来更宽广，体验也更好。不过，有时候我们并不想要这种横屏效果，可能是因为某些应用不支持，或者我们只是想保持竖屏状态。那么，横屏怎么关闭呢？今天就来聊聊这个话题。大多数智能手机都提供了一个非常实用的功能，那就是横屏锁定。

新报观察 2024-12-28

中航光电获得实用新型专利授权：“一种连接器”

证券之星消息，根据天眼查APP数据显示中航光电（002179）新获得一项实用新型专利授权，专利名为“一种连接器”，专利申请号为CN202420878167.7，授权日为2024年12月27日。

证券之星 2024-12-28

手把手教你制作精彩陀螺视频，分享创意与技巧

制作一个关于“陀螺”的视频，其实是个挺有趣的过程。今天，我就来聊聊怎么做一个陀螺视频，分享一些制作过程的细节和拍摄技巧，让你的视频不仅内容丰富，还能引起观众的兴趣。

新报观察 2024-12-28

龙利得获得实用新型专利授权：“一种防拆防伪识别功能箱”

证券之星消息，根据天眼查APP数据显示龙利得（300883）新获得一项实用新型专利授权，专利名为“一种防拆防伪识别功能箱”，专利申请号为CN202420921837.9，授权日为2024年12月27日。

证券之星 2024-12-28

长飞光纤获得发明专利授权：“一种光纤模场匹配器及其制备方法”

证券之星消息，根据天眼查APP数据显示长飞光纤（601869）新获得一项发明专利授权，专利名为“一种光纤模场匹配器及其制备方法”，专利申请号为CN202211007146.X，授权日为2024年12月27日。

证券之星 2024-12-28

手机显示“紧急呼叫”的原因及应对方法解析

总之，手机显示“紧急呼叫”并不是什么大不了的事情，了解背后的原因和应对方法，才能更好地利用手机，确保在需要的时候能够顺利联系到外界。希望大家都能在日常生活中，保持对手机状态的关注，避免不必要的烦恼和困扰。

新报观察 2024-12-28

忘记微信登录密码？教你轻松找回的方法与注意事项

别担心，今天就来聊聊如果你忘记了微信密码该怎么办。首先，别慌。或者“忘记密码？”的选项。或“忘记密码？”或“忘记密码？”

新报观察 2024-12-28

珠海冠宇获得发明专利授权：“一种扣式电池”

证券之星消息，根据天眼查APP数据显示珠海冠宇（688772）新获得一项发明专利授权，专利名为“一种扣式电池”，专利申请号为CN202010230208.8，授权日为2024年12月27日。

证券之星 2024-12-28

如何设置悬浮窗功能，提升手机多任务处理效率

在现代手机使用中，悬浮窗功能越来越受到大家的欢迎。它可以让我们在使用某个应用的同时，方便地查看其他应用的信息，真的是一种很实用的功能。今天，我们就来聊聊悬浮窗的设置方法，帮助你更好地利用这个功能。通常情况下，你只需要点击悬浮窗上的“关闭”按钮，或者直接将悬浮窗拖到屏幕底部的“关闭区域”即可。

新报观察 2024-12-28

麦格米特获得发明专利授权：“校验方法和系统、应答方法、电梯控制设备及门机设备”

证券之星消息，根据天眼查APP数据显示麦格米特（002851）新获得一项发明专利授权，专利名为“校验方法和系统、应答方法、电梯控制设备及门机设备”，专利申请号为CN202310477686.2，授权日为2024年12月27日。

证券之星 2024-12-28

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

如何轻松关闭手机及其他设备的横屏模式

中航光电获得实用新型专利授权：“一种连接器”

手把手教你制作精彩陀螺视频，分享创意与技巧

龙利得获得实用新型专利授权：“一种防拆防伪识别功能箱”

长飞光纤获得发明专利授权：“一种光纤模场匹配器及其制备方法”

手机显示“紧急呼叫”的原因及应对方法解析

忘记微信登录密码？教你轻松找回的方法与注意事项

珠海冠宇获得发明专利授权：“一种扣式电池”

如何设置悬浮窗功能，提升手机多任务处理效率

麦格米特获得发明专利授权：“校验方法和系统、应答方法、电梯控制设备及门机设备”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响