Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

如何有效保存PPT文件：技巧与注意事项全解析

在日常工作和学习中，PPT（PowerPoint）是一个非常重要的工具。无论是做演示、汇报，还是分享信息，PPT都能帮助我们更好地传达想法。然而，很多人可能在保存PPT时会遇到一些问题，或者对保存的方式不太了解。

新报观察 2024-12-29

掌握MATCH函数：快速查找数据位置的实用技巧与应用

在日常工作或学习中，我们经常需要处理各种数据，尤其是在使用Excel这样的电子表格软件时，能熟练运用一些函数显得尤为重要。你想要找到某个产品的销售额，可以使用MATCH函数找出产品在列表中的位置，然后结合INDEX函数得到销售额。

新报观察 2024-12-29

如何准确使用卷尺：技巧与注意事项分享

卷尺是我们生活中常见的工具，无论是在家里装修、测量家具，还是在工地上进行专业测量，卷尺的使用都十分广泛。虽然看似简单，但很多人对卷尺的使用并不太了解，甚至在测量时会出现误差。今天，我就来聊聊卷尺怎么看尺寸，教你如何准确地使用卷尺来获取你想要的测量结果。首先，卷尺的基本构造是有一个卷尺带和一个卷尺壳。

新报观察 2024-12-29

如何在iPhone上批量删除联系人，轻松管理通讯录

录。无论是通过iCloud、第三方软件还是直接在手机上操作，总有一种方法适合你。祝你清理顺利！

新报观察 2024-12-29

寄件技巧全解析：让寄送包裹更加顺畅与安全的实用经验

在这个快节奏的生活中，寄件已经成为我们日常生活中不可或缺的一部分。无论是寄送包裹、信件，还是一些特殊物品，掌握寄件的技巧和流程都能让这件事情变得更加顺畅。你得明确你要寄的是什么东西，重量是多少，尺寸多大。很多快递公司现在都支持在线填写地址信息，真的是省时省力。

新报观察 2024-12-29

如何在苹果手机上设置屏幕密码以保护个人隐私和数据安全

如果你的手机支持面容ID，那么就选择“面容ID与密码”；如果是较旧的型号，可能会看到“触控ID与密码”。

新报观察 2024-12-29

如何通过设置OPPO手机锁屏提升安全性与个性化体验

在现代生活中，手机已经成为了我们生活中不可或缺的一部分。今天，就来聊聊如何设置OPPO手机的锁屏，让你的手机使用更加方便和个性化。在“安全与隐私”里，最重要的一个功能就是屏幕锁定。

新报观察 2024-12-29

如何在QQ音乐上关注好友，享受音乐社交的乐趣与互动体验

如果你是QQ音乐的新手，或者想要更好地利用这个平台与好友分享音乐，那关注好友的功能绝对是你不能错过的。点击进入后，找到“好友”或者“社交”相关的选项，具体名称可能会随着版本的更新有所变化。这里你可以看到你的好友列表，当然前提是你的好友也在使用QQ音乐。

新报观察 2024-12-29

如何有效清理电脑内存，提升运行速度与使用体验的方法解析

在日常使用电脑的过程中，很多人都会遇到一个问题，那就是电脑越来越慢，反应越来越迟钝。这时候，清理内存就成了一个非常重要的任务。内存的清理不仅能提升电脑的运行速度，还能让你在使用各种软件时更加流畅。今天，我们就来聊聊怎么有效地清理电脑内存。在开始清理之前，先简单了解一下内存是什么。

新报观察 2024-12-29

掌握Photoshop技巧，让你的照片在数字时代焕发新生

在这个数字化的时代，照片已经成为我们生活中不可或缺的一部分。无论是记录日常生活的点滴，还是用来分享旅行的美好瞬间，照片都在我们的社交网络中占据着重要的位置。但是，有时候我们拍的照片总是感觉缺少点什么，或者有些瑕疵需要修正。这个时候，Photoshop（简称PS）就显得尤为重要了。今天就来聊聊照片怎么PS，让你的照片更加出彩。

新报观察 2024-12-29

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

如何有效保存PPT文件：技巧与注意事项全解析

掌握MATCH函数：快速查找数据位置的实用技巧与应用

如何准确使用卷尺：技巧与注意事项分享

如何在iPhone上批量删除联系人，轻松管理通讯录

寄件技巧全解析：让寄送包裹更加顺畅与安全的实用经验

如何在苹果手机上设置屏幕密码以保护个人隐私和数据安全

如何通过设置OPPO手机锁屏提升安全性与个性化体验

如何在QQ音乐上关注好友，享受音乐社交的乐趣与互动体验

如何有效清理电脑内存，提升运行速度与使用体验的方法解析

掌握Photoshop技巧，让你的照片在数字时代焕发新生

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响