比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

中远海特获得发明专利授权：“一种吊装路径规划模型构建方法及系统”

证券之星消息，根据天眼查APP数据显示中远海特（600428）新获得一项发明专利授权，专利名为“一种吊装路径规划模型构建方法及系统”，专利申请号为CN202411298084.1，授权日为2024年12月27日。

证券之星 2024-12-28

手把手教你制作精彩陀螺视频，分享创意与技巧

制作一个关于“陀螺”的视频，其实是个挺有趣的过程。今天，我就来聊聊怎么做一个陀螺视频，分享一些制作过程的细节和拍摄技巧，让你的视频不仅内容丰富，还能引起观众的兴趣。

新报观察 2024-12-28

如何轻松关闭手机及其他设备的横屏模式

在日常生活中，很多人都喜欢用手机看视频、玩游戏或者浏览网页。尤其是当我们把手机横过来时，屏幕会自动转为横屏模式，这样看起来更宽广，体验也更好。不过，有时候我们并不想要这种横屏效果，可能是因为某些应用不支持，或者我们只是想保持竖屏状态。那么，横屏怎么关闭呢？今天就来聊聊这个话题。大多数智能手机都提供了一个非常实用的功能，那就是横屏锁定。

新报观察 2024-12-28

豪鹏科技获得发明专利授权：“锂离子电池及电子设备”

证券之星消息，根据天眼查APP数据显示豪鹏科技（001283）新获得一项发明专利授权，专利名为“锂离子电池及电子设备”，专利申请号为CN202411371010.6，授权日为2024年12月27日。专利摘要：本申请涉及一种锂离子电池及电子设备。

证券之星 2024-12-28

手机显示“紧急呼叫”的原因及应对方法解析

总之，手机显示“紧急呼叫”并不是什么大不了的事情，了解背后的原因和应对方法，才能更好地利用手机，确保在需要的时候能够顺利联系到外界。希望大家都能在日常生活中，保持对手机状态的关注，避免不必要的烦恼和困扰。

新报观察 2024-12-28

掌握圆柱体积计算的基础与实际应用技巧

圆柱的体积怎么算？这个问题看似简单，但在实际学习和应用中，常常会让人感到困惑。今天，我们就来深入聊聊这个话题，顺便解开一些大家心中的疑惑。首先，让我们先了解一下圆柱的基本概念。圆柱是一种三维几何体，具有两个相同的圆形底面和一个侧面。你可以把它想象成一个喝水的杯子，底部是圆形的，侧面则是杯子的壁。

新报观察 2024-12-28

龙利得获得实用新型专利授权：“一种防拆防伪识别功能箱”

证券之星消息，根据天眼查APP数据显示龙利得（300883）新获得一项实用新型专利授权，专利名为“一种防拆防伪识别功能箱”，专利申请号为CN202420921837.9，授权日为2024年12月27日。

证券之星 2024-12-28

长飞光纤获得发明专利授权：“一种光纤模场匹配器及其制备方法”

证券之星消息，根据天眼查APP数据显示长飞光纤（601869）新获得一项发明专利授权，专利名为“一种光纤模场匹配器及其制备方法”，专利申请号为CN202211007146.X，授权日为2024年12月27日。

证券之星 2024-12-28

忘记微信登录密码？教你轻松找回的方法与注意事项

别担心，今天就来聊聊如果你忘记了微信密码该怎么办。首先，别慌。或者“忘记密码？”的选项。或“忘记密码？”或“忘记密码？”

新报观察 2024-12-28

中航光电获得实用新型专利授权：“一种连接器”

证券之星消息，根据天眼查APP数据显示中航光电（002179）新获得一项实用新型专利授权，专利名为“一种连接器”，专利申请号为CN202420878167.7，授权日为2024年12月27日。

证券之星 2024-12-28

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

中远海特获得发明专利授权：“一种吊装路径规划模型构建方法及系统”

手把手教你制作精彩陀螺视频，分享创意与技巧

如何轻松关闭手机及其他设备的横屏模式

豪鹏科技获得发明专利授权：“锂离子电池及电子设备”

手机显示“紧急呼叫”的原因及应对方法解析

掌握圆柱体积计算的基础与实际应用技巧

龙利得获得实用新型专利授权：“一种防拆防伪识别功能箱”

长飞光纤获得发明专利授权：“一种光纤模场匹配器及其制备方法”

忘记微信登录密码？教你轻松找回的方法与注意事项

中航光电获得实用新型专利授权：“一种连接器”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响