比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

无锡奥富来取得一种防松动的轮辋与轮毂组装结构专利，实现连接的轮辋的紧固安装

金融界2024年12月26日消息，国家知识产权局信息显示，无锡奥富来车轮有限公司取得一项名为“一种防松动的轮辋与轮毂组装结构”的专利，授权公告号CN222202157U，申请日期为2024年3月。

金融界 2024-12-26

海通智能装备取得用于电动拖轮的驱动轮专利，节省外胎与轮毂拆分时间

金融界2024年12月26日消息，国家知识产权局信息显示，海通智能装备（江苏）有限公司取得一项名为“一种用于电动拖轮的驱动轮”的专利，授权公告号CN222202174U，申请日期为2024年5月。

金融界 2024-12-26

浙江南盾申请智慧墙入侵探测专利，提高安保效果

金融界2024年12月26日消息，国家知识产权局信息显示，浙江南盾科技发展有限公司申请一项名为“一种智慧墙入侵探测方法、系统及其存储介质”的专利，公开号CN119181189A，申请日期为2024年9月。

金融界 2024-12-26

广州市三横取得具有站立功能的立式秘书夹专利，保证文件夹与垫板之间的稳定性

金融界2024年12月26日消息，国家知识产权局信息显示，广州市三横信息科技有限公司取得一项名为“一种具有站立功能的立式秘书夹”的专利，授权公告号CN222202102U，申请日期为2024年4月。专利摘要显示，本实用新型属于文件夹技术领域，特别涉及一种具有站立功能的立式秘书夹。

金融界 2024-12-26

东莞市璋新五金机械有限公司取得新型分叉式麦克纳姆轮专利，降低装置损坏率

金融界2024年12月26日消息，国家知识产权局信息显示，东莞市璋新五金机械有限公司取得一项名为“一种新型分叉式麦克纳姆轮”的专利，授权公告号CN222202156U，申请日期为2024年5月。

金融界 2024-12-26

金百锐申请一种带有延长接口的POS机专利，使POS机本体可以通过接口组件延长与其他设备正常连接

金融界2024年12月26日消息，国家知识产权局信息显示，深圳市金百锐通信科技有限公司申请一项名为“一种带有延长接口的POS机”的专利，公开号CN119181181A，申请日期为2024年8月。

金融界 2024-12-26

东莞市璋新五金机械有限公司取得单片式全向轮专利，降低成本提高实用性

金融界2024年12月26日消息，国家知识产权局信息显示，东莞市璋新五金机械有限公司取得一项名为“一种单片式全向轮”的专利，授权公告号CN222202155U，申请日期为2024年5月。

金融界 2024-12-26

厦门伏恒科技取得铝碳花鼓结构专利，增强花鼓外壳的强度

金融界2024年12月26日消息，国家知识产权局信息显示，厦门伏恒科技有限公司取得一项名为“一种铝碳花鼓结构”的专利，授权公告号CN222202160U，申请日期为2024年5月。

金融界 2024-12-26

复成信息申请智能安防报警装置专利，能够减少监控死角提高监控有效性

金融界2024年12月26日消息，国家知识产权局信息显示，深圳市复成信息科技有限公司申请一项名为“一种基于智慧园区的智能安防报警装置”的专利，公开号CN119181185A，申请日期为2024年9月。

金融界 2024-12-26

杭州宁圆印务取得防水快递面单专利，防止使用部渗水导致字迹模糊

金融界2024年12月26日消息，国家知识产权局信息显示，杭州宁圆印务有限公司取得一项名为“一种防水快递面单”的专利，授权公告号CN222202093U，申请日期为2024年5月。

金融界 2024-12-26

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

无锡奥富来取得一种防松动的轮辋与轮毂组装结构专利，实现连接的轮辋的紧固安装

海通智能装备取得用于电动拖轮的驱动轮专利，节省外胎与轮毂拆分时间

浙江南盾申请智慧墙入侵探测专利，提高安保效果

广州市三横取得具有站立功能的立式秘书夹专利，保证文件夹与垫板之间的稳定性

东莞市璋新五金机械有限公司取得新型分叉式麦克纳姆轮专利，降低装置损坏率

金百锐申请一种带有延长接口的POS机专利，使POS机本体可以通过接口组件延长与其他设备正常连接

东莞市璋新五金机械有限公司取得单片式全向轮专利，降低成本提高实用性

厦门伏恒科技取得铝碳花鼓结构专利，增强花鼓外壳的强度

复成信息申请智能安防报警装置专利，能够减少监控死角提高监控有效性

杭州宁圆印务取得防水快递面单专利，防止使用部渗水导致字迹模糊

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响