比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

苹果备忘录字数统计技巧：提升写作效率的方法与工具

在现代生活中，手机和电脑已经成为我们日常工作和学习中不可或缺的工具，而苹果的备忘录（Notes）应用则是许多人用来记录想法、写作和做笔记的重要助手。那么，究竟在苹果备忘录中如何查看字数呢？

新报观察 2024-12-29

合肥奇屹光伏取得一种光伏储能用控制柜专利，提高空间利用率

金融界2024年12月28日消息，国家知识产权局信息显示，合肥奇屹光伏科技有限公司取得一项名为“一种光伏储能用控制柜”的专利，授权公告号CN222214882U，申请日期为2024年5月。专利摘要显示，本实用新型一种光伏储能用控制柜，属于控制柜技术领域，包括储能控制柜本体，所述储能控制柜本体的内壁连接有两组安装架。

金融界 2024-12-28

金盘新能源取得多功能高压柜专利，能对电压实时监测

金融界2024年12月28日消息，国家知识产权局信息显示，金盘（扬州）新能源装备制造有限公司取得一项名为“一种多功能高压柜”的专利，授权公告号CN222214885U，申请日期为2023年12月。

金融界 2024-12-28

浙江伟臻取得改良型五防联锁开关柜壳体专利，侧板与柜体拆卸简单

金融界2024年12月28日消息，国家知识产权局信息显示，浙江伟臻成套柜体有限公司取得一项名为“一种改良型五防联锁开关柜壳体”的专利，授权公告号CN222214890U，申请日期为2024年4月。

金融界 2024-12-28

华为手机GPS功能使用指南：开启、设置与小技巧

在我们日常生活中，手机已经成为了不可或缺的工具，特别是在导航和定位方面。如果你刚入手华为手机，或者对GPS的使用还不太熟悉，今天我就来聊聊华为手机怎么打开GPS，并且一些使用的小技巧。随着技术的进步，地图数据和GPS定位的算法也在不断更新，通过更新可以确保你使用的是最新的定位信息，从而提高定位的准确性和效率。

新报观察 2024-12-29

杭州森阳机械取得方便调节的高强度机柜专利，具有调节灵活等有益效果

金融界2024年12月28日消息，国家知识产权局信息显示，杭州森阳机械有限公司取得一项名为“种方便调节的高强度机柜”的专利，授权公告号CN222214883U，申请日期为2024年6月。

金融界 2024-12-28

查看手机型号的简单方法与实用技巧分享

在现代社会，手机已经成为我们生活中不可或缺的一部分。那么，怎么查看手机型号呢？对于安卓手机用户，查看型号的方法可能会稍微复杂一些，因为不同品牌的安卓手机在设置界面上可能会有差异。

新报观察 2024-12-29

三星电视评测：画质、智能、设计与音质全面解析

在电视行业里，三星无疑是个巨头，凭借着其先进的技术和优雅的设计，赢得了不少消费者的青睐。那么，三星电视究竟怎么样呢？

新报观察 2024-12-29

山东广源取得拼接式低压柜专利，解决拼接麻烦问题

金融界2024年12月28日消息，国家知识产权局信息显示，山东广源工程建设有限公司取得一项名为“一种拼接式低压柜”的专利，授权公告号CN222214881U，申请日期为2024年4月。

金融界 2024-12-28

探索抖音：享受短视频带来的乐趣与创意，同时注意时间管理

抖音，这个如今在年轻人中间火得一塌糊涂的短视频平台，真的是让人爱不释手。你有没有发现，刷抖音的时候，时间就像是被偷走了一样？一眨眼居然能过去好几个小时，真是让人又爱又恨。今天就来聊聊怎么玩抖音，让你在这个平台上不仅能消磨时间，还能收获快乐。首先，咱们得了解一下抖音的基本玩法。下载完抖音，注册一个账号，接下来就是刷视频了。

新报观察 2024-12-29

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

苹果备忘录字数统计技巧：提升写作效率的方法与工具

合肥奇屹光伏取得一种光伏储能用控制柜专利，提高空间利用率

金盘新能源取得多功能高压柜专利，能对电压实时监测

浙江伟臻取得改良型五防联锁开关柜壳体专利，侧板与柜体拆卸简单

华为手机GPS功能使用指南：开启、设置与小技巧

杭州森阳机械取得方便调节的高强度机柜专利，具有调节灵活等有益效果

查看手机型号的简单方法与实用技巧分享

三星电视评测：画质、智能、设计与音质全面解析

山东广源取得拼接式低压柜专利，解决拼接麻烦问题

探索抖音：享受短视频带来的乐趣与创意，同时注意时间管理

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响