比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

解决蓝牙耳机声音小的多种方法与建议

在如今这个快节奏的生活中，蓝牙耳机已经成为了很多人日常生活中不可或缺的伴侣。无论是在上班路上，还是在健身房里，蓝牙耳机都能为我们提供便捷的听音体验。但是，有时候我们会遇到一个让人烦恼的问题，那就是蓝牙耳机的声音很小。这时候，可能会让你觉得听歌、打电话都没什么乐趣。别担心，今天我就来和大家聊聊，如果你的蓝牙耳机声音小了该怎么办。

新报观察 2024-12-28

亿航智能与中交信科达成战略合作，计划未来三年开发200个低空飞行航站楼

钛媒体App12月28日消息，亿航智能宣布与中国交通信息科技集团有限公司（下称“中交信科”）围绕低空经济和先进空中交通生态建设达成战略合作。中交信科计划推出一套“土地+空间+内容”三位一体的一站式低空超级IP项目解决方案，计划利用中心公园、立体停车场顶层等地方建设拼装式、模块化的低空飞行航站楼。

钛媒体快报 2024-12-28

“合纵连横”打造高校科技成果转化网络体系

12月26日至28日，扬子江畔，创新浪潮奔涌，2024中国高校科技成果交易会（以下简称“科交会”）在江苏南京举办。“推介真成果，作出真贡献”“完善高校科技创新机制，提高成果转化效能”……科交会上，浓厚的科技转移转化氛围扑面而来。会议向社会推荐2716项成果，吸引了全国425所高校、2700余家企业、200多家技术转移机构和科技金融机构。

央广网 2024-12-28

睿泽万年取得粉煤灰电离还原物用精炼炉专利，降低劳动强度和安全隐患

金融界2024年12月28日消息，国家知识产权局信息显示，睿泽万年（北京）科技有限公司取得一项名为“一种粉煤灰电离还原物用精炼炉”的专利，授权公告号CN222211219U，申请日期为2024年5月。

金融界 2024-12-28

vivo OriginOS 5 新增“仅开屏禁止”选项，控制 App 摇一摇广告

IT之家12月28日消息，@OriginOS原系统昨日（12月27日）发布微博，宣布在OriginOS5中新增“仅开屏禁止”系统级选项，让用户可以更灵活地控制摇一摇广告的跳转。

IT之家 2024-12-28

HMD 手机开始推送安卓 15 更新，首批机型涵盖 Pulse Pro 等

IT之家12月28日消息，HMDGlobal宣布开始向旗下手机/平板电脑推出安卓15更新，外媒Nokiamob测试获悉HMDPulsePro手机的安卓15包体积为3.12GB，而其他机型的包体积预计将与之接近。诺基亚G425G诺基亚G605G诺基亚XR215G。诺基亚X305GHMDPulseHMDCrest。

IT之家 2024-12-28

康宁杰瑞制药JSKN003用于卵巢癌的Ⅲ期临床获批

康宁杰瑞制药12月27日发布公告称，JSKN003获国家药监局CDE同意开展III期临床研究（JSKN003-306），该研究针对既往接受过1至4线治疗的铂耐药复发性上皮性卵巢癌、原发性腹膜癌或输卵管癌患者全人群。

新京报 2024-12-28

现代生活中手机故障自修指南：延长使用寿命的实用技巧

在这个快节奏的现代生活中，手机已经成为我们生活中不可或缺的一部分。无论是用来联系朋友、上网冲浪，还是拍照记录生活，手机承载着我们太多的日常。

新报观察 2024-12-28

大纪（上海）取得一种倾动式铝屑熔炼炉专利，防止熔炼的热量外漏影响熔炼效率

金融界2024年12月28日消息，国家知识产权局信息显示，大纪（上海）工业炉技术有限责任公司取得一项名为“一种倾动式铝屑熔炼炉”的专利，授权公告号CN222211218U，申请日期为2024年4月。

金融界 2024-12-28

科兴制药终止人干扰素α2b喷雾剂的临床试验

12月27日晚间，科兴制药发布公告，终止人干扰素α2b喷雾剂的临床试验。

新京报 2024-12-28

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

解决蓝牙耳机声音小的多种方法与建议

亿航智能与中交信科达成战略合作，计划未来三年开发200个低空飞行航站楼

“合纵连横”打造高校科技成果转化网络体系

睿泽万年取得粉煤灰电离还原物用精炼炉专利，降低劳动强度和安全隐患

vivo OriginOS 5 新增“仅开屏禁止”选项，控制 App 摇一摇广告

HMD 手机开始推送安卓 15 更新，首批机型涵盖 Pulse Pro 等

康宁杰瑞制药JSKN003用于卵巢癌的Ⅲ期临床获批

现代生活中手机故障自修指南：延长使用寿命的实用技巧

大纪（上海）取得一种倾动式铝屑熔炼炉专利，防止熔炼的热量外漏影响熔炼效率

科兴制药终止人干扰素α2b喷雾剂的临床试验

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响