比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

如何在360浏览器中设置兼容模式以优化网页浏览体验

在日常上网的过程中，可能会遇到一些网站在某些浏览器上显示不正常的情况。今天，我们来聊聊在360浏览器中如何设置兼容模式，帮助你更好地浏览那些可能不太“友好”的网站。

新报观察 2024-12-31

如何一步步制作一个成功的手机应用程序（APP）指南分享

在这个数字化的时代，手机应用程序（APP）已经成为我们生活中不可或缺的一部分。无论是社交、购物、学习还是娱乐，APP都在其中扮演着重要的角色。很多人可能会想，制作一个APP到底需要哪些步骤呢？今天就来聊聊这个话题。首先，制作APP的第一步就是要有一个明确的想法。你想要解决什么问题？或者说，你的APP能给用户带来什么样的价值？

新报观察 2024-12-31

安徽东泰取得一种新型牵引机构专利，实现牵引机构自动连接与断开

金融界2024年12月31日消息，国家知识产权局信息显示，安徽东泰金属包装技术有限公司取得一项名为“一种新型牵引机构”的专利，授权公告号CN222223840U，申请日期为2024年5月。专利摘要显示，本发明属于机械牵引领域，公开了一种新型牵引机构。

金融界 2024-12-31

奥海科技：GaN技术应用于算力服务器电源处于预研阶段

金融界12月31日消息，有投资者在互动平台向奥海科技提问：请问贵司现在已经有很多采用了GaN氮化镓技术的消费电子快充产品，那么是否会考虑将GaN氮化镓技术融合到贵司的各类算力服务器电源？目前是否正在做这方面的研发工作，有相应的结果了没？公司回答表示：我司已在消费电子快充产品中广泛采用GaN氮化镓技术，并规划将其应用于算力服务器电源。

金融界 2024-12-31

访谈了一批AI创业者，AI会引领下一个十年，那我们如何从中发现趋势与机会？

最近几年大模型如火如荼，不论是互联网大厂还是小公司，都在开始AI创业。那如何找到自己的方向呢？这篇文章，作者分享的6个方向，值得参考。

嘉应岛主 2024-12-31

SaaS产品的五大原则

产品经理不仅需要具备深厚的产品知识和市场洞察力，还必须掌握一套行之有效的产品方法论和原则。本文将为您揭示SaaS产品经理必须遵循的五大核心原则，涵盖了产品定位、规划、设计、需求评估和产品管理的关键方面，供大家参考。

产品方法论集散地 2024-12-31

兴森科技：玻璃基板量产难完全取代FCBGA封装基板

金融界12月31日消息，有投资者在互动平台向兴森科技提问：公司在回复投资者提问时表示，ABF基板与玻璃基板不存在替代关系。从公司回答是否可证实:即使玻璃基板能量产，也不会完全替代ABF基板市场？以够用，实用为原则，哪些产品需用玻璃基板，哪些用ABF？公司以建成的ABF基板，通过改造提升，是否有能力同时应对玻璃基板和ABF基板的生产？

金融界 2024-12-31

如何在QQ空间高效管理和删除留言，保持社交平台的整洁？

在如今这个社交网络盛行的时代，QQ空间作为一个老牌的社交平台，依然有着不少忠实用户。大家在QQ空间里分享生活点滴，记录美好瞬间，当然也少不了朋友们的留言。首先，QQ空间的留言功能是一个很有趣的地方。如果你想要删除QQ空间里的所有留言，首先要知道，QQ空间并没有提供一个“一键删除所有留言”的功能。

新报观察 2024-12-31

如何制作精彩视频相册：记录生活瞬间的创意指南与技巧

制作视频相册是一项既有趣又充满创意的活动。无论是为了记录生活中的重要时刻，还是想要为朋友或家人制作一份特别的礼物，视频相册都能完美地呈现回忆。

新报观察 2024-12-31

雷军如何践行“顺势而为”，实现三年造车、9个月实现从0到13万辆的商业奇迹

从0开始，小米汽车如何在短短三年内实现从概念到量产的飞跃，并在九个月内创下了从0到13万辆的销售奇迹？本文将深入剖析雷军如何运用“顺势而为”的战略，结合市场势能、品牌势能、资金势能等七大关键因素，推动小米汽车快速成长。

波叔爱这世界 2024-12-31

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

如何在360浏览器中设置兼容模式以优化网页浏览体验

如何一步步制作一个成功的手机应用程序（APP）指南分享

安徽东泰取得一种新型牵引机构专利，实现牵引机构自动连接与断开

奥海科技：GaN技术应用于算力服务器电源处于预研阶段

访谈了一批AI创业者，AI会引领下一个十年，那我们如何从中发现趋势与机会？

SaaS产品的五大原则

兴森科技：玻璃基板量产难完全取代FCBGA封装基板

如何在QQ空间高效管理和删除留言，保持社交平台的整洁？

如何制作精彩视频相册：记录生活瞬间的创意指南与技巧

雷军如何践行“顺势而为”，实现三年造车、9个月实现从0到13万辆的商业奇迹

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响