人工智能Transformer的火种源 : Self-Attention架构机制

作者：lulucas光发布时间：2023-04-28

前言最近由ChatGPT带起来的人工智能风潮非常的很火，并且AI的发展日新月异，不同的产品也层出不穷，如AutoGPT、BabyAGI等。论文和研究概念在各个领域也得到了广泛关注，比如SAM。...【查看原文】

相关资讯

Self-Attention in Stable Diffusion

CVPR 2024 Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing 和本人撞idea了属于是，这篇实验做得多笔记：https://fir-pufferfish-b8d.notion.site/Towards-Understanding-Cross-and-Self-Attention-in-Stable-Diffusion-for-Text-Guided-Im

Stable Diffusion

桃桃仁_ 2024-04-11

机器之心 2023-10-30

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

近期资讯

2023年度全国科普统计数据发布全国科普专兼职人员超215万人

统计结果显示，我国科普人员队伍建设不断完善。2023年科普工作人员队伍建设在“小核心+大协作”模式下多点推进，形成以专职人员为核心、兼职人员为补充、志愿者为后备的人才蓄水池。全国科普专、兼职人员共计215.63万人，比2022年增长7.99%。其中，科普专职人员29.32万人，科普兼职人员186.31万人。

中国经济网 2024-12-30

内蒙古呼和浩特：借“风光”之力全力逐“绿”

新华社呼和浩特12月30日电（记者达日罕）寒冬里，光伏板上的灰尘会影响发电效率。在光伏清洁巡检机器人的辅助下，光伏面板清洁频次从原本每季度一次增加到每周一次，较大幅度提升光伏面板的发电效率。

新华社 2024-12-30

海格通信最新公告：公司在珠海航展推出“九天”重型无人机

海格通信在投资者关系活动上表示，其在珠海航展推出的“九天”灵活配置重型无人机，可广泛应用于智能物流运输、海警海监、公安边防、应急救援等领域。公司与中国移动已在北斗高精度服务及终端应用领域展开合作，未来将深化在北斗+行业应用拓展、空天地一体化协同发展等领域的合作。

证券之星 2024-12-30

德必承办首届硬科技科创家大会，聚焦硬科技助力产业发展新机遇

大会由ZLead(上海)青年科创中心、中国科学院大学上海校友会(筹)、中国科学院大学金融校友联合会、中国科学院大学创业与投资校友联合会和中科创星主办，德必集团和上海麒名吉文化传媒有限公司承办。

中国财富网 2024-12-30

WAVE 横山宏 MA.K AFSMKI AFSMKII 1/20 非涂装机甲拼装模型GK套件

比例：1/20尺寸：高约110毫米产品规格：塑料模型套件卡接式，无需粘合剂包含：标记水贴官方售价：216元到货时间：2025年2季度…

拆盒网 2024-12-30

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

在跨年仪式感和氛围感成为“刚需”的当下，京东3C数码以年轻用户群体的多元化需求为出发点，在12月31日23点，由京东采销携手《心动的信号》嘉宾情侣杨汝晴、侯卓成，以及国家地理合作摄影师陈帆，在祖国最东边的黑龙江省抚远市开启诚意十足内容丰富的“追光”直播，与屏幕前的用户一同见证2025年的第一次日出。

iMobile爱科技 2024-12-30

雷军预告小米SU7限定色明天亮相或为玫瑰红

【CNMO科技消息】12月30日晚，雷军预告了小米SU7的限定配色，表示：“再过2天，就是2025年，小米创业十五周年。”“我们准备了一份充满激情，又优雅浪漫的惊喜，小米SU7小米15周年限定色，明天见！”

手机中国 2024-12-30

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

中新网北京12月30日电(记者孙自法)记者12月30日从科学讲坛格致论道获悉，以“阳光下的少年”为主题的“格致论道·未来少年”第五期演讲活动近日在北京顺利举办，8位来自北京市海淀区的青少年登台演讲，分享他们各自奔赴热爱、敢于创新、勇于探索的成长经历和精彩故事。“格致论道·未来少年”科学讲坛以“阳光下的少年”为主题举办第五期演讲活动。

中国新闻网 2024-12-30

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

搜狐创始人、董事局主席兼首席执行官、物理学博士张朝阳将以“生活在量子力学的世界里”为题，从微观视角解析我们存在的世界，和大家共同迎接2025年的到来。届时，搜狐视频“关注流”账号@张朝阳将全程直播。

搜狐科技 2024-12-30

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

机上乘客和机组人员除了2名乘务员获救，其余179人全部遇难。据新华社报道，当地时间12月29日，美国国家运输安全委员会表示，由美国波音公司和美国航空机构专家组成的团队正前往韩国协助调查坠毁事件。

红星新闻 2024-12-30

人工智能Transformer的火种源 : Self-Attention架构机制

推荐体验

相关资讯

Self-Attention in Stable Diffusion

探索大语言模型：理解Self Attention| 京东物流技术团队

ChatGPT｜Transformer模型｜Attention Is All You Need

比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了

Transformer——ChatGPT背后的核心架构

近期资讯

2023年度全国科普统计数据发布全国科普专兼职人员超215万人

内蒙古呼和浩特：借“风光”之力全力逐“绿”

海格通信最新公告：公司在珠海航展推出“九天”重型无人机

德必承办首届硬科技科创家大会，聚焦硬科技助力产业发展新机遇

WAVE 横山宏 MA.K AFSMKI AFSMKII 1/20 非涂装机甲拼装模型GK套件

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

雷军预告小米SU7限定色明天亮相或为玫瑰红

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响