探索大语言模型：理解Self Attention| 京东物流技术团队

作者：京东云开发者发布时间：2024-05-14

一、背景知识在ChatGPT引发全球关注之后，学习和运用大型语言模型迅速成为了热门趋势。作为程序员，我们不仅要理解其表象，更要探究其背后的原理。究竟是什么使得ChatGPT能够实现如此卓越的问答性能...【查看原文】

相关资讯

Self-Attention in Stable Diffusion

CVPR 2024 Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing 和本人撞idea了属于是，这篇实验做得多笔记：https://fir-pufferfish-b8d.notion.site/Towards-Understanding-Cross-and-Self-Attention-in-Stable-Diffusion-for-Text-Guided-Im

Stable Diffusion

桃桃仁_ 2024-04-11

近期资讯

B站2024年科技内容总观看量超240亿次

【环球网科技综合报道】12月29日消息，哔哩哔哩（B站）于日前发布了《2025哔哩哔哩手机PC行业白皮书》，揭示了该平台最新的用户数据和商业数据。数据显示，B站的日活跃用户数（DAU）达到1.07亿，月活跃用户数（MAU）达到3.48亿，均创下历史新高。

环球网科技 2024-12-29

上海又玩“新花头”了：当AI作曲从实验室走向市场国乐+AI燃情年末

东方网记者熊芳雨12月29日报道：随着科技的发展进步，AI作曲系统正在全面参与音乐的制作流程，近日上海民族乐团在凯迪拉克·上海音乐厅举办的《零•壹|中国色》中国首台AI创作的国乐音乐会，将AI作曲的音乐作品从实验室走向市场，成功转型成观众们触手可及的艺术享受。

东方网 2024-12-29

算力直降97%，GPT-3存储只用20MB？！这篇直接在1.58-bit下训练模型的新论文火了

好家伙！1750亿参数的GPT-3只需20MB存储空间了？！基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。最近，从事机器学习的Will小哥发了一篇论文，直接引来几十万网友or同行围观。

量子位 2024-12-29

小米澎湃 OS 2 Beta 问题优化进展公布

IT之家12月29日消息，小米官方本月（12月27日）在小米社区发布公告，公布了澎湃OS2Beta问题优化进展，其中提到部分场景挂断电话、关闭手电筒等息屏显示错误问题已优化。

IT之家 2024-12-29

iPhone未进前三！国外网友票选2024最佳手机：谷歌、三星、索尼上榜

快科技12月29日消息，又到了2024年年末，每到这个时候各大平台都会举办类似最佳手机的投票。今年9to5Google、AndroidPolice和AndroidAuthority都举行了相关票选，一起来看看哪款手机获得最多国外网友的肯定。

快科技 2024-12-29

数字时代文件共享技巧：多种方法助你轻松传递信息与资料

软件也是不错的选择。比如，你可以通过微信、QQ、WhatsApp等软件发送文件。只需打开聊天窗口，点击附件图标，选择文件进行发送，简单方便。不过，值得注意的是，某些平台对于文件大小是有限制的，所以在发送之前最好确认一下。在分享文件时，文件格式也是一个需要考虑的因素。有些格式在不同设备之间可能无法兼容，比如某些特定的软件生成的文件。

新报观察 2024-12-29

全面”入侵“！微软多个产品接受Copilot的融入和更名

有报道显示，微软已通知用户，旗下的Microsoft365应用将更名为Microsoft365Copilot，并计划在2025年1月中旬生效。这一更名不仅包括名称的变更，还涉及应用程序图标和界面的调整。微软对Copilot品牌的重视程度可见一斑，此前已在不少出货的PC上配备了专用的Copilot键，虽然目前这一按键地位略显尴尬。

3DM游戏 2024-12-29

华为畅想70X手机海报曝光：支持北斗卫星双向通信、鸿蒙系统麒麟芯片

这款手机的价格定位应该在2000元左右，搭载了麒麟8000降频版处理器，预装HarmonyOS4.3系统。值得一提的是，华为畅想70Pro在今年1月开售，配备6.7英寸FHD+（1080x2388分辨率）LCD屏幕；使用一亿像素主摄，支持暗光拍摄、疾速抓拍、美颜自拍等拍照模式。

中关村在线 2024-12-29

华为官宣！悬赏300万元

日前，华为宣布面向全球启动2024奥林帕斯奖（OlympusMonsAwards）悬红难题征集，这是华为公司第五年举办该全球赛事。2024年的奖项设置了2个奥林帕斯奖（奖金100万元人民币/个），5个奥林帕斯先锋奖（奖金20万元人民币/个），获奖人/团队将与华为建立技术交流渠道并获得科研助力。

每日经济新闻 2024-12-29

郑州市公共卫生应急救治中心项目顺利完成首栋封顶

近日，由中建一局承建的郑州市公共卫生应急救治中心项目顺利完成首栋主楼封顶，标志着项目建设将全面进入二次结构施工新阶段。

中国新闻网 2024-12-29

探索大语言模型：理解Self Attention| 京东物流技术团队

推荐体验

相关资讯

Self-Attention in Stable Diffusion

【ChatGPT-应用篇】基于ChatGPT覆盖测试过程的初步探索 | 京东物流技术团队

长连接：ChatGPT流式响应背后的逻辑 | 京东物流技术团队

GPT大语言模型Vicuna本地化部署实践（效果秒杀Alpaca） | 京东云技术团队

京东物流以AI技术重塑物流与供应链未来

近期资讯

B站2024年科技内容总观看量超240亿次

上海又玩“新花头”了：当AI作曲从实验室走向市场国乐+AI燃情年末

算力直降97%，GPT-3存储只用20MB？！这篇直接在1.58-bit下训练模型的新论文火了

小米澎湃 OS 2 Beta 问题优化进展公布

iPhone未进前三！国外网友票选2024最佳手机：谷歌、三星、索尼上榜

数字时代文件共享技巧：多种方法助你轻松传递信息与资料

全面”入侵“！微软多个产品接受Copilot的融入和更名

华为畅想70X手机海报曝光：支持北斗卫星双向通信、鸿蒙系统麒麟芯片

华为官宣！悬赏300万元

郑州市公共卫生应急救治中心项目顺利完成首栋封顶

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响