手写 Self-Attention 的四重境界

前提：b 站竟然不能直接贴markdown，建议阅读原文获得更好的阅读体验。 https://bruceyuan.com/hands-on-code/from-self-attention-to-multi-head-self-attention.html 在 AI 相关的面试中，经常会有面试官让写 self-attention，但是因为 transformer 这篇文章其实包含很多的细节，因此可能面试官对于 self-attention 实现到什么程度是有不同的预期。因此这里想通过写不同版本的 self...【查看原文】