重读 Transformer 升级之路
重读 Transformer 升级之路（2）：RoPE 如何把位置差写进 Attention
从二维旋转的一条恒等式出发，解释 RoPE 如何用同一组 sin/cos 旋转 Query 与 Key，并让 Attention score 对位置的依赖只通过相对位移出现。
系列 · Transformer 升级之路主题 · 位置编码主题 · Transformer方式 · 数学推导
AI 与机器学习笔记。
记录我认为有用或有趣的论文与技术问题，并在适合时补充推导、例子和参考资料。
阅读全文
重读 Transformer 升级之路
重读 Transformer 升级之路（1）：Sinusoidal 位置编码追根溯源
从“同样的相对距离应产生同样的位置交互”出发，用钟表、单位圆和多频率解释 Sinusoidal 位置编码的核心思想，并说明远程去相关与 RoPE 的边界。
系列 · Transformer 升级之路主题 · 位置编码主题 · Transformer方式 · 数学推导
没有匹配该标签的文章。