重读 Transformer 升级之路
重读 Transformer 升级之路（1）：Sinusoidal 位置编码追根溯源
从平移不变的内积出发，推导正弦位置编码为何能暴露相对位置信息，并澄清频率、远程衰减、Taylor 展开与 RoPE 之间真正成立的关系。
系列 · Transformer 升级之路主题 · 位置编码主题 · Transformer方式 · 数学推导
AI 与机器学习笔记。
记录我认为有用或有趣的论文与技术问题，并在适合时补充推导、例子和参考资料。
阅读全文
没有匹配该标签的文章。