#位置编码

位置编码有哪些？RoPE 为什么能实现相对位置编码？怎么做长度外推？

考察位置编码的演进（正弦/可学习/相对/RoPE），RoPE 用旋转矩阵把绝对位置转成相对位置的数学原理，以及 NTK、YaRN 等长度外推方法。