你可能本可以设计出最先进的旋转位置编码

本文通过迭代改进位置编码方案，推导出了用于 Llama 3.2 等现代 Transformer 模型的旋转位置编码（RoPE）。文章首先定义了理想位置编码应具备的唯一性、线性关系、外推能力、确定性生成及多维扩展等五项关键属性。随后通过 Llama 3.2 1B 模型的自注意力机制示例，论证了缺乏位置信息会导致相同 Token 在不同位置产生相同输出，并分析了整数位置编码的局限性。