ohmyblog

#位置编码演进

从 RoPE 面试题延伸:位置编码全景,从绝对位置到旋转编码再到长度外推

这是一篇知识延伸文章:同批的面试真题解析讲了 RoPE 自身的旋转机制,本文换一个主轴——把位置编码放进演进坐标系里看,回答两个更大的问题:这条技术线沿什么脉络走到 RoPE?模型训练长度不够用时,又有哪些主流的外推方案?RoPE 的公式推导不再重复,需要的话去看那篇真题解析。