#Transformer

经典题解析：prefix Decoder、causal Decoder、Encoder-Decoder 有啥区别

2026/12/7

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「prefix Decoder、causal Decoder、Encoder-Decoder 有什么区别」是大模型面试里最经典的架构题，考的不是背模型名单，而是你能不能把三种架构的差异收拢到一…

2026/11/27

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料，与任何公司的当前招聘无关。Pre-LN 与 Post-LN 的差别，字面看只是把 LayerNorm 挪了一格，但这一格决定了深层 Transformer 能不能稳定训练——它是理解现代大模型结构的一把钥匙。

2026/11/20

这是一篇知识延伸文章：同批的面试真题解析讲了 RoPE 自身的旋转机制，本文换一个主轴——把位置编码放进演进坐标系里看，回答两个更大的问题：这条技术线沿什么脉络走到 RoPE？模型训练长度不够用时，又有哪些主流的外推方案？RoPE 的公式推导不再重复，需要的话去看那篇真题解析。

2026/11/20

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。RoPE（旋转位置编码）是当下主流开源大模型几乎标配的位置编码方案，面试官问它，考的往往不是背公式，而是「为什么转一转就能带上位置信息」这层直觉。