经典题解析:LayerNorm 放前面还是放后面,Pre-LN 和 Post-LN 差在哪
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。Pre-LN 与 Post-LN 的差别,字面看只是把 LayerNorm 挪了一格,但这一格决定了深层 Transformer 能不能稳定训练——它是理解现代大模型结构的一把钥匙。
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。Pre-LN 与 Post-LN 的差别,字面看只是把 LayerNorm 挪了一格,但这一格决定了深层 Transformer 能不能稳定训练——它是理解现代大模型结构的一把钥匙。