经典题解析:RMSNorm 比 LayerNorm 少做了什么
一句“RMSNorm 是简化版 LayerNorm”,容易让人以为两者只是少写一行代码。真正要问的是:它省掉了什么统计量,因此失去了什么性质,又保留了什么性质?把这三件事说清,比背一个速度结论更有用。
一句“RMSNorm 是简化版 LayerNorm”,容易让人以为两者只是少写一行代码。真正要问的是:它省掉了什么统计量,因此失去了什么性质,又保留了什么性质?把这三件事说清,比背一个速度结论更有用。
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。Pre-LN 与 Post-LN 的差别,字面看只是把 LayerNorm 挪了一格,但这一格决定了深层 Transformer 能不能稳定训练——它是理解现代大模型结构的一把钥匙。