图中同一个状态先有总体预期，再比较不同动作的预期回报；优势不是奖励模型的另一个名字。
一个动作拿到正奖励，就一定应该提高它的概率吗？如果在当前状态下，其他选择通常能带来更高回报，这个动作仍可能相对较差。优势函数提供的正是这种比较：不只问结果有多少，还问它比当前策略在这个状态的通常水平好多少。
Q、V 和 A 分别回答什么
在同一策略与回报定义下，Q(s,a) 表示从状态 s 先采取动作 a，再按相应策略继续时的预期回报；V(s) 表示从该状态按策略选择动作并继续的总体预期。优势定义为 A(s,a)=Q(s,a)-V(s)。
因此，A 为正表示该动作高于状态基线，为负表示低于基线。它比较的是预期的累计回报，不应把某一次即时奖励直接当成精确 Q 值。随机结果可能好坏起伏，只有一次高分不一定说明动作长期更优。
不同策略、折扣因子或任务终止定义下，Q 与 V 的含义也会改变。两个系统都输出一个叫 advantage 的数，并不说明它们能直接比较大小。先说明回报口径，再讨论符号与量级。
用两种选择算相对水平
考虑一个只决策一次的自设任务：动作 a 奖励零，动作 b 奖励十；策略以八成概率选 a，两成概率选 b。此时 V 为二，两个动作优势分别为负二和八。两者按策略概率加权，平均优势为零。
这个零来自精确 Q、V 与同一个策略之间的关系，不保证神经网络估计出来的值、有限样本平均或不同批次的优势总和也严格为零。不要看到训练记录里平均优势不为零，就立即认定实现错误。
即便两个动作的奖励都为正，只要一个低于该状态通常水平，它的优势仍可能为负。相对比较能够减少“环境本来就容易拿高分”带来的干扰，但不能代替对奖励设计的检查。
减基线为什么不改变期望方向
在标准策略梯度形式中，更新含有动作对数概率的梯度乘回报。对固定状态，一个不依赖当前动作的基线，乘上该状态下对数概率梯度的期望，结果为零，因为各动作概率之和为一。
因此，把这样的基线从回报估计中减去，在相应假设下不改变策略梯度的期望，却可以改变随机估计的方差。这里的动作无关十分重要：随意使用一个依赖所选动作的扣分项，一般不能继续沿用这个不偏论证。
如果基线来自可学习价值函数，策略项通常还需要把相应优势当作固定估计使用，避免不希望的梯度路径混入。价值函数自己的训练是另一部分，不能把“策略更新不通过基线反传”理解成“价值网络永远不学习”。
好基线可以降方差，差基线也会添乱
基线的目的不是让数字越接近零越好，而是让更新信号更稳定。在上面的两动作例子中，使用状态价值二，可以降低相应梯度估计的方差；但随便选一个很大的基线，反而可能放大波动。
价值函数是常见选择，却不意味着它对每个参数、每个状态都恰好是方差最小的基线。尤其在价值估计不准、奖励分布变化或样本很少时，需要检查偏差与方差，而不是把使用 critic 当作稳定训练的充分条件。
这也区分了基线与改变任务奖励：前者在相应推导下调整估计形式，后者可能改变真正优化的目标。把两者都叫“奖励减一点”，会漏掉它们的数学条件。
实际训练用的是估计
完整 Q 往往无法直接计算，可以结合采样回报与价值预测估计优势。广义优势估计等方法通过组合多步误差，在偏差和方差之间权衡，参数选择与价值函数质量会共同影响结果，不是固定公式就适合全部任务。
估计时还要处理真实终止、采样截断和有效数据范围，否则续接价值的边界会错。归一化优势等工程操作也应有明确口径，不要与优势的理论定义混为一谈。
面试可以按“定义、相对例子、动作无关基线推导、估计误差”回答。如果一个动作奖励为五，但该状态的正确价值基线为八，你会把这个动作解释为绝对失败，还是解释为相对当前策略水平偏低？