ohmyblog

#策略梯度

经典题解析：优势函数为什么要从奖励里减掉一个基线

一个动作拿到正奖励，就一定应该提高它的概率吗？如果在当前状态下，其他选择通常能带来更高回报，这个动作仍可能相对较差。优势函数提供的正是这种比较：不只问结果有多少，还问它比当前策略在这个状态的通常水平好多少。