ohmyblog

#回报边界

从优势函数面试题延伸：结束和超时，为什么要分开记录

训练记录里只有一个 done 字段，看上去很省事。但一次交互结束，可能是任务真的完成，也可能只是采样时间用完。如果两种情况都把后续价值直接当成零，价值目标就可能在同一个状态上产生完全不同的含义。