从 BLEU、ROUGE 面试题延伸:答案更像参考,就一定更对吗

图中把答案拆成可核对的短断言,再分别标记支持、冲突和缺少依据。

一份答案几乎照着参考写,仍然可能把“七天”改成“七个月”。另一份换了说法,却准确保留了含义。如果只按词面重合挑选答案,两个结果可能被排反。文本指标能提供信号,事实判断还需要回到明确的依据。

先找一段可以检查的证据

用一段自设说明:“备份每周一执行,保留七天。”它只支持执行频率与保留时长,没有说明几点开始,也没有说明所有历史备份永远保存。接下来核对的范围,应当以这段材料真正表达的内容为准。

候选甲说“每逢周一生成备份,保存一周”,虽然措辞不同,核心信息可以与原说明对上。候选乙说“备份每周一执行,保留七个月”,大部分词没变,却改变了关键时长。这个例子没有对应真实产品政策,只用于说明评测方法。

候选丙若加上“上午九点”,则属于材料没有支持的新增细节。它不一定在现实中绝对错误,但不能仅凭当前证据当作已验证事实。冲突与缺少依据要分别标记,不能把两者混成一个模糊的“不太好”。

把整段答案拆成短断言

可以按实体、关系、数值和单位、时间范围、否定条件等字段,把答案拆成能够单独检查的主张。对每个主张记录对应证据位置,再判断是支持、冲突、未覆盖,还是因表达歧义需要进一步确认。

这并不要求所有句子都切成一样长。关键是一个检查单位里不要混入多项互相独立的事实,否则“其中一句正确”可能掩盖另一项错误。长答案还可能把正确背景与错误结论放在一起,整体相似度很难指出具体问题。

拆分本身也会出错。若漏掉条件从句,就可能把“特定环境下允许”误改成“总是允许”。人工或模型辅助检查都应保留原句,便于核对拆分有没有改变含义。

表达更像参考,不代表事实更可靠

数字、单位和否定应优先检查

七天与一周在这个例子里能够对应,七个月则不能。把数字抽出来都等于七,就忽略了单位;只比较是否出现“保留”,又会漏掉更关键的关系。数值规范化要有明确转换规则,不能把看起来接近的表达都当同义。

否定和范围同样重要。“不允许写入”与“允许写入”共享大量文字,但逻辑方向相反;“部分对象”与“全部对象”也不能因为其他词相同就合并。事实检查要关注这些少量但决定含义的单位。

时间还可能决定材料是否适用。旧版与新版规则冲突时,先判断问题针对哪个版本和时间段,而不是把任一参考答案当作永久不变的真值。

参考答案也需要证据地位

参考文本可能过时、只覆盖一种表达,甚至本身有错。评测流程应知道参考如何建立、依据什么、适用范围是什么。遇到候选提出参考没写但能由可靠材料支持的信息,应按任务政策判断,而不是机械扣成事实错误。

增加多个参考可以缓解表达覆盖不足,却不能自动消除共同错误。几份参考如果都来自同一段未经核验的内容,它们相互一致也不构成独立确认。证据来源的关系比参考数量本身更重要。

对于无法找到依据的内容,可以保留不确定标记,并决定是否影响该任务的接受条件。不能为了让一个综合分数看起来完整,把“未检查”填成“正确”。

把不同评价维度分开报告

词面重合、事实支持、指令遵守、格式与可执行性可以分别检查。一份格式完美的答案可能事实错误,一份事实正确的答案也可能忽略用户限制。把它们全部压成一个数字之后,应仍能回到原始错误记录解释取舍。

自动化检查适合先覆盖可确定的字段和规则,模型辅助判断也要有经过复核的样本与误差分析。不能因为评审模型写出了流畅理由,就把它当成不会出错的裁判,尤其要检查是否被候选中的措辞带偏。

用成对反例校验评价器

准备含义相同但改写较大的答案,以及只改一个关键数字、单位或否定词的错误答案。观察评价器是否能接受前者、指出后者,并提供确切证据位置,而不是只说“整体质量不错”。

这种最小对照能验证当前规则,却不能证明所有自然语言事实都已被覆盖。报告时应说明哪些字段可自动判定,哪些需要人工,哪些仍未核实。

如果一个候选把七天写成七个月,却因为词面很像而得分更高,你会调一个更高的相似度阈值,还是补上独立的数值与单位核对?