从测试集泄漏面试题延伸：相似样本怎样跨集合去重
把一份文档切成多个段落，然后随机分成训练集和测试集，文件名不同，内容就独立了吗？如果测试段落的近似版本、相邻答案片段或原文改写已经在训练里，按行随机分配仍然会留下很强的重叠。更可靠的入口，是先定义哪些记录不能跨集合，再分配组。
把一份文档切成多个段落，然后随机分成训练集和测试集，文件名不同，内容就独立了吗？如果测试段落的近似版本、相邻答案片段或原文改写已经在训练里，按行随机分配仍然会留下很强的重叠。更可靠的入口，是先定义哪些记录不能跨集合，再分配组。