-
25%重叠多出28%重复字符,召回反而降了拿 40 篇真实中文文章、共 67,615 字,用 10 种切法各切一遍,量三件事:块被从句子中间切断的比例、切片总量多出来的重复字符、以及检索时正确的块能不能排到第一。固定字数切块九成五以上断在半句话上;加 25% 重叠让重复字符涨到 28.27%,R@1 反而从 91.15% 降到 89.17%;按段落切的 para_800 拿到最高的 93.33%。
拿 40 篇真实中文文章、共 67,615 字,用 10 种切法各切一遍,量三件事:块被从句子中间切断的比例、切片总量多出来的重复字符、以及检索时正确的块能不能排到第一。固定字数切块九成五以上断在半句话上;加 25% 重叠让重复字符涨到 28.27%,R@1 反而从 91.15% 降到 89.17%;按段落切的 para_800 拿到最高的 93.33%。