首页 › 标签:BM25

标签:BM25

共 1 篇

  • 25%重叠多出28%重复字符,召回反而降了
    25%重叠多出28%重复字符,召回反而降了

    拿 40 篇真实中文文章、共 67,615 字,用 10 种切法各切一遍,量三件事:块被从句子中间切断的比例、切片总量多出来的重复字符、以及检索时正确的块能不能排到第一。固定字数切块九成五以上断在半句话上;加 25% 重叠让重复字符涨到 28.27%,R@1 反而从 91.15% 降到 89.17%;按段落切的 para_800 拿到最高的 93.33%。

    大模型原理 2026-10-23 23 阅读