-
SimHash实测：改掉30%的字，一半查不出来360 个正样本对、300 个同题材困难负样本，横向跑 Jaccard、余弦 TF-IDF、SimHash、MinHash 五种中文近似重复检测。三种集合类算法在误报率 1% 时检出率 100%，SimHash 只有 92.78%，改到 30% 更掉到 50%。根因是它的正负样本分数区间交叉，阈值怎么定都救不回来。
360 个正样本对、300 个同题材困难负样本，横向跑 Jaccard、余弦 TF-IDF、SimHash、MinHash 五种中文近似重复检测。三种集合类算法在误报率 1% 时检出率 100%，SimHash 只有 92.78%，改到 30% 更掉到 50%。根因是它的正负样本分数区间交叉，阈值怎么定都救不回来。