-
10 万向量检索实测:float16 内存减半,耗时慢 20 倍10 万个 768 维向量实测:单条查询 19.79 毫秒,约每秒 50 次。转 float16 内存从 293MB 降到 146.5MB,耗时反升到 394 毫秒,是 float32 的约 20 倍。分块扫不加速。只扫 50% 数据,Recall@10 只剩 45%。
10 万个 768 维向量实测:单条查询 19.79 毫秒,约每秒 50 次。转 float16 内存从 293MB 降到 146.5MB,耗时反升到 394 毫秒,是 float32 的约 20 倍。分块扫不加速。只扫 50% 数据,Recall@10 只剩 45%。