arxiv SINDI: an Efficient Index for Approximate Maximum Inner Product Search on Sparse Vectors

名称
SINDI: an Efficient Index for Approximate Maximum Inner Product Search on Sparse Vectors
首页
https://yiyibooks.cn/arxiv/2509.08395v2/index.html
原始地址
https://arxiv.org/abs/2509.08395
描述
稀疏向量最大内积搜索 (MIPS) 对于检索增强生成 (RAG) 的多路径检索至关重要。最近的基于倒排索引和基于图的算法已经实现了高搜索精度和实用效率。然而,它们在生产环境中的性能通常受到冗余距离计算和频繁的随机内存访问的限制。此外,稀疏向量的压缩存储格式阻碍了SIMD加速的使用。在本文中,我们提出了稀疏倒排非冗余距离索引(SINDI),它包含三个关键优化:(i)高效内积计算:SINDI利用SIMD加速并消除冗余标识符查找,从而实现批量内积计算; (ii) 内存友好型设计:SINDI 将原始向量的随机内存访问替换为对倒排列表的顺序访问,从而大大减少了内存限制的延迟。 (iii)向量剪枝:SINDI仅保留向量的高幅度非零条目,在保持准确性的同时提高查询吞吐量。我们在多个真实数据集上评估 SINDI。实验结果表明,SINDI 在不同规模、语言和模型的数据集上实现了最先进的性能。在 MsMarco 数据集上,当 Recall@50 超过 99% 时,SINDI 的每秒单线程查询 (QPS) 与 SEISMIC 和 PyANN 相比提高了 4.2 到 26.4 倍。值得注意的是,SINDI已被集成到蚂蚁集团的开源向量搜索库VSAG中 ...