多向量嵌入模型池化感知训练：压缩检索质量与存储预算的平衡之道

多向量嵌入模型为每个查询词元提供独立匹配机会，显著提升了搜索表达能力，但文档向量数量随规模急剧增加。海量文档库中可能包含数亿个向量，带来巨大的存储压力。Token 池化技术通过合并相似词元向量来压缩表示，但过度压缩可能导致信息丢失。池化感知训练方法指导编码器在向量合并时保留关键信息，帮助在同等存储预算下实现更好的检索效果。本文基于 Sentence Transformers 框架，演示了如何训练压缩检索模型并探索质量与存储的权衡。实验显示，使用 pool_factor 为 4 时，常规训练模型能保留原始 NanoBEIR nDCG@10 指标的百分之九十四点六，而采用池化感知训练后，在相同存储预算下该指标提升至百分之九十七点八。该方法借鉴了 Stefan Josef 的研究成果及 LightOn 的池化正则化研究，重点在于理解方法原理并通过简短可复现的案例进行实践。通过损失函数包装器实现训练优化，并可选使用内核加速技术。最终评估结果展示了结合多种压缩技术的效果，为多向量检索模型的存储优化提供了有效路径。