在当今信息爆炸的时代，如何从海量数据中快速定位所需内容，已成为各类应用的核心挑战。无论是搜索引擎的网页推荐、电商平台的商品筛选，还是大型语言模型的知识检索，都依赖一项关键技术——向量相似性搜索。近日，一支由浙江大学学者领衔，联合新加坡Shopee公司、阿里巴巴云计算及南洋理工大学研究人员组成的国际团队，针对该技术提出全新评估框架，并开发出实用决策工具，相关成果计划在2026年ACM SIGMOD国际数据管理大会上发布，论文预印本已公开于arXiv平台。
研究团队通过系统分析发现，现有评估向量搜索系统的方法存在根本性缺陷。传统指标如同仅用跑步速度衡量运动员表现，却忽视其是否跑向正确方向——某些系统在技术参数上表现优异，实际应用中却南辕北辙。例如在图像分类任务中，部分算法的合成召回率可达99.9%，但实际标签召回率不足1%，意味着返回的100个结果中，99个以上属于错误类别。这种“虚假繁荣”现象，暴露出评估体系与真实需求之间的严重脱节。
为破解这一难题，团队提出“信息损失漏斗”理论框架。该模型将数据从原始形态到应用结果的转化过程，类比为倒置的漏斗，信息在三个关键环节发生不可逆流失：首先是嵌入编码阶段，复杂数据被压缩为数字向量时，细节信息必然丢失，且不同模型保留的信息类型存在差异；其次是度量标准误用，许多系统盲目采用欧几里得距离或内积相似度，却未考虑其与训练目标的匹配性，导致“高分低能”；最后是数据分布敏感性，不同算法对数据特征的适应性不同，如同交通工具需匹配路况，错误选择会导致性能骤降。
为验证理论，研究团队构建了覆盖100万至1亿向量的八大数据集，涵盖图像分类、人脸识别、文本检索和电商推荐四大领域。实验结果显示，不同嵌入模型对结果影响显著：在ImageNet数据集上，DINOv2模型的标签召回率仅71%，而EVA02和ConvNeXt分别达到85%和84%，十年前的AlexNet模型更是低至21%。度量标准的选择同样关键，在文本检索中，欧几里得距离的表现普遍优于内积相似度，与人脸识别领域形成鲜明对比。这些发现表明，不存在“万能算法”，技术选择需深度匹配数据特征与应用需求。
针对技术选型难题，团队开发出基于决策树的实用工具。该工具通过四个核心元特征进行两层判断：第一层依据戴维斯-布尔丁指数和变异系数，确定相似度度量方法；第二层通过相对角度和相对对比度，推荐具体搜索算法。例如，当数据满足“欧几里得戴维斯-布尔丁指数≥余弦值，且变异系数≤0.1”时，系统推荐内积相似度；若相对角度≥60度或相对对比度≤1.5，则建议采用分割式方法。在人脸识别数据集上，该工具推荐的ScaNN算法，相比图基方法实现3倍速度提升；在文本检索中，推荐的HNSW算法，性能优势达3.2倍。交叉验证显示，工具在未见数据集上的推荐准确率仍保持85%以上。
当研究团队以任务导向标准重新评估搜索方法时，传统榜单发生颠覆性变化。在图像分类中，图基方法HNSW虽在合成指标上领先，但分割式方法RaBitQ在标签召回率上表现更优；推荐系统领域，传统“冠军”VAMANA在平衡相关性、热度和用户偏好时力不从心，而ip-NSW+成为实际赢家；人脸识别中，分割式方法ScaNN凭借对噪声和边界情况的更好处理，超越图基方法。这些案例表明，技术设计需从“应试教育”转向“素质教育”，兼顾指标优化与实际效果。
基于研究结论，团队提出三大发展方向：任务感知型搜索将下游目标融入搜索过程，打破传统两阶段割裂；度量感知型系统支持多种相似度标准，根据数据特征动态选择；分布感知型方法自动适应数据变化，如电商推荐中用户兴趣的动态迁移。这些方向需学术界与产业界协同推进，学术突破提供理论支撑，产业场景验证技术实效。
该研究的影响远超学术范畴。对产业界而言，全球数万家部署向量搜索的企业，若依据发现优化系统，将带来效率提升与成本节约的双重效益，用户搜索结果的相关性、推荐内容的精准度将显著改善。学术层面，研究不仅暴露现有评估体系的缺陷，更推动研究重心向实用化、智能化转移。决策树工具的开源，将加速科研创新，帮助更多团队快速定位问题。从社会层面看，更智能的搜索技术有助于打破信息茧房，促进知识开放共享，在信息过载时代提升公众的信息获取效率。
研究团队同时指出当前工作的局限性：决策树工具的泛化能力需在更多场景中验证，嵌入模型与应用需求的快速发展可能要求定期更新阈值策略，对马哈拉诺比斯距离等特殊度量的适用性仍需探索。尽管如此，这项研究已为向量搜索技术开辟新路径，其核心启示——以用户需求为导向、以实际效果为准绳——将为其他技术领域提供有益借鉴。
