NSG核心API详解从索引构建到搜索查询的Python接口使用指南【免费下载链接】nsgNavigating Spreading-out Graph For Approximate Nearest Neighbor Search项目地址: https://gitcode.com/gh_mirrors/ns/nsgNSGNavigating Spreading-out Graph是一种高效的近似最近邻搜索算法通过构建特殊的图结构实现对大规模高维数据的快速检索。本文将详细介绍NSG项目的Python核心API帮助开发者快速掌握从索引构建到搜索查询的完整流程轻松上手近似最近邻搜索技术。 项目核心架构与API概览NSG项目的Python接口通过pynsg模块提供主要包含两大功能组件索引管理和图结构创建。核心API集中在NSG类定义于bindings.cpp和图创建工具graph_creator.py形成从数据预处理到高效查询的完整链路。图1NSG在SIFT数据集上的搜索性能曲线横轴为搜索参数纵轴为召回率 快速开始环境准备与安装1️⃣ 源码克隆与依赖安装git clone https://gitcode.com/gh_mirrors/ns/nsg cd nsg pip install .2️⃣ 核心模块导入from pynsg import NSG, create_graph_file from pynsg.graph_creator import read_fvecs 核心API详解1. NSG类索引管理核心初始化索引对象nsg NSG(dimension128, num_points100000, metricMetric.L2)参数说明dimension数据维度如SIFT特征为128维num_points数据集大小metric距离度量方式当前支持L2欧氏距离构建索引build_indexnsg.build_index( datatrain_data, knng_pathknng.graph, L100, R30, C50 )关键参数knng_pathKNN图文件路径可通过create_graph_file生成L/R/C图构建参数影响索引质量和构建速度图2不同L参数下NSG在高斯分布数据上的性能对比包含构建时间与搜索精度图优化optimize_graphnsg.optimize_graph(datatrain_data)该方法通过局部优化提升图结构的连通性可将搜索效率提升30%以上见test_nsg_optimized_search.cpp验证结果搜索查询search/search_opt# 普通搜索 results nsg.search( queriesquery_data, datatrain_data, k10, search_L150 ) # 优化图搜索需先调用optimize_graph results_opt nsg.search_opt( queriesquery_data, k10, search_L100 )性能对比优化图搜索在相同召回率下可减少40%的计算量参考figures/rand_graph.png随机数据测试结果索引持久化# 保存索引 nsg.save_index(nsg_index.bin) # 加载索引 nsg.load_index(nsg_index.bin)2. 图创建工具create_graph_filecreate_graph_file( filenameknng.graph, xtrain_data, k16, metricL2, hnsw_efConstruction200 )功能为原始数据构建KNN图NSG索引的前置步骤参数k近邻数量推荐值16-32hnsw_efConstructionHNSW算法参数影响KNN图质量 典型应用流程SIFT特征检索完整示例# 1. 读取数据 train_data read_fvecs(sift_base.fvecs) # [1M, 128] query_data read_fvecs(sift_query.fvecs) # [10K, 128] # 2. 创建KNN图 create_graph_file(sift_knng.graph, train_data, k16) # 3. 构建NSG索引 nsg NSG(dimension128, num_pointslen(train_data)) nsg.build_index(train_data, sift_knng.graph, L100, R30, C50) nsg.optimize_graph(train_data) # 4. 执行搜索 top10_results nsg.search_opt(query_data, k10, search_L120)图3NSG在GIST、SIFT、随机数据上的综合性能对比包含索引大小与查询速度⚙️ 参数调优指南参数作用推荐范围性能影响L构建阶段候选节点数50-200L越大索引质量越高构建时间越长R图构建迭代次数20-50R过小会导致图连通性差search_L搜索阶段候选节点数100-300直接影响搜索速度与召回率平衡调优建议优先固定search_L150通过调整L步长50优化索引质量实际应用可参考tests/test_nsg_search.cpp中的参数配置。 总结NSG通过高效的图结构设计在大规模高维数据检索任务中展现了优异的性能。本文详细介绍了Python API的核心功能包括索引构建、图优化、搜索查询等关键操作并提供了完整的应用示例。开发者可根据实际场景调整参数在搜索速度与精度之间取得最佳平衡。对于高级应用可深入研究C核心实现src/index_nsg.cpp和优化算法进一步提升NSG在特定数据集上的表现。【免费下载链接】nsgNavigating Spreading-out Graph For Approximate Nearest Neighbor Search项目地址: https://gitcode.com/gh_mirrors/ns/nsg创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考