⾯向⽣成式AI的向量数据库：架构性能与未来趋势

⾯向⽣成式AI的向量数据库：架构，性能与未来趋势向量数据库背景介绍Milvus整体架构设计性能的关键-索引⾯向AI持续进化01向量数据库背景介绍什么是向量数据什么是向量检索找到离查询向量最近的 条向量（TopK）怎么计算距离取决于模型定义使⽤怎样的

Metric，常⻅的有

L2，IP

和Cosine

等什么是向量数据库向量数据库是⼀种专为存储和查询⾼维度向量数据⽽优化的数据库系统为什么需要向量数据库AI

1.0时代，向量数据库已经被⼴泛应⽤于机器学习应⽤中，包括推荐系统，搜索，⻛控，安防等系统中。现在仍然是重要的使⽤场景为什么需要向量数据库RetrievalAugmentedGeneration(RAG)，向量数据库作为存储记忆体保存领域相关的知识，⽤于查找query相关的数据LLM从增强的提示词中获得为⽤户量身定制的答案，增强了结果的相关性什么是⼀个好的向量数据库性能扩展性易⽤性功能可观测可运维⽣态集成故障恢复安全…您公司的logo02Milvus整体架构设计云原⽣的分布式向量数据库Proxy：接⼊层，负责请求编译，检查和路由Query：负责数据/索引的加载和查询Data：负责数据批流转化Index：索引构建云原⽣的分布式向量数据库强⼤的隔离性，建索引不争抢查询资源良好的扩展能⼒，⽀持百亿级别的向量更加灵活的流式数据处理能⼒和增量更新/删除能⼒实时性和性能的trade

offSegment是milvus查询的最⼩单位growing

segment负责流式数据的查询，保证数据的实时可⻅，性能差sealed

segment负责持久化数据的查询。数据构建过索引，性能好通过indexNode构建索引替换queryNode上的数据加速查询异步compaction把⼀些⼩segment合成⼤segment，加速查询合并delete数据，做物理删除，对向量检索更加友好批量写⼊⽀持bulk

insert功能，⽤户提供json/csv/parquet等格式的⽂件，跳过消息队列，直接插⼊到对象存储⽀持Spark

connector，外部数据源可以通过Spark

ETL导⼊到Milvus全局索引根据不同租户做划分数据根据标量过滤条件划分数据根据向量空间分布划分数据Zilliz

cloud：向量数据库即服务Zilliz

Cloud是Zilliz基于开源向量数据库milvus打造的全托管企业级向量检索云服务分为Serverless，SaaS和BYOC三个版本，⾯向不同需求和不同部署环境⽬前已经登陆AWS，GCP，Azure，阿⾥云、腾讯云等您公司的logo03性能的关键-索引主流向量索引树索引：维度灾难，性能差哈希：精确有限量化：精度有限，但⽐哈希更为常⽤图索引：占⽤资源⾼，精度和性能优异哈希量化图树knowhere引擎Knowhere作为milvus的核⼼向量引擎，集成了多种向量算法，供⽤户⾃由选择对外统⼀接⼝，⽅便集成新索引FLAT暴搜：效率很低，但100%准确！数据量少的时候可能优于索引的性能IVF对数据点做聚类，分成若⼲个buckets查询时找到query最近的nprobe个buckets，避免搜索全量数据Product

quantization将向量分成m段，每段⼦向量通过聚类编码成聚类中⼼id，有效压缩向量的内存占⽤查询时预计算query向量和每段聚类中⼼的距离，把距离计算转化成查表操作HNSW⽬前最为⼴泛使⽤的图索引建索引的原则：近邻的近邻⼤概率是近邻，同时引⼊⼀些⻓边防⽌陷⼊局部最优层次化的结构快速定位，贪⼼式搜索找到最终结果DISKANNDisk中保存图索引，并按照向量本身和邻居id⼀起存的⽅式增强locality。每次IO同时得到原始向量计算精确距离，同时得到邻居id，⽤到内存中的PQ编码计算近似距离⽤于导航DiskANN可以实现较低的内存占⽤，达到还不错的性能和⾼精度GPU

cagra和NVIDIA团队合作，将gpu

cagra索引集成到knowhere，充分利⽤gpu的并⾏计算能⼒，加速索引构建和查询如何选择最合适的索引希望降低cost考虑采⽤disk的⽅案，量化的⽅案。希望提⾼accuracy则不去做激进的量化策略，要求很⾼则使⽤FLAT。希望提⾼performance，采⽤内存图索引/gpu索引⽅案不可能三⻆：必须在限制的条件中进⾏筛选最合适的策略Zilliz

cloud商业版索引引擎-cardinal更加⼯程化的代码更智能的参数学习更加优异的数据存储布局更加极致的SIMD优化您公司的logo04⾯向AI持续进化Filter

search带标量过滤条件的向量检索已经成为⼀个基本需求milvus⽀持多种scalar

index加速标量过滤的效率。同时⽀持向量侧通过标量分布构建融合索引加速过滤Sparse

vector不⽌于dense

vector!

与dense

vector跟更加关注语义不同，sparse

vector提取了关键词的信息，通过关键词匹配找相关的结果，可解释性强在out

of

domain的数据上sparse

vector更有优势Hybrid

search⽀持多向量多模态存储和检索，可以是多个densevector，也可以是densevector和sparse

vector的组合可以从更多信息的维度进⾏召回和rerankGrouping

search仅向量维度的召回不⼀定满⾜⽤户的需求。在⽂本检索时，⼀个向量代表⼀个chunk，缺少全⽂视⻆可以通过doc维度做聚合搜索更加易