AnalyticDB向量技术介绍

1、AnalyticDB 向量技术介绍技术创新，变革未来向量数据处理数据库：AnalyticDB文本模型人脸模型语音模型分布式计算硬件加速An alyticD B结构化& 非结构化 融合存储融合分析高效索引结构化数据分析文本分析图像分析 视频分析 声纹比对S Q L +XM L/D L 集成融合分析快速分析全文、图像、视频、高效索引音频 融合查询SSE、GPU加速 10X超大规模MPP弹性扩展到PB海量数据 1000亿 高并发分析 10000QPS开放易用算法开放首创SQL非结构化分析AnalyticDB支持结构化数据和非结构化数据(向量)的 检索，使用SQL接口就可以快速的搭建起视频、音 频、图

2、片、文本等非结构化数据与结构化数据混合 检索等功能。ADB向量版架构门禁系统视频检索推荐系统解决方案人脸特征提取OCR人体特征提取.音频UBM文本Bert数据增删改查模型管理接口API音频检索MasterSlave人脸模型OCR模型人体模型其他模型模型管理WorkerWorkerWorkerTF 推理服务其他推理服务ECS/EGSRestful APIWorkerWorkerWorkerTF 推理服务其他推理服务ECS/EGSRestful API向量索引-高效ANN算法向量索引FLATIVFPQGRAPHVGPQ达摩院Proxima开放和集成自动优化指令集并行GP U加 速C+/JAVA I

3、nterface元数据文件存储索引CBOKey地址映射索引自动调参向量编码（PQ、OPQ）索引（HNSW、Proxima、VG） 距离计算函数S S E A V X内 存 对 齐分 支 预 测数 据 预 期CreateOpenSearchInsertDelete无 锁 优 化PQ索引基本原理：1、量化：将高维向量映射为低维PQ码，高维距离计算转成查表计算，计算复杂度下降一个数量级。2、聚类：将数据集聚成多个类，只检索跟目标最近的少数几个聚类，减少搜索范围。Graph索引Navigable-Small-World-Graph（NSG）Hierarchical Navigable Small Wo

4、rld graphs（HNSW）基本原理：图的每个点是一个向量，选择任意一个顶点S出发，首先遍 历S的邻居，找到距离与 Target 最近的A节点，将A设置为起 始节点，再从A节点出发进行遍历，反复迭代，不断逼近， 最后找到与 Target 距离最近的节点A时搜索结束。两个实现算法：NSG和HNSW向量查询WorkerWorkerWorker优化器分区裁剪码本Partition MergerPQ索引Column data全量Graph索引增量Top 5Top 5Top 5Partition MergerPQ索引Column data全量Graph索引增量XPartition MergerPQ索

5、引Columndata全量Graph索引增量XPartition MergerPQ索引Column data全量Graph索引增量Top 5Top 5特色分布式聚类分区裁剪码本加速全量数据为PQ索引增量数据为Graph索引Top 5基于ADB的图搜解决方案Looks likeAliceIprefer redQuery withImage Only融合查询其他检索系统ADB 向量版Red colorSELECT *FROM clothes WHERE clothes.color = redORDER BYDISTANCE(clothes.feat ure, query_feature) LIMI

6、T k;非结构化数据Feature Extraction结构化数据SQL DialectADB向量版QueryFeature Vectorclothes.color = redORDER BYDISTANCE(clothes.feature, query_feature)基于ADB的小区人员管理解决方案系统架构数据流SQL 接口融合分析高效索引人员信息人脸特征向量出入记录账户信息AnalyticDB口罩检测人脸识别 模型眼部识别 模型人脸检测人脸追踪SeetafaceAnalyticDB算法支持戴口罩的人脸 门禁通过人脸查询家庭成 员出入记录人员信息登记人脸+结构化信息混合查 询出入记录前端页

7、面(HTML, Javascript)人脸识别模块结构化 数据人脸图片特征向量账户注册/登陆人脸特征眼部特征人脸识别模型眼部识别模型人 脸 照 片AnalyticDB特征提取写入写入人脸特征眼部特征人脸识别模型眼部识别模型人 脸 照 片AnalyticDB向量检索向量检索口罩检 测戴口 罩?是否登记流程查询流程竞品对比功能特性Milvus开源ESADB实时性实时可查T+1实时可查增删改查不支持不支持支持接口SDKSDKSQL融合检索支持不支持支持水平扩展10100101001000+压缩无压缩无压缩2倍压缩功能对比226050030003500300025002000150010005000图搜特征人脸特征开源SIFTQPS对比Milvus开源ESADB性能对比商业方案硬件要求指标结果每日写入量2,000,000*机器数最大可存储数据256GB*机器数黑名单QPS256*机器数随机查询QPS10010000性能指标指标价格硬件预计2万软件1