AI深度报告：向量数据库AI时代的Killer App

向量数据库是什么：存储向量的数据库向量AI的核心AI的全流程其实都是围绕着向量的数学运算。量在人工智能（A）中扮演着常重的色尤在器学和度习域以下向与AI一自peA：1、数据表示：在机器学习和深度学习中，数据通常以向量形式表示。例如，图可以示像值向，文可表为向或句向；2、词嵌在然言N嵌技如od2eGoe和E）将词语转换为多维向量，这有助于捕捉词语之间的语义关系。这些向量表示用于本类情分、机翻等；3、神经网络权重：在深度学习中，神经网络的权重和偏置通常以向量和矩阵的式存储。在训练过程中，优化算法（如梯度下降）会不断更新这些权重向量以最化失；4、向量运算：许多机器学习算法，如支持向量机（M、K-近邻（KN）和主成分P及到量的离算内积算其向运。这些算助找数中的式者数进分类；5、优化梯机器和深学中优化（如度降和Ada常使用（种量更新型而损失数最助于改模的；6、强化习：强学习，智体使向表示态和作。如Q学和深度Q网D中的Q函会出个向能根这量选择佳作。总之，向量对于AI至关重要。无论是之前的N、N模型还是当前火热的anoe内的流转实是量处和变。高空向所隐含的海信也了AI用的凡力。图：N模型也是把像向量化之后进行理数据来源：ImageNet，单就数据而言，只向化之后的数据才能被I模型所分析。据够分类为结构数和结化据其结构化数据般指以用系数库示和存以二表逻辑达现数型的构数例成单工资单非结构化数有固的构包文图白结理间信息物网据在人智时目前流的对非结构化数进管理和处理的方法是利用N或ansoer等嵌入模（meddgde将非结构化数据的语义容化为高维、密集的量入（ecormbddng，即多维向直对些入进存理构化据化嵌后其语义的相似性能够通过向量空间点的距离进行量化表示，并进行常见的机器学习操作如聚、类推等。图：深度学习法将物转化为向量数据来源：Pinecone官网，向量化：技术已经充分扩散向量化技术已经十成并且存在大量的开源决方案尽向化词对大多普民而较陌生但际技早成目大应的d2c发在203年不的领在同向化的案需注的不同的领域，如文字、图片、视频等，向量化的技术是不同的。这些技术可以是诸如OpeAI大型商，也以诸如HggngFace中层供当还有大量三厂商开提。图：部分向量框架以下是一个向量化例如对我欢苹句的量我们可以为个同词分一个一字。是一可的射系：我：1喜欢吃：3苹果接下，们以这数字D来示个。例，子我欢苹”可以示向量1,2,3,4这样们可将些向输到器习型进行训和测然而种方存一问如这些向量并没有捕到词语之间的语义关系了决这问，们以用词入术如odec或Go。些法将词语示一固长的向（如50这向量可以捉语间相性。如我可得以下词量：我：0.,0.3,0.2,..,0.1]喜欢：.3,05,02,...,0.]吃：0.,0.1,0.2,..,0.3]苹果：.5,02,01,...,0.]这些向可通训预先理量本据到然们以子的每个替为应词量，而到个量表示句。向量化数据有着高的算成本因此求存本替代是必须量数据的计算本要自据处征取向表示生这过常涉及大量杂学算如阵乘征换统计算处大模据和高维据些算能会耗量计资和时外许机学和深度习法需对量化据行杂计梯下类经络训练这计任通需要大硬支，高能PU和GU及用的深学加器相之下存成主受量化据规和度响虽然高向和规数集确会致储求增加存技的发使得存成相较如代盘固硬的存容越越时格也逐降外通使用疏量示数压缩术我可进步低存储本更要是随着计技的及企业个用可按购存储空得储本得更可受相之计资的需买常格较高尤是需强计算力场中综所述向化据需计成本远于储要是为算务常及大复数运存储成本可通优技和计算务到效制。向量数据库：专门用来存储和查询向量的数据库向量数据库是专门来储和查询向量的数向量据是种门于存、管理查向（ecor数库要用于工能机学数据挖等域同统库相量据不够完基的C添、读取查询、更新、删除、元数据过滤、水平缩放等操作，还能够对向量数据进行更快速的相似性搜索前AI流大如nsoe、CpGT等够将文像非构数据化高向伴随模应场的展这些高向数的储检索显带向数库的场求。图：向量数据与其非关系型数据库的比数据来源：Pinecone，向量据的作程括以步：1、向量数据的存储：向量数据通常是高维的数值型数据，如图像特征向量、文词向等向数库用基向的储构以便速询处；2、向量索引数使用QLH或NSW等算为量制引并将向量射数结，便更地行索；3、向量查询：向量数据库将查询向量与数据库中的向量进行比较，从而找到最邻的量；4、查询结果的返回：向量数据库返回查询结果，通常包括与给定向量最相似的向量列向之的度得等环以使不的似度对最近邻重排。图：向量数据常见作流程数据来源：Pinecone，向量数据库能够通过向量搜索（ecorSac，实现更为高效、准确的执行和结果输出。当主的库检采关词索KewodSeac）方，将搜索关词数库的进行配根词相性词现频到出结果关词索缺在于其于义同表达式同文理能较差不备模或语言检能向量搜索利神网模型对如文本图查表为高向采用K近邻（eaetehbo）或近似临近算ppoxmaeNeargNegbo计算目标对象与据库中向量嵌入的距离（通常采用余弦距离、欧氏距离等方法）以表示两者的相似度并按向的似进排序返结关词搜相量索够现对语义更为精准的理解，在多模态、不同语言等环境下能够输出更为准确的结果。例如：英文的pal可以指“资本”或者首都“从中国去美国”“美国去中国”存在方向传的数据库不能很好解这些问题。图：向量搜索作原理数据来源：Elastic，向量数据库的主要点优势包括：1、高效的相似性搜索：向量数据库通过优化的索引结构和查询算法，能够在大模向量数据集中快速地找到与给定查询向量相似的向量。这有助于实现实时近实的索推功；2、灵活的向量表示：向量数据库通常支持各种向量表示方法，包括稠密向量（词嵌入）和稀疏向量（词袋模型和FD。使得向量数据库可以处种类的据如本图像音和频；3、可扩展性：向量数据库通常具有良好的可扩展性，可以在多个计算节点上分式存储和查询向量数据。这使得向量数据库可以应对大规模数据集和高并发询的求；4、高级查询功能：向量数据库通常提供丰富的查询功能，如相似性搜索、近似近邻查询、向量加权查询等。这使得向量数据库在各种应用场景中具有较高灵活和用。图：未来向量据库技术栈数据来源：Pinecone，向量数据库有什么用：给AI插上腾飞的翅膀拓展大模型的边界：向量数据库的核心应用向量数据库一个很要功能是拓展大模型边边界又分为时间边界空间界。时间边界的扩展指是量数据库能够使得模型LM拥“长期记忆所周知，前大型无是P域的GT系还是V域的ReET系）都是先练Pran的模，着常晰练截日CuofDa。导致这些型于练止之后生事一所而信的值着的逝呈现指级降这使得LM很场适用有。着量据的引入其部储最的信向能极地展大型应边向量据库可以使得大模型持实时性提高模型的用性并使得模型能动态调整。也就是说向数库使得大模型的长记得到了可能。例如假一预练新闻要型在021完成训。而到了2023年多闻件趋已经生变了大模能处这新息可以使向数库存和询223年新章向。过种式大型可以据新数生更准和关摘样推系中预练大模型能法别用和新品特通量数以时用户和产品特向从大模能根最的息为户供精的荐此外量据还以持实监和析例在融域训股票预测模可无获训截止期后股价信息过最的价向量存在量据大模可实分和测未股价走有就是在客领，量据将使大型以溯对话开。空间边界的扩展指的是向量数据库能够协助解决目前企业界最担忧的大模型泄露隐私的问题户出的opt可会含些信息根媒报道工A用haPT帮己一代的bu，这源码与导设测数有；员工B用ChaGT帮己优一代就接与产和品记设关的一代输了工C则用AI音手averCoa自的议音转成字用CaGT帮他结下议容做成要这行直导了三星键据泄而ChaGT身实也过隐泄事使一小部分的对话历史支付数据会被其他用户查看。这些据都极为敏感。通过本地部署向量数据库能够在大度上解决这个问数据本部后以储企业有关大隐数。本地署者有部大模后通特的Aent大模型以有护情下访向数库隐数据而以不网露公司隐的况，得公的务到模的助。图：peAI泄露隐数据多模态搜索向量数据库的拿手好戏向量数据库自带多态能这意味着它能够通机器学习方法处理理来自不同源的多种模态信息文本图像音频和视等数据向量化过程使这不同模态数据的内部藏息得以暴露进为态应提支个型的应用场是语搜量数库持语的息检户以用语法语文多语搜图书无事对名进多言译理这益于向表能捕到义相性得自语言查和容够互匹。此外向数库可实现模搜如用户文来索片假用户用俄文搜索“蓝色的鞋子，尽管商品的标题和描述都是英语，但向量数据库仍然能返颜为色鞋子品结果这为向数库够别不模态数之的义联进而现模的息索。图：使用向量据库中文搜索英语图书图：用俄语基于图片解来进行搜索“蓝的子）近似搜索给向量数据库带来巨大的商业化潜力即使不考虑需要M支持的边界拓展型应和模态搜索，近似搜功就可以给向量数据库带来大商业化潜力量据库近似AppxaeNaetNeghorSeac，称N）一在维据查找给查向相的项的搜方种索的目是到离询量最的据“邻。在向数库数过向化理每据点会表为维间中的一个我需找与个询量似数据似索会在这个高空中速位与查向距较的据点种似度常于向量之间的距离（如欧氏距离、余弦相似性等。由于在高维空间中进行精确的最近邻索常通常用似法加搜索似索依赖于一些特定的算法和数据结构，如LoaySensveHahng（SH、HeaccalNavgbeSaloNWAnoy等算法数结能在牲一定精度前下著速索速从实在模高数中高查搜索着大商化力：1、推荐系统：通过利用近似搜索功能，向量数据库可以帮助推荐系统为用户提更精准、更个性化的内容推荐。这可以显著提高用户满意度和使用时长，进提升业值；2、文本挖掘：在自然语言处理领域，向量数据库的近似搜索功能可以帮助快速索相关文档、发现隐含的话题和关键信息。这对于新闻分析、竞争情报、法（特是例市研究领具显的业价；3、图像检索：向量数据库可以运用近似搜索功能在海量图像库中快速查找与给图像相似的图像，这对于广告、设计、版权等领域具有重要应用价值。通过速、确找相图，企可降成、高工效；4、语音识别和处理：近似搜索功能可以应用于语音识别和处理领域，帮助企业语音数据库中快速匹配相似语音片段。这对于客户服务、语音助手和自动翻等应具显的业力；5、生物信息学：在生物信息学领域，近似搜索可以帮助研究人员在基因序列、白质结构等复杂数字数据中查找相似性。这可以加速新药研发、疾病诊断和因治等域进，而创巨的业会。实际，尼大电之一kopda就已署了量据进近搜。之前oopeda采基于acSeach的键搜，这搜很提出索关键词内含主重在词通从词搜转基向的似搜，okpeda能更好满用户搜需进精准商推智水平提升了0，而幅提升务标。图：传统的关键词搜太表层图：公司采用了成的Mshards中间件市场空间：向量数据库五百亿美元蓝海市场待引爆海量数据爆发产生大据库需求互网化势下数量爆式长同时随数大中数掘业能协作大数处技的趋熟，数据值指上趋。据Sas，2022全球建使和储数量约为97B预到05年数到18B，021205全数量合增长率为3数量爆发增为据储处理来为大需。图：21205年全球创建、使用和存储数量变化（）数据来源：Statista，全球数据库市场规仍在高速成长期。据Gaer数221年球库市场规接近00亿201亿民同增约20.3，年已市场规模倍根前产研究计到2026年全球据市规将到206亿美，22226复增长到21.3。图：21206E年球数据库市场规模化亿美元）数据来源：ExpertMarketResearch,IDC,Gartner,前瞻产业研究院，关系型数据库仍然市主导，灵活拓展与并能力助力NSL数据库腾飞。根据C告017至202，关型库DM）场模复合增长率为30.9而关数据RBS复长率仅8.12；从规模看，关系型数据库仍然占据主导，83%的数据库市场由关系型数据库构成。根据ScaeGd019统系型非系数库用户模别为0.5和9.5。根据R202球oQL市规将到73美计02228年复合长将到9.92NoonL数据市规的速持续领先传关型据。图5：209年关系型与非关系型数据库用户规模（）

图6：202年关系型与非关系型数据库市场份额（）17%83%39.50%17%83%60.50%关系型数据库 非关系型数据库

关系型数据库（RDBMS）非关系型数据库（DDMS+NDBM）数据来源：ScalGrid， 数据来源：IDC，图：21202年关系型及非关系型数据规及增速（百万美元，）数据来源：IDC，WilliamBlair，向量数据库或将迎超50亿美元市场。假：1、参考GaneDC市模数201全数库市规为800亿；2、到200，球据场规以8年合长率长即030年数据市规为358亿美；3、参考NoL云务库的比同考到AI的快渗设230NoL据中量库占将到0；根据述设们出预计到230年，全球量数据库市场规模将到522亿美元。中国向量数据库市空或将达到25349亿元根据国通数21年中国数库场模为39元全数库80亿美市的重为5.4；预计到025年中数库市规为688元202025复增率为2.4，占全数库场比约为614根据C20年国据规约为92B，占全总的18；到2025，国据模将至486B占数据量的7.中数在全的比超据市场模配较为明显。于述据我做出下设：1、到200，国据场以20的复增率增，应030年场规模71亿民，球数库的7.4；2、中国向量数据库市场占全球比重的下限≈中国数据库市场占全球数据库市场比重即7；3、到200，国据全球据规的重持在025年平；4、中国向量数据库市场占全球比重的上限≈中国数据量占全球数据量的比重，即28；根据述设们预计到2030年中向量据库市场规模或将到39146亿美元，对应23949亿人民币。需要特别指出的是于传统数据库向量库其实不止有存储能也有定的计算属性，因其M是可以扩大的。图：中国与全球数据生量及占比（，） 图中国与全球数据市场规模及占（亿美，亿元，）201010101010806040200

3%全球中国占比27全球中国占比27.77%23.01%18.00%2%1%1%5%0%

100100806040200

2%全球中国占比9全球中国占比9.04%5.36%1%1%1%1%8%6%4%2%0% 数据来源：IDC， 数据来源：IDC，Gartner，中国信通院，图：中国数据库市场模及增速（亿元，）80706050403020100

市场规模 688.02611.05492.75368309.35240.9220 22E 22688.02611.05492.75368309.35240.9

4%3%3%2%2%1%1%5%0%数据来源：中国信通院，全主流向量数据库介绍目前球有向数库产主括Pnecn、Mvu、eavaeea等。其中超过70的量据库择开过半的量据具云部的能力大分量据产品行N相搜索用SWHechcalNavgbeSalod法向数库司以初型业级市场上普获较投者青睐。公司向量数据库产品是否上云是否开源算法公司向量数据库产品是否上云是否开源算法SMIWeviate是是(o)CustomHSWPinonePinone是否MultplepopietrySIAPUhiporElsticrhOpnsrh否否Nurlhshig/HingQdrntQdrnt否是(Rust)HSW(grh)Yhoo!Vspa是是(Jv,C)HSW(grh)ZilizMilus否是(o,C,Pyhn)FAISS,HSWYhoo!Vld否是(o)NTPineonePineoe拥有技术背景厚的工程团队，先上架Goge云和WS并打市场。2019年Pneone创人EdoLiby立Hypeub.a提基深学多媒体搜解方；221初Hypeube.ai正转为Pneon，注向数据库领研。队数程师自GogeDaabck、Spnk等名技业。公司始兼席行官EdoLiby得鲁计算科博学，担任aho高研总纽约区aho研实室的责，入S团队建尖的器习算、统服。22年2起，Pncoe后上架oogeCod和用户在Mkepace买并用Pecon，改变基础构前下将AI技术持搜加到用程Pneone通借平台流量步升品名，有进开售道，占场额。Pineoe是一个闭源托管仅使用简单I的云原生向量数据大划分为核心索引、容器分（coanerdsrbuton、云理层三部分Pnecoe心索引负将自三数源的维量成L可读的式器确数据库收查、新嵌入令，延于50秒运状处载平衡行据制命名间分数库云管层得户不装硬件的情况下，仅通过创建索引并导入向量数据就可实现查询。此外，用户可以使用API随随更新查向量引司历次重技创新1团队在保证管统定行元数与像历gaphaves）相合条，研发出态可滤图索引2）原RoksDB储引达极后团构了全新“ee向储其大数库成对的储超RcsDB10倍低305运成基于C和Pyon出代库题团队最决在Rust重搭建据和发境架构有提了发并降低了营件率。图：Piecoe向量数据库结构数据来源：Pinecone，Pineoe数据库拥有F特性：快速（as、实时（Fe、可过滤（Fiee全托管（u。即使数十亿规模的数据存储，依然可以保持极低的查询延迟。在增辑删数时时新引搜索元据滤结提高查询结果的相关性。平台保证稳定、安全的运行环境，产品入门简单、使用便利操作流程可划分创索（Ine连接索引插入索引使用索引四步通过建一索对常为son式数据将量入和数写到引然后调索对的法执行似搜或他作。pneone还供些定义的引（ndxy如ageSeachextSeach以开发更容易地始定用。表：Pincone向量数库设置索引分步内容索引是向量数据的最高组织单位。创建新索引时可以设定od与DistnetriPod是运行服务的配置硬件单元可选种类包括1odp1od、创建索

p2pd每种类型的pd尺可在x248四挡调Distnetris衡量向量对象的相似度，有ulidn、osine、otpout种可选。此外，支持从集合（olltion）中建索引，集合是向量与元数据的不可查询表示连接索引 如果使用Pinne客户端访索引，需要与索引进行交互。将向量嵌入与元数据插入索引。向量对象以（id,vtor）元组列表（tupl）插入索使用索

形式插入，含元数据的向量以键值对（ky-vluepirs）形式插入用于条件滤。完成索引设置后即可利用索引进行数据查询数据筛选数据获取数据理，以及管理索引、插入更多数据或更新现有向量等操作。数据来源：Pinecone，定价标准当前在初者标准企级三种式初者本用但限创一索与个划标版适于规模生应程持将向量数库存集中能够行由引每收费70美起企本够实现准本的有能支多可区及24725属持每月收费04元。Pnecoe一级市场获.38亿美元融资，估值超7美元。201年7月Pncone种子到100美资投方ngnueapa202年3底司A轮资280美Mnoenues投gerGoangenueCapal投，公司值到1.68亿元2022底伴随CaGT推出引生式AI热，作为LL海体量数库求增者投者纷入数据库赛至203年4公司B获AndeeenHowzNQGwhMnoenue、ngnueCpal投资超1美，轮融总到1.8元，投后值至7.5亿元。表：Pincone融资情汇总估值（美元）

融资金额（美元）

参投机构种子轮100万ingnureCpitl领投A轮1.8亿280万Mnlonurs领投，igrlbl、igntureCitl跟投B轮 7.5亿 1

AndrsnHorowitz领投ICNIQrowthMnlonursngnureCpitl跟投MilvusMvus向量数据库由中创业团队ZZ研发并于2019年面世Zz立于2017年，有过00名。通向数库Mvu，Ziz与Nvda、B微软、S公司立作前开源Mvus已为领先向数库决案，有~800个GHbSa。图：Mvus向量数库生态和社区布局数据来源：Zilliz，Mvus是一个基于云开源的自托管向量据Mvus数库含下点：易于使用助Mvus量数库使以不到分的间创大规模相性索务K单也用种不的言；速度快Mvus有的硬效提先的索算索度提升10倍；高可用性：Mvus向量据已成功在一千名业用户中进行了实测试通过各系组的泛隔，Mvus具较的弹和靠；高度可扩性Mvus分布和通特使面对规向数时够提供效服；云原Mvus量库采系化云生法计与储离并允许用横、向展；功能丰Mvus支种数类具属滤的强量F支持、配的致级、时旅等。为了强性灵性Mvus由储和算组成该统括个别：接入层Acesaye：入层一无态理成，当户系和点的前；协调服务oodnatorervc：调服将分配工节，充当系统大；工作器节点rkernde作节充人的臂和种执器，遵循协调器服务的指令并执行用户触发的数据管理语言L/数据定义语言DL；存储Stoa：存储是统的骨骼，确保数据可持续性，包括元存储、日志代理和象储。图：Mvus向量数库架构数据来源：Milvus，Zz目前已进入B轮融阶段获得投资额超1.3亿美元022年8月24日，Mvus的发公司Ziz宣，在最初430万元B轮资础加了6000万元融。本融资沙石头Aaconues下元化基金Properenues投现有者eaeksPavonCapa（马HhoueCapa（瓴Yapal和uqiCapa云本）投本融后公司的总资达113亿资用支其量数库工设和市工。表：Zz一级市场融情况汇总融资轮次 融资金额（美元）

参投机构A轮 100 5YCpitl领投，nqiPrtnr、Eminnenurs跟投B轮 430 HillhuseCpitlrop领投YCpitluqiPrnrs、rustbrigePrnrs、Pvilonpitl跟投B轮（Extenson）

600 Prospriy7turs领投，HilhouseCpitlrop、5YCpitl、nqiPrtnrs、PviinCpitl跟投spaepa由ah开发，发布之初被定义为一开的“大数据处理和务擎。2003年2月2日aho以1美购ea身—挪搜引司Ahee；2017年9月8，由aoo和OL业合后生的司Oah布源epa，并将码于GHu。ea能够部署于本地云上，能够实现不类的搜索功能。为源应用，epa应程可部本或eaCud并可入Jva组和PhonAPI部完后ea能够现于统BM5的信检、量近搜索、机器习型务问、内推等能目前epa已应用于Oah多个产括aho.cohooNwsaooSoahooFnnchooGe、Fckr等每日以处数十亿个户请求为户返回基数十亿档出的搜索结和荐容并供定化容广。ea由多个无状态的Jaa容器集群和零个多存储数据的内容集组成无状态容器集群括入询及应组这些件供括引换和查询执的台以提应程的间逻器群查数据操作传到容群的应节可添组访问自部务数集群负存数并据执查和理查的范包简数查使用机器习型数进排序以对据行组和合。图：epa向量数据架构数据来源：Vespa，viateeavae前身为SIehnoog成立于209年是一家全球性初创业目前eavae荷兰美拿大地有支构有过30名队成evae创人BbvanLuit与EtenneDocer有10年上的由程经，有深厚的术累。eavae是一个低延迟向量数据库对不同的体类（文本图像等具开箱即用的支持。eavae提供义索问提、分、制模yoch/enoFwKeas等功基于Go语够对象向允量搜索构筛和原数据的错力结且持GapLET各种户编语进访问。eavae可进行本地或化部署，具有多种价式。eavae提供SaaS以及混合aaS的务中aaS务价为类准企业关商起价分为2515450美元，实定将随量储、索的维度的增长而提升。标杆应用场景——eavae于023年推出haGT的Pln插件其能括：1、允许用户连接一个向量数据库到ChaGT，其中包含用户的专有数据，可以ChaGT用用于特定问；2、许户个文行存使CaGT的答更个化；3、户以向数中储与ChaGT对，在闭再开haGT后，据据中内继续话。eavae的索引流程：以文本编码器（ex2veanoer）和问答编码器（qnanoe）为例，用户可以创建任意数的索引，每个索引包含定数量的分引的独立存单个片均以行象倒和量存储其对和置储使用LSM树实现向索独于些象存储受SM分影响此eavae身是原的量据，不自带任模此类能将可模进执除述到文答编码模外eavae持加例其媒类的向化物识、写查等外模。图：avae向量数据库架构数据来源：Weaviate，投后估值2亿美元融资额超过670万美元023年4月22日eavae布，继202年A轮资得650美B轮得500美（合35亿人民币，由dexenues领投Baeyenues机构投公截目共得6770万元资投值2美。表：evae一级市场融资情况汇总融资轮次 融资金（美元）

参投机构种子轮 10万 ZettanurePrtnrs领投，ING