陈文光：AI时代的数据处理技

•数据量(Volume)和数据生成速度(Velocity)•数据量(Volume)和数据生成速度(Velocity)(inzettabytes)/statistics/871513/worldwide-data-created//hackernoon/the-ai-hierarchy-of-needs-18f111fcc007VectordatabaseNearestneighbors一Question?--Answer吴恩达（AndrewNg.）模型发布时间参数量预训练数据量GPT-12018年6⽉1.17亿GPT-22019年2⽉40GBGPT-32020年5⽉1750亿45TBGPT-3.5（ChatGPT）2022年11⽉千亿级GPT-42023年3⽉未披露AppsQueue(Kafka)RealTimeETL（Flink,SPARK)Database(PyTorch,TF)(AppsQueue(Kafka)RealTimeETL（Flink,SPARK)Database(PyTorch,TF)(PyTorch,TF)（Hbase,KV,ES)DataLakeAnalystsBatchTraining/Test(PyTorch,TF)（Flink,Spark问题问题架构创新架构创新双计算引擎•ZhifengYang,QuanqingXu,ShanyanGao,ChuanhuiYang,GuopingWang,YuzhongZhao,FanyuKong,HaoLiu,WanhongWang,JinliangXiao.OceanBasePaetica:AHybridShared-nothing/Shared-everythingDatabaseforSupportingSingleMachineandDistributedCluster.PVLDB,16(12):3728-3740,2023.成本优化，维护方便 成本优化，维护方便 OceanBase复杂查询优化线性化实时OLAP处理能力•水平可扩展性（数百亿条数据记录）和低延迟（秒）TP&AP同一套引擎•同时处理TP和AP查询集群级别的并发控制•优化资源分配和流量控制的灵在线近线数据不一致模型效果不一致ApplicationApplicationStreamingDataflowStreamingDataflowDataflowPlaybackPlaybackTuGraphDataflow:流图计算系统，支持国际标准图查询语言ISO-GQLApplicationApplicationStreamingStreamingDataflowDataflowDataflowPlaybackPlayback OceanBase蚂蚁VSAG库••提供通用向量检索和构建接口（与Faiss形式类似）•向量间距离计算优化•提供Binary向量索引算法•IVF算法对于批量搜索有很大•低门槛使用，无需算法专业知识，不需要算法选型，直接通过简单接入，可以快速获得向量检索能力，拥有内存和磁盘两个场景下极致解决方案的索引库•向量检索工具箱，可以深度定制向量检索算法，对于特定的场景/workload可以有更好的性能，需要用户对于检索算法/参数非常了解，有最好的GPU算法实现，面对高写入/高QPS场景有巨大优势检索过程与分析型索引类似•CommonCrawl是一个海量的、非结构化的、多语言的•CommonCrawl是一个海量的、非结构化的、多语言的CommonCommonCrawl原始数据清洗后清洗后高质量文本数据以正则化后的文档哈希值为键，保留首次出现的文档根据用户提供的语言白名单、黑名单过滤，根据质量分桶-Java/ScalaPyTorch,Tensorflow,SQL,Spark,PaddlePaddleDataFrameSciPy,Notepadkk问题问题*Dai,J.J.,Wang,Y.,Qiu,X.,Ding,D.,Zhang,Y.,Wang,Y.,...&Wang,J.(2019,Novemb