从Data到DataNAI：数据基础设备的第三次演进观察与思考

从Data到Data+AI演讲人演讲人:曲宁云器科技产品总监2024.7.5云器Agenda云器02新一代数据平台架构演进思路与验证1.1970年代，数据库时代2.诞生了包括Oracle、SqlServer在内的优秀数据库产品3.大多数数据应用创新（例如BI），来自数据库时代2.2000年代，大数据时代Google搜索业务需求奠基大数据领域（规模驱动），1.海量数据与低成本，分布式架构，通用处理能力（Notonly3.2022年，大模型时代第二次革命：BigData第一次革命：数据库第三次革命：AGI存储存存储储存储结构化数据处理存储存存储储存储结构化数据处理Real-TimeAnalyticsBatchProcessing数据应用存储系统DataLakeWarehouseAI处理/训练服务AIProcessing/ServingAppAnalytics）ReportingAnalyticsStreamingProcessingTrainingPlatform源OperationalWeb）Agent）OLTPDatabaseViaCDC上述内容来源于⽹络公开信息云器Agenda云器010102020303存储存储!2.组装式数据架构仍然复杂，异构存储，多套元数据，带来大量的计算和存储冗余和管理成本。极高的数据管理成本和开发成本3.组装式数据架构缺乏满足业务变化的灵活性。存储存储!2.组装式数据架构仍然复杂，异构存储，多套元数据，带来大量的计算和存储冗余和管理成本。极高的数据管理成本和开发成本3.组装式数据架构缺乏满足业务变化的灵活性。Real-TimeAnalyticsReal-TimeAnalyticsStreamingProcessingBatchProcessing存储Warehouse存储Warehouse存储存储一体化分析引擎架构的设计目标数据处理的“不可能三角”，流、批、交互分别面向一个方向优化WarehouseAIProcessing/ServingDataLakeRAGWarehouseAIProcessing/ServingDataLakeRAG/AgentReportingReal-TimeAnalyticsAnalyticsOLTPDatabaseViaCDCOperationalWeb）Agent）AIProcessing/ServingRAG/AgentAIProcessing/ServingRAG/AgentReportingAnalyticsAppOLTPDatabaseViaCDCOperationalWeb）Agent）v云器Agendav云器010102020303!!v云器三个未解决的难题v云器1.SQL最终成为数据库和大数据的主流开发接口–声明式编程（Declarative）天然的易用性和普适性2.随着大模型/AGI发展，编程开始走到辅助编程（Copilot）阶段v云器三个未解决的难题v云器1.智能BI/取数是继对话问答（ChatGPT）之后的第二大场景2.随着大模型/AGI发展，Copilot成为标配3.但智能BI仅仅是自动驾驶的第一步v云器三个未解决的难题v云器疑问三：半/⾮结构化数据，知识的*显式*1.结构化数据的显式表达就是表，数据被最终提取出来形成表格（二维relation）2.半/非结构化数据，目前采用两种方式表达：1.成为大模型的一部分2.向量化之后进入向量引擎（所谓的知识库）