2022年6月中国数据库行业分析报告_第1页
2022年6月中国数据库行业分析报告_第2页
2022年6月中国数据库行业分析报告_第3页
2022年6月中国数据库行业分析报告_第4页
2022年6月中国数据库行业分析报告_第5页
已阅读5页,还剩37页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、智能风起,列存更生2022年6月中国数据库行业分析报告乐 / 知 / 乐 / 享同 / 心 / 共 / 济摘要排行榜风云又起,各产品墨坛论剑。2022年6月的中国数据库流行度排行榜再掀风云,6月排行榜共有231个数 据库参与排名,两名新成员的加入,注入了新活力。本月排行榜前十用一句话可以概括为:TiDB重夺冠军宝座, 达梦挺进前三;人大金仓跻身六强,AnalyticDB稳居第十。另外本月发布的排行榜引入了微信指数,其所反映的 热度变化来源于对微信搜索、公众号文章以及朋友圈公开转发文章形成的综合分析。目前国产数据库厂商更加注 重微信生态的建设,但是搜索引擎无法对公众号文章进行收录。 因此,在百度

2、指数和360趋势的基础上,纳入微 信指数这一指标,排名规则也更加的完善。5月26日消息,深圳出台深圳市关于促进消费持续恢复的若干措施,将信创与促消费政策并列,并明确具体 国产化率指标,该文件出台有望成为我国信创产业升级的第一枪。结合信创的推进节奏,2022年有望成为行业 信创的“元年”。国家政策利好本土厂商,多项重大政策提出了基础软硬件国产化的要求,“国产化”、“自主 可控” 成为政策高频词汇。信创风口下,国产数据库迎来发展新机遇。2020-2022 三年时间,信创产业进入好 用阶段,将在党政军和八大核心行业(金融、电信、能源、电力、医疗、教育、交通、公共事业)铺开。2022 年中国信创产业市

3、场规模将达16689.4亿元,高速增长态势明显。2021年中国数字经济规模已达47.6万亿元, 占GDP比重为43.5%。得益于中国数字经济的迅猛发展,2021年中国信创产业规模达13758.8亿元,2027年 有望达到37011.3亿元。列存数据库从数据存储方式上区别于行存数据库,所有数据按列存取。行存数据库在做一些列分析时,必须将所 有列的信息全部读取出来;而列存数据库由于其按列存取的特性,在对特定列进行查询分析时,能够有效降低 I/O,提高读取性能。此外列存数据库往往还能在数据压缩上带来更大压缩比,节省了磁盘存储空间。在实践中, 列式数据库非常适合 OLAP 类工作负载(例如,数据仓库)

4、,这些工作负载通常涉及对所有数据(可能是PB 级)高度复杂的查询。在当今数据大爆炸的时代,列存数据库由于其存储空间少,读取磁盘少以及复杂数据查询 效率高的缘故,成为构建数据仓库的理想架构。基于这些管理和应用上的优势,列存数据库应运而生并得到了快 速发展。乐 / 知 / 乐 / 享同 / 心 / 共 / 济目录 content一、数据库排行榜及前沿动态 二、国内市场及热点动态分析三、列式存储技术演进及解析四、中国数据库产品典型案例乐 / 知 / 乐 / 享同 / 心 / 共 / 济达梦本月得分较上月上涨49.27 分,环比上涨10.6%。达梦蛰伏五 个月,本月顺利挺进前三。自2022 年1 月位

5、列榜单第三 后,达梦排名一直在第四至五名徘 徊,本月排名的跃升也是对其实力 的证明。排行榜 - 榜单前十数据库互争雄长排行榜风云又起,各产品墨坛论剑。2022年6月的中国数据库流行度排行榜再掀风云,6月排行榜共有231个数据库参与排名,两名新成员的加 入,注入了新活力。本月排行榜前十用一句话可以概括为:TiDB重夺冠军宝座,达梦挺进前三;人大金仓跻身六强,AnalyticDB稳居第十。2022年6月中国数据库排行榜TOP 5来源:墨天轮 /dbRankTiDB 6月得分611.97分,较上 月得分上涨25.08分,新增两个专 利、15篇论文,重夺榜单第一。其5月在产品推广、生态建设上 都卓有成

6、效。继TiDB 6.0版本发布 后,围绕这一新版本在内容构建上 展开了一系列的征文活动。openGauss 6月得分较上月上 涨7. 62分, 与第一名相差15. 33 分,退居榜单第二。其长期的排名优势与注重企业级 扩展,建设生态,发展商业发行伙 伴息息相关。近日,openGauss 社区被评为“先进级别”。OceanBase 本月与达梦名次互 换,以5.48分的微弱劣势退居榜单 第四。其经历了十余年的打磨,在人才 培养、市场拓展上高歌猛进。近日 凭借出色的产品性能被授予了 2022 数博会领先科技成果奖。GaussDB 本月退居一位,以 452.99分位居第五。 GaussDB属 于云数据

7、库,能够满足跨云和本地 环境的全方位的数据用例。近日, 光大银行基于华为云 GaussDB获得数博会领先科技成 果奖“新产品”荣誉。排行榜 - 榜单前十数据库互争雄长来源:墨天轮2022年6月中国数据库排行榜TOP 6-TOP 10人大金仓自2020年2月位列 第六后,本月以370.99分再 次重归第六名,较上月跃升了 两个名次。近日, 金仓数据库管理系统 KingbaseES 凭借产品的技 术创新性、成功突围获评“数 字经济创新产品”优胜奖。乐 / 知 / 乐 / 享同 / 心 / 共 / 济本月下降一位处于第七名。 今年5月25日, 阿里云开源 Polar DB- X 升级发布新版 本,包

8、含了五个特色功能。其用户覆盖的范围上越来越 广,在经过阿里巴巴双十一活 动的洗礼后,市场认可度也越 来越高。GBase 本月位居第八名。 其 一直低调做事,持续深耕。近日,2022年中国信创产业 拳头奖在穗揭晓GBase斩获 “最佳数据库品牌”。其也陆 续举办了技术征文、数据库训 练营等活动,培养了一批潜在 的用户。近日, 其入选Frost Radar( 弗若斯特雷达) 领导者象 限,增长指数排名第一。这说 明TDSQL在大踏步的前进。其是阿里云自主研发的云原生 数据库,凭借优秀的产品力和 良好的服务水平获得了较高的 市场认可度。T DS QLTDSQL依旧维持着上月的排 名优势,位居第九。借

9、助云的 优势,目前已拥有超过50万 的用户。A n a ly t icDBAnalyticDB 本月依旧稳居第 十名,这种排名优势看上去云 淡风轻,实际上需要较强的实 力来防守。榜单上第六名与第五名得分相差 82分,榜单第十一名与第十名 得分相差80.44分,但是在前五 名以及第六-十名之间,分数差 距不大。这说明要想进入前五以及前十的 竞技场,十分困难,且内部竞技 圈竞争异常激烈。总结乐 / 知 / 乐 / 享同 / 心 / 共 / 济 本月排行榜上列簇式数据库第一名,本月 排名上升两个名次。 其集成时序、时空数 据存储特性,可提供 千万级TPS以及毫秒 级随机读写能力。UXDB本月位居第2

10、0 名, 名次上下降 3 位。近日,优炫软件荣获 2022年中国信创产 业拳头奖“最具投资 价值品牌”。其是云和恩墨基于推 出的企业级关系型 数据库。排名第27。近日,云 和恩墨荣膺“2021 年软件行业大数据领 域领军企业”。排行榜 - 国产数据库新兴力量崛起来源:墨天轮其是华为云推出的一 种基于公有云基础架 构和平台的在线数据 处理数据库。作为本月新增参与排 名的数据库,现排名 第17。GaussDB(DWS)清华大学研发的一款 聚焦工业物联网、高 性能轻量级的时序数 据管理系统。其本月排名跃升115 个名次,新增29个专 利,现排名第29。本月排行榜上列簇式 数据库第一名,本月 排名上升

11、两个名次。其集成时序、时空数 据存储特性,可提供 千万级TPS以及毫秒 级随机读写能力。星环科技自主研发的 关系型分析引擎,全 球首个通过分析决策 系统国际基准测试 TPC-DS的产品。相比今年4月,排名 提升了54个名次。MogDBIoTDBCloudTableInceptorGaussDB(DWS)MogDBIoTDBCloudTableGaussDB(DWS)MogDBCloudTableUXDB根据 2022 :国产数据库名录和产品信息一览 中记载,现有250个国产数据库产品,并且表格仍在持续更新中。随着市场需求的迭代和技术 的演进,墨天轮榜单上也涌现了一批表现出色的数据库产品。202

12、2年6月中国数据库排行榜新兴力量总 结国内企业对于基础软件付费的 意愿和IT支出占比在逐年提升,目前“1+4+5+N”的发展 格局已经形成。随着国外数据库市场份额不断 下降,大批国产数据库厂商会 不断涌现,更多优秀的国产数 据库产品也将崛起。乐 / 知 / 乐 / 享同 / 心 / 共 / 济新榜单 - 墨天轮新增四类排行榜 Beta来源:墨天轮 https:/rankDataX中国数据产品排行榜第一名。阿里云 DataWorks数据集成的 开源版本,在阿里巴巴集团内被广 泛使用的离线数据同步工具/平台,具有较多优势。Sharding-JDBC中国中间件排行榜第一名。当当网开源的shardin

13、g-jdbc。 定位为轻量级Java框架,在Java 的JDBC层提供的额外服务。完全 兼容JDBC和各种ORM框架。麒麟中国芯片排行榜第一名。业界领先的智能手机芯片解决 方案,拥有华为海思先进的SoC架 构和领先的生产技术,带来卓越性 能与能效。HarmonyOS中国操作系统排行榜第一名。基于微内核的全场景分布式 OS。具有轻量化、小巧、功能强 大的优势,能够带来终端之间实现 能力互相共享。底层硬件由操作系统、数据库、中间件 “三驾马车”共同组成的基础软件,必须具备自主知识产权,才能实现国产化。目前这些基础软件已经具备天时地 利,除了在技术端发力,构建完整的信创生态圈至关重要。因此墨天轮本月

14、新增了数据产品、中间件、操作系统、芯片的排行榜,以供大家参考!2022年6月新增四类排行榜详情图基础软件操作系统数据库中间件芯片乐 / 知 / 乐 / 享同 / 心 / 共 / 济聚焦热点 - OtterTune 完成新一轮融资来源:天眼查、Automatic Database Management System Tuning Through Large-scale Machine Learning论文、 OtterTune官网OtterTune完成1200万美元A轮融资,让数据库插上AI的翅膀2022年5月,数据库管理初创公司 OtterTune 宣布完成了1200万美元A轮融资。Otter

15、Tune 于2021年成立于美国,是一家旨在利用人工智能, 帮助DBA自动化调优数据库的公司。OtterTune 通过利用AI技术来分析数据库的运行状态,对数据库的运行参数进行持续自动调优,并仅占用较 少的系统资源。它适用于基于云的 PostgreSQL 和 MySQL 数据库(Amazon RDS 和 Amazon Aurora)。Ottertune系统架构Ottertune机器学习路径此图显示了OtterTune的架构。该系统由与要调优的目标DBMS交互的客 户端控制器和Otter Tune的调优管理器两部分组成。控制器连接到 DBMS,并收集有关系统性能的信息。然后将此信息发送到调优管理

16、器, 并将其存储在其存储库中。然后,它构建用于为DBMS选择最佳配置的模 型。由机器学习驱动的自动数据库调优 OtterTune 使用机器学习来主动调整您的数据库。只需选择 要优化的目标(例如,吞吐量、延迟、成本),OtterTune 就会自动更新 100 多个配置设置以改进该目标。健康检查和工作负载变化检测 OtterTune 监控您的数据库并收集有关您的工作负 载的指标。如果您的数据库显示不健康的行为,它 会通知您并建议纠正措施。人为监督控制您可以完全控制 OtterTune 将配 置更改应用到数据库的内容、时 间和方式。安全简单的设置OtterTune不需要访问应用程序数据或查询。只需创

17、建一个免费的 OtterTune 帐户并 在几分钟内将其安全地连接到您的数据库。此图显示了OtterTune中数据的处理路径。所有以前的观察结果都保存在它的存储库中。首先将这些数据 传递到工作负载特性化中识别最显著的DBMS指标的组件。接下来,是旋钮识别组件生成一个最重要的旋 钮的排名列表。所有这些信息然后输入到自动调谐器组件,它将目标DBMS的工作负载映射到以前看到的 工作负载,并生成更好的配置。Ottertune的特点乐 / 知 / 乐 / 享同 / 心 / 共 / 济OtterTune 联合创始人Andy Pavlo卡内基梅隆大学副教授CMU 数据库组和并行数据实 验室的成员,研究重点是

18、数据 库管理系统, 特别是内存系 统、自动调优(autonomous) 架 构 ( O t t e r T u n e 和 NoisePage项目)、事务处 理系统和大规模数据分析。 Andy 还与 Joy Arulraj联合 著有图书N o n - V o l a t i l e M e m o r y D a t a b a s e Management Systems。张伯翰卡内基梅隆大学计算机硕士CMU数据库组成员,受Andy Pavlo教授指导,进行基于大 规模机器学习的数据库自动调 参的研究。北京大学本科期间 受樊文飞院士指导参与新的图 计算系统GRAPE的研究,并获 SIGMOD

19、最佳论文奖。 曾访问 香港科技大学受陈雷教授指 导,以及北大崔斌教授指导进 行基于三角形的并行子图枚举 算法的研究。Dana Van Aken卡内基梅隆大学计算机科学博士CMU 数据库组和并行数据 实验室的成员, 受A n d y Pavlo教授指导。研究兴趣 是数据库管理系统。研究重 点是开发使用机器学习来调 整数据库管理系统的自动化 技术。Dana Van Aken领导了OtterTune原型的设 计和开发。聚焦热点 - 智能调优数据库成创新方向OtterTune 发展历史OtterTune起源于美国卡内基梅隆大学(CMU)的同名科研项目。2013年,Andy Pavlo 产生了构建Ott

20、erTune的想法。Pavl访问了许多金融公司,在访问过程中,他发现很多公司雇佣了数据库管理 员来管理数据库,而他们很多工作是基础和重复的。Pavlo决定尝试将机器学习方 法应用到数据库系统的复杂部分,从而解放管理员的双手和精力,去做一些更有 意义的事情。2017 SIGMOD会议上,OtterTune论文发表,它将机器学习与参数调优结合 起来,不再依赖于数据库管理员,提出重用训练数据,来调整DBMS配置的观点。 Automatic Database Management System Tuning Through Large-scale Machine Learning2020年5月21日,

21、Ottertune公司成立,实现Ottertune商业化。20202022年,Ottertune共获得3轮融资,累计融资额达1710万美元。其早 期投资人包括Snowflake、Databricks、Cockroach Labs、PingCAP等多家 知名数据库公司的创始人。OtterTune 融资历程序号披露日期交易金额融资轮次投资方12022/5/101200万美元A轮英特尔资本、Race Capital、10X Capital22021/5/12250万美元天使轮Accel Partners32020/12/23260万美元种子轮10X Capital来源:天眼查、Automatic D

22、atabase Management System Tuning Through Large-scale Machine Learning论文新品发布 - PostgreSQL 15 Beta 1 正式发布PostgreSQL 全球开发组宣布 PostgreSQL 15 的第一个 beta 版本现已可供下载。此版本包含 PostgreSQL 15 正式可用时将提供的所有功能的预 览,但该版本的某些细节可能会在最终正式版发布时发生变化。PostgreSQL 15 Beta 1 的功能亮点:开发者体验提升、性能表现提升、备份、存档和压缩、逻辑复制、管理等。来源:PG官网P o s t g r e

23、S Q L1 5B e t a1的 功 能 亮 点01 开发者体验提升05 管理引入MERGE命令。用 于有条件地对数据执行写 操 作 ( I N S E R T , UPDATE或DELETE)。 开发人员可以编写简单的 查询来选择要采取的适当 数据修改的操作。在对 SQL/JSON 路径 语言的现有支持之上新增 更多标准SQL/JSON 函 数。增加了更多的正则表 达式函数。乐 / 知 / 乐 / 享同 / 心 / 共 / 济此版本包括对较大数 据集进行排序时显着加 速。特别是这些数据集是 超过work_mem参数。PostgreSQL 15 的性 能提升扩展到各种查询类 型。Postgr

24、eSQL 服务器 上的数据的应用程序现在 可以启用并行提交事务。在psql命令中copy用 于 批 量 加 载 数 据 在 PostgreSQL 15 中也有 性能改进。PostgreSQL 15 为各 种 组 件 添 加 了 对 Zstandard (zstd) 压缩的 支持。PostgreSQL 15 添加 了recovery_prefetch 可 以通过预取数据块来帮助 加快恢复操作的选项。指定archive_library参 数归档。此外,现在可以 自己定义 WAL 资源管理 器,设置让它们使用逻辑 复制。PostgreSQL 15为逻 辑复制引入了行过滤和列 过滤。此外,用户现在可

25、以指定发布某个schema 中的所有表。增加了对处理冲突的 更多支持 。订阅者可以 指定disable_on_error在 发生错误时自动停止逻辑 复制。可 以 使 用 A L T E R SUBSCRIPTION SKIP 命令来跳过应用更改。PostgreSQL 15 引入 了 jsonlog日志格式。这 允许 PostgreSQL 日志 被许多执行结构化日志聚 合和分析程序的使用。PG15 现在将所有服 务器级别的统计信息存储 在共享内存中,不再运行 统计信息收集器进程。ALTER TABLE 命 令 可以修改表的ACCESS METHOD,用于设置表 使用的存储系统。02 性能提升表现

26、03 备份、存档和压缩04 逻辑复制新品发布 - 谷歌AlloyDB列存百倍提升在Google I/O 2022活动上,谷歌发布了AlloyDB for PostgreSQL,这是一个完全托管的、基于PostgreSQL 研 发的、与PostgreSQL兼容的行列混存数据库,适用于苛刻的企业级事务和分析工作负载。支持弹性存储和计算、 智能缓存、AI/ML支持的自治管理。AlloyDB,针对分析查询,由列存引擎提供支持,执行速度比标准PostgreSQL快100倍。AlloyDB自动在基于行的格式和列格 式之间组织数据,根据学习工作负载选择正确的列和表,并自动将其转换为列格式,数据最初加载到内存

27、后,AlloyDB会监控数 据的变化并确保自动刷新。根据数据更改以及正在执行的查询操作,智能选择基于列、基于行,或是行列混合查询。根据内部性能测试,AlloyDB比标准的PostgreSQL交易式任 务性能快4倍有余,和AWS的竞争产品Aurora PostgreSQL相 较也快了2倍。AlloyDB的矢量式字段加速功能,可以优化方式在内存存储资 料,以提升资料扫描和集结速度。AlloyDB可自动侦测大部分数据库运行问题,在几秒内回复, 其架构也支持不中断的执行实例调整和数据库维护,可用性 SLA达99.99%。除了自动数据库修补程序、备份、复制等,AlloyDB还具有适 应性算法及机器学习来

28、强化资料清理管理、存储和内存管理、 资料分层及分析加速,会从用户使用中学习并可优化内存、缓 存和存储介质内的数据库管理。在分析方面,Alloy内置Google Vertex AI平台。让用户可在查 询或交易时直接调用模型,更快分析。乐 / 知 / 乐 / 享同 / 心 / 共 / 济来源:墨天轮乐 / 知 / 乐 / 享同 / 心 / 共 / 济一、数据库排行榜及前沿动态二、国内市场及热点动态分析三、列式存储技术演进及解析四、中国数据库产品典型案例乐 / 知 / 乐 / 享同 / 心 / 共 / 济国家政策 - 持续利好国产数据库行业发展国家政策利好本土厂商,多项重大政策提出了基础软硬件国产化

29、的要求,“国产化”、“自主可控” 成为政策高频词汇。信创风口下,国产数据库 迎来发展新机遇。2020-2022 三年时间,信创产业进入好用阶段,将在党政军和八大核心行业(金融、电信、能源、电力、医疗、教育、交通、 公共事业)铺开。政策影响过去一年中国本土数 据库厂商市场份额得 到迅速扩大,特别是 在政府行业,以达 梦、人大金仓为代表 的本土传统数据库厂 商业绩爆发增长,阿 里华为腾讯等云数据 库厂商份额也持续增 长,国外数据库品牌 份额下降。预计未来 相关政策会逐步影响 到金融、能源等行 业,国外品牌未来市 场空间将逐步缩小。时间部门政策名称相关内容2022年1月习近平总书记要加强关键核心技术

30、攻关,提高数字技术基础研发能力,打好关键核心技术不断做强做优做大我国数字经济攻坚战,尽快实现高水平自立自强,把发展数字经济自主权牢牢掌握在自己手中。2021年12月国务院要求加快推动数字产业化,支持具有自主核心技术的开源社区发展,提高数“十四五”数字经济发展规划字技术基础研发能力,到2025年数字产业化水平显著提升,数字经济核心产业增加值占GDP比重达到10%。2021年5月习近平总书记全国两院院士大会习近平总书记指出要坚决打高关键核心技术攻坚战,解决“卡脖子”技术的基础理论和技术原理,加大基础研究财政投入力度。2021年3月第十三届全国人大会议十四个五年规划和2035年远景目标纲要坚持自主可

31、控、安全高效,加快补齐基础软件等瓶颈短板。依托行业龙头企业,加大重要产品和关键核心技术攻关力度。2020年9月工信部关于扩大战略性新兴产业投资培育壮大新增长点增 长级的指导意见加快5G商用发展步伐,加快基础材料、关键芯片、高端元器件、新型显示 器件、关键软件等核心技术攻关,大力推动重点工程和重大项目建设,积极 扩大合理有效投资。2020年8月国务院关于新时期促成集成电路产业和软件产业高质量发 展若干政策的通知提出要聚焦基础软件、工业软件等的关键核心技术研发,优化集成电路产业 和软件产业发展环境,深化产业国际合作推动国产化进程。2019年4月中国电子信息产业发展 研究院信息技术产品安全可控评价指

32、标明确了信息技术产品安全可控评价指标和方法,为开展信息技术产品安全可 控评价工作提供指导。该标准正式实施。2018年3月中共中央深化党和国家机构改革方案中央网络与信息化领导小组改为中央网络安全和信息化委员会,推进信息安 全与国产化。2016年12月国务院“十三五”国家信息化规划构建现代信息技术和产业生态体系打造自主先进的技术体系,协同攻关数据 库系统等关键软硬件设备,建设战略清晰、技术先进、产业领先、安全可靠 的网络强国。2016年7月国务院国家信息化发展战略纲要打造国际先进、安全可控的核心技术体系,带动集成电路、基础软件、核心 元器件等薄弱环节实现根本性突破,着力构筑移动互联网、云计算、大数

33、据 物联网等领域优势。来源:中国政府网 中华人民共和国国家发展和改革委员会乐 / 知 / 乐 / 享同 / 心 / 共 / 济信创动态 - 深圳打响信创升级“第一枪”5月26日消息,深圳出台深圳市关于促进消费持续恢复的若干措施,将信创与促消费政策并列,并明确具体国产化率指标, 该文件出台有望成为我国信创产业升级的第一枪。结合信创的推进节奏,2022年有望成为行业信创的“元年”。21单位按照采购额3%补贴。提高信创产品应用比例。金融、能源、电信等6大重点 行业新增办公系统、业务系统信创比例不低于20%, 党政、国企新增关基设施信创比例不低于40%。党政公文信创系 统剩余市场空间 预计1275 亿

34、元党政 公文金融 信创运营商 信创华为 鲲鹏年化I T 支出预计 将超200 亿元国 产 服 务 器 采 购 比 例 超 过30 %鲲鹏生态有望高 速增长, 有利推 动行业信创信创开始向业务系统渗透,对于产品性能的要求将带来行业格局的进一步 分化。产品性能与生态建设将成为供应商选择的重要指标,最终使得不同环节的 产品单价和盈利能力形成分化。万里长征第一步,打造国产化生态 未来信创市场展望政策释放积极信号,行业与党政共振 关于扩大信创市场规模的两个具体量化指标加大信创产品推广力度。采购50万元以上符合条件的此次深圳消费政策以需求促供给的举措为信创产业发展形成 利好形势,针对重点行业及党政机关、国

35、资国企的量化采购 指标将步入常态化,或为全国其他地方政府提供示范引领。随着金融信创试点机构扩容,电信运营商的国产化采购从服 务器等硬件向基础软件推进,行业信创有望在末来三年进入 全面推广。同时,党政电子政务信创建设序幕拉开,继省市级以上电子 公文基本替换完成后,区县级的下沉需求也将逐步释放。来源:计算机周报 /乐 / 知 / 乐 / 享同 / 心 / 共 / 济行业动态 - openGauss中国海油创新实践来源:openGauss官网、墨天轮2022中国国际软件发展大会暨第五届中国软件产业年会于5月10日成功举办。“openGauss数据库助力中国海洋石油智能油田建设成功”创新实 践荣获“2

36、021年软件行业典型示范案例”。在数字化转型大潮下, 中国海油顺势而为,启动能源生产从信息化向智慧化转型。数据库作为油气生 产系统的核心IT基础设施至关重要。在数据库选型中,基于对产品性能、数据安全性、业务连续可用性及对未来业务的支撑能力等方面考虑,中国 海油选择携手openGauss开源数据库打造新型数据运维管理系统-中国海油融管家。中国海油融管家是中国石油产业坚持自主创新的一次成功实 践,为国内同业探明了技术路径,树立了行业标杆。新系统的数据层围绕openGauss展开,配 套成熟的开源工具。南向对接中海油云平台,北向支撑海油生 产系统,建成数据管理,运维和监控一体 化系统。融管家有效打通

37、集团内各独立系统,将生 产系统的数据统一格式,统一管理。分类采集,统一监控;AI辅助运维,实现 油田系统的“一管二监三预警”。目前融管家系统已在中国海油油田综合管理系统落地应用,该系统包含10个一级功能模块,1600多个功能点,本次适配选取油藏、注采、安全 生产3个一级模块的前端页面和后端服务数据均承载在openGauss数据库上,涉及业务300多个功能点。系统上线应用后,数据从旧系统迁 移到新系统自动化率达到85%。整体系统性能提升50%,业务响应 体验大幅提升。通过AI故障预警,实现自动巡检和 自动故障处理,运维效率提升2倍。乐 / 知 / 乐 / 享同 / 心 / 共 / 济行业动态 -

38、 MogDB 助力A保险国产化替代来源:云和恩墨公众号、MogDB官网在整个系统架构中,MogDB 向下兼容麒麟、统信等信创操作系 统,向上支持金蝶、东方通、宝兰德等信创中间件;MogDB 配套的异构数据同步软件 MDB 将动态增量数据从原环境 向新环境同步,并从 MogDB 向数据仓库 Greenplum 同步,确 保了业务系统上下游的数据流通平稳顺畅;云和恩墨开发的数据库云管平台 zCloud 提供的自动化安装部署、 统一监控和智能巡检、性能容量管理、SQL审核等数据库全生命周 期管理服务,解决了A保险多元异构数据库带来的运管难题。MogDB 支撑了A保险保单系统每天百万级业务交易、千万级

39、事务处 理。在国产化替代的过程中,A保险采取分批试点、逐步推进的方式进 行改造,MogDB 的成功应用,为后续的替换工作积累了经验。为保障数据安全,实现自主可控,保险机构纷纷探索具有更高自主权的数据库应 用体系。A保险作为首批保险行业信创试点企业,积极推进数据库国产化改造。数据库产品兼容适配主流国产软硬件平台,方便公司进行全栈国产化改造;产品具备企业级数据库的特性,如支持复杂查询、存储过程、分区表等;A保险现有数据库种类与数量较多,商业、开源并存,数据库管理能力提升 受限。数据库厂商必须具备成熟的生态工具,满足异构数据库自动化运维管 理的需求。充分比较多款产品后,A保险决定使用云和恩墨的企业级

40、关系型数据库 MogDB 作为此次国产化替代的数据库管理系统。A保险国产化改造系统架构图A保险原有业务系统采用的是“应用+数据库”的传统单体架构。数据库国产化替代需求高安全高性能高兼容高易用支持主备高可用架构支持一主多从和级联支持金融级高可用RPO = 0 ,RTO 150万 TPMC;四路服务器 250万 TPMC支持通用数据类型 和对象支持存储过程和 Oracle 具备高 度兼容性支持高可用自动切换支持自动备份和云同 步支持API监控集成MogDB“安稳易用”四大优势乐 / 知 / 乐 / 享同 / 心 / 共 / 济行业动态 - 国开行新一代核心业务系统上线来源:中兴通讯公众号、中兴官网

41、近日,国家开发银行对外宣布,其新一代核心业务系统工程(简称“新核心工程”)成功投产上线并稳定运行。新核心系统采用国产分布式数据库 GoldenDB,建设实施历时三年,是国家开发银行成立以来最重要的一次系统建设和升级。GoldenDB 分布式数据库产品架构本次项目成功投产是国家开发银行在分布式架构转型乃至中国金融科技发展过程中的一个新里程碑, 再次证明了国产分布式数据库的成熟稳定和可靠。作为参与本次新核心工程投产的国产数据库,GoldenDB 经此一役,已成为唯一拥有国家政策性银 行、国有大行、股份制银行、城商行及大型金融机构、电信运营商核心业务改造实践的国产数据库。 GoldenDB 也将依托

42、成熟经验和领先技术引领创新,持续助力行业数字化转型升级,铸就核心引擎, 筑路数字经济。不停服务的在线扩容金融级可靠性高效可靠的容灾能力金融级实时一致的分布式事务功能完备的备份恢复SQL兼容国家开发银行作为全球最大的开发性金融机构,中国最大的中长期信 贷银行和债券银行,历来重视金融科技的投入和创新,并大力支持国 产数据库企业的发展。 新核心系统采用国产分布式数据库 GoldenDB,在引入先进同业核心系统建设成果和业务管理经验的基 础上,结合开发银行自身机构与业务特点进行改造和创新,在业务层 面,对营运、财会、资金、信贷、评审、合规等业务领域的流程、规 则、制度进行了全面梳理、优化完善和系统固化

43、,实现了对开发银行 业务分类分账、授信管控、反洗钱等改革发展和合规管理的有力支 撑,构建了多层次方便快捷的产品体系和客户服务体系,提升了信息 技术安全可控水平。功能优势Share Nothing全分布式架构乐 / 知 / 乐 / 享同 / 心 / 共 / 济行业动态 - 达梦与沃趣全栈信创一体机发布山西证券是全国首批证券公司之一,面对纷繁复杂的国产化解决方案,面临着软硬件选型困难、技术难度大、技术架构搭建成本过高等难题。 2021年4月,达梦数据与沃趣科技联合研发推出国内首款全栈信创数据库一体机系统,山西证券积极参与技术沟通,充分保障产品的稳定与落地部 署。该产品采用全国产软硬件一体化设计,链

44、接国产硬件、国产操作系统、国产数据库等厂商,经过各领域技术专家预先配置,精心调优,联合测 试,高度集成多项核心原创技术,全面支持数据迁移、多库整合、自动化运维和数据实时保护等功能,2021年年底数据库一体机在山西证券正式 上线运行。在助力山西证券IT基础设施核心能力建设的同时,提升了山西证券业务服务水平,进而为金融业务数据的安全稳定高效运行保驾护航。山西证券国产化解决方案全栈信创数据库一体机总体架构来源:达梦大数据 墨天轮将 不 同 数 据 库 业 务 系 统 统 一 迁 移 到 一 体 机 平 台 , 保 障 业 务 之 间 的 隔 离 性 , 降 低 成 本 的 同 时 , 提 升 业 务

45、 效 率 及 信 息 安 全 。业 务 系 统 实 现 从 O r a c l e 数 据 库 到 达 梦 数 据 库 的 平 滑 过 渡 。多库整合平滑过渡分 布 式 存 储 I O 能 力 较 传 统 的 集 中 式 存 储 有 3 - 1 0 倍 提 升 , 一 体 机 数 据 库 能 力 相 比 集 中 式 存 储 达 到 2 - 3 倍 提 升 。备 份 节 点 通 过 对 融 合 平 台 的 数 据 实 时 保 护 , 当 主 库 出 现 异 常 时 可 以 确 保 数 据 不 丢 失 。数据保护性能倍增乐 / 知 / 乐 / 享同 / 心 / 共 / 济一、数据库排行榜及前沿动态

46、二、国内市场及热点动态分析三、列式存储技术演进及解析四、中国数据库产品典型案例列存数据库的基本概念来源:维基百科列存数据库从数据存储方式上区别于行存数据库,所有数据按列存取。行存数据库在做一些列分 析时,必须将所有列的信息全部读取出来;而列存数据库由于其按列存取的特性,在对特定列进 行查询分析时,能够有效降低I/O,提高读取性能。此外列存数据库往往还能在数据压缩上带来 更大压缩比,节省了磁盘存储空间。在实践中,列式数据库非常适合 OLAP 类工作负载(例如,数据仓库),这些工作负载通常涉 及对所有数据(可能是PB级)高度复杂的查询。在当今数据大爆炸的时代,列存数据库由于其存储空间少,读取磁盘少

47、以及复杂数据查询效率高 的缘故,成为构建数据仓库的理想架构。基于这些管理和应用上的优势,列存数据库应运而生并 得到了快速发展。SELECT product, MIN(price) FROM products WHERE store = BOS GROUP BY product;列存数据库的优势:列的数据特征比较相似,适合压缩,压缩比很高,在数据量较大(如数据仓库) 场景下会节省大 量磁盘空间,同时也会提高单位作业下的 I/O 效率。当表中列数比较多,但是访问的列数比较少时,列存储可以按需读取列数据,大大减少不必要 的读IO,提高查询性能。基于列批量数据向量运算,结合向量化执行引擎,CPU 的缓

48、存命中率比较高,性能比较好,更 适合 OLAP 大数据统计分析的场景。乐 / 知 / 乐 / 享同 / 心 / 共 / 济乐 / 知 / 乐 / 享同 / 心 / 共 / 济列存数据库的发展和演进来源:维基百科列式存储的起源,可以追溯到 1983年 Cantor 的论文An Overview of Cantor - A new System for Data Analysis,随后在1985年SIGMOD85上发表的论文A Decomposition Storage Model全面提出列式存储概念,成为列数据库的雏形,这 种技术在当时并没有得到足够的重视。Sybase公司在1994年推出Syb

49、ase IQ Accelerator数据库,这是Sybase IQ列存 数据库的雏形,由此列存数据库便由理论在实践中诞生了。从1994年到2005年的十年时间,列式数据库几乎无人问津,而2005年被称为列 式数据库的重生之年。这一年 Michael Stonebraker 教授发表了 C-Store 论文, 随后在此基础上推出了商用的列式分析型数据库 Vertica。之后的15年间,因用户需求逐渐从交易业务转向分析业务,列式数据库的优势得以 发挥,很多厂商开始投入列式数据库的研发,将其应用到 OLAP 分析场景中。亚马逊在2012年发布了 Amazon Redshift 数据库,采用列式存储,

50、应对 MPP 场 景,通过云完全托管,可以实现自治管理、备份、运行监控等能力。俄罗斯公司 Yandex 在2016年6月开源了 ClickHouse 列存数据库,具备卓越性能,再次推动了列存数据库发展。乐 / 知 / 乐 / 享同 / 心 / 共 / 济数据库列存技术演进历史来源:维基百科,相关论文1970s-1980 萌芽1985 理论1990s 尝试1990s-2000s 探索2005 重生2014 内存2012 发展2008 分布式2010s 云原生Greenplum 6.0 发布,基 于 PostgreSQL 版本 9.4开 发,可以同时支持OLTP和 OLAP负载类型的数据库, 行列

51、混存。Greenplum - A Hybr id D a t a b a s e f o r T r a n s a c t i o n a l a n d Analytical WorkloadsTime Oriented Database- Wiederhold et al, 1975: A Modular, Self-Describing Clinical Databank System Karasalo , SSDBM 1983: An overview of cantor: a n e w s y s t e m f o r d a t a analysisCopeland 和 Kh

52、oshafian 在 SIGMOD 1985上发表论文: A decomposition storage model ,DSM是列存数据库 的雏形,将指向列的额外索引 可以加快少数列的查询速录, 建议作为N - a r y s t o r a g e model (NSM)的替换方案。在 90 年代初,Expressway 开发了 Expressway 103,这 是一种针对分析进行优化的基 于列存的引擎。Sybase 收购 并在 1995 年重新推出该产品 作为 IQ Accelerator,然后不 久将其重命名为 Sybase IQ, 版本号为 11.0。DSM “on steroids”

53、 1997年发布分析型数据库 MonetDB。Hybrid DSM/NSMData morphing:an adaptive, cache-consciousClotho: custom layout using scatter-gather I/OSmart mirroring with both NSM/DSM copies由麻省理工学院等多所高校组 成的团队发布基于列存的数据 库 C-Store,主要用于优化数 据库读取速度。C-Store: A Column-oriented DBMS CWI发布MonetDB/X100, 同时发表论文,提出基于现代 CPU的向量化执行方式。 Mone

54、tDB: X 100 - Hyper- Pipelining Query Execution由谷歌发布的NoSQL数据库 Bigtable使用行、列名称作 为索引,数据存储在Google File System(GFS)中,上层 则可以使用MapReduce做 进一步计算。Bigtable - A Distributed S t o r a g e S y s t e m f o r Structured DataApache Druid于2012年底 开源,现被许多组织使用。 McObject 在 2012 年发布 了eXtremeDB 金融版时增 加了对列存储的支持。 Vertica 20

55、12 年发布论文 T h e V e r t i c a A n a l y t i c D atabas e: C - S to r e 7 Years Later从Oracle 开始, 开 始 支 持 I n - M e m o r y Column Store 特性,即在 SGA 中在单独开辟一块内 存空间,以列存储的方式来 存储对象,从而提升扫描的 性能。IM column 存储并 不能代替buffer cache,而 是对内存区域的一个补充。随着云服务的兴起,云原生数 据仓库成为数据分析技术的主 要解决方案,为了满足实时计 算的需求, 都采用了列存技 术,同时资源按需使用,跨云 分析

56、,逐渐成为众多企业的首 选,代表性云服务:Amazon Redshift、Azure Synapse、 Alibaba AnalyticDB2019 HTAP乐 / 知 / 乐 / 享同 / 心 / 共 / 济Oracle 混合列压缩特性来源:墨天轮、Oracle官网数据通常以“行”的格式组织在数据块中,其中行的所有列数据都按顺序存储在单个数据库块中。一行中不同数据类型的数据限制了压缩技术的数 据压缩。另一种方法是以“列”格式存储数据,其中数据按列进行组织和存储,这样单列数据类型一致可以提高数据块中的压缩比,然而,当应用 程序查询访问一列或两列以上、执行少量更新或在每个事务中插入少量行时,以这

57、种方式存储数据可能会影响数据库性能。Oracle的混合列压缩(Hybrid Columnar Compression)结合了行和列的方式来存储数据,通过压缩单元(CU)的逻辑构造存储一组混合列压缩 行。加载数据时,一组行的列值将分组并压缩(列不会在压缩单元中重新排序或组合)。HCC 实现了最高级别的数据压缩,平均数据压缩比为10 倍,并且减少数据存储空间、提高读写性能、减少 I/O 读写。支持 HCC 数仓查询压缩和 HCC 归档压缩两种方式。逻辑压缩单元(CU)混合列压缩也可用于Oracle SuperCluster、FS Flash Storage System、ZFS Storage A

58、ppliance(ZFSSA)和Oracle Database Appliance(ODA)。LONG数据类型不支持混合列压缩。不建议在混合列压缩中使用统一区段。混合列压缩对于压缩所需的最小数据量没有任何限制。混合列压缩是为关系数据而设计的,而不是针对 BLOBs (或CLOBs) 中的非结 构化数据。混合列压缩不压缩索引或索引组织的表(IOT)。索引(和IOT)可以使用前缀压缩进 行压缩。针对混合列压缩表/分区的DML UPDATE操作,在数据UPDATE后随着时间的推 移将降低整体HCC压缩率。HCC 数仓查询压缩(Warehouse/Query Compression):HCC 仓库/查

59、询压缩是下一代 HCC 压缩特性,致力于解决数据仓库的存 储成本和应用程序查询性能方面的问题。HCC 归档压缩(Archive Compression):HCC 归档压缩是一种降低存储历史数据的存储需求和成本的新方法,能 够最大限度地节省存储空间,通常达到15:1的压缩比。Google AlloyDB的列存引擎谷歌在大规模数据分析方面有着悠久的创新历史,尤其是在BigQuery等服务方面。这些服务通过使用优化的列式数据布局、最先进的查询处理技 术和硬件加速来提供快速、可扩展的查询处理。AlloyDB将一些相同的技术进步直接嵌入到与PostgreSQL兼容的操作数据库中。它将用于事务处 理和存储

60、的行列引擎和执行引擎相结合,以提供两全其美的效果。列存引擎是一种现代的矢量化查询处理引擎,它通过充分利用当今CPU提供的 系统缓存和矢量处理指令来有效处理大量列式数据。除了利用现代硬件的功能之外,列存引擎还包括一些算法优化,以进一步加快查询处理速 度。它利用特定于列的元数据(例如最小值和最大值)来加快扫描速度,并且可以直接在相关列上执行其他操作,而无需具体化扫描结果。列存引擎智能地确定每个列的数据格式和元数据,它从列的内容和执行的查询操作类型中进行学习。学习到的元数据既用于有效地编码数据值, 也用于加速查询处理。例如,当一个有少量不同值的字符串列被用于过滤器时,列存引擎可以决定生成一个不同值的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论