CESA-2023-004《事务分析混合型数据库技术要求》团体标准(征求意见稿)编制说明_第1页
CESA-2023-004《事务分析混合型数据库技术要求》团体标准(征求意见稿)编制说明_第2页
CESA-2023-004《事务分析混合型数据库技术要求》团体标准(征求意见稿)编制说明_第3页
CESA-2023-004《事务分析混合型数据库技术要求》团体标准(征求意见稿)编制说明_第4页
CESA-2023-004《事务分析混合型数据库技术要求》团体标准(征求意见稿)编制说明_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中国电子工业标准化技术协会

一、工作简况

根据中国电子工业标准化技术协会2023年第一批团体标准计划通知(中电标

通〔2023〕002号),团体标准《事务分析混合型数据库技术要求》(项目号:

CESA-2023-004)由平凯星辰(北京)科技有限公司提出,中国电子工业标准化

技术协会归口,标准由平凯星辰(北京)科技有限公司牵头,中国电子技术标准

化研究院、建信金融科技有限责任公司、深圳平安通信科技有限公司、华东师范

大学、天翼云科技有限公司等单位共同参与完成编制。

1.研究背景

随着数据采集、留存、汇集以及处理技术的不断完善,企业在数字化转型过

程中产生了越来越多的实时决策系统和实时数据中台建设的需求,HTAP数据库

以易用性、扩展性、快速更新迭代、相对较低成本投入等优势特性满足了企业用

户的核心诉求。

事务分析混合型数据库(HTAP)最早在2014年由分析机构Gartner提出,当

时主要指以SAPHANA为代表的内存数据库的混合负载能力,HANA快是快,

但数据量有限,最大的门槛是“贵且专有”,仅在使用SAP的大企业有少量用

户,那一代HTAP并没有真正扩展起来,也并没有流行形成趋势。直到最近几年,

互联网“海量、实时、在线”的需求越来越广泛,大量采用MySQL和

PostgreSQL开源数据库的新一代企业需要提升对于热数据的实时在线分析能

力,这类需求遍布几乎所有的互联网企业,从事线上业务的数字化转型企业。电

商、游戏、数字媒体、金融科技、网络安全等互联网和数字化业务,对于新鲜数

据的实时分析能力直接决定了这些业务的生死存亡,秒甚至毫秒级的低延迟成为

他们提升消费者体验的重要手段,实时营销、实时风控等业务诉求变得更加普遍,

这种新诉求催生了新一代HTAP的共同诉求:一个数据库,一套架构,同时满

足OLTP和OLAP的低延迟数据处理且互不干扰。在过去十年,国内外众多

中国电子工业标准化技术协会

厂商推出了一系列HTAP数据库产品,进行了大量的探索和实践,并且在产业界

获得了广泛应用。为当前海量数据的存储和实时分析提供了重要支撑。

但同时,国内外针对HTAP数据库还存在较多的技术路线,部分技术路线是

基于传统技术架构的数据库,其HTAP性能将受到限制。因此,制定HTAP数据

库技术要求标准,有利于收敛HTAP技术路线,明确HTAP技术要求,推动业界

形成共识,加快HTAP数据库技术产品迭代和升级,更好满足市场需求,引领全

球HTAP数据库技术进步。

2.标准研究的关键点

标准研究的关键点包括:

1)广义的HTAP数据库,能够在关系数据模型上进行OLTP时具有

强一致性保

证,并且融合了分布式能力从而同时具有高扩展性

。狭义的HTAP数据库

指的是采用行列混存或者行列转化技术来同时支持事务能力和分析功能。事

务分析混合型数据库多基于分布式架构和对用户透明的完全无共享的Share

nothing并行计算架构实现,因此标准首先需要明确HTAP数据库定义;

2)确定HTAP数据库的功能特性,包括基本功能、HTAP特性以及宜支持的分布

式特性;

3)明确应具备的自动化安装部署、监控告警、性能容量、系统配置、升级维护、

数据备份恢复等运维管理能力。

3.工作过程

1)标准化需求调研

2022年3月-2022年6月,对HTAP的标准化需求开展调研,调研目前国内互联

网、金融、电信、电商、物流等行业的数据密集型应用、实时数据服务等场景中

遇到的实际问题,并组织多次需求讨论会,邀请数据库厂商从产业现状、当前面

临的问题、可通过标准化解决的问题以及标准化思路四个方向讨论标准化需求,

明确标准化对象。

2)成立标准编制组

2022年7月,在全国信息技术标准化委员会数据库标准工作组内邀请对本标

准感兴趣的企业参与,成立标准编制组。

3)标准大纲讨论及编制

中国电子工业标准化技术协会

2022年8月-2022年9月,根据需求研讨会中提出的问题,从HTAP数据库的技

术架构、功能要求和运维要求等方面形成《事务分析混合型数据库技术要求》标

准大纲,并在编制组内进行讨论。

4)补充完善标准大纲,形成标准草稿

2022年10月,根据标准大纲,由平凯星辰(北京)科技有限公司牵头,联合

参与单位共同完善标准大纲内容,并完成标准草稿的编写工作。

5)编制组内部征求意见,完善标准草稿

2022年11月,在编制组内对标准草稿多次进行意见征求,并根据意见召开标

准研讨会,逐条对意见进行讨论,完善标准草稿。

6)团标立项

2022年12月,标准中心组织召开团标立项会,本标准立项并开展正式研制工

作,项目号为CESA-2023-004。

7)形成征求意见稿

2023年1月-2023年3月,标准研制组对团标立项会和数据库工作组组内反馈

的意见进行讨论,进一步细化调整了HTAP数据库的技术架构,对于必须支持的

功能要求等部分进行讨论,形成征求意见稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1、标准编制的原则:

标准编制组在编写过程中遵循如下原则:

a)贯彻国家有关政策与法规

信息技术产品基础软硬件涉及的知识产权创造、保护、运用和管理工作,必

须符合我国有关知识产权相关政策和法规。

(2)提出的知识产权评估指标应具备准确性、完备性、指导性及可扩展性

切实结合信息产品基础软硬件的特点,提出针对基础软件和基础硬件知识产

权评估指标。同时标准保留了扩展、细化指标要求的结构。

(3)标准内容简明扼要

标准各项内容清晰,对于易于理解的内容、不赘述、不举例,对于较为复杂

的内容,作准确而恰到好处的阐释。

(4)认真听取、分析各方意见,做好意见的处理和反馈

中国电子工业标准化技术协会

征求相关主管部门意见,针对意见进行修改,做好意见反馈工作。

2.主要内容的论据及解决的主要问题:

区别于传统集中式数据库,分布式HTAP数据库是分布式数据库的一个重要

分支,是当前市场分布式事务型数据库和分布式分析型数据库的融合,更符合当

前数据爆炸式增长的需求,是分布式数据库技术演进的最前沿领域。当前,在互

联网、金融、电信、电商、物流等行业的数据密集型应用、实时数据服务等场景,

对HTAP数据库有着迫切的需求。国内已有多款成熟的HTAP数据库产品在应用,

具备全球领先的技术水平。制定HTAP数据库技术要求标准,有利于收敛HTAP

技术路线,明确HTAP技术要求,推动业界形成共识,加快HTAP数据库技术产

品迭代和升级,更好满足市场需求,引领全球HTAP数据库技术进步。

[如技术指标、参数、公式、性能要求、试验方法、检验规则等的论据,包括试验、统

计数据,解决的主要问题。修订标准时应列出与原标准的主要差异和水平对比]

三、主要试验情况分析

标准编制过程中,经过多次前期调研,了解行业产业现状,并组织产品厂商

就各环节的必要性进行充分讨论。后续将组织相关数据库厂商进行符合性内部验

证及交叉互验,根据验证情况完善标准文本。

四、知识产权情况说明

本标准目前不涉及专利问题。

五、产业化情况、推广应用论证和预期达到的经济效果

适用于事务分析混合型数据库相关项目的设计、开发、测试、评估、运维、

管理等,也可作为第三方评估机构衡量HTAP数据库能力的标准依据。依据交付

形式的差异,本标准针对不同的使用场景其技术指标要求略有不同。

六、转化国际标准和国外先进标准情况

本标准未对国际标准进行采标。

七、与现行相关法律、法规、规章及相关标准的协调性

本标准与我国现行的法律、法规不存在冲突问题。

八、重大分歧意见的处理经过和依据

无。

九、贯彻标准的要求和措施建议

中国电子工业标准化技术协会

本标准批准后作为推荐性团体标准使用。

十、替代或废止现行相关标准的建议

为了促进国产基础软硬件的发展,规范相关企业的生产和经营,应尽快实施

该标准,加大对标准的宣传、贯彻力度,推进行业的进一步发展。

十一、其它应予说明的事项

本标准不涉及对现行标准的废止。

《事务分析混合型数据库技术要求》团体标准编制

起草组

2023-4-23

中国电子工业标准化技术协会

一、工作简况

根据中国电子工业标准化技术协会2023年第一批团体标准计划通知(中电标

通〔2023〕002号),团体标准《事务分析混合型数据库技术要求》(项目号:

CESA-2023-004)由平凯星辰(北京)科技有限公司提出,中国电子工业标准化

技术协会归口,标准由平凯星辰(北京)科技有限公司牵头,中国电子技术标准

化研究院、建信金融科技有限责任公司、深圳平安通信科技有限公司、华东师范

大学、天翼云科技有限公司等单位共同参与完成编制。

1.研究背景

随着数据采集、留存、汇集以及处理技术的不断完善,企业在数字化转型过

程中产生了越来越多的实时决策系统和实时数据中台建设的需求,HTAP数据库

以易用性、扩展性、快速更新迭代、相对较低成本投入等优势特性满足了企业用

户的核心诉求。

事务分析混合型数据库(HTAP)最早在2014年由分析机构Gartner提出,当

时主要指以SAPHANA为代表的内存数据库的混合负载能力,HANA快是快,

但数据量有限,最大的门槛是“贵且专有”,仅在使用SAP的大企业有少量用

户,那一代HTAP并没有真正扩展起来,也并没有流行形成趋势。直到最近几年,

互联网“海量、实时、在线”的需求越来越广泛,大量采用MySQL和

PostgreSQL开源数据库的新一代企业需要提升对于热数据的实时在线分析能

力,这类需求遍布几乎所有的互联网企业,从事线上业务的数字化转型企业。电

商、游戏、数字媒体、金融科技、网络安全等互联网和数字化业务,对于新鲜数

据的实时分析能力直接决定了这些业务的生死存亡,秒甚至毫秒级的低延迟成为

他们提升消费者体验的重要手段,实时营销、实时风控等业务诉求变得更加普遍,

这种新诉求催生了新一代HTAP的共同诉求:一个数据库,一套架构,同时满

足OLTP和OLAP的低延迟数据处理且互不干扰。在过去十年,国内外众多

中国电子工业标准化技术协会

厂商推出了一系列HTAP数据库产品,进行了大量的探索和实践,并且在产业界

获得了广泛应用。为当前海量数据的存储和实时分析提供了重要支撑。

但同时,国内外针对HTAP数据库还存在较多的技术路线,部分技术路线是

基于传统技术架构的数据库,其HTAP性能将受到限制。因此,制定HTAP数据

库技术要求标准,有利于收敛HTAP技术路线,明确HTAP技术要求,推动业界

形成共识,加快HTAP数据库技术产品迭代和升级,更好满足市场需求,引领全

球HTAP数据库技术进步。

2.标准研究的关键点

标准研究的关键点包括:

1)广义的HTAP数据库,能够在关系数据模型上进行OLTP时具有

强一致性保

证,并且融合了分布式能力从而同时具有高扩展性

。狭义的HTAP数据库

指的是采用行列混存或者行列转化技术来同时支持事务能力和分析功能。事

务分析混合型数据库多基于分布式架构和对用户透明的完全无共享的Share

nothing并行计算架构实现,因此标准首先需要明确HTAP数据库定义;

2)确定HTAP数据库的功能特性,包括基本功能、HTAP特性以及宜支持的分布

式特性;

3)明确应具备的自动化安装部署、监控告警、性能容量、系统配置、升级维护、

数据备份恢复等运维管理能力。

3.工作过程

1)标准化需求调研

2022年3月-2022年6月,对HTAP的标准化需求开展调研,调研目前国内互联

网、金融、电信、电商、物流等行业的数据密集型应用、实时数据服务等场景中

遇到的实际问题,并组织多次需求讨论会,邀请数据库厂商从产业现状、当前面

临的问题、可通过标准化解决的问题以及标准化思路四个方向讨论标准化需求,

明确标准化对象。

2)成立标准编制组

2022年7月,在全国信息技术标准化委员会数据库标准工作组内邀请对本标

准感兴趣的企业参与,成立标准编制组。

3)标准大纲讨论及编制

中国电子工业标准化技术协会

2022年8月-2022年9月,根据需求研讨会中提出的问题,从HTAP数据库的技

术架构、功能要求和运维要求等方面形成《事务分析混合型数据库技术要求》标

准大纲,并在编制组内进

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论