CESA-2020-2-017 分布式平台技术规范 编制说明_第1页
CESA-2020-2-017 分布式平台技术规范 编制说明_第2页
CESA-2020-2-017 分布式平台技术规范 编制说明_第3页
CESA-2020-2-017 分布式平台技术规范 编制说明_第4页
CESA-2020-2-017 分布式平台技术规范 编制说明_第5页
已阅读5页,还剩4页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中国电子工业标准化技术协会

一、工作简况

(一)编制背景

本标准按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构

和起草规则》的规定起草。

本标准由神州数码融信软件有限公司提出。

本标准由中国电子工业标准化技术协会归口。

互联网跟各行业的结合已是必然趋势,其给行业带来新的机遇的同时,也给

系统带来巨大挑战,最主要的体现就是大并发、大数据量以及瞬时集中爆发。目

前大部分行业的系统架构还是集中式架构,处理能力有限,已经严重制约了生产

力的快速发展。经过不断探索,分布式已经被认为是解决上述问题的有效手段,

同时考虑到尽可能减少对业务的影响,以及提供更加全面的分布式支撑能力,所

以,独立的分布式平台就非常重要,但目前行业内分布式平台参差不齐,急需一

套标准指导大家进行分布式平台的建设,从而更好的为上层业务系统提供全面的

基础设施的能力,为我国的互联网转型提供强劲的动力。本标准是根据产业发展

需求,对协会已发布的团体标准《金融行业分布式联机交易系统技术规范》进行

修订,形成了本标准《分布式平台技术规范》征求意见稿。

(二)参编单位

本标准起草单位:神州数码融信软件有限公司、金税信息技术服务股份有限

公司、上海计算机软件技术开发中心、上海软中信息技术有限公司。

(三)编制范畴

分布式平台的主要目标是为不同行业采用分布式技术建设联机交易系统

提供平台级的支持,所以,分布式平台需要提供全面的分布式能力,具体的

系统在建设的时候可以按需灵活选择。本标准主要从平台的视角确定都包含

哪些范围,以及相关的基础功能。具体包括:

a)微服务平台:提供应用层的分布式能力,将一个复杂系统拆分为多个

微服务,每个微服务可同时运行多个实例,不仅提升了系统的扩展性、

中国电子工业标准化技术协会

可用性,还可以快速灵活的应对业务变化;

b)分布式数据:将大数据量表中的数据进行水平拆分,用多个物理库来

承载,不仅降低了单表的数据量,还增加了可用的物理资源;

c)分布式缓存:对于大量的数据查询请求,采用分布式缓存进行存储,

降低对数据库的交互次数,缩短服务的响应时间;

d)全局序列:提供跨多个微服务实例的序列服务,以防止不同实例中的

序列重复;

e)分布式调度:提供统一的分布式调度机制,协调多个微服务节点及数

据库节点共同参与运行,充分利用物理资源,将批量处理的时间控制

在有效范围内;

f)分布式事务:由于微服务和分布式数据,就会带来分布式事务的问题,

所以需提供跨数据库、跨微服务的事务一致性保证机制。

(四)编制过程

标准编制过程分为:筹备阶段、工作组成立、标准调研、标准起草、征求意

见、标准修改六个阶段。

1、筹备阶段

2020年4月与神州信息工程院院长、神州数码融信软件有限公司产品中心

总经理沟通,形成建立“分布式平台技术规范”的想法和规范,并形成负责人。

2、工作组成立

2020年4月,组建此次工作组成员:

姓名电话职务

于宏负责人

薛春布式规范负责人

潘紫协调人

3、标准调研

2020年4月开始,分布式规范负责人组织“分布式平台技术规范”的工作

组成员对国内重点企业的平台系统的现状进行了充分调研,尤其关注分布式涉及

的范围,以及在一些重点领域行业的实现现状。

神州数码融信软件有限公司产品中心副总经理薛春雨组织相关人员,研究了

分布式平台技术规范的特征差异、发展情况、市场需求和现状等方面,形成了调

中国电子工业标准化技术协会

研报告。

4、标准起草

2020年5月“分布式平台技术规范”提交立项专家评审会评审,最终通过

批准立项。

2020年7月13日完成了“分布式平台技术规范”工作组的组建,发布了工

作组章程,确定了细分方向及相关负责人。发布规范编写模板、并通过小组讨论

的方式形成统一的编写思路,讨论并确定了规范的总体思路和框架设计,完成了

标准文本的初稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

(一)编制原则

本标准的制定主要参考了承办单位及协作单位在分布式领域多年的实战经

验,同时兼顾行业的最新发展趋势及行业的整体发展水平,保证了该标准的全面

性、先进性和可落地性。

1.全面性

本标准覆盖了联机交易系统所涉及的多个维度,主要体现在:服务层、数据

层、缓存层和批处理计算,以及分布式系统特有的分布式事务。

2.先进性

本标准中部分内容结合了行业最新发展趋势,虽然有些技术对部分企业还是

有一定难度的,但其又是行业分布式所必须面对的问题,其对整个行业有着积极

的推进作用。

3.可落地性

本标准编制过程中,在保证全面性和先进性的同时,也重点关注可落地性,

对一些比较前沿的实现机制采用推荐的模式,并未做强制要求。保证该标准可以

在行业内大部分企业中推广。

(二)确定主要内容的论据

本标准的定位是面向联机交易系统的分布式平台的技术规范,所以,不仅需

要考虑联机交易系统的需求,同时还需要兼顾不同行业的差异。

对于联机交易系统,首先面对的就是服务的分布式,因为其是外部请求进入

后的第一个环节,所以在这个层面必须具备横向扩展的能力;

中国电子工业标准化技术协会

其次,如果上述服务层不是系统的瓶颈的话,压力就会持续往后传递,势必

会到达数据库,如果某个数据库的表有几千万甚至上亿的数据量,其性能就比较

低,就会成为系统的瓶颈,所以就必须对数据进行分布存储,减少每个节点上的

数据量;

再者,虽然分布式理论上来说可以无限扩展,但真实的生产环境中增加节点

都存在不同程度的衰减,所以要提升系统的整体处理能力,还要考虑单个系统的

贡献度。有些领域的联机交易系统跟数据库的访问次数都比较高,但大部分都是

查询,如果将这些查询数据库的操作都通过缓存命中的话,对交易的单笔响应时

间将是一个非常高的贡献,当然,在分布式体系下,就必须依赖一个独立在具体

的实例之外的缓存,同时考虑到对缓存的使用量比较大,所以,就必须提供分布

式的缓存访问机制。

另外,对于有些行业还存在大量的批处理场景,这些操作都是计算密集型的

任务,所以就必须提供一个分布式的统一调用平台,把所有的应用节点和数据库

节点都充分利用起来,才可以把批处理的时间控制在一个合适的时间范围。

最后,由于应用和数据分布式之后,就会产生分布式事务的问题,并且有些

行业对事务的一致性要求还比较高,所以平台还必须提供完备的分布式事务控制

机制。

(三)解决的主要问题

本标准主要解决如下两个问题:

1)传统集中式的系统架构已经严重制约了行业的互联网转型

互联网正在深刻的影响着整个社会,各行各业跟互联网的对接已经成为必然

趋势,其给行业带来新的机遇的同时也带来巨大的挑战,主要体现在:

-大并发:由于基于互联网上的用户没有地域的限制,所以系统的并发用

户数将大大超过传统业务;

-大数据量:用户在任何时间、任何地方都可以进行交易,这些大量交易

背后又会产生大量的数据;

-浪涌现象:一些热门的互联网产品,会造成客户交易的过度集中,最典

型的就是秒杀或者是双十一这类活动;

-快速灵活:互联网加速了行业竞争,企业要快速占领市场就需要自身快

中国电子工业标准化技术协会

速灵活。

上述挑战在传统架构下很难解决,单纯的依赖云计算、大数据也不能解决。

经过不断的探索,分布式被认为是解决上述问题的有效手段,但如何运用分布式

技术解决联机交易系统遇到的问题,各行业内缺乏统一的认识,急需一个规范来

指导该领域的持续发展,从而带动行业的互联网转型。

2)系统安全可控的挑战

随着前几年棱镜门事件的爆发,网络安全受到前所未有的关注。中央网络安

全和信息化领导小组的成立,习主席“没有网络安全就没有国家安全”等指示的

提出,无不表明网络安全已经上升到国家层面。目前我国一些行业主要软硬件设

施大多由外资厂商提供,关键设备及软件不能自主生产存在安全隐患,尤其是对

IOE的过度依赖非常突出。这个现状也是有着复杂的历史原因,其中一个重要因

素就是之前的系统架构都是集中式的,在集中式的前提下就要求主机及数据库都

必须非常的稳定可靠,由于多年的积累,IBM和Oracle具有非常强的优势。所以,

如果要改变这种情况,就必须在整体设计的时候考虑一些自主可控的技术,分布

式本身就是相对于集中式产生的技术,所以其先天具备优势,并且相关的一些技

术也是开源的,非常适合基于其建立基础架构。

三、主要试验[或验证]情况分析

无。

四、知识产权情况说明

本标准第7章第c)条实施可能会涉及“一种防止脏数据产生的方法”专利、

第10.2章第c)条实施可能会涉及“分布式事务处理方法及装置”专利的使用。

五、产业化情况、推广应用论证和预期达到的经济效果

无。

六、转化国际标准和国外先进标准情况

无。

七、与现行相关法律、法规、规章及相关标准的协调性

无。

八、重大分歧意见的处理经过和依据

无。

中国电子工业标准化技术协会

九、贯彻标准的要求和措施建议

虽然各行业对采用分布式技术来应对互联网转型基本达成共识,也在积极的

进行探索,但国家政府部门暂时还没有非常正式的发文来推进分布式技术在各个

行业的应用。同时考虑到国内各行业联机交易系统分布式的能力参差不齐,为了

贯彻标准有以下建议:

1)推进国家相关政府部门相关政策的推出。由于本标准是推荐性标准,如

果没有大的政策导向,相关机构对该标准的重视度将会受比较大的影

响,进而影响到该项标准的贯彻。

2)对有些行业已经在使用分布式的机构积极引导。在该领域中已经有很多

机构在尝试使用分布式去解决局部问题,但很多并没有进行全面的思

考,可以引导机构往该标准上靠拢,并可以实实在在的体现出给其带来

的价值。然后再进行适当的市场宣传,以起到一定的示范效应。

3)推动标准的深度执行。对于标准中一些建议类的功能,可以尝试在2)中

做的比较好的机构中进一步贯彻执行,一方面可以切实的解决机构在分

布式落地过程中遇到的问题,另一方面也可以提升这些机构在市场上的

影响力。

十、替代或废止现行相关标准的建议

无。

十一、其它应予说明的事项

无。

《分布式平台技术规范》团体标准编制工作组

2020-07-27

中国电子工业标准化技术协会

一、工作简况

(一)编制背景

本标准按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构

和起草规则》的规定起草。

本标准由神州数码融信软件有限公司提出。

本标准由中国电子工业标准化技术协会归口。

互联网跟各行业的结合已是必然趋势,其给行业带来新的机遇的同时,也给

系统带来巨大挑战,最主要的体现就是大并发、大数据量以及瞬时集中爆发。目

前大部分行业的系统架构还是集中式架构,处理能力有限,已经严重制约了生产

力的快速发展。经过不断探索,分布式已经被认为是解决上述问题的有效手段,

同时考虑到尽可能减少对业务的影响,以及提供更加全面的分布式支撑能力,所

以,独立的分布式平台就非常重要,但目前行业内分布式平台参差不齐,急需一

套标准指导大家进行分布式平台的建设,从而更好的为上层业务系统提供全面的

基础设施的能力,为我国的互联网转型提供强劲的动力。本标准是根据产业发展

需求,对协会已发布的团体标准《金融行业分布式联机交易系统技术规范》进行

修订,形成了本标准《分布式平台技术规范》征求意见稿。

(二)参编单位

本标准起草单位:神州数码融信软件有限公司、金税信息技术服务股份有限

公司、上海计算机软件技术开发中心、上海软中信息技术有限公司。

(三)编制范畴

分布式平台的主要目标是为不同行业采用分布式技术建设联机交易系统

提供平台级的支持,所以,分布式平台需要提供全面的分布式能力,具体的

系统在建设的时候可以按需灵活选择。本标准主要从平台的视角确定都包含

哪些范围,以及相关的基础功能。具体包括:

a)微服务平台:提供应用层的分布式能力,将一个复杂系统拆分为多个

微服务,每个微服务可同时运行多个实例,不仅提升了系统的扩展性、

中国电子工业标准化技术协会

可用性,还可以快速灵活的应对业务变化;

b)分布式数据:将大数据量表中的数据进行水平拆分,用多个物理库来

承载,不仅降低了单表的数据量,还增加了可用的物理资源;

c)分布式缓存:对于大量的数据查询请求,采用分布式缓存进行存储,

降低对数据库的交互次数,缩短服务的响应时间;

d)全局序列:提供跨多个微服务实例的序列服务,以防止不同实例中的

序列重复;

e)分布式调度:提供统一的分布式调度机制,协调多个微服务节点及数

据库节点共同参与运行,充分利用物理资源,将批量处理的时间控制

在有效范围内;

f)分布式事务:由于微服务和分布式数据,就会带来分布式事务的问题,

所以需提供跨数据库、跨微服务的事务一致性保证机制。

(四)编制过程

标准编制过程分为:筹备阶段、工作组成立、标准调研、标准起草、征求意

见、标准修改六个阶段。

1、筹备阶段

2020年4月与神州信息工程院院长、神州数码融信软件有限公司产品中心

总经理沟通,形成建立“分布式平台技术规范”的想法和规范,并形成负责人。

2、工作组成立

2020年4月,组建此次工作组成员:

姓名电话职务

于宏负责人

薛春布式规范负责人

潘紫协调人

3、标准调研

2020年4月开始,分布式规范负责人组织“分布式平台技术规范”的工作

组成员对国内重点企业的平台系统的现状进行了充分调研,尤其关注分布式涉及

的范围,以及在一些重点领域行业的实现现状。

神州数码融信软件有限公司产品中心副总经理薛春雨组织相关人员,研究了

分布式平台技术规范的特征差异、发展情况、市场需求和现状等方面,形成了调

中国电子工

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论