2024分布式数据库技术金融应用规范的技术架构及核心功能的解读

(e.gmysql

SELECT*FROM

WHERE

Storage

(e.gSETSET…WHEREATE

IncrementDataIncrementDataClientUPDATETABLE_NAMEClientUPDATETABLE_NAMESET…WHERESQLFullkre

MyMySQOrlD2

DataData

DataData

DataDataDD 位置ngMySQOrlD2服务HAUnixUnixX86架ARM架

——以通用标准的物理服务器和操作系统为基础平台。数据存储和数据处理在X86、ARM架构的物理服务器上，操作系统为以类Linux作系统为基础的各类国产操作系统、商用操作系统、开源操作操作等软件平台上。——弹性水平扩展。使用数据分片技术，将多个数据分片整合成逻辑上统一的分布式事务数据库集群，并根据业务发展需要可随时在线动态增加/减少数据分片数量，从而突破集中式数据库在存储容量和处理性能上所面临的限制。CREATETABLET4(IDCREATETABLET4(IDINTUNSIGNEDNOTINSEINITIUL,PRPPAUTNCREMENT,VLUECREATETABLET4(IDINTUNSIGNEDNOTPRIMARYKEYAUTO_INCREMENT,CREATETABLET4(IDINTUNSIGNEDNOTPRIMARYKEYAUTO_INCREMENT,CREATETABLET4(IDINTAUTO_INCREMENTNOTNULL,VALUEINT,PRIMARYKEY(ID));Query1-INSERTINTO301条记录 Query举例：（指挥官角色）rmr计算节点自增序列号1-1000，第一个（集群启计算节点30003001-INSERT集群启计算节点30003001-INSERTINTO300条记录INSERTINTO400条记录分布式事务数据库中使用自增序列方式与单库MySQL 举例：CREATETABLET4IDINTNOTNULLAUTO_INCREMENT,VALUEINTPRIMARY

举例：通过第二个计算节点插入1001条数据时，因为该计算节点仅有1

主从一致延迟超过1秒钟：

强制某一类读操作SQL分布式事务数据库的并行计算INSERTINSERTINTOtable_nameVALUESINSERTINTOtable_nameVALUES104100000004,‘中国INSERTINTOtable_nameVALUES105100000017,‘中国INSERTINTOtable_nameVALUES305100000013,‘中国VALUES303100000006

以存储支付机构号数据的MIDF字段作为分片字段，使用路由算法MATCH机构号104100000004和305100000013存储到数据节点DN1；机构号105100000017和303100000006存储到数据节点DN2。305100000003路由规则为DN1MIDFMIDFMIDFMIDFQueryok,1row 05100000017 03100000006rowaffected3 05100000017 03100000006rowaffected3Queryok,rowaffected1Queryok, 动画演示：数据拆分为个数据节点（D和D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片路由算法及分片函数CH，控制数据行的存储分布位置。分布式事务数据库的并行计算INSERTINSERTINTObINSERTINTObmeVALUES(104100000004,‘中国银行总部’)(105100000017,‘中国建设银行总行(305100000013,‘中国民生银行总行(303100000006,‘中国光大银行总行INSERTINTOtable_name(104100000004,‘中国银行总部INSERTINTOtable_nameINSERTINTOtable_name(104100000004,‘中国银行总部INSERTINTOtable_name(105100000017,‘中国建设银行总行INSERTINTOtable_name(303100000006,‘中国光大银行总行INSERTINTOtable_nameQueryok,2rows(305100000013,‘中国民生银行总行

以存储支付机构号数据的MIDF字段作为分片字段，使用路由算法MATCH机构号104100000004和305100000013存储到数据节点DN1；机构号105100000017和303100000006存储到数据节点DN2。MIDF305100000013DN1,105100000017MIDF rowaffected; rowaffected;3Queryok,rowQueryok,MIDFQueryok,1owaffectedQueryok,1owaffected动画演示：数据拆分为个数据节点（D和D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片路由算法及分片函数CH，控制数据行的存储分布位置。分布式事务数据库的并行计算UPDATEUPDATEtable_nameSET行”WHERE

机构号104100000004和305100000013存储到数据节点DN1；机构号105100000017和303100000006存储到数据节点DN2。 MIDF MIDFMIDFQueryok,1 动画演示：数据拆分为个数据节点（D和D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片路由算法及分片函数CH，计算出分片字段值的存储位置分布，控制Q语句路由到正确的存储数据节点上执行，并返回结果集给应用程序。分布式事务数据库的并行计算UPDATEUPDATEtable_nameSET分行’)WHEREMIDFIN(105100000017305100000013);UPDATEbmeSETUPDATEbmeSETWHEREMIDFIN

机构号104100000004和305100000013存储到数据节点机构号105100000017和303100000006存储到数据节点DN2EPLACE(ISSUERISSUER=RQueryok,2rowsaffecteEPLACE(ISSUER

分片字段值105100000017，305100000013经路由算法MATCH算，得出存储位置分别为DN1节点和DN2 MIDF MIDFQueryok,1r MIDFQueryok,1ro 动画演示：数据拆分为个数据节点（D和D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片路由算法及分片函数CH，计算出分片字段值的存储位置分布，控制Q语句路由到正确的存储数据节点上执行，并返回结果集给应用程序。分布式事务数据库的并行计算SELECTSELECT*FROMtable_nameWHEREMIDF=105100000017;

机构号104100000004和305100000013存储到数据节点DN1；机构号105100000017和303100000006存储到数据节点DN2。 MIDF MIDFMIDF动画演示：数据拆分为个数据节点（D和D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片路由算法及分片函数C，计算出分片字段值的存储位置分布，控制Q语句路由到正确的存储数据节点上执行，并返回结果集给应用程序。分布式事务数据库的并行计算SELECTSELECTO.MIDFASA,O.ISSUERASOISS,ASOJOINMASPONO.MROOT=P.MROOTWHERE

支付机构号数据的MIDF字段+报文标识号MROOT字段组合作为分片字段，使用路由算法MATCH约定算法HASH函数。SELECTP.MIDFSELECTP.MIDFASB,P.ISSUERASPISS,FROMMASPWHERE 分片字段值A,FROMMASOWHEREO.MROOT=104100000001;分布式事务数据库将SQL语句路由下发到DN1和DN2数据节点上并行执行，返回的结果集再经分布式事务数据库内置JOIN算法处理，最终返回应用程序期望的结果集

中国银行总 中国银行总

中国光大银行总行 中国光大银行总行 动画演示：数据拆分为个数据节点（D、D），每个数据节点为经典的双主架构（D和D’为一对，D和D’为一对）。通过分布式事务数据库的分片哈希约定算法及分片函数HH，及分布式事务数据库的内置JI算法引擎，实现跨数据节点的JI及数据结果集合并处理再返回正确的结果集。updateQueryupdateQueryupdateQuery

updateupdateupdateupdate点Query点Query Query

Query

制 存储节 存储节

存储 储节

T1线程，产生随机数NSTARTTRANST2线程，休眠0.1

NSAC_TESTSETUPDATETRA

查询T1

后称该字段为C1，两行数据后称R1与T1线程，产生一个新的整型的范围在1到100UPDATETRANSAC_TESTSETVALUE=VALUE-NWHERE

T2线程，休眠0.1秒，开启事务，查询R1与R2行的C1字段及其和并记录结果，休眠

+-+- -1-

Readncmmitted：线程在事务中的读取，可能并且应该出现字段和不为0的现象RepeatableRead：

数据拆分为18meSETUPDATE StartmeSETUPDATE Start总行’,’分行’)WHEREID>1andIameSETdID<1000 Coit行’（ActiveMaster与StandbyUPDATEtableUPDATEtable_nameSETWHEREID>1andID<1000WHERECommit

UPDATEPrepareUPDATEPrepareUPDATE操Commit

CommitCommit

UPDATEPrepareUPDATEPrepareUPDATE操分布StartUPDATEtable_nameSET分行’)WHEREID>1andID<1000able_nameSHEREID>1anPreparedTE分布StartUPDATEtable_nameSET分行’)WHEREID>1andID<1000able_nameSHEREID>1anPreparedTE Coit) 数据拆分为18数据拆分为18分行’)WHEREID>1andID<1000Commit ‘总行UPDATE障Prepare障Prepare

CommitCommit

UPDATEUPDATEPrepareUPDATEUPDATEPrepareSQL+UPDATE操SQL+CommitOK点（DN1~DN18），每架构（ActiveMaster与

分布StartUPDATEtable_nameSETWHERE分布StartUPDATEtable_nameSETWHEREID>1andID<1000dPrepare‘总行’,’分行WHEREStandbyMaster

ID>1and数据拆分为18UPDATEUPDATE

‘总 UPDATEUPDATEL

UPDATEUPDATEUPDATE INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAME INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;SESSIONTRANSACTION1：批量插入1000条数据TRANSACTION2：删除上一步插入的1000条数据SELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSESSIONSELECTCOUNT(*)FROMINSERTINTOTABLE_NAMESELECTCOUNT(*0或DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;QueryQueryQueryQueryQueryQueryQueryQuery

QueryQuery

COUNT(*)操作，查询所有节点的数据总数，QueryQuery SESSION反复执行：批量插入1000SELECTCOUNT(*)FROMQueryQueryQueryQuery

QueryQuery

INSERTINTOTABLE_NAMEINSERTINTOTABLE_NAME INSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMESELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSESSIONSELECTCOUNT(*)FROMSELECTCOUNT(*)出的结果为1000QueryQueryQueryQueryQueryQueryINSERTINTOTABLE_NAME(ID,NAME)VALUESINSERTINTOTABLE_NAME(ID,NAME)VALUES(12,'abc’),(13,'abc’),SELECT*FROMTABLE_NAMEWHEREID=11FORSELECT*FROMTABLE_NAMEWHEREID=14FOR依旧在A客户端继续执行AUPDATETABLE_NAMESETNAME=‘bcd’WHERE UPDATETABLE_NAMESETNAME=‘bcd’

开启一个客户端执行A

ery

INSERTINTOINSERTINTO INSERTINTOINSERTINTOINSERTINTOINSERTINTOSELECT*FROMWHEREID=11FORSELECT*FROMWH