某政企数字化转型数据治理平台解决方案

政企数字化转型数据治理平台解决方案目录数据典型问题数据平台产品与解决方案成功案例典型数据问题1：数据共享困难评估项目绩效产品经营：竞争力、销量、毛利产品客户满意度：质量、易用性产品维保：返修率、可维护性研发部销售部销售量易销售型反馈财经部售后服务合同额收入利润客户反馈备品备件服务成本研发部与各部门沟通打申请报告公司总裁审批系统对接每项数据至少一个月以企业产品研发为例3典型数据问题2：数据质量不可靠文档数据长：100CM宽：80CM高：200CM净重：50Kg产品设计生产制造真实发货数据海关清关，货物与实际不符实际数据长：100CM宽：80CM高：200CM净重：60Kg产品4典型数据问题3：基于数据快速分析与决策扩大生产Or减少生产工人准备度如何供应链是否有风险资金链是否有问题供应链财经制造5数据治理是政企数字化转型的核心能力找得到

质量高数据质量可检验数据标准统一用得好数据支撑业务应用与决策从数据采集到数据全景可视可搜索的数据目录清晰的数据标准定义数据目录Data

Catalog6目录7数据典型问题数据平台产品与解决方案成功案例数据平台方案全流程提升数据质量全量数据汇集加强数据服务数据资产展现汇集所有数据使用HW云CDM/DRS等平台对总部和分公司的数据进行汇集规整汇集的数据使用HW云DGC平台对数据进行数据开发、规范设计与数据清洗和治理给数据赋予业务属性数据服务化，支撑业务应用，实现数据可用不可得数据大屏展示构建可定制的数据大屏或业务应用，实现用户数据一盘棋12348数据平台方案：一站式数据运营平台，构建全域资产产

存

消

管

控数据接入能力数据一站式开发数据上云能力数据领域建模能力敏感数据安全存储数据服务化能力分析资产沉淀能力分析资产标准化能力数据质量管理能力元数据管理能力数据模型管理能力数据服务计量能力数据脱敏能力数据水印保护能力审计追溯能力DGC数据集成实时接入批量集成设备数据集成DGC：一站式数据运营平台DGC数据服务数据开发可视化ETL混合编排流批结合并发调度监控运维数据资产元数据采集血缘分析

资产管理

数据地图

资产报告数据规范业务分层数据标准约束规则数据模型数据指标数据质量质量稽核数据对账指标管理监控告警质量报告数据服务服务市场开发调试审核发布授权流控运营运维数据开发效率提升3倍

•

40+异构数据源接入

•

数据建模工作从月到天

•

开放API，支持被集成全流程开发治理，0编码API服务，数据->资产->价值文档DDSRDSDGC可管理丰富的数据源类型批处理MRS

数仓DWS9数据集成：多种方式异构数据源高效接入统一数据存储离线数据数据库 服务器

大数据…CDM批量数据迁移1、产品定位TP→数据湖场景；2、产品特点支持20+种数据源支持全量、增量迁移支持多种调度方式业务系统数据传感器量测数据业务数据…IOT设备数据接入（kafka+Flink）1、产品定位IOT数据实时集成2、产品特点支持IOT数据实时集成实时数据数据库业务数据大数据…10DRS实时数据迁移1、产品定位TP→数据仓库场景2、产品特点支持HW云数据库数据源支持全量、增量迁移支持多种调度方式批量数据迁移CDM数据迁移支持20多种常用数据源，满足数据在云上和云下的不同迁移场景预置丰富的字段转换功能：脱敏，字符截取，日期格式化迁移效率基于分布式计算框架进行数据任务执行和数据传输优化，效率高交付方式开箱即用，提供可视化任务开发界面，通过简单配置几分钟即可完成任务开发运维提供可视化监控，实时掌握任务执行状态，快速定位异常CDM特点第三方云数据库服务器大数据企业数据中心数据库服务器大数据HW云CDMElasticSearchFTPOBSDISHadoop关系数据库数据仓库CDMCDMElasticSearchFTPOBSDISHadoop关系数据库数据仓库HTTPVPNHTTPVPN第三方云数据库服务器大数据企业数据中心数据库服务器大数据11提供同构/异构数据源之间批量数据迁移服务，支持文件系统，对象存储，关系数据库，数据仓库，NoSQL，大数据云服务等数据源之间迁移，无论是本地数据中心还是公有云上的数据源CDM功能特性多数据源支持HDFS、HBase、Hive、DWS、UQuery、OBS、FTP、SFTP、NAS、MySQL、PostgreSQL、SQLServer、Oracle、Db2、DCS(Redis)、DDS(MongoDB)、CloudTable、DIS(Kafka)、

Elasticsearch事务模式迁移当作业执行失败时，支持将数据回滚到作业开始之前的状态，自动清理目的表中的数据。向导式开发界面提供可视化的连接和任务创建、编辑界面，用户通过菜单配置方式完成连接和任务创建和编辑脏数据归档支持迁移过程中的脏数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值来决定任务是否成功。文件加密在迁移文件到文件系统时，支持对写入云端的文件进行加密。表/文件/整库迁移支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。字段数据转换器支持去隐私、字符串操作、日期操作等常用字段数据转换功能。增量数据迁移支持文件增量迁移和使用Where条件配合时间变量函数实现增量数据迁移。RESTful

API支持RESTful接口提供服务管理API（申请、注销、启停），连接管理API（增删改查），作业管理API（增删改查、复制、启停）。MD5校验一致性支持MD5校验，检查端到端文件的一致性，并输出校验结果。12DRS高效的数据库上云迁移工具数据复制服务（Data

Replication

Service，简称为DRS）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS

围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本应用场景其他云数据库本地数据库MySQLMySQLGaussDB(for

openGauss)GaussDB(for

MySQL)数据复制服务DRS云内自建数据库VPC专线/VPN/公网+SSL专线/VPN/公网+SSLVPCMySQL支持迁入和迁出HW云外部网络支持数据全量、全量+增量同步Oracle本地数据库14MySQLDWS目标端数据库在线迁移支持通过多种网络链路，实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景数据同步数据同步在不同的系统之间实现关键业务数据的实时流动，同步是维持不同业务系统之间数据的持续流动，常见的场景是：实时分析、报表系统、数仓环境多活灾备解决地区故障导致的业

务不可用，为用户业务

连续性提供数据库的同

步保障。轻松地实现云

下数据库到云上的灾备、跨云平台的数据库灾备客户价值操作便捷，简单，完全按照指引操作DRS，实现了数据库的迁移和同步“人人都会”在DRS

中仅需分钟级就能搭建起迁移任务，让整个环境搭建“高效快速”DRS通过服务化，免去了传统的DBA专家人力成本，硬件成本，并允许按需购买，实现了服务“人人都用上”DRS通过多项特性，大大提升任务成功率，帮助用户“人人都能做好”数据库迁移和同步15IOTDA：全场景极简设备接入核心优势全场景极简设备接入10+接入方式，覆盖各类场景协议插件接入私有协议小时级设备极简接入稳定连接，高并发通信亿级设备安全稳定连接10万TPS高并发可靠通信万级TPS并发设备上线数据实时推送，按需流转实时推送数据到业务服务器数据无缝流转到10+云服务自定义数据流转规则全链路自诊断，高效运维全链路日志分析和消息跟踪设备状态实时监控和感知灵活自定义业务指标告警低成本构建物联网解决方案相比企业自建平台省钱省心引入IoT平台让业务应用更简单高性价比平台实例，按需扩容设备HW云其他服务数据上报下行控制数据推送API调用数据流转HW云IoT平台（IoTDA）设备接入

原生协议接入行业协议接入自定义协议插件边云协同接入监控运维日志分析消息通信数据上报命令下发文件上传配置下发消息跟踪设备管理生命周期管理联动规则OTA升级设备影子状态监控指标监控数据流转订阅推送流转规则数据过滤数据附加业务告警行业应用业务服务器OBS云数据库函数IoT数据分析MRSDIS消息队列ROMA设备接入服务（IoT

Device

Access）是HW物联网基础服务，提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力，并可将设备数据灵活流转到HW云其他服务，帮助物联网行业用户快速完成设备联网及行业应用集成。数据存储：智能数据湖的数据基座MRS数据源贴源数据混合云业务库物联网IoT文件消息…明细数据模型数据数据存储离线数据湖交互查询HetuEngine（湖内查询）专题集市批处理HiveSparkParquet

ORCHudi（实时数据管理）实时流处理实时同步SparkStreaming/Flink（流处理引擎）Kafka（消息队列）批量加载实时数据湖实时加载逻辑数据湖HetuEngine（跨湖查询）数据湖A

数据湖B数据清洗挖掘建模数据管理固定报表清单/详单

大屏展示

BI查询按需加载实时加载AI分析专题分析实时应用自助分析容灾融合数据湖版湖仓一体版HDFSOBSFlink

SQL（批流合一）CDL（实时集成引擎）实时同步定时加载容器调度MRS作为FusionInsight智能数据湖的数据基座，实现“三湖+集市”业务场景，满足客户建设数据湖过程中不同各阶段的需求。实时检索HBase（简单检索）ELasticSearch（复杂检索）Clickhouse（实时OLAP）GES（图数据库）Redis（内存数据库）IOTDB（时序数据库）……15数据存储：高扩展高性能企业级云数据仓库DWS…标准ANSI

SQL、JDBC、ODBC电信金融政府公共安全集中经分

详单查询

企业数据仓库 智慧交通

警务云…协调节点-1行/列存储

X86/ARM行/列存储

X86/ARM行/列存储

X86/ARM本地磁盘本地磁盘本地磁盘协调节点-2协调节点-m…大规模集群通讯网络数据节点-1数据节点-2数据节点-n企业数仓、数据集市、Ad-hoc查询、CRM/ERP、交易系统高扩展容量和性能线性扩展，500+节点，PB级容量存储，满足大规模数据仓库需求动态扩容技术，表级别在线扩容保障业务不中断、无感知自动数据重分布技术，扩容过程性能稳定完备的工具链数据迁移SQL开发集群管理高兼容能力SQL无需修改，完整应用开发和迁移工具SQL

On

HDFS技术，DWS可以方便访问MRS数据兼容标准ANSI

SQL

99和SQL

2003，兼容PostgreSQL/Oracle数据库生态高性能16全并行分布式MPP架构，无单点性能瓶颈行列混存及向量化计算，满足全行业场景高性能诉求，带来100倍分析性能提升极速并行数据加载工具GDS，实现并行高速加载数据存储：企业级云原生存算分离数据库GaussDB(for

MySQL)GaussDB(for

MySQL)是HW自研的最新一代企业级高扩展海量存储分布式数据库，基于MySQL8.0版本，完全兼容MySQL。采用计算存储分离架构，基于HW最新一代DFV

存储，支持1主15只读的高扩展性、128T的海量存储，无需分库分表，数据0丢失，为客户提供企业级数据库解决方案Page

reads主节点(read-write)只读节点(read-only)只读节点(read-only)Coherence

trafficRedo

log

writesDFV最新一代共享存储只读只读LAN

network磁盘 磁盘磁盘磁盘

磁盘MySQL主SQL

层EVSEVSSQL层FusionStorageInnoDBInnoDBBinlogPageRedoUndo传统MySQL数据库架构MySQL

备17GaussDB(for

MySQL)架构读写VS读写存在问题：Page双写和各类日志写入消耗大量CPU、网络、IO等资源，极大限制性能添加只读节点，需要全量复制主节点数据，效率低备份和恢复效率低，1T以上数据都是小时计主备复制时延无法保证，主备倒换受到影响，难于保证RTO架构优势：极致性能：计算与存储分离，Page重做等下推到存储节点，充分发挥计算性能极速扩展：主节点、只读节点均不保存数据，支持快速速扩展新的只读节点极速恢复：备份恢复采用DFV存储快照技术，数据0丢失，故障闪恢复极致可靠：主备无需binlog同步，时延<10ms，主节点故障只读节点极速切换19数据存储：企业级分布式数据库GaussDB(for

openGauss)GaussDB(foropenGauss)，是公司自主研发的新一代企业级分布式数据库，支持x86和Kunpeng硬件架构，基于Share-nothing架构，提供高吞吐强一致性事务处理能力、两地三中心金融级高可用能力、分布式高扩展能力、大数据高性能查询能力，应用于金融、电信、政府等行业关键核心系统。高性能:支持高吞吐强一致性事务能力鲲鹏2路服务器分布式强一致：32节点1200万tpmC高可用:双活和两地三中心高可用集群内HA，数据不丢失，业务秒级中断同城跨AZ容灾，数据不丢失，分钟级恢复两地三中心部署易管理:易迁移，易监控，运维兼容SQL2003标准语法+企业扩展包数据复制、监控运维、开发工具高扩展:容量和性能按需水平扩展支持3副本、4副本高可用方案3副本最大256节点扩展能力，卓越线性比支持在线扩容数据迁移SQL开发集群管理工具集分布式执行分布式SQLData

NodeCoordinator

Node（分布式CBO）GTM(分布式事务)Computing

network存储引擎分布式执行分布式SQLData

Node存储引擎主备HA切换跨AZ多活两地三中心X86/鲲鹏+本地存储电信金融电力政府平安城市…适用行业20数据存储：DDS完全兼容MongoDB、灵活架构的文档数据库文档数据库服务（Document

Database

Service，简称DDS）完全兼容MongoDB协议，提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务，同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。支持单节点、集群、副本集方案，满足用户对文档数据库的业务诉求。ApplicationShard

2Shard

NShard

1PrimarySecondaryHidden…DDS文档数据库服务PrimarySecondaryHiddenPrimarySecondaryHiddenRouterDriverMongoDB3种架构集群、副本集、单节点集群：nTB存储、在线扩容副本集：2TB存储，3副本单节点：高性价比100%兼容MongoDB-迁移上云，无需业务改造-支持社区3.4/4.0版本高可用架构高可用、跨3AZ部署高可靠自动/手动备份，数据恢复三副本Shard架构（集群）副本集多节点（三、五、七）副本集支持跨3AZ部署每天自动备份，保留732天手动备份，永久保存备份恢复高安全具备多层安全防护网络：VPC网络隔离传输：SSL安全连接访问：安全组出、入限制存储：EVS磁盘加密管理、监控简便、完善的管理监控可视化监控：CPU/内存/IO等实例一键扩容、规格变更错误日志、慢日志管理参数组配置21数据治理：集开发+资产+规范+质量一体化的治理流程DGC平台：提供一站式智能数据管理能力，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛；数据治理能力：基于HW13年数据治理方法论，帮助企业统一数据标准，构建全域大数据资产，加快数据变现，实现数字化转型DGC：一站式数据运营平台数据开发可视化ETL混合编排流批结合并发调度监控运维数据资产元数据采集血缘分析

资产管理

数据地图

资产报告数据规范业务分层数据标准约束规则数据模型数据指标数据质量质量稽核数据对账指标管理监控告警质量报告一站式平台，一个DGC平台即可完成数据全生命周期的开发治理工作，加速传统数据治理流程7倍以上数据湖统一管理，单平台统一接入多种数据源，支 持40多种异构数据源HWW云各类基础数据服务支持模型资产沉淀，构筑行业知识库，通过模板一键导入导出能力复用数据资产和模型，将原有1个月的数据建模工作缩短到1天以内支持公有云、混合云数据统一管理，灵活支持客户数据系统建设需求22数据开发：统一开发编排调度运维平台，降低大数据服务门槛数据开发流程：数据建模：在规范设计环节中，根据用户业务需求设计并创建好数据模型数据集成：数据开发中集成批量数据迁移进行数据迁移脚本/作业开发：在线开发SQL/Shell脚本和作业，拖拽式完成工作流编排运维调度：混合编排多类型任务，配置多种调度配置策略，监控活动的作业数据应用：开发/加工好的数据，通过数据共享提供给业务方消费产品特点：一站式IDE平台：实现一站式大数据服务及数仓开发，无需切换多个工具一站式编排调度平台：支持对接多种云服务，可实现跨服务作业编排调度简单易用：在线SQL/Shell脚本编辑调试；预设30多种任务类型，拖拽式工作流编排调度稳定高效：丰富的调度配置策略，千万级别的作业调度能力数据规范：统一数据分类、标准、建模、指标管理按照主题域实现一数一源银行社保房管公安银行姓名身份证号家庭地址受理时间办理业务联系电话银行卡号社保姓名身份证号单位名称联系地址联系电话保险类别缴费基数房管房屋所有人姓名身份证号联系电话房屋地址房屋用途产权证号登记时间公安姓名身份证号户籍处所宗教居住地址犯罪违法信息基本信息身份证号（公安）姓名（公安）户籍（公安）年龄（公安）联系信息身份证号家庭地址（网格）联系电话（网格）联系地址（网格）来源（网格）身份证号所属单位身份证号身份证号银行卡号（银行）单位名称（社保）房屋地址（房管）银行办理业务家庭地址(社保)房屋用途单位名称（银行）职业类型产权证号金融产品保险类别等级时间家庭地址（银行）缴费基数房屋所有人姓名账户信息

行为信息

持有信息身份证号姓名流动次数旅店住宿犯罪前科违章处罚身份证号单位名称职业类型危险行业司法信息……数据建模流程、输入、输出信息调研收集源系统资料系统分析和调研样本数据查看数据字典整理源系统介绍文档源系统数据字典测试数据源系统调研文档主题域数据模型概念模型设计源表主题域划分确定主题域的主要实体确定实体之间的关联关系源系统调研文档主题域数据模型源系统调研文档概念数据模型逻辑模型设计统一业务术语逻辑模型设计确定转换规则完善与跟踪源系统调研文档概念数据模型数据标准参考或要求逻辑模型设计文档代码统一编码文档物理模型设计表名及字段命名字段类型设置

PK或其他索引详细映射逻辑模型设计文档代码统一编码文档源到目标详细映射建表语句-DDL产品特点：践行数据治理方法论，将数据治理行为可视化打通数据基础层到汇总层、集市层的数据处理链路落地数据标准和数据资产，通过关系建模、维度建模实现数据标准化通过统一指标平台建设，实现规范化指标体系，消除歧义、统一口径、统一计算逻辑对外提供主题式数据查询与挖掘服务22数据质量：数据质量稽核作业实现数据标准快速落地考核监督流程再造监控预警趋势分析知识沉淀业务系统数据监控效果分析问题分析解决业务指标监控数据质量监控数据画像质量监控数据去重清洗、标准化质量分析智能辅助告警系统统一元数据管理、数据标准、数据质量稽核库产品特点：支持两种质量报告：业务质量报告和技术质量报告内置多种质量规则：内置模板规则20+种，库级规则、表级规则、字段级规则和跨字段级规则多维度质量监控分析：完整性、有效性、及时性、一致性、准确性、唯一性，数据质量监控+业务指标监控。23数据资产：统一数据资产视图，便于资产搜索、访问、溯源数据资产统一视图技术元数据采集业务元数据管理全链路数据分析数据资产可视化API产品特点：360度全链路数据资产可视化，通过企业级的元数据管理厘清数据资产，关联业务和技术元数据，实现数据资产的数据血缘分析和数据全景可视数据地图提供企业数据资产统一视图，支持数据智能搜索、数据资产标识、全链路数据血缘分析、数据概览等能力数据资产报告从资产容量、资产类型、资产分类、资产标签等多维度对数据资产分布进行可视化展示，支持按照天和周生成资产报告24数据服务：解耦数据与应用，实现数据共享开放产品特点：现有API统一管理：支持将现有的API快速注册到数据服务平台以统一管理和发布服务调用监控：已获取授权的应用、调用数、申请数、使用参数等，通过流控策略把控服务调用用，保障业务稳定性。应用与数据解耦：应用、数据各自仅关注各自的业务逻辑部分数据模型共享能力：减少数据模型重复开发；数据安全能力：减少大量明细、敏感数据直接暴露给应用；25数据服务管理：包括API注册、生成、发布、停用、恢复、下线、服务目录、监控等数据安全：数据湖内数据全生命周期安全和隐私保护加密存储 静态脱敏数据水印 动态脱敏数据分级

数据分类加密接入数据安全管理数据开放数据安全洞察数据存储数据接入数据权限管理数据表权限数据目录权限数据访问审计数据管理敏感数据保护敏感数据发现数据分级分类数据隐私保护关键特点细粒度权限管控：基于ABAC的细粒度（表级、字段级或记录级）权限管控，支持基于标签策略授权敏感数据发现：在数据湖中自动发现敏感数据并进行数据自动分级分类数据隐私保护：数据脱敏、数据水印及数据溯源26外部数据应用业务价值全流程安全管理，全方位保障企业数据安全自助发现隐私数据：降低数据安全管理难度统一管控：统一认证、统一用户、统一服务目录、统一API网关、统一消息统一认证数据治理共享交换标签画像BI可视化标准管控多个功能模块统一认证，实现单点登录，避免多次输入用户名、密码的繁琐，提升使用便捷性。通过Manageone的用户模型统一适配各数据服务的用户信息（用户组织、角