数据治理平台建设与应用技术方案

数据治理平台建设与应用技术方案数据治理平台背景数据治理平台应用场景分析数据治理平台建设方案研发数据刑侦信息广告数据舆情信息舆情数据监测数据研发数据刑侦信息广告数据舆情信息舆情数据监测数据数据用户信息风险信息管理数据第三方数据搜索数据社交数据持有大量用户数据，对数据资产的售出，将成为行业的新增长点。金融各行业的金融信息流可结合第三方数据，更制造政府的治理社会实施了大数据项目实施了大数据项目，所采用的技术众多n大数据存储应用广泛，具备大数据必备因素现阶段大数据技术Hive、Spark、Storm、Hbase已使用广泛，解决了大数据存储问题。nETLnETL工具、FLUME组件负责大数据交换问题大数据存储数据的传输问题也有大数据组件解决，如Flume，主流ETL工具等。n数据BI、数据挖掘通过数据BI软件、数据分析挖掘通过大数据平台的相关组件也可以进行相关分析。模型算法SparkHBase列存储Storm流处理BI分析数据挖掘nn数据产品厂商，缺乏场景使用经验数据平台厂商与数据应用厂商往往不是一家，平台厂商缺乏数据应用建设经验。数据提数据提供商产品提产品提供商解决方解决方案提供商平台提平台提供商数据分数据分析厂商业务算业务算法提供商nn数据应用厂商不能理解平台内数据业务含义具有涉密数据开发资质的厂商有限，但并不了解大数据平台内部数据的含义。我们还需要哪些数据建设厂商？nn各厂商之间交换的数据质量得不到保证大数据建设项目被分为数据平台、应用、业务等多个独立项目和厂商，之间的衔接部分没有人管理，造成数据质量差。技术需求•大数据量实时传输没有解决方案技术需求•大数据量实时传输没有解决方案管理需求业务需求•数据使用者无法理解数据模型数据治理平台背景数据治理平台应用场景分析数据治理平台建设方案应用百花齐放数据应用数据应用数据应用厂商Z访问层厂商Y存储层数据源厂商X传统的应用按照业务建设，一个厂商需要负责数据采集、存储、数据应用等全部过程；大数据时代，技术更加专注和专业，系统建设趋势是采用横向切分应用百花齐放数据应用数据应用数据应用厂商Z访问层厂商Y存储层数据源厂商X传统的应用按照业务建设，一个厂商需要负责数据采集、存储、数据应用等全部过程；大数据时代，技术更加专注和专业，系统建设趋势是采用横向切分模式。数据中心集中建设需要解决“应用和平台分离”建设模式带来的新问题。应用：我有数据分析经验，但是我拿不到高质量的数据。目前拿到的数据不能用。厂商Z：我只是提供数据共享平台，厂商X的数据特性平台无法支持，产品不能动。厂商Y：我只是提供数据存储平台，不了解业务建设需求。厂商X：只了解业务系统特性，对于大数据平台需求平台产品特性不清楚。数据应用厂商管理管理不规范：数据模型管理缺乏规范化体系，大数据平台内数据的技术、业务属性不清晰，没有完善的数据模型管理体系与规范。管理使用2数据服务3使用不明确：由于数据业务特性与使用方法不统一，难以对结构化数据、半结构化、非结构化数据的快速集成和共享使用2数据服务3数据管理质量监控监控不到位：在实际数据运行中，会出现数据数据管理质量监控监控不到位：在实际数据运行中，会出现数据信息发生中断异常或数据量发生突然变化等数据异常监控。无法通过传统的监控手段及时发现。大数据平台建设厂商1大数据平台数据源数据源我该找谁要数据？数据数据使用数据分析数据挖掘大数据平台数据资产模型数据接口…我该找谁要数据？数据数据使用数据分析数据挖掘大数据平台数据资产模型数据接口…建议：1.自动化获取元数据信息通过自动化采集与解析手段，建立技术、业务、过程元数据的注册输入，标明数据方位。2.标明数据方位，整理业务属性将数据资产按业务属性编目，梳理数据的属性、共享方式、特性、映射。3：建立业务数据服务目录以数据资产为驱动方式，实现数据集成和共享。建立数据服务目录。如何自动化管理？如何快速找到样例数据？ⅆⅆ批量数据交换？资源实例大数据资源空间资源服务内存数据服务数据库服务数据资产服务数据资源服务实时资源同步资源获取批量CRUD数据模型数据资源模型内存数据模型CRUDx'数据太大无法传？资源实例大数据资源空间资源服务内存数据服务数据库服务数据资产服务数据资源服务实时资源同步资源获取批量CRUD数据模型数据资源模型内存数据模型CRUDx'建议：1.梳理数据交换需求梳理数据集成、交换需求。按技术特征划分为实时、准实时、批量等。2.数据资产与服务对接基于数据资产的数据开发，实现资产与数据服务的对接。通过服务目录直接获取所需数据。数据不一致怎么办？日使用流量数据量异常波动？日使用流量建议：1.明确重要监控指标Hadoop平台的重要数据监控指标与监控需求。2.建立多渠道监控方式对接数据监控平台，以以邮件、短信等通知方式告警。50每日数据变化量检测40302050每日数据变化量检测403020基于数据模型管理n可以灵活扩展支撑业务变化，保证业务数据保质量、标准化基于模型的数据获取数据，基于数据模型管理，可以让技术与业务人员通过平台可以迅速找到对应的数据资源。可对接多种数据源n支持现有主流的大数据技术平台的对接可对接现有的大数据Hive，Spark，Strom流数据等主流的数据结构，分为实时数据和批量数据的对接方式。n数据获取方式灵活多样，可支持配置化数据订阅管理支持多种数据获取方式支持灵活的数据订阅方式，以支推，拉的数据订阅数据与服务接口对接。可以快速的获取到想要的数据活文件。提供数据监控预警机制n支持多种数据预警机制，随时发现数据任务执行过程中所遇到的问题支持执行任务的全过程监控，执行数量监控，数据波动、数据到达预警监控等，并支持多种信息通知方式，如短信、邮件等。数据治理平台背景数据治理平台应用场景分析数据治理平台建设方案通过数据治理，提供数据服务，从管理中心转变为服务中心通过数据治理，变现数据价值，从成本中心转变为利润中心管理职责管理思路管理组织传统数据管理创新数据管理用数据治理连接大数据与业务创新网络数据通信数据网络数据通信数据信用数据客户数据数据数据交易大数据数据运营数据开发数据发布财务数据运营数据开发数据发布财务人力人力传感器数据社交媒体IT/OT图像视频交易业务创新运营生产分析交易运营生产分析需求分析展现应用分析展现应用数据源数据源数据治理平台数据应用1数据资产平台3数据服务总线2数据开发平台大数据平台44数据监控平台规范业务所属部门的业务所属部门的系统开发人员，主要提供所负责业务系统功能开发与业务创新的IT实现。但往往不清楚大数据中心数据的特性。往往把业务人员提出的需求交给数据中心实现。大数据中心的管理员，负责大数据中心的运营与管理。负责采集与各业务系统的数据，接收各业务系统的提出的数据业务需求。并负责给数据消费者提供必要的大数据支撑。大数据中心的开大数据中心的开发人员，负责大数据中心的数据ETL加工，并数据管理中心批准的数据需求进行开发。通常需要面对各业务部门的需求，难以了解业务部门的数据特点。业务运营人员是业务运营人员是企业各业务部门一线的业务人员，拥有大量的数据使用的需求。但通常并不了解大数据中心的数据能力与企业内部其他部门的数据情况。业务运营人员业务系统开发人员2.查找数据业务运营人员业务系统开发人员2.查找数据1.提出数据需求确认数据需求4、7.交付数据确认数据需求4、7.交付数据3.返回数据运营生产运营交易分析交易6.返回数据6.返回数据数据消费方数据提供方—一80%20%需开发数据需求数据使用分析应用等与需求/流数据使用分析应用等与需求/流程接口应用数据资产平台数据服务总线数据监控平台应用治理规范服务共享规范服务规范数据开发平台……Spark加工组件加工组件RPC调用采集组件应用数据资产分析数据资产管理/编目 ...数据资产分析数据资产管理/编目数据资产使用数据资产模型设计元模型设计器数据资产采集采集适配器管理采集适配器管理集……数据应用数据监控数据开发数据应用数据监控数据开发数据资产分析统计数据资产存储元模型管理资产存储数据资产分析统计数据资产存储元模型管理资产存储数据资产接口服务数据资产管理数据资产采集↓↓接口文件DB…储3、采用MOF模型规范实现数据资产扩展存储数据入库数据入库入库策略入库策略1、解析、组装、入库过程分离，实现数据资产采集和存储解耦数据资产采集采集解析模型组装数据资产采集采集解析模型组装多类型企业数据源采集调度解析算法2、可插拔的采集适配器，支持数据资产管理的无限扩充采集调度解析算法落地数据资产平台权威扩展分析统一扩展分析统一建立统一的数据模型视图，为业务管理人员方便的获取到数据提供先决条件;数据资源探查数据资源探查数据资源管理策略管理数据共享层数据共享层数据资产数据资产批量数据数据服务层数据服务层服务服务数据开发描述资源模型结构数据开发描述资源模型结构约束约束关系关系结构大数据模型描述大数据模型约束约束据资产、模型为基础的资源开发。将模型开发复用数据开发平台提升创新易懂创新易懂针对业务特性对现有的数据资产进行编目开发，让数据使用者直观理解数据的含义；统一统一标准规范系统安全服务资源目录中心总线监控中心标准规范系统安全服务资源目录中心总线监控中心数据服务总线数据服务总线基础服务数据开发层数据开发层数据资产擎数据消费者数据/文件订阅•数据服务总线重点解决高性能和高可用性能力单Server处理能力：采用SEDA架构、轻量级部署架构（直接部署JVM之上）、异步Servl分布式横向扩展能力：采用灵活的集群部署模式、配置热更新、资源单实例处理能力单实例处理能力异步多线程模型-SEDA特点……分布式扩展能力分布式扩展能力通过控制台对多个ESBServer进行统一管理•跨机器、跨JVM部署•配置更新、统一监控硬件CESB管理服务器硬件CESB管理服务器硬件A硬件D……硬件D……硬件B快速渠道统计海量统计海量对于海量数据与音视频文件，提供快速的大文件传输机制，快速获得大数据；安全安全统计分析………统计分析……………表表业务应用………业务应用………数据服务总线数据服务总线数据开发数据开发离线数据采集数据资产......离线数据采集数据资产......外部数据大数据平台其他应用平台4数据传输监控线实现大数据平台数据到达情况监控和数据分发成功与否监控，数据到达是指采集及时数据监控平台便捷标