医养结合大数据平台建设方案相关两份资料

医养结合大数据平台建设方案目录AGENDA0102需求分析信息化方案03项目顶层设计总览0404智能化方案0405案例06进度规划和价格预估01需求分析01桃园颐养中心采用“互联网+智慧养老”模式，基于“5G智能”和NB-IOT技术，融合云计算、大数据、移动互联网等最前沿信息技术产品，通过采集和分析人体体征、整合临床数据、以及室内外环境等数据，实现权威的体检中心、健康管理中心、康复理疗中心、养老服务中心之间的信息互联互通和分析处理。为老人提供远程护理、远程会诊、安全报警等智能化服务，真正实现数字化、网络化、智能化健康养老。减少人员的投入，用技术手段实现智能化看护、养护服务。

建立一站式大健康管理全息体系，打造国家级医养结合一体化养老示范基地。01项目目标数据沉淀算法优化01卫建委对社区养老的定位帮助桃园颐养社区，打造人工智能的辅助诊疗平台，提高基层医生的诊断水平小病善治大病善辨急病善转慢病善管智能医养结合定位医生诊断与当地政府合作，走访专家，社区医院的医生，制定适合当地的疾病分类标准对于不同的疾病分类，给予不同的辅助诊疗建议信息化和流程化管理，减少人工的干预和过多参与患者就诊辅助诊疗平台小病疾病诊断疾病诊疗建议大病疾病诊断急病与120打通，未入院提前诊断，应对措施指南疾病诊断慢病长期慢病管理转诊患者全生命周期管理和追踪患者信息症状&病史01数据整合的云平台打通各个合作单位的系统和数据平台，形成统一的大数据中心通过系统的直接数据对接，或者用户授权的方式来获取个体和群体的健康数据和档案利用中心平台来实现各数据孤岛的整合，建立全面的个体健康档案管理和群体健康监控系统123医养一体化长者公寓，康复中心、体检中心、护理医院、老年病专科医院的运营管理面向院内及院外会员的慢病和健康管理高端外部医疗资源的协同及管理客户关系管理会员制养老看护平台高端体检服务高端诊疗就诊平台45基于5G和物联网的智慧医疗及老年看护综合管控老人/亲属、医生及机构工作人员的沟通管理医养结合云平台01需求分析以体检为基础，健康管理为服务的医养平台互联网医疗平台智慧医疗大数据平台01医养社区运营的变革降低人力投入成本内外部快速响应提升人员工作效率通过技术优势，减少人员投入减少总的服务人员数量利用技术，提升人员更高效工作让工作人员能够充分了解在正确的时间、赶到正确的地点、提供正确的服务人机协同，形成和外部的整体快速响应，实现全面的养老看护分级服务、分级响应、有机协同02项目顶层设计总览医养结合的路径021体制机制构建以服务人群为导向以服务需求为基础以服务内容为支撑对服务人群进行评估和分级管理对服务机构加以实施监管养老机构和医疗机构近距离规划，签订合作协议推进养老机构建设医疗机构，医疗水平至少达到一级医院以上构建智能养老信息化平台建设老人信息数据库智能健康、智能监护构建区域健康管理信息平台高端医疗资源平台对接远程医疗远程智能健康管理建立老人评估指标体系建立服务质量评价指标系统2优化模式构建3信息构建4评估、评价指标体系医疗机构的信息化建设在不断升级02

实时地进行

感知、分析、和行动车联网虚拟现实物联网移动互联网自然语言处理HIS系统人工智能边缘计算人脸识别物流流程管理智慧医院医疗冷链应急预案管理系统临床系统医养结合医院的系统02医养结合一体两翼依托双中心在管理上医养一体化，建立紧密的医疗协作关系，从而实现医疗体系为养老体系提供包括诊疗、慢病防治等在内的可靠的医疗服务支撑。自理老人半自理老人失能老人远程诊疗医疗/康复服务健康管理居家照护：服务延伸至社区

健康管理：医疗照护

养老基础服务诊疗中心康复中心体检中心长者公寓医养一体

膳食中心：营养管理

快乐生活：幸福管理02医养一体分级诊疗延伸社区02医养数据的价值和发展人机学习+小数据开放云平台+大数据全面健康智能平台完成个人或家庭的健康“轨迹”报告通过数据累积，特征学习算法逐步清晰化个人的健康“画像”，完成疾病预防的预测模型不断丰富数据维度和精度，通过强化学习实现主动、自我完善的智能平台通过数据中心的病例库对标准算法有精确地验证200+万病例，20亿的事例和每个患者的4000数据点选取真实病例进行验证02构建基于桃园颐养社区的群体健康体系大数据存储和管理平台分布式文件系统HDFS表存储HIVE列存储HBASE非结构化数据存储结构化数据存储元数据Meta半结构化数据存储群体健康应用平台数据应用Web前端应用移动端应用客户应用个人客户企业客户爱康体系推荐引擎智能分析医疗知识图谱构建与智能分析平台图谱构建实体抽取实体融合关系学习动态更新图谱存储Neo4jNLP引擎ML引擎群组挖掘聚类分析预测模型语义理解智能问答关系挖掘体系构建03智慧医疗方案03信息化的目标一体的管理体系支撑完整的服务体系支撑人工智能的专业业务体系支撑打造养老机构、医疗机构、服务机构一体化的管理体系支撑涵盖健康管理、养老、医疗、居家服务等全流程的服务体系专业化的养老、医疗业务体系03人工智能算法模型分析诸多健康相关的数据源（症状、疾病历史、身体条件等），特征学习和权重分析这些数据的关联性和影响程度。整合各类数据，精度和效率完全超越人类医生，实现真正实时的健康关怀，未病先干预。数据源临床数据运动数据饮食习惯体检数据工作环境过敏源疫苗家庭病史体质评估心理健康AI数据整合AI风险预测AI干预管理疾病风险提示专科检查建议健康改善建议持续跟踪评估03健康数据的关联性运算03利用人工智能手段快速给出诊断和治疗建议数据层处理服务实体

养老公寓康复中心体检中心诊疗中心健康管理中心统一的服务入口健康管理平台健康档案健康监测健康评估健康指导设备管理数据采集养老服务平台会员管理养老服务系统服务商管理预约受理工单评价安全监护系统居家监护移动监护养老公寓运营平台基础功能营销管理

入住管理

服务管理运营管理财务管理报表管理联网报警管理平台系统养老社区会员管理系统电子商务平台客户关系管理照护/康复服务照护/康复评估照护/康复计划照护/康复任务工作计划远程医疗系统远程医疗信息共享系统远程视频通讯系统慢病管理慢病筛查系统糖尿病慢病管理睡眠管理系统慢病管理系统AI辅助诊疗系统展示中心指挥调度中心运营调度（呼叫中心座席）集中展示智慧养老样板间专业的业务系统互联网门户微信/APP呼叫中心自助查询机03系统架构统一标准数据客户信息数据库

健康档案数据库

电子病历志愿者数据库

RESTAPI持续在线服务匹配和合并分布化流程关联和聚合标准化/富集化排列/分类/集群趋势和预测搜索/发现/协同03桃园颐养的会员服务体系利用人工智能提供精准增值服务群体用户个体用户高端会员搭建智能体检、问诊、导医、健康管理、精准营销平台各分院健康服务产品的布局与优化重大阳性随访、热线医生、销售等医疗管理协作平台定制个体化的体检项目/套餐，以及保险与保费方案推送个体化的健康管理信息（健康资讯、饮食方案、运动方案等）智能解读体检报告，疾病风险预测，全面升级优化个检报告衔接日常健康信息（生理指标、睡眠、行为等）监测，实现智能健康干预团检报告、HR平台、行业白皮书的多维度自动展示定制化的行业（大客户）健康解决方案群体性的康健计划和附加服务03健康云服务平台健康管理服务自动关联算法自动给出建议自动辅助安排养护服务03慢病管理-慢病筛查系统健康管理信息平台健康管理平台医疗卫生资源生活服务资源政府社区资源资源汇聚整合各类资源健康云服务平台安康监护系统健康服务系统大数据分析系统主动关怀系统信息管理系统健康生活馆医疗检测设备运动康复设备按摩理疗设备居家监测设备独居老人安全监测慢病数据监测睡眠数据监测老人防走失设备呼叫中心养老信息化平台老人信息数据库基础设施数据库服务商管理系统服务管理系统统计报表系统0303护理院/卫生服务中心信息平台公共卫生服务康复护理管理家庭医生管理服务医院基础管理系统（HIS）智能化电子病历实验室信息管理系统（LIS）医学影像管理系统（PACS）03远程医疗管理平台03公共服务平台服务通过APP、互联网门户、自助查询机等多种方式提供给居家或在院的老年人，以及老年人的家属。WEB门户APP微信公众号自助查询机手机端个性化报告03展示中心03大数据平台-园区医疗管理03大数据平台-个体健康分析03大数据平台-专业疾病分析03大数据平台-基因检测报告03一体化的管理所有的业务运行、运营状况、基础设施设备等均可以在一个入口进行查看、管理，支持移动端、网页端、大屏等展现方式035G技术的支持和应用远程医疗远程健康监控远程问诊医学传感器医学穿戴设备远程诊疗、专家会诊医疗传感器连接到多个节点，实现网络连接高可靠性安全共享

生物特征数据03知识图谱结构病症和病理关联（1715条）症状表现（418条）临床病种（72种）全科分类（12类）Calculator的功能Actions的功能Questions

的功能Module&Reports的功能Answers的功能知识结构模型机器学习算法03实时的关联性分析，指导性预测大数据分析和管理平台数据可用性和可访问性：高级数据可视化直观的最终用户应用程序洞察力和预测电子健康报告和疾病管理疾病预测和控制健康指导和运动建议慢病管理和实时监控CompanyLogisticsConsultantsClientsSuppliersVendorsAgenciesEmployees现场用户桃园养老管理平台管理人员从各类系统收集的数据第三方的临床数据或者体检数据穿戴设备或者医疗设备数据即服务数据驱动的应用03基于实时数据的人工智能预诊模型患者录入基本属性疾病信息历史病例人工智能分析健康评估疾病预测治疗建议就医建议患者选择就医科室推荐就诊时间确认患者信息同步到EMR患者选择自我管理可穿戴设备录入日常健康指导日常健康记录医生工作准备预知患者病情高效问诊医生诊断结合综合健康状况评估结合病史诊断结果录入EMR，并同步到分析平台患者端分析平台患者端医生端患者端患者长期健康管理帮助桃园颐养，打造人工智能的预诊平台，实现未病先防、预先干预04实时医养管理方案04基于人工智能图谱的医养平台04实时触发快速响应在边缘设备上

进行事件处理主平台运行在云端

或者本地服务器上对外部资源

进行关联整合自动让人或者

机器实时响应智能交互平台–让系统和人无缝对接04技术上包括：视频、手机、地理空间、云（电子病例）、传统病例系统、报警和参与预警：病人的优先级、药物依赖性、120急救降低人员培训成本和看护频次，实现人机互动和医护人员的实时响应对老人情况的实时感知和响应04更新实时的监控仪表板一切正常痛苦的、

致命的征兆积极的警示和介入治疗无明确征兆...利用预诊模型，建立早期预防和干预系统自动触发，减少人工监控04运作流程实例心动过速当前病人的状况从心跳感应器获取信息根据消息激活规则检测病人警告手机应用文字推送疾病预测模型Source源Rules规则Type态Rule规则Situation场景Rule规则Collaboration协作系统帮助人员来实现实时护理04实时的智能数据驱动引擎移动设备大数据本地部署的平台云服务桌面端边缘设备1：病人监护监测门诊病人的健康状况确定干预的要点减少重复入院率，避免财务影响2：精准医学持续评估病人的进展使用真实世界证据对治疗途径进行个性化修改3：库存和供应链管理管理和跟踪高价值的医疗设备自动库存控制/需求预测设备供应商使用实时使用数据来改进产品-并提高交付到护理点的效率智能化支持现场及时诊断04医疗设备医疗设备

管理和连接临床现场医生管理用品和设备智能调度如：派单看护医生增强现实情景型智能-医疗大数据平台关联性智能临床服务

智能1、资产/病人警报-病例/工作单2、现场临床医师日程安排3、病例更新回馈系统和人员5.临床医生到达，携带平板电脑，同时获得安装支持6.给临床医师更新病例状态背景，指示行动/参与规划患者4、现场临床医生到位时通知患者。HIS系统智慧分级服务–降低人工、提升效率04医生专人服务专科指导/护理数据平台专业看护/健康顾问人机协作健康助理专家预约体检提醒群体目标回访邀请医护营销中心健康建议订立时间手机端全自动维护人机协作知识库+AI算法自动分类服务管理人员自动筛查高服务级别低智慧分级服务方式服务类别控制人员规模健康管理平台全智能模式05案例商业模式：

高端养老机构+健康管理中心。

功能分区：

低区设立为康复，护理门诊服务区域以及护理院；

中区长者公寓；

顶层为高端老年有氧健身活动区域及老年公寓配套服务区域；

入住对象：

养老刚需群体及以有养老需求的高净值人群为目标客群。

目标：“医康养”结合的养老、医疗、护理新模式特色：养老+专业护理养老+嵌入式高端医疗机构：曙光鸿泰老年专科医院养老地产类项目05医养结合类项目国家级三级甲等医院、四川省中医药科学院附属医院，是省、市、区基本医疗保险及商业医疗保险定点医疗机构。四川省中西医结合医院四川省重点医养结合试点项目。实现医养结合的总体规划目标，充分发挥医院在社会养老中的支柱保障作用，建设颐养中心、智慧养老、物联网生理监测终端3个软件平台。0505医养结合类项目某地医养结合老年健康社区正在规划整个项目的顶层设计和运营模式，包括弱电智能化，健康云服务平台、养老服务平台、养老社区运营平台、护理院/卫生服务中心信息化平台等医养一体整体解决方案。国内第一个通过绿色三星级认证的医院总建筑面积20885平方米，包括养老院和社区卫生服务中心两部分，其中养老院设置床位450床，为进一步完善该地区配套养老、医疗设施，为社会居民、老龄人口提供可靠优质的服务。05医养结合类项目长春养老服务整体建设主要包括市级医养一体云服务平台建设和护理院托管服务。预计投资9亿元，基于“1+9+N”模式，在长春建设1个市级养护一体机构加9个区域性养护一体机构，并将康复护理和五助服务延伸至379个社区日照中心！05养老服务商类项目泰州“德叔叔”社区居家养老包括智慧养老信息化管理平台，52个日间照料中心健康管理，社区运营模式输出。实现泰州某区域的社区居家智慧养老建设和运营。绿色智慧医院0506进度规划及服务06项目进度规划项目的需求调研项目的具体项目规划第三方系统和设备数据对接方案数据分析模型大数据监控和呈现手机端的开发要求9月10月11月12月1月2月3月4月5月6月7月8月系统的设计和开发分析模型和知识库的本地化和设计数据接口的标准化开发第三方服务接口的打通和准备数据源的采集、对接、整理和结构化数据分析的呈现设计、UI交互设计数据的生命周期管理和开发项目的开发、实施产品的初期验证和交付数据的标准化、协同和整合大数据平台的原型验证大数据监控管理平台的功能验证整体数据平台的交付使用和稳定性人-机协同的场景测试和交付AI数据模型的验证和交付平台的项目规划

数据源的调研项目实施和开发项目的交付和验收06项目交付后服务本地化部署费用：0中移动云平台云架构部署分层数据管理系统升级费用：0系统的升级数据库+软件升级数据接口升级维护保障支持费用：1500元/人*天云平台的维护系统运行环境的维护数据的备份/容灾设备对接开发费用：3500元/人*天硬件设备数据对接数据库数据对接特殊一起设备的对接定制功能开发费用：5000元/人*天定制功能的再开发功能/数据结构的定制人员培训费用：0系统的使用培训平台的维护培训定制开发的指导培训Thankyou分享合作创造园区园区大数据治理解决方案目录CONTENTS1园区大数据治理综述2园区大数据治理总体架构3园区大数据治理演进路线4园区大数据治理建设实施5园区大数据治理治理目录CONTENTS1园区大数据治理综述智慧园区分析类应用建设现状基本分析智慧园区是综合运用以物联网、云计算、大数据和移动互联网等为代表的现代科学技术和手段，是集高端发展的网络化、信息化、智能化和现代化于一体的智慧园区，是以智慧管理、智慧产业、智慧民生等为重要内容的园区发展的新模式。智慧管理、智慧产业、智慧民生三大工程助力智慧园区建设。智慧园区智慧园区分析类应用建设现状基本分析智慧园区分析类应用建设现状基本分析智慧园区分析类应用建设现状基本分析全面物联充分整合协同运作激励创新即智能传感设备将园区公共设施物联成网。物联网与互联网系统完全对接融合。园区的各个关键系统和参与者进行和谐高效地协作。园区、企业在智慧基础设施之上进行科技和业务的创新应用。大数据服务内容大数据全链路解决方案产业融合数据规划硬件体系智慧运营数据中台的开发与部署数据治理数据链接数据资产化数据挖掘大数据产品的开发及应用智慧展厅智慧园区企业服务人工智能数据产业运营支持大数据产业研究传统产业促进人才培养技术创新逻辑关系感知层手机呼叫中心无线网络摄像头传感器网络internet平台层系统层应用层游客管理系统智慧展厅企业画像园区管理企业服务行业监测企业服务系统幸福园区APP一个数据平台五大业务应用三大工作步骤一套硬件体系数据治理数据资产化数据产品化一个数据平台：数据中台数据治理数据管理数据模型算法服务数据产品1、对于一个智慧园区或者产业园区来讲，肯定包含了很多的系统，如：停车系统，企业服务系统、政务系统、网站、APP等等，这些系统所产生的数据需要有统一的数据中台来进行管理；2、通过业务对中台的字滋养，可以培育产生新的业务，培养新的人才数据应用架构第三方数据各管理系统、园区APP等企业数据C端数据资产管理数据管理后台数据流动数据过程数据数据Minpping数据清洗数据归一智慧园区标签类目体系（初拟）服务引擎可视化组件项目信息智能设备物业公司入驻企业消费者投资者物业服务企业服务员工服务投资者服务网络舆情供应链网络数据………IBMS交通探针wifi安防通讯能耗管理建筑设备全寿命管理智慧交通智慧安防中央控制中心第三方应用应用1应用2应用3应用n数据采集层数据中台数据应用层…企业监管企业服务可视化应用员工服务……能耗设施设备物联网数据旅游数据政务数据文化体育产业服务企业服务智慧园区智慧生态链

执法监督智慧旅游行业发展信用融资智慧招商智慧教育设备预警智慧交通企业风控智慧物管员工服务智慧展厅

创新引导智慧安防能耗管理智慧体育智慧园区智慧政务智慧管理智慧产业智慧服务大数据对园区的意义

实现由智能化到智慧化的转变为园区园区提供大数据管理模式大数据为企业提供全生命周期的服务构建园区与产业之间的大数据生态体系业务数据化：数据来源系统集成平台数据门禁信息数据、车辆管理信息数据、探针数据、WIFI信息数据、摄像头数据、电梯运行数据、能耗数据、刷卡数据、设备使用数据、硬件设备日志、智能化数据等等平台系统数据商务数据、企业基础服务数据、缴费数据、政策数据、商旅数据、接待数据、设备使用数据、企业活动数据、企业装修信息，园区消费者信息、日常生活数据、通勤数据、招商数据、租金管理数据等等业态综合数据酒店数据（酒店公司数据、客人数据、会员数据、交易数据、网络数据等等）；商业数据（运营数据、管理数据、C端数据、交易数据、网络数据、偏好信息）；体育中心数据（运营数据、管理数、活动数据、比赛数据、会员数据，人流数据、运动数据）等等物业管理数据项目基础信息，设备供应商信息，服务商信息，物业公司信息、无关员工信息、物业归属信息、物业管理日志、物业服务日志、报修信息、工单信息、满意度信息、投诉信息等等企业信息数据企业数量、企业名称、企业类型、法人代表、企业规模、企业发展、业务业务、财务数据、税务数据、员工信息、员工数量、员工结构、人员流动、薪资变动等等第三方数据用电信息、用水信息、通信数据、银行数据、工商数据、税务数据、园区管委会数据、行政数据、执法数据、质监质检数据、媒体信息、信用机构数据、协会数据等等智慧智慧园区分析类应用建设现状基本分析关注的内容存在的问题基本的现状园区大数据治理累积数据没有充分利用缺乏面向整个园区的统一、完整的数据视图；缺乏支撑园区日常应急运转的风险评估体系；缺乏园区服务360度视图，服务行为分析和预测无法实现；缺乏面向银行应急运营管理的关键绩效指标体系；……园区已建立面向整个园区服务的数据仓库，整合了前台应急运营数据和后台管理数据，建立了面向园区服务的管理分析应用；园区已开展服务民生等多种应急，积累了一定量的应急数据，同时应急人员也从服务管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；……数据平台、数据应用、数据管控……基础数据平台和BI应用建设是未来一段时间的重点！数据平台整体架构；数据平台各层建设的标准；较成熟的银行业数据模型；数据质量治理；元数据管理；

数据标准建设数据整合；

数据应用建设；数据平台的软硬环境……园区大数据治理建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI应用自定义报表工具行＋列的简单定义方式多种格式报表园区决策层园区职能管控层各级应急操作层关注园区主要经营指标应急人员使用BI应用实现应急协作和创新BI分析工具供应链银行系统POP系统其他应急系统云数据推送平台已实现了主要园区服务及银行应急系统数据清洗、整合，为未来园区数据平台提供了丰富的数据源。通过数据平台和BI应用建设，园区将搭建统一的大数据共享和分析平台，对各类应急进行前瞻性预测及分析，为园区各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能单位的应急经营情况智慧园区大数据治理顶层框架智慧园区大数据治理建设预期收益2.加强应急协作实现分散在服务民生等各个应急系统中的数据在数据平台中的集中和整合，建立单一的产品、服务等数据的园区级视图，有效促进应急的集成和协作，并为园区级分析、交叉销售提供基础3.促进应急创新园区应急人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为银行应急创新（服务服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对园区分散在各个应急系统中的数据整合、清洗，有助于园区整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保园区各级单位均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为园区重要资产的应急价值1.实现数据共享智慧园区大数据治理总体架构——数据管控体系运转机制管控组织数据管控委员会数据所有人数据认责人IT支持……管控流程数据接入流程数据变更流程数据授权流程数据退役流程标准/政策制定流程评价考核流程……评价与考核标准（数据标准、质量要求、安全要求）遵守标准所需要的政策政策与标准遵从考评定义……数据产生者数据使用者………流程支撑流程支撑制定管控平台工具支撑明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。考评制定通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。管控综合管理标准/规范管理流程管理考核仪表盘……元数据管理应急元数据管理技术元数据管理管理元数据分析……数据质量管理稽核规则管理数据稽核质量报告……工具支撑组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。目录CONTENTS2园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构智慧园区大数据治理总体架构历史数据查询数据交换平台应用集市数据区园区园区服务公检法系统舆情控制系统金融系统……系统园区内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区服务主题协议主题产品主题应急沙盘演练数据增值产品园区服务数据供应链数据增值产品数据区主题数据区……用户访问层服务汇总账户汇总机构汇总……社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询服务管理财务管理……外部用户贴源数据区……管理分析用户历史归档数据区IT人员风险管理智慧园区大数据治理总体产品框架非结构化/半结构化数据管理分析平台（X86MPP集群）应急系统结构化数据基础计算平台（贴源数据区+主题数据区+大数据区）（Hadoop集群+Hive）数据交换平台（自主开发交换组件+NAS存储）实时分析平台（内存数据库）沙盘演练平台（Hadoop集群）数据大脑管控平台FTPSFTP/HTTP/APICopyfromloalQueue云数据推送平台增值产品平台（Hadoop集群）历史归档查询平台（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程调度平台园区大数据治理总体架构——数据产生层应急系统产生的结构化数据园区日常园区服务处理过程中产生的结构化数据，存储在关系型数据库中，如：……园区日常应急处理过程中产生的结构化数据，存储在关系型数据库中，如：……园区非结构化数据日常应急处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……园区外部数据园区外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……

源数据内容在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据园区和园区应急系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式源数据增量园区大数据治理总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件园区系统数据服务层外部大数据园区系统Hadoop元数据云数据推送平台数据平台导入临时区数据平台导出临时区NAS存储ETL程序区园区大数据治理总体架构——数据交换层NAS存储Hadoop集群元数据区ETL数据处理程序区数据平台临时数据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据园区数据交换平台每日获取运输局推送平台提供的应急系统变化数据，暂存在NAS临时数据区银行数据平台加工计算结果返回给应急系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射园区大数据治理总体架构——数据交换层大数据交换组件园区非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等园区外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发Java或C应用，调用大据源API，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NAS指定目录存储数据到数据平台大数据区指定HDFS目录定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区处理对象实现技术实现功能应用场景智慧园区大数据治理总体架构——数据交换层数据库数据交换组件园区应急系统产生的结构化数据，包括两大来源：园区园区服务数据，数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库园区互联网银行应急数据，数据存储在MySQL数据库Perl程序数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，Perl执行文件级数据质量检查数据加载，调用HiveLoad数据命令，加载到数据平台临时数据区的HiveTable组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（LZO压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区云数据推送平台连接供应链银行系统数据库，分析供应链银行MySQL数据库日志，识别增量数据，存储到银行平台NAS存储的指定目录，银行平台加载数据文件到数据平台临时区Hive表处理对象实现技术实现功能应用场景园区大数据治理总体架构——数据交换层数据区数据交换组件数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区处理对象实现技术实现功能应用场景智慧园区大数据治理总体架构——流程调度层批量处理流程批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：获取应急系统结构化数据，存入临时数据区获取园区内外部非结构化数据，并进行结构化处理，存入主题或集市数据区按照贴源数据模型整合数据（标准化、数据更新/追加）按照主题数据模型整合数据并生成汇总数据加工计算后，结果交付到数据集市，支持分析类应用园区大数据治理总体架构——流程调度层实时数据处理流程实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：通过数据库数据交换组件获取增量数据，加载到实时数据区通过大数据交换组件获取非结构化数据，并利用Storm处理数据，加载到实时数据区针对实时数据区数据执行标准化处理和贴源整合园区大数据治理总体架构——流程调度层归档数据处理流程数据归档的对象包括应急系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群，归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：数据文件通过HDFS命令行copyfromlocal进行归档贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqoop或数据库提供的Hadoop集成技术（如：外部表）执行归档园区大数据治理总体架构——数据存储层应急系统前日增量数据缓存数据，支持后续ELT数据处理数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求贴源数据模型保存最近7天数据贴源数据区和主题数据区批量作业访问无最终用户访问I/O敏感，连续小批量的数据抽取和加载少量量数据使用Hive的Load命令，大量数据使用MR程序与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问I/O敏感，日终批量ETL以ELT形式通过HiveSQL执行与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机贴源数据模型不保存历史应急系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区园区大数据治理总体架构——数据存储层（续）园区内外部非结构化、半结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求数据按照HDFS文件存储建议保留1年集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级应急人员进行智慧园区大数据云MapReduce分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）与主题区/贴源区构成一个Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问应急人员执行历史数据查询MapReduce分布式计算，HDFS命令实现Hadoop集群内归档，Sqoop实现数据库归档，通过Hive提供历史查询独立的Hadoop集群（HDFS+Hive）无单点故障，7×24小时+非工作日有限停机数据按照HDFS文件存储数据文件按照数据区划分目录，建议保留7年其他各数据区历史数据按数据生命周期规划归档平台过期数据，支撑历史数据查询大数据区历史归档数据区园区大数据治理总体架构——数据存储层（续）应急系统历史明细数据打破应急条线整合数据数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求第三范式模型保留长期历史，需要根据主题细化主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级应急人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/归档区批量作业访问少量高级应急人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（连接、聚合、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机逆范式宽表依赖于集市数据需求对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总，为集市提供数据主题数据区—明细主题数据区—汇总园区大数据治理总体架构——数据存储层（续）按沙盘演练需求，准备的明细或汇总应急数据为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求模型依赖于沙盘演练需求在整个沙盘演练周期内保留集市区/沙盘区/归档区批量作业访问少量高级应急人员进行灵活查询、挖掘预测I/O敏感，终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF独立的Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机沙盘区/归档区批量作业访问决策人员、管理人员、应急人员访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）基于开放平台的完全无共享

MPP数据库集群+内存数据库无单点故障，7×24小时+非工作日有限停机维度数据模型依赖应急需求面向园区管理分析类应用需求的汇总数据为服务、运营等管理分析主题和数据增值产品提供数据服务沙盘演练数据区应用集市数据区园区大数据治理总体架构——数据存储层（续）根据外部用户的数据使用需求数据平台加工计算的结果数据为部署在数据平台上的园区内外部增值产品提供数据支持数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求应用模型，依赖于用户应急需求依赖于用户应急需求园区外部人员，如：服务通过自己部署在Paas平台上的应用访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）独立的Paas平台，部署Hadoop集群无单点故障，7×24小时+非工作日有限停机园区应急人员高时效、高并发、高可靠性的联机交易类查询CPU敏感，BI工具或应急系统高并发、高时效查询，以及准实时连续ETL处理+SQL批量处理独立的内存数据库集群无单点故障，365×24小时不停机贴源数据模型依赖用户应急需求面向应用的应急系统快照数据和一段时间的交易流水为实时获准实时分析应用提供数据服务增值产品数据区实时数据区园区大数据治理总体架构——数据存储层数据流数据集成层操作型聚合数据临时数据区实时数据区公共汇总数据主题明细数据结构化数据非结构化&半结构化数据沙盘演练数据区实验室数据集市数据区POP自营数据贴源数据区银行应急数据主题数据区智慧园区集市财务管理集市运营管理集市风险管理集市……集市大物流系统数据供应链系统数据财务审计数据财务研发数据操作型明细据归档数据区大数据区源系统数据文件贴源数据主题数据集市数据高时效数据大数据增值产品数据区园区大数据治理总体架构——数据应用层大数据平台应用针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用历史查询类应用通常使用BI工具或自主开发实现服务经理等最终应急人员针对当前应急的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用管理分析类应用主要实现了园区服务管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能管理分析类应用通常采用套装软件和BI工具（MicroStrategy等）实现应急人员根据应急需求或自己对应急的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证应急结果沙盘演练类应用通常使用R语言在Hadoop分布式体系下实现园区数据科学家根据自己对应急需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品数据增值产品通常采用R语言和BI工具实现，面向园区内外部用户管理分析类应用1沙盘演练类应用3历史查询类应用4高时效类分析应用5数据增值类产品2实时分析类应用通常使用CEP、ESB等技术实现园区大数据治理总体架构——平台发展不同阶段对应应用工作负载复杂度大数据平台发展阶段划分操作为主阶段什么正在发生？动态数据仓库阶段

让正确的事情发生！分析为主阶段为什么会发生报表为主阶段发生了什么预测为主阶段将会发生什么？批量随机查询数据分析持续更新加载/短查询基于事件的动态触发数据量增长用户数增长查询复杂度增长ETL处理复杂度增长管理分析类应用历史查询类应用实时分析类应用沙盘演练类应用数据增值类产品园区大数据治理总体架构——管理分析类应用总账分析资产负债表分析损益表分析现金流量表分析财务指标分析盈利分析机构贡献度产品贡献度服务细分贡献度渠道绩效资产负债分析主要指标报告，如：净利息收入、净收入、净现值、市场价值等头寸报告现金流报告风险价值（VaR）计算财务预算与计划财务预算财务计划执行监控执行过程分析年末财务计划执行分析预测与场景分析应急规模预测收益预测……领导管理驾驶舱机构绩效考核服务经理考核服务经理工作量评估服务经理服务服务收益评估产品绩效考核应急量考核供应链银行应急人人贷应急保理应急基金应急其它中间应急……渠道成本与收益……风险监控报表/信息披露流动性报表利率敏感性报表资本充足率报表……市场风险市场风险暴露值流动性管理、利率管理信用风险信用风险暴露值计算信用风险控制（贷前控制、贷中监控、贷后分析）操作风险异常交易预警后督差错检查……防欺诈/反洗钱定义欺诈交易模型可能性欺诈交易预警欺诈交易分布分析全面风险管理……目前监管机构没有明确要求服务单一视图园区服务信息管理个人服务信息管理同业服务信息管理目标服务搜索重点服务关怀服务风险服务异动服务服务细分个人服务细分园区服务细分服务行为分析服务轮廓分析产品交叉销售分析百分比分析渠道偏好分析营销活动管理营销活动规划营销活动定义营销活动执行营销活动苹果营销活动自动化渠道接口与集成流程自动化……服务管理运营管理财务管理风险管理监管披露示例园区大数据治理总体架构——数据访问层即席查询：通过即席查询工具或手工书写SQL语句，完成应急信息的即席查看多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等主动问题发现：通过事件触发、规则匹配等方式发现园区运营中的问题，通过手机、邮件等方式报警决策层管理层应急人员即席查询静态报表多维分析仪表盘挖掘预测仪表盘：通过仪表盘及其它展现方式对园区关键绩效指标进行展示，为领导层决策提供直观的数据支持静态报表：按照预先定义格式，批处理报表，在线查询报表等Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度问题发现Office集成Web服务挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值数据科学家应急系统Web服务：将分析应用的功能发布为Web服务，注册在园区服务总线上，供其它应急系统或分析应用调用，获取分析结果多种展现形式满足各层级用户及应用系统使用需求园区大数据治理总体架构——数据管控层银行数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台四个域。数据标准管理数据质量管理元数据管理工作流管理……组织数据与信息标准化委员会数据管理人数据所有人数据生产人数据使用人IT支持团队考核指标责任评价标准执行评价政策执行评价评价标准数据类型数据格式应急分类真实性定义及时性定义完整性定义技术元数据流程评价与考核流程考核指标建立/维护流程标准建立/维护流程组织建立/维护流程评价与考核应急含义一致性定义数据认责平台安全等级权限定义数据停用数据共享数据移动数据存储数据创建应急元数据管理元数据数据全生命周期数据安全管理数据标准数据质量元数据数据安全…………审计定义保留策略……园区大数据治理总体架构——数据管控体系运转机制管控组织数据管控委员会数据所有人数据认责人IT支持……管控流程数据接入流程数据变更流程数据授权流程数据退役流程标准/政策制定流程评价考核流程……评价与考核标准（数据标准、质量要求、安全要求）遵守标准所需要的政策政策与标准遵从考评定义……数据产生者数据使用者………流程支撑流程支撑制定管控平台工具支撑明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。考评制定通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。管控综合管理标准/规范管理流程管理考核仪表盘……元数据管理应急元数据管理技术元数据管理管理元数据分析……数据质量管理稽核规则管理数据稽核质量报告……工具支撑组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。园区大数据治理总体架构——数据管控组织数据管控组织是数据管控体系中最重要的因素，它负责定义和管理应急数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：数据管控负责单位岗位角色数据管控主导方信息管理委员会

数据标准管理员数据质量管理员数据产生单位数据管控参与方应急协调人数据分析员数据主管数据使用单位应急协调人数据分析员数据主管数据拥有单位应急协调人数据分析员数据主管数据管理单位运维组织实施项目组数据安全管理员数据管控经理元数据管理员园区大数据治理总体架构——数据标准管理消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。数据标准建立和维护数据分类数据结构关键应急对象关键代码数据维度代码映射服务类数据标准产品类数据标准。。。类数据标准数据标准执行数据标准管理的考评定性考评定量考评数据标准分析报告数据标准理念推广归档系统……ODS园区大数据治理总体架构——数据质量管理数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量要求确认，根据应急要求制定和明确数据质量要求，同时也需要符合数据标准的要求；数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量数据质量要求应急规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求数据及时性要求数据质量标准数据质量验证规则数据质量考核指标数据质量提升数据补录手工修正自动修正数据质量考评数据质量监控不定期数据质量检查数据质量分析报告园区大数据治理总体架构——元数据管理应急元数据：面向应急人员，从应急术语、应急描述、应急指标和应急规则等几个方面对数据进行描述管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述园区大数据治理总体架构——数据安全管理数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：数据安全分级：根据应急要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。数据安全分级数据敏感度数据安全等级定义数据访问授权数据重要性数据使用需求数据使用者权责数据访问授权规则安全技术园区大数据治理总体架构——高阶工作流程应急数据规划管理高阶流程数据认责流程数据治理考核体系数据治理考核流程数据治理考核指标体系数据标准管理管理高阶流程数据标准建立流程数据标准维护流程数据质量管理管理高阶流程数据质量要求确定流程元数据管理高阶流程元数据变更流程数据安全管理管理高阶流程数据安全审批流程数据认责流程数据标准、质量、元数据、安全管理流程协调会议考核流程园区大数据治理总体架构——数据管控平台数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口首页标准管理主菜单指标速递待办事项信息地图标准浏览标准维护工作管理流程管理绩效指标系统管理用户管理权限管理规范管理数据管控平台统一用户集成界面数据标准知识库数据管控平台知识库……元数据管理元数据采集……元数据知识库质量管理规则配置……质量稽核库数据层应用层展现层园区大数据治理总体产品框架非结构化/半结构化数据管理分析平台（X86MPP集群）应急系统结构化数据基础计算平台（贴源数据区+主题数据区+大数据区）（Hadoop集群+Hive）数据交换平台（自主开发交换组件+NAS存储）实时分析平台（内存数据库）沙盘演练平台（Hadoop集群）数据管控平台FTPSFTP/HTTP/APICopyfromloalQueue云数据推送平台增值产品平台（Hadoop集群）历史归档查询平台（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程调度平台目录CONTENTS3园区大数据治理演进路线园区大数据治理演进路线以基础平台搭建为主，配合园区初期应急开展，应用建设从服务信息管理、风险管理和运营管理三方面开展搭建大数据处理平台和实时分析平台，应用方面开展实时分析和数据产品封装开展服务信息管理、信用风险评级和应急统计分析三类应用建设开展贴源数据整合，初步建立园区级数据视图，实现对管理分析类应用和实时分析类应用的支撑规划数据管控蓝图，初步实施数据质量和技术元数据管理2013年2014年——2015年2015年以后对园区价值的创造应管技应急分析框架基础数据平台数据管控体系应技管全面开展管理分析、实时分析和沙盘演练应用建设，初步展开增值数据产品开发工作全面开展园区大数据治理建设，引入更多数据源，丰富并完善平台数据区建设随着应用体系的搭建，完善数据质量和元数据建设，开展数据标准化工作应技管深化分析体系，形成深度智能化应急分析性能持续优化、数据平台持续完善、持续深化数据管控体系，形成园区园区级的数据管控体系应技管一期2013.10当前位置未来持续优化提升阶段第一阶段第二阶段第三阶段园区大数据治理演进说明——基础数据平台阶段划分建设内容预期效果第一阶段搭建数据交换平台，部署NAS存储集群，设计并实施数据库交换组件和数据区交换组件搭建基础计算平台，设计并实施贴源数据区，以T+1频率整合园区和银行应急数据搭建历史归档查询平台，归档园区和银行应急数据文件搭建管理分析应用平台，部署MPP集群和BI分析应用环境搭建实时分析平台，部署内存数据库和实时BI分析环境实现了数据平台个数据区之间、数据平台与外部系统间的双向数据传输实现了应急数据按照贴源数据模整合实现了数据按照生命周期的归档管理实现了管理分析环境搭建实现实时分析环境搭建第二阶段数据交换平台增强和优化，包括：大数据交换组件设计实施基础计算平台增强，包括：引入更多的数据源，增强贴源数据区；设计并实施主题数据区，打破应急条线整合数据；设计并实施大数据区，实现园区内外部非结构化、半结构化数据加工、处理搭建沙盘演练平台实时分析平台增强和优化，包括：引入更多应用及相关数据源实现了基础数据一次存储、一次计算、多次使用建立了数据分析人员的实验环境，实现了用户自主用数为实时、准实时类分析用提供平台为封装、销售数据类产品提供了平台第三阶段基础计算平台持续增强和优化，引入更多的数据源、优化模型和ETL处理搭建增值产品平台，设计并实施增值产品数据区数据交换平台、沙盘演练平台、实时分析平台进一步增强和优化数据平台纳入尽可能多的园区内外部数据数据平台以最优的性能支持各类数据应用园区大数据治理演进说明——数据管控阶段划分建设内容预期效果第一阶段分析和梳理当前数据管理方面的成果和现状，数据管控蓝图和路线图设计，数据管控工作的组织、技术和流程高阶设计梳理园区大数据平台ETL流程各环节的数据质量要求，指定数据质量检查规则、评价指标、管控流程，并落地实施数据质量管理系统梳理园区大数据平台包含的技术元数据，如：数据字典、ETL任务、ETL流程、BI语义层等，制定相应的管控流程并落地实施元数据管理系统同步园区大数据治理ETL建设，实现了数据质量管理系统收集并整合了园区所有技术元数据，实现了数据生命周管理、血缘分析和影响分析等功能第二阶段随着更多数据源的引入，进一步增强数据质量管理系统随着更多数据源的引入、更多平台的建立，梳理并整合更多技术元数据梳理园区大数据平台包含的应急和管理类元数据，如应急术语、应急指标、应急定义等，制定相应的管控流程并落地实施元数据管理系统开展基础类数据标准建设，基础数据标准、管控流程、评价指标、落地策略完善了数据质量管理体系，实现了问题及时发现、及时解决实现了园区全方位的元数据管理，打通了应急和技术元数据关联关系为园区数据平台建设提供了基础类数据标准第三阶段数据质量管理持续优化并增强元数据管理持续优化并增强基础类数据标准逐步落地实施开展指标类数据标准建设基础数据标准、管控流程、评价指标、落地策略通过完善的数据管控体系，提升数据质量、避免数据二义性、建立数据间的血缘关系，使得应急人员可以方便、有效的使用数据，提高数据实用性园区大数据治理演进说明——应用体系阶段划分建设内容预期效果第一阶段开展服务信息管理建设，设计并实施个人服务和供应商360°视图、服务目标搜索、服务细分等功能开展风险管理建设，设计并实施供应商和个人服务风险评级模型开展运营管理建设，设计并实施服务民生等应急条线应急量统计分析初步梳理实时、准实时分析需求，进行高时效分析应用试点可以方便的对个人服务和供应商进行分群，以及全方位信息查询和展示供应商和个人服务风险等级评定针对目前开展的应急进行经营情况统计分析搭建并验证高时效应用体系第二阶段随着园区应急的展开，逐步开展管理分析体系的建设，本阶段重点为服务关系管理、运营管理等高级应急人员利用沙盘演练平台进行数据挖掘、预测和科学试验进一步树立实时、准实时分析需求，深化开展高时效分析应用开始梳理市场上的数据应用需求，尝试封装增值数据产品通过管理分析体系的建设、满足了园区日常经营管理、决策分析和进一步提高价值创造力的需要实现了应急人员自主用数实现了高时效分析，与应急流程的整合实现了数据产品的封装，提升了数据价值第三阶段随着园区应急的展开，进一步完善管理分析体系的建设，包括：市场风险管理、操作风险管理、财务管理等收集实时分析需求，进一步增强并优化实时分析应用体系增值数据产品设计逐渐成为重点，数据分析师收集园区内外部数据需求，设计更完善的增值数据产品通过管理分析应用体系建设进一步实现数据共享、应急协作与创新通过实时分析应用体系建设，实现大数据平台应急系统的交互，与应急流程的融合增值数据产品的开发进一步发挥的数据平台的数据价值目录CONTENTS4园区大数据治理建设实施银行园区大数据治理一期架构基础计算平台：基于Hadoop集群构建，按照应急条线、以贴源数据模型存储了应急系统明细数据数据交换平台：NAS集群实现了进出数据平台数据的暂存，应急数据交换组件实现了应急系统每日增量数据加载，数据区数据交换组件实现了基础计算平台与管理分析平台间的数据交换流程调度平台：自主开发的流程调度引擎实现整个数据平台的数据处理任务调度和运行管理分析平台：由X86分析型数据库集群、BI软件1J2EE应用构成，实现了面向应用的数据加工、管理、分析服务实时分析平台：由高档X86服务器组成的集群，实现高时效、高并发的实时、准实时类管理分析需求数据交换平台—平台逻辑架构云数据推送平台实现源系统数据一次获取获、按需分发。平台采用GoldenGate、JBUS、Flume等技术获取增量数据，存储在MySQL集群平台按照接口规范生成文件，LZO压缩后，通过FTP传输到NAS指定目录POP银行园区大数据治理NAS集群物流财务供应链人人贷……云数据推送平台数据交换平台由FTP服务器、加载服务器和NAS存储组成，完成应急系统数据的获取、加载和归档FTP服务器：利用LVS构成的FTP集群，接收云数据推送平台处理后的数据，存储在NAS集群的指定目录加载服务器：部署ETL任务，实现指定目录的文件到达监控、文件级检核、数据加载（HiveLoad）到临时数据区，同时归档（copyfromlocal）历史数据区NAS集群：按照日期和源系统划分目录，缓存数据，支持日常数据交换和ETL…………LVS集群：FTP服务器#3加载服务器#1文件加载文件归档文件到达事件监控文件级检核加载服务器#4文件加载文件归档文件到达事件监控文件级检核LVS集群：FTP服务器#1LVS集群：负载均衡服务器…………数据交换平台—参与方责任划分设计并实施云数据推送平台；按照园区接口定义，抽取应急系统数据；按照园区接口规范要求，按时生成数据文件、控制文件和DDL文件，并通过FTP传输到NAS指定目录；若源系统有变更，则要求在变更前提供变更内容说明，升级平台版本，根据园区更新接口规范提供数据；应及时解决接口数据提供过程中出现的问题；对于未尽事宜，应同园区协商解决。云计算安装部署园区园区大数据治理物理环境、应用软件，并进行基础设施运维；在应急系统数据库服务器安装并部署云数据推送平台服务端，并提供数据库访问。运维单位制定接口规范，并提交给云数据推送项目组；梳理应急系统数据字典，制定接口定义，并提交给云数据推送项目组；开发数据交换组件，从NAS获取数据并处理；对接收的数据提供验证功能，并返回验证结果到云数据推送平台；根据云数据推送平台提交的变更通知修改接口定义和数据交换组件；