WakeData 数据治理方案

数据治理方案交流数据中台&数据治理讲解人：魏战松关于WakeData核心功能最佳实践/01公司介绍一家以大数据和AI人工智能为核心的数字化客户经营服务商WakeData惟客数据是一家以大数据AI接口CDP数据模型对外帮助企业构建获客、留存、促活、成交、复购的完整公域转私域经营闭环；对内通过统一数据口径、数据资产共享、数据可视化等手段，赋能企业实现客户经营数字AI接口CDP数据模型智能营销、智能会话提取数据智能底座（数据湖）数据集成数据资产管理数据开发数据智能底座（数据湖）数据集成数据资产管理数据开发数据服务实时处理算法开发数据质量数据安全数字连接数字运营数字连接数字运营数据智能销WakeData核心业务数据券商：数据治理、数据产品、数据价值化、流通交易、数据资产入表、融资授信数据资源数据战略规划数据战略规划数据战略设计数据培训服务数据资产数据治理服务数据治理服务数据平台建设数据治理服务数据产品数据资产运营&生态数据资产运营&生态数据产品开发数据服务生态数字化：大数据技术、治理、运用；云计算、隐私计算、人工智能服务；数据运营、数字营销；谱写梦想的Waker，开放、担当、互信、敬业、成就客户惟客数据全国拥有近的技术研发及产品团队，核心团队来自等核心一线互联网及软件服务公司。团队研发人员占比超，研究生占比，公司在北京、上海、广州、深圳、珠海、成都设有研发中心，其中，在珠海设立了一支博士技术研究团队，具有强大的研发创新能力。深圳广州全国化布局，借用区域优势服务客户北京2019年8月华北大区上海深圳广州全国化布局，借用区域优势服务客户北京2019年8月华北大区上海珠海北京上海2021年4月成都2021年7月华东大区广州2020年2月深圳2018年8月珠海2018年8月北京上海2021年4月成都2021年7月华东大区广州2020年2月深圳2018年8月珠海2018年8月长沙华南大区华南东南亚东南亚空间运营服务接入大模型，垂直大模型成，自动建模2023年10月再获政府产业基金投资长沙市政府基金湘江国近亿元融资产业互联，产销协同管理，产品数据打通，产品智能服务惟客云：商业运营昆仑平台：技术底座新一代信息技术基础中间件，高性能，新一代信息技术基础中间件，高性能，高可用，易扩展云原生，数字生态连接，安全，敏捷，可视化领域模型设计面向消费者的全生命周期管理，全行业能力复制获客销售，销售转换、会员运营、流量运营，消费者画像，全渠道管理惟数云：数据底座大数据智能底座，算法服务，打通企大数据智能底座，算法服务，打通企业运营数据，实现数据驱动业务数据湖、增强分析，预测能力，数据安全，数据治理，数据资产--替代对象包括数据仓库基础软件SAPHANA，IBMDB2，Treradata，大数据平台CloudearDataPlatform；行业应用软件SalesforceCRM，AdobeAdvertisingCloud，MicrsoftDynamics365等多家国外主流厂商产品。聚焦中大型客户，快速行成行业案例和品牌壁垒CT城SMPRIMESMPRIME广东省“专精特新”数字化服务TOP10”国产芯片国密算法国产数据库国国腾讯云合作伙伴认证安全等保三级认证中国信通院“铸基计划”/02核心功能惟客大数据平台整体产品架构：做厚做强数据支撑算法场景数智化驱动PC/移动端数字化运营报表自助、业绩分析、实时预警、管理决策销售预测、库存预警、预算决策客户画像、客户分群、洞察分析、营销转化报表自助、业绩分析、实时预警、管理决策销售预测、库存预警、预算决策客户画像、客户分群、洞察分析、营销转化管建存采服数据资产数据质量数据安全元数据数据管理平台数据服务平台-面向应用的统一服务中心数据资产数据质量数据安全元数据数据管理平台数据服务平台-面向应用的统一服务中心离线开发模型规划算法开发任务运维数据研发平台离线开发模型规划算法开发任务运维实时开发实时开发机器学习机器学习数据存算底座数据采集平台离线采集离线采集实时采集实时采集增量采集增量采集全量采集全量采集力数据数据采集平台-实现多源异构数据源的互联互通支持多源异构的数据采集工具，进行全域数据采集，解决分散在企业各处的数据孤岛问题数据中台存储数据中台存储结构化数据结构化数据多源异构数据接入批多源异构数据接入批量自动创建任务字段自动映射半结构化数据插件化动态管理字段自动映射半结构化数据插件化动态管理实时数据实时数据支持20+以上数据源类型、100+厂商业务系统入湖；零代码开发，灵活实现数据采集；性能卓越。极大提升数据处理效率极大提升数据处理效率，数据采集速率毕Kettle快10倍以上数据研发平台-可视化的建模工具，规划数据资产建设标准数据标准字典管理业务主题指标管理统建统建模数据管控能力达到数据管控能力达到TB级，数据开发及运行效率提升3-5倍趋势分析：流失预测情感分析：产品力提升算法模型服务-快速为企业构建AI算法能力趋势分析：流失预测情感分析：产品力提升NLPNLP：智能话术推荐低成本响应行业垂直需求统一管理AI低成本响应行业垂直需求统一管理AI能力，形成AI资产快速为企业提供AI能力销售辅助销售会话分析销售辅助销售会话分析情感分析材料判定故障分析参数预测异常预警精准营销AAI模型服务平台开箱即用的模型API、行业定制化的模型服务个性化推荐文本相似度OCR识别物体分割趋势预测情感分类聚类分析物体检测语音合成音色克隆语音识别语音编辑异常检测模糊匹配语义匹配人脸识别惟数云惟数云底座数据、算力 数据存储数据处理模型训练模型部署数据管理平台-元数据核心特性数据概况数据血缘版本管理主数据治理-统一数据对象管理，支撑数据横向贯通主数据拉通-构建统一项目主数据标准，拉通业财数据建立项目主数据标准，实现流程、数据、系统的全面统一，为项目的运营分析、进度监控、财务核算等提供数据支撑科目科目项目成单主体合同预算项目合同项目项目主数据拉通-构建ID-Mapping映射模型，支撑全周期数据分析以项目主表为核心，基于项目管理全周期主线，拉通所有业务端、财务端的数据，同时关联客户、产品、人员、科目等实体，维护ID-Maping映射表，保证端到端的数据实体一致，支撑项目全周期拉通分析。ID-Mapping表设计1:N1:NN:1N:1N:1N:1实现方式实现方式匹配合并匹配合并整合清洗项目编码及属性监测预警数据管理平台-通过数据质量监控保障数据的准确可靠囊括记录数、空值、唯一性、数据格式、准确性、波动、一致性和种十余种内置规则、支持自定义规则配置。支持表级、字根据质量稽核类型及关注问题维度，自定义个性化质量报告模板并在任务配置时进行引用，囊括记录数、空值、唯一性、数据格式、准确性、波动、一致性和种十余种内置规则、支持自定义规则配置。支持表级、字根据质量稽核类型及关注问题维度，自定义个性化质量报告模板并在任务配置时进行引用，稽核结果更直观可读。质量改进建议数据治理会议质量改进跟踪数据质量报告数据监控数据监控规则人工干预人工干预联联需要人工核实务部门修正统一处理需要人工合并数据服务-快速提高数据开发与共享效率支持统一网关管控API，支持统一网关管控API，支持API并发限流、调用量管分析，错误类型分析、支持错误、限流、访问超时等监控告警。零代码轻运维易扩展安全保障易扩展安全保障API开发API管理流量控制监控告警数据安全：坚定国产化适配能力，确保数据安全可控国密算法国产芯片国产系统腾讯云合作伙伴认证国产芯片国产系统腾讯云合作伙伴认证国产数据库安全等保三级认证数据保护官鲲鹏兼容认证/03最佳实践/03-1最佳实践——某大型集团数据中台项目19年开始提出“全周期综合竞争力提升年”，提升办牵头，搭建“存-管-治-用”构建集团大数据治理体系和资产管理体19年开始提出“全周期综合竞争力提升年”，提升办牵头，搭建“存-管-治-用”构建集团大数据治理体系和资产管理体系，支撑集团在数字化时代中不断创新、转型，帮助业务化繁为简，提高效率用（价值场景）用（价值场景）治（治理推进）管（数据资产）存（平台建设）集团经营用户价值交付数据服务数据API、资产目录、数据分析、数据探索、服集团生态资产域、业务域10大资产域集团、城市、土地、项目、分期、楼栋、户、客集团生态数据湖存储计算存储（关系型、列式、HDFS）、计算（离线、实时）…数据采集数据来源集团生态数据（一方数据、二方数据、三方房开业务数据治理10大业务域安全合规实施路径依据现状，与科研、业务沟通讨论，制定先摸现状、再建体系、最后实施的推进路径，保障数据治理持续稳步推进。里程碑1：2021.11~2021.12里程碑2：2022.011.现状调研分析与评估现状分析与评估-现状调研思路现状调研从以下6各步骤进行，从业务需求出发，找出痛点原因，明确数据治理范围和确定治理步骤；现状分析与评估-调研过程-业务访谈难点。访谈目的访谈目的访谈准备访谈对象输出内容输出内容2主要应用方向1主数据需求情况2主要应用方向3主要业务痛点4需要对接的核心系统55调研总结现状分析与评估-调研过程-系统调研调研对象队调研对象队调研目的调研准备调研准备输出内容输出内容1访谈会议纪要22数据流向33问题收集44用户期望55后续计划向现状分析与评估-调研过程-数据探查4关键字段数据缺失探查目标探查关键跟科研一起参与数据探查，4关键字段数据缺失探查目标探查关键探查六性探查六性2输出内容2输出内容1数据分布情况数据问题探查3各数据摸底统计4各数据质量现状5数据探索总结数据治理体系建设-制定制度和流程根据行业最佳实践，与科研、业务部门一起制定数据标准制定和流程，实现各业务部门之间的数据统一标准和流程管理。AA建设目标建设目标管理原则管理原则4数据标准化原则B现状问题B现状问题2输出方案2输出方案数据模型管理规范1数据管理办法数据模型管理规范4数据维护管理细则5数据考核管理细则准确、完整的录入及更新，提高系统数据数据治理体系建设-数据模型管理建议建模原则改进目标建模原则改进目标AABC现状问题BC现状问题输出内容输出内容1确定权威数据源2确认模型字段需求3明确数据标准44制定模型建设模版5建立数据模型数据治理体系建设-数据质量考核建设目标评估步骤4确定数据质量规则权重AAB现状问题B现状问题输出方案输出方案1数据质量考核管理细则2明确各个数据考核办法业主数据CRM凤凰会大管家地产集团营销系统项目数据主数据系统NCC财务系统HCM社区传媒MR系统楼栋数据主数据系统大管家房屋数据主数据系统MDG凤凰会CRM系统大管家系统凤凰置家凤凰到家车位数据MDG车者乐凤凰置家组织数据HCMMDM员主数据HCMNCCMDG大管家(定义管家)岗位数据HCM主数据系统电梯数据集成平台园梯系统设备数据集成平台2依据现有的业务模式确定主数据管理架构优化方法数据治理实施-数据架构优化建议业主数据CRM凤凰会大管家地产集团营销系统项目数据主数据系统NCC财务系统HCM社区传媒MR系统楼栋数据主数据系统大管家房屋数据主数据系统MDG凤凰会CRM系统大管家系统凤凰置家凤凰到家车位数据MDG车者乐凤凰置家组织数据HCMMDM员主数据HCMNCCMDG大管家(定义管家)岗位数据HCM主数据系统电梯数据集成平台园梯系统设备数据集成平台2依据现有的业务模式确定主数据管理架构优化方法现有数据架构模式，存在同一数据多源，交叉使用情况，容易造成数据不一致问题，管理成本高效率低，通过理清数据流向，对数据源系统改造和消费端系统改造，统一由数据平台提供服务。数据治理体系建设-数据清洗方案建议清洗步骤4完成数据清洗与数据迁移为规范数据清洗流程，结合行业最佳实践清洗步骤4完成数据清洗与数据迁移清洗目的清洗目的1输出方案1输出方案数据清洗方案2数据清洗方法3数据清洗流程 数据治理实施-数据模型映射建议为了支持数据治理实施的工作开展，制定数据模型映射关系表，对齐数据提供方、主数据管理方、数据消费方的实际库表字段以及值域映射关系，达成多方共识，消除歧义。数据治理交付文件调研等体系文件共123份本次集团物业数据治理咨询与科研、相关业务部门结合业务需求及治理方法论调研等体系文件共123份《数据需求管理流程》《数据需求管理流程》《数据标准》《集团服务基础数据维护管理细则》《集团服务基础数据考核管理细则》《集团服务数据管理术语及定义》《核数理管理总纲》《核数理管理总纲》/03-2最佳实践——某医药连锁数据中台项目客户案例-益丰大药房数据中台建设价值数据治理技术赋能监数据治理技术赋能监控预警客户案例-益丰数据中台技术赋能-实时数据湖统一技术升级，支撑6000+门店实时业绩通报、智能补货对门店赋能。服务器扩容成本节约40W/年。支持经营月会、日常运营、业绩跟踪评价的数据体系，降低整体运维成本，需求响应由以前的7天降低至2天WMS系统Hive/SparkWMS系统DataInTrino/PrestoSAP系统POS系统Oracle人力系统(DWD/DataInTrino/PrestoSAP系统POS系统Oracle人力系统(DWD/ADS)固定报表财务系统CDCStarRocks财务系统CDCStarRocks会员系统会员系统..................……客户案例-益丰数据中台监控预警，及时掌握经营状况单店损益单