企业数字化转型暨大数据可视化总体方案架构与应用蓝图解决方案

企业数字化转型暨大数据可视化总体方案架构与应用蓝图解决方案整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行2023年01方案背景概述03成功案例介绍02解决方案概述技术的发展的让我们进入了DT时代随着互联网、移动互联网以及物联网、云计算、大数据、人工智能等技术的快速发展，人类文明正在步入一个崭新的时代：DT时代。在DT时代，社会的发展将以数据为核心和内在驱动力，以云计算、大数据为导向的技术革新也将成为社会发展的重要引擎。在DT时代，传统工业模式会被颠覆，商业也会朝着定制化方向发展，在保证效率的同时优化供需，有效节约成本，提高劳动生产率。数据处理能力越来越强数据种类与量越来越大智能DT时代这个世界正在不断被数据化具备挖掘应用数据价值能力技术发展与应用数据将成为组织最重要、最有价值的资产DT时代企业实施大数据的关键点DT时代的到来，对于传统产业的推动和促进将是前所未见的，传统产业也将因DT时代的到来而焕发出新的生机和活力。1找准大数据规划切入点2强化高管团队大数据领导力3设计合理的大数据架构4搭建有效的大数据团队5用制度和文化来保障大数据的实施当前企业数据管理与应用的总体现状当前数据管理与应用模式财务财务相关数据统计系统报表OAOA相关数据统计系统报表生产生产相关数据统计系统报表供应链供应链相关数据统计系统报表销售…销售相关数据统计系统报表孤岛式数据管理统计型数据应用各个系统单独建立，相互之间的数据没有打通，形成一个个数据孤岛，相关数据与信息无法进行共享。数据孤岛目前对各系统数据主要是做了基本业务数据统计，没有深入的分析应用。浅度应用目前管理和决策人员经常需要登到各个系统进行相关数据查询，非常麻烦。效率低下由于对各系统数据只进行了浅度的应用，导致很多历史数据资源及数据的应用价值在过程中逐步流失掉了。资产流失当前企业的数据管理与应用需要向规模化、集中化、标准化和智能化发展企业对大数据平台建设的核心需求与目标融合企业内各大平台数据资源，建设统一的数据管理与应用平台，实现对数据资产的集中保管与增值应用。逐步整合企业内各业务与管理平台的数据，形成集中管控的数据资源库，并深度挖掘数据价值，为企业生产经营和决策分析提供支撑，让数据赋能业务。目标建立统一数据平台集成现有OA、财务、生产、供应链、销售等系统数据，建立统一入口的数据应用平台。01数据资源共享打通各核心系统的数据、打破数据孤岛，进行数据汇聚，实现信息共享。整理制作郎丰利151902数据应用分析实现OA、财务、供应链、生产、销售、客户相关的营运与管理分析。03数据治理与挖掘数据治理通过改进决策、缩减成本、降低风险等方式，将价值回馈于业务；数据挖掘能为生产经营和决策分析提供量化支持。04需求01方案背景概述03成功案例介绍02解决方案概述总体方案架构与应用蓝图大数据管理与应用平台AI图谱技术大数据云计算数据整合可视化数据展示功能设计应用发布需求分析应用展示模型设计辅助决策价值挖掘数据智能经营分析数据采集数据存储数据计算数据仓库数据建模计算模型数据源关联业务目标表单样式计算任务调度机器学习数据应用推送业务经理主管经理决策人员集团领导OA供应链财务生产销售…整合数据资源连接各类人员数据应用集市实现数据资产的保管与增值让数据赋能业务总体平台架构大数据平台大数据基础平台大数据存储HDFSHive基础数据库数据存储服务实时计算离线计算流式计算数据计算服务专业词库基础词库数据算法数据服务API调度引擎数据挖掘服务机器学习数据总线-访问层/APIKEY任务调度监控数据总线-采集平台用户行为分析用户画像URL标签LBS分析行为标签业务经营分析感知分析业务分析区域分析语义解析大数据应用数据可视化展现数据智能应用智能推荐智能营销智能客服自动作业业务支撑辅助决策数据洞察数据智能源数据OAERPMES实时数据流非结构化数据…SCM/CRM平台应用与功能架构源数据OA财务生产供应链销售…数据采集、汇聚数据采集、汇聚分层分域控制配置表业务流水订购实例账务……基础数据层维表公共层1公共层2公共层3……公共模型层业务分析收入分析账务分析效益分析……报表维表主题1主题2主题3……主题模型层数据仓库综合视图交叉分析标签库指标库监控预警运营平台……潜客挖掘业务预测业务风险评估客户价值评估商/行业报告数据挖掘……汇聚数据资源整合多个来源的数据，实现数据的集中、交叉、融合分析，形成专业的业务、商业分析体系。降低运营风险发现，跟踪，处理，验证闭环预警分析机制，有效规避风险，保障业务稳定性。经营决策支持通过高质量的数据分析，辅助企业管理人员进行高效的市场、管理决策。挖掘数据价值通过对各业务系统数据融合建模分析可视化呈现，辅助运营管理人员进行高效的运营管理、指导业务市场发展。大数据平台技术架构数据平台数据采集能力开放内置专为大规模数据处理而设计的快速、通用的计算引擎，为企业注入强大的数据处理能力将主要优势、劣势、机会和威胁等依照矩阵形式排列，然后把各种因素相互匹配起来加以分析，从中得出一系列决策性的结论。应用多种数据应用分析方法论，为企业提供数据分析咨询服务，真正让数据为业务赋能数据分析方法PEST方法论SWOT方法论用户行为方法论5W2H方法论逻辑树方法论用“逻辑树”探究因果关系，归纳现象，找出“问题到底在哪里”。何因（Why））、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(Howmuch)，这就构成了5W2H分析法的总框架。PEST分析是应用于宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。利用用户使用行为理论，梳理各关键指标之间的逻辑关系，构建符合公司实际业务的网站分析指标体系。支持多种数据统计与分析方式，助力企业实现对数据的深度分析与价值挖掘统计分析方法描述统计相关分析方差分析回归分析聚类分析贝叶斯判别分析主成分与因子分析时间序列分析决策树随机森林Logistic回归分析隐马尔科夫模型……大数据标签汇聚能力大数据标签基于用户互联网信息及用户行为综合特征，互联网知识图谱以及地理空间关联特征，进行融合汇聚和深度挖掘关联分析，形成多维标签体系，从用户属性类标签和事件类标签中进行挖掘应用，实现数据价值最大化。旨在建造更专业更精准的标签体系，为客户实现数据价值最大化，推动标签在企业内外的应用中发挥价值。除了数据监控、精准营销方面外，结合数据挖掘算法与主流的机器学习框架TensorFlow，在自然语言、图像识别、知识图谱等方面可以挖掘非结构化数据，形成高效、灵活的商业应用。基于大数据标签汇聚能力构建多维、一体化的标签体系，全面支撑数据各类商业应用属性标签事件标签静态稳定标签短期时序事件和专题事件车辆属性：品牌、型号、出厂年份、行驶公里数。线路属性：线路起点、线路终点、时刻表、车辆数、班次。驾驶员属性：性别、年龄、驾龄、行驶证类别。车辆行驶情况：行驶时间，是否晚点。停靠情况：车辆进场时间，车辆出厂时间驾驶员驾驶情况：当天驾驶时长、上班时间违章事件：车辆违章、车辆事故。保养事件：保养记录、维修记录。专题事件：节假日、特定事件等关键事件。建立多层级实体模型，模型覆盖车辆、线路、驾驶员、停车场等实体。建立多维标签覆盖从静态属性到动态行为标签。从无到有，打造出一套连接线上线下的时间序列，满足应用要求。动态行为标签…………算法模型数据分析商业应用内置近百个机器学习模型，可适配多元、复杂的数据分析与应用场景大数据一站式预测综合画像机器学习行为预测近百个机器学习模型适配多元场景（聚类、时间序列、协同过滤、神经网络算法等算法组合）数据中心画像中心+AI中心智能运营平台商业建议效果跟踪客流量预测+故障分类车辆资源配置优化+停车场配置优化行为画像基本画像互联网行为数据采集企业业务数据采集OA物流车辆WEBAPPWechat循环优化效果循环优化模型预警监控配置优化基于先进数据可视化技术为用户提供直观、高效、丰富的数据应用服务丰富的组件配置，完美适应视觉与分析的要求，满足大众对数据可视化的交互体验。拖拽式的开发模式，所见即所得，保证快速响应客户需求。组件化的迭代开发模式，保持产品的持久生命力。根据估算，配置一个完整的可视化大屏，比传统模式至少节约70%的人力成本，80%的时间成本。郎丰利整理制作01方案背景概述03成功案例介绍02解决方案概述某移动运营商业务运营分析平台·项目概述通信市场经过多年发展，已经进入“零和”博弈时代，同行间份额竞争异常激烈。在这个背景下，大力拓展政企市场，发挥增收主力军作用;集团领导在公司生产经营分析会上提出要推进融智，综合运用大数据，打造“智慧中台”，实现数据快速赋能。某移动运营公司、经过十多年的建设与发展，某移动运营商已建成一个覆盖范围广、通信质量高、业务品种丰富、服务水平一流的移动通信网络，拥有多个品牌。提升智慧经营水平，拓展大数据和人工智能应用场;对内强化在市场领域的应用，打造政企客户甄别、融合营销等大数据精准模型，提高生产经营效率和智能化水平。基于HG大数据平台，定制一套涵盖企业数据汇聚、数据存储、分析挖掘、报表呈现的系统;融合智能化决策辅助、一体化数据赋能、创新型客户拓展三个部分的智慧运营体系，形成政企业务运营的“智慧中台”。提供全方位分析能力，辅助产品进一步优化。提供全自动精准营销流程，助力扩大产品客户规模。提升业务健康度和客户满意度，促进产品量质并重发展。项目背景项目目标解决方案项目价值某移动运营商业务运营分析平台·总体方案平台定位于打造融合智能化决策辅助、一体化数据赋能、创新型客户拓展三个部分的智慧运营体系，形成业务运营的“智慧中台”。智能化决策辅助一体化数据赋能创新型客户拓展智能化决策辅助构建标准数据流程，辅助政企业务决策

HG大数据平台创新型客户拓展结合大数据建模与人工智能技术，挖掘各行业、各产品的潜在客户，助力政企业务发展一体化数据赋能融合上下游系统，向下整合各域数据；向上打通数据营销，支撑政企业务销售某移动运营商政企运营分析平台·系统架构数据接入层爬虫平台B域M域O域数据模型层市场条线应用层1基础数据层2公共模型层3主题模型层4应用模型层政企条线数据条线个人属性社会属性客户标签企业信息社交关系行为偏好征信服务…报表模型大数据商业智能数据应用潜客挖掘精准营销商业决策数据查询数据分析自助分析工具…风险预估智联招聘、百度百科……综合视图交叉分析

运营平台标签指标库自定义报表监控预警…报表报表系统清单……各专业系统智能运营平台：是一个数据整合平台，不仅提供丰富的数据呈现，还提供了数据融合、交叉分析、自动化运营等功能，大大提升数据运营水平；大数据商业智能：旨在提供更精准、更全面的标签能力，在精准营销、服务提升、风险预估、决策支持等方面发挥数据价值。某移动运营商业务运营分析平台·核心应用平台依托经分仓库汇聚产品发展、健康度评估、效益评估、运行质量与服务支撑等多维度、多视图运营数据，重点聚焦全面分析、数据整合、全面监控、目标营销、优化服务五大运营能力。实现视图化全方位产品运营分析。1.全面分析，深化运营指标体系建立、全方位运营视图展示、精细化运营颗粒度、实时动态运营数据监控、综合运营分析模型六方面入手，开展全面运营分析;2、数据整合，加速赋能实现系统标准API接口服务能力，在对接CRM、ESOP、WMS等系统的基础上，进一步通过标准化接口能力，与营销管理平台、集客保障系统、大数据平台、业务平台等系统对接、交互；3、全面监控，降低风险围绕端到端流程、业务发展流程、业务运营流程三项流程，实施全程流程运营数据监控4、目标营销，拓展市场围绕对接营销管理平台，通过健康度、效益等运营视图结果的输送以及营销目标客户标签的输送，助力营销拓展；5、优化服务，提升满意度通过对客户服务流程进行监控，结合客户行为、投诉处理汇总等信息，对客户进行分级，挖掘各产品后台重点保障支撑的需求，实现精准化，提升服务溢价服务；某移动运营商业务运营分析平台·应用场景客户价值评级模型应用差异化营销策略标题品牌营销组合营销渠道营销差异化营销使运营商抓住大客户需求提供符合目标用户期望的服务客户的实际和预期价值准确地切入市场服务营销售后售前售中服务支撑响应、资源勘察时限业务开通时限和要求故障处理、信息通告、日常维护等分级服务标准场景应用注册资金员工规模成立年限身份开户年限收入年限业务结构粘性欠费,坏账信用累计通信信息化收入累计整体收入累计1+3i收入累计接入专线收入收入集团客户价值评估违规次数风险聚类逻辑回归特征选取算法支撑某移动运营商业务运营分析平台·系统应用某移动运营商业务运营分析平台·项目收益五大突破营销目标更明确运营速度更高效数据质量更精准运营流程更专业业务发展更安全集客部产品市场部产品监控业务流程实时监控业务情况全面统计强化信息安全管理服务完善了服务分级服务感知显性化分析产品深度运营分析加速产品优化迭代营销提升了精确化营销运营管理某有线运营商终端数据分析平台·项目概述某有线运营商的TVOS系统高清智能机顶盒已达到600万台，机顶盒每天产生的日志多达1T包括性能指标、用户行为、终端系统运行日志等；目前现网缺乏对机顶盒日志的有效收集，没有一个统一的日志分析平台来监控日常业务。某有线运营商网络有限公司经营着全球最大的有线电视城域网--整个A市的有线电视网络资源，拥有带宽、用户资源、光纤资源和规模运营的优势。打造多维度的终端数据分析能力，实现对网络运维、市场规划、设备运维等多种业务的有效支撑；实现对各类终端异常的感知和预测、对于区域性网络故障预测，辅助市场决策。采用flume、datax进行数据采集；Hadoop+spark进行数据存储分析；sparkml进行机器学习算法实现。对机顶盒的网络、性能、信号等方面进行实时检测，在用户报修之前完成预警和兼修，减少工单报障，提升企业形象；对机顶盒各项指标进行数据分析为领导的决策提供数据依据。项目背景项目目标解决方案项目价值某有线运营商终端数据分析平台·总体方案基于大数据平台为某有线运营商搭建了终端数据分析平台，注入了多维度的数据分析能力，实现了对网络运维、市场规划、设备运维等多种业务的有效支撑。整个系统分为数据清洗层、数据整合处理层、数据展现层，层次间分工清晰。数据清洗层提供了分析使用的基础数据，该层的存在解耦了分析平台和采集平台的耦合关系，大大简化了分析中的格式化数据操作；数据处理层使用spark大数据内存处理平台由于其使用内存的特性使得整个分析耗时较短；数据展现层使用传统的JDBC+mysbtis+mysql的方式；业务实现脚本之间使用ooize调度平台对