大数据管理与应用概论 课件 2.5 大数据项目管理

2.5大数据项目管理大数据项目管理大数据要在组织管理与决策中发挥作用，核心问题是需要采取哪些步骤来确保数据项目能够从规划阶段成功走到执行阶段。要实现数据落地应用的目的，获取数据分布式处理技术能力以及系统架构专业知识固然重要，大数据项目相关的因素也同样重要，而这些因素往往在探索新技术的过程中被忽视。因素一：结合企业战略，理解问题因素二：选择适合的软件解决方案因素三：分析并应对项目风险因素四：组建大数据项目团队因素五：实现健壮、可维护的架构和解决方案大数据项目管理的类型了解组织要构建什么，以及在设计可靠的解决方案时需要考虑哪些主要因素，是任何数据项目取得成功的基本条件。大数据项目主要包括如下三种类型。数据项目类型数据项目任务数据管道和数据暂存类项目大数据的提取-转换-加载型项目。涉及对数据的收集、暂存、存储等，其目的是为后续数据处理和分析提供基础。数据的处理和分析类项目目的是为企业提供有价值的决策支持，如生成报告、开发机器学习模型和算法等。应用程序开发类项目提供能够实时支持业务需求的数据框架，例如Web应用程序或移动应用程序的数据后端等。大数据项目成功的关键特征实施大数据项目的初衷通常是利用大数据更好地支撑管理决策。因此，成功的大数据项目通常具有如下特征：项目目标清晰。与企业战略目标和运营模式相一致、内部认识统一。项目规划完善。项目实施之前对项目功能规划清晰，对项目实施进程严格把控。技术选择合适。技术并非越先进越好，适合企业的技术才是最好的技术。员工技能合格。员工专业知识和能力符合大数据项目的要求。示范效果良好。大数据项目发挥作用是一个逐步推进的过程。在特定应用中取得显著效果，有助于后续项目推进。大数据项目失败的原因大数据项目与企业战略脱节。企业大数据项目没有明确的目标，没有把大数据项目与企业战略和运营模式有机融合。大数据商业用例不明确。大数据项目要实现的功能不明确，需要为企业提供哪些决策支持、需要哪些数据、需要构建怎样的模型等问题不清晰。无法发掘出大数据的特殊价值。在数据分析过程中无法充分发挥量大、多模态、多维关联等大数据特征带来的优势，无法从大数据中获取大价值。企业内部对大数据项目无共识。企业不同层级对大数据作用的认识不一致，前期可能为员工带来更多的工作负荷，导致大数据项目拖延推进或无人应用等问题。缺乏项目所需的核心技术。大数据项目对企业员工的数据意识和技术能力提出了更高的要求。如果企业员工无法达到相应要求，在后续使用过程中往往无法达到预期目标。大数据项目实施案例正泰集团：传统制造企业的数字化转型之旅1.正泰集团是怎样的一家企业？2.正泰集团为什么要进行数字化转型?内外部驱动因素是什么？3.正泰集团在数字化转型过程中遇到了哪些阻力与障碍？4.正泰集团做了哪些战略性回应以克服阻力与障碍?5.如何理解正泰集团大数据平台运营逻辑?大数据项目实施案例1．正泰集团是怎样的一家企业？围绕能源“供给-存储-输变-配售-消费”体系，以新能源、能源配售、大数据、能源增值服务为核心业务，以光伏设备、储能、输配电、低压电器、智能终端、软件开发、控制自动化为支柱业务，打造平台型企业，构筑区域智慧能源综合运营管理生态圈，为公共机构、工商业及终端用户提供一揽子能源解决方案。大数据项目实施案例2.正泰集团为什么要进行数字化转型?内外部驱动因素是什么？外部驱动因素：PTST分析政治（Political）：德国工业4.0、中国制造2025。经济（Economic）：数字经济已经成为国民经济的新业态。在“互联网下半场”，制造业拥抱数字技术成为必然趋势。社会（Social）：人们对美好生活的向往。技术（Technological）：数字技术具有天生的颠覆性，继续守成已经无法应挑战，只有顺数字化趋势，及时调整战略，打造数字化能力，才在新的环境下生存。内部驱动因素：集团创始人的前瞻性战略眼光以及企业自身成长的要求。大数据项目实施案例3.正泰集团在数字化转型过程中遇到了哪些阻力与障碍？个人阻力：个人利益与舒适区的障碍不确定性和不安全感、知觉的选择性、对熟悉事物的偏好在数字化转型启动之初，集团内部除最高领导人之外的几乎所有员工都没有表现出对转型的认同，他们或认为会威胁已有权力与地位，或认为会改变稳定的现状怕自己无法适应而淘汰，再加上对数字化转型未来的不明晰而更愿意维持现状。组织阻力：科层级组织的障碍正泰长久以来建立的科层制组织架构下的部门墙、与客户打交道的界面等惯有组织路径成为数字化流程改造中的障碍。大数据项目实施案例4.正泰集团做了哪些战略性回应以克服阻力与障碍?设置首席数据官（CDO）。邀请从组织外部邀请了信息化专家负责集团数字化转型。选择轻资产转型模式。以整合管理型数据为起点，以让集团上下看到数字化能够带来的实际价值。在“生产智能化”阶段，选择两个明星产品生产线为试点进行智能化改造。通过教育沟通转变员工认识。董事长亲自出马+外部咨询专家数字化培训组织结构平台化变革。自上而下的变革，建立委员会模式和共享中心。大数据项目实施案例5.如何理解正泰集团大数据平台运营逻辑?原有的管理系统和生产系统是否能够获得所需数据？如何进行数据集成？数据集成的关键是什么？如何面向不同业务需求开发数据模型？组织结构如何匹配大数据战略？正泰集团大数据平台运营逻辑图正泰集团组织平台化数据管道和暂存类项目任务数据管道和数据暂存类项目是3个数据项目类型中范围最广的，因为它涉及从外部数据源到目标数据源的整个路径，并为构建数据解决方案的其余部分奠定基础。需要关注的任务包括七个方面。源数据收集方法的选择针对数据收集与存储的风险管理数据传递保证数据的管理和治理延迟和传递确认针对数据传递的风险管理目标数据的访问模式数据处理和分析类项目数据的处理和分析是指对数据管道和数据暂存项目中的数据进行转换和分析，以提取有用的价值。根据CRISP-DM流程，数据处理和分析类项目的任务包括六个方面。业务理解：项目的起点是企业战略和业务需求。数据理解：用何数据、数据在哪里、有何特征数据预处理：噪音、缺失值、约简模型构建：构建面向业务需求的决策支持模型模型评估：评估模型的效果，选择效果最好的模型应用部署：应用模型支持决策，应用效果反馈应用程序开发类项目前两类项目关注数据收集和数据学习，而应用程序开发与部署使用数据向内部或外部提供服务的应用程序有关。这类项目应关注的事项有：廷迟和吞吐量：执行一个操作需要多长时间，系统每秒可处理多少个操作?局部状态和一致性：如果系统在多个地区可用，那么它是如何进行复制的?它是孤岛式的、最终一致性的还是强一致性的？系统可用性：系统在发生故障和故障恢复方面有哪些特点?大数据项目的技术选型在实施大数据项目的过程中，企业的技术选型需要的因素包括：企业自身情况。自身业务需求、内部团队需求、风险承受能力、员工技能水平等。内外部专家建议。企业内部技术专家，企业外部顾问。专业分析机构见解。参考Ga