制造行业数字化转型智能制造大数据平台建设方案

智能制造行业数字化转型智能制造大数据平台建设方案通过信息资源标准，数据交换服务，数据加工存储，数据分析应用与信息安全保障五大体系形成甲方数的整体落地。技术支撑技术支撑…据管企业应用集成平台数据资源交换体系建设企业应用集成平台数据资源交换体系建设企业应用分析数据加工存储体系建设数据加工存储体系建设数据分析应用体系建设分析应用架构设计大数据支撑平台信息安全保障体系建设信息安全保障体系建设数据源系统...…n企业在业务发展的关键时刻,需将业务与信息技术变革在整个公司全方位展开，数据的高阶应用和可视化分析依赖于数据管理保障数据应用高效率。同时高标准的数据质量和管理也会促建数据资产利用的最大数据应用数据管理实现价值目标解决方案实施数据应用数据管理实现价值目标解决方案实施估数据所有权认责数据项清单度估数据管理能力发展路线在网络化战略下，甲方探索全流程用户交互。甲方颠覆传统创新流程，实践用户全流程参与创新，设计阶段用户就参与交互。 操作层视角--流程可视化定单各环节可视监控报表问题点显差定单各环节展示：按原材料类别/区域/供应商类别/模块类别维度展示环节占比分析：例交货率85.86，物料合格率94.23%定单差异环节预警到到总体到环节到明细到明细 期末库存253期末库存2537个本期入库1602个本期领用2000个总下单2862W已开票2290W未开票572W总下单金额2862W已收货2332W接单数量280个，生产计划1980个检验数量1700个,坏品数量98个下单数量1980个,交货数量1700个寻供应商50家,合格供应商10家生产数量2800,供应商2家项目定单数量19138614028495201150251234456122234定单总额1562132918721156121177211212101167去年同期351731119774452974232442167增长率81.7%55.2%20.7%65.8%22.1%77.6%80.7%70.5%90.2%46.5%82.8%71.4%主要包含定单业务全流程可视化报表、问题显差、预警机制三个部分。将各个阶段显差考核到责任人，并对后续节点进行预警，挽回时间，提升用户体验。平台整体业务流程配置业务逻辑层维修工单创建判断维修工单创建PLC点位故障计划停护维修工单处理设备日志Update开机允许判断故障隐患判断人工报单创建PLC设备数据读取PLC设备数据验证维修过程信息维修信息更新原因代码输入状态信息传递t维修过程记录设备主数据对象/故障/原因代码设备计量点主数据产品主数据配置业务逻辑层维修工单创建判断维修工单创建PLC点位故障计划停护维修工单处理设备日志Update开机允许判断故障隐患判断人工报单创建PLC设备数据读取PLC设备数据验证维修过程信息维修信息更新原因代码输入状态信息传递t维修过程记录设备主数据对象/故障/原因代码设备计量点主数据产品主数据维修过程查询维修过程查询产品主数据设备参数值设备计量点主数据设备PLC地址信息产品主数据设备参数值设备计量点主数据设备PLC地址信息设备主数据设备主数据对象/故障对象/故障/原因代码报修通知维修状态更新设备预警生产预警报警分析生产分析报表展示层趋势分析设备活动故障分析报警分析生产分析报表展示层趋势分析设备活动故障分析产品主数据设备计量点主数据坏品率生产计划时间计算引擎层故障分析设备效能计算趋势预测大数据分析平台系统架构传统商业智能与大数据分析相并行，实时数据分析与智能生产平台支持当前及近期的信息需求，提供实时生产过程中的决策支持及优化数据聚合数据分析算法算法数据管理分析预测机器学习u客户订单u运营计划u机器（loT）u供应商数据u员工改善数据u经济预测u天气预测生产优化u规划与安排u生产优化u规划与安排u生产管理u供应管理u质量管理u更小的批量u可预测的供给/需求u更短的产品生命周期u更多的生产差异化价值实现u生产能力u灵活性u利用率u服务水平u生产前置时间u定制化服务智能制造可视化需求可视化可视化模块模块1：定单分析模块2：设备分析模块3：质量分析模块4：人员分析模块5：物料分析优化/质量/追溯跟踪分析趋势/质量状况监控趋势/质量状况监控/执行分析供应商/负荷分析状态/参数/运行维保信息流动/效率/竞比其它内外部其它内外部构建企业关键指标体系设备质量物料人员设备质量物料人员集团平台层定单分析设备分析质量分析物料分析人员分析工厂平台层定单监控参数监控质量监控物料跟踪人员监控业务追溯层定单执行设备运行质量执行物料执行人员执行23乙方制作所在世界500强中排名第78位（2014）社会在进步，乙方推动它。4我们的使命:通过创新的技术、产品和服务为社会做出贡献智能生产研发投入19%4%15%11%7%14%9%7%11%3%5提供全球化的管理咨询和IT技术咨询服务ProvideGlobalManagementandTechnologyConsultingService$659M端到端解决方案:端到端解决方案:$12B6,500拥有经验6提供全面的业务转型服务ProvideWholeBusinessChangeServiceApplication)OperationOptimization)8亚太区心只欧美地区9遍及全球的办公场所ShenzhenDalianDalian案ShenzhenShenzhen分公司/办事处研发中心乙方咨询在中国的分布分公司/办事处研发中心乙方咨询在中国的分布执行团队在岸办公市场及业界实践调研执行团队在岸办公市场及业界实践调研企业竞争力分析战略规划运营模式规划用户需求收集需求分析与规格化概念与原型验证产品路线规划在岸开发战略及运营规划f离岸开发在岸团队全项目生命周期项目管理服务服务响应中心技术及环境支持战略及运营规划f离岸开发在岸团队全项目生命周期项目管理服务服务响应中心技术及环境支持问题总结实时监控执行团队在岸负责在岸团队应用架构、系统架构设计产品开发适配器开发企业应用集成数据迁移方案设计安全技术方案并发控制代码质量管理…产品测试应用测试（单元、功能测试）交互测试（应用集成测试）非功能性测试（性能测试产品测试应用测试（单元、功能测试）交互测试（应用集成测试）非功能性测试（性能测试、安全测试）数据迁移验证环境构建及发布管理数据迁移上线用户培训系统迁移知识转移质量管理互联网时代，甲方启动网络化战略。为用户提供按需设计、按需制造、按需配送的个性化体验踏准时代节拍为用户提供超值体验网络化战略全球化战略国际化战略多元化战略名牌战略仅出口“创汇”2012-干第一”，为用户在网络化战略下，甲方探索全流程用户交互。甲方颠覆传统创新流程，实践用户全流程参与创新，设计阶段用户就参与交互。智能制造大数据平台集团内供应链对各互联工厂的生产执行情况，无法全面和实时掌握，现在主要靠事后的汇总报表。对设备参数等实时性较高的监控和分析无法从集团层面及时获取。智能制造大数据平台集团内集团外互联工厂可视根据集团互联互通的战略要求，为实现供应链实时透明可视，对供应链各节点数据进行实时显示和统计分析。互联工厂可视根据集团互联互通的战略要求，为实现供应链实时透明可视，对供应链各节点数据进行实时显示和统计分析。订单全流程可视根据集团互联互通的战略要求，为实现互联工厂的透明可视，对互联工厂数据进行实时可视和统计分析。符合互联互通架构要求，可无缝与COSMO-IM集成。业务需求——互联网工厂需求 减少设备故障造成的生产损失互联网工厂相比传统工厂，在生产效率上提升一倍以上，人工维护时效已经无法满足需求。设备故障导致生产线暂停，造成的生产延误损失巨大。所以，通过实时大数据分析，分析设备故障数据从而改善和优化生产线。同时通过统计数据预测设备故障，通过计划性维护来降低非计划性停机带来的损失。2质量问题实时监控及实时响应互联网工厂在工艺流水线上设置有质量检查点，可以将产品质量在工艺流程上切片，分解，还原。在高效率生产线上，质量数据异常带来的次品损失相比较传统生产线会更所以，通过实时大数据分析，监控并报警质量数据异常。实时响应质量问题，预测质量问题发生，从而降低质量事故率，提升产品合格率。3需要支持多平台多系统对接能够支持COSMO-IM数据实施对接业务需求——订单全流程需求 供应链全流程订单监控与分析从订单到制造的端到端全流程供应链数据监控，通过对流程的分片监控，分析出各种不同模型下不同流程节点的效率KPI，从而找出差异和异常，通过关闭差异来提升供应链效2实时数据状态的可视化将订单到制造的实时数据状态，通过形象生动的图像形式动态显示在大屏上，配合精准的KPI数据。提供给管理层最及时、准确的智能制造大数据显示，给管理层制定计划和决策提供有力支持。以市场订单为业务导向，聚焦智能制造，通过据透视全流程效率，通过业务切片精准显差，责任到人，有效关差。提升供应链效率，匹配互联网用户体验，实现用户交互零距离。绍甲方业务需求理通过信息资源标准，数据交换服务，数据加工存储，数据分析应用与信息安全保障五大体系形成甲方数的整体落地。技术支撑技术支撑…据管企业应用集成平台数据资源交换体系建设企业应用集成平台数据资源交换体系建设企业应用分析数据加工存储体系建设数据加工存储体系建设数据分析应用体系建设分析应用架构设计大数据支撑平台信息安全保障体系建设信息安全保障体系建设数据源系统...…n企业在业务发展的关键时刻,需将业务与信息技术变革在整个公司全方位展开，数据的高阶应用和可视化分析依赖于数据管理保障数据应用高效率。同时高标准的数据质量和管理也会促建数据资产利用的最大数据应用数据管理实现价值目标解决方案实施数据应用数据管理实现价值目标解决方案实施估数据所有权认责数据项清单度估数据管理能力发展路线 战略决策层：销售预测、成本控制、风险预测与管控等管理执行层：生产效率，产能负荷、设备效能、质量管理、订单执行等l需要充分理解公司战略层的发展规划，了解各级用户的l需要充分理解公司战略层的发展规划，了解各级用户的使用诉求，充分考虑企业在价值链上关键环节竞争要素，定位大数据平台在企业内部的定位和目标。操作执行层：订单监控、参数监控、物料跟踪等系统运维层：日志分析、内存监控、服务器运行状态等 智能制造可视化需求可视化可视化模块模块1：定单分析模块2：设备分析模块3：质量分析模块4：人员分析模块5：物料分析优化/质量/追溯跟踪分析趋势/质量状况监控趋势/质量状况监控/执行分析供应商/负荷分析状态/参数/运行维保信息流动/效率/竞比其它内外部其它内外部构建企业关键指标体系设备质量物料人员设备质量物料人员集团平台层定单分析设备分析质量分析物料分析人员分析工厂平台层定单监控参数监控质量监控物料跟踪人员监控业务追溯层定单执行设备运行质量执行物料执行人员执行 项目需求实施建议移动APPPC端WAP端微信端渠道•KPI分析:定单/市场•定单数量•定单金额•环比增长率•同比增长率•预计入库率•定单完成率•设备概览总体情况•设备状态分析•设备运行分析•设备利用率分析•设备参数监控分析•设备维保信息分析•设备综合效率分析•质量执行分析•质量报警分析•市场不良分析•一次通过率分析•关键质量参数分析•质量问题闭环分析•产品质量追溯分析•产品质量趋势预测分析•离职率分析•人员异动分析•人员负荷分析•人均效率分析•人员竞比分析•人员出勤分析•员工保留率分析•物料优化分析•物料质量分析•物料追溯分析•物料交付分析•缺料跟踪分析•物料齐套率分析•库存增长率分析 ………………<订单误差率挤压订单挤压原因挤压时长订单历史产量订单完成率订单时间序订单贡献率订单满足率订单接受率订单量同比计划订单产个性化订单…订单及时率挤压成本订单数量订单金额订单类型订单进度<订单误差率挤压订单挤压原因挤压时长订单历史产量订单完成率订单时间序订单贡献率订单满足率订单接受率订单量同比计划订单产个性化订单…订单及时率挤压成本订单数量订单金额订单类型订单进度定制订单量<<汇总细分为产线管理层、工厂管理层、集团战略层提供监控、预警和决集团战略层一集团战略层一定单KPI指标45000库存数量8800定单KPI指标45000库存数量88009800035600近三年订单量876000167000投入产出收益占比月月季年去年78.8%52.6%客户满意度客户满意度88.9%个性化订单占比个性化订单占比集团战略层二集团战略层二从各区域看总体定单完成情况增加筛选条件，可以查看组织、区域、产品大类的定单数量和增长率点击跳转至定单数量明细报表20160101近三年订单排名情况（前8）区域定单数量区域占比模块占比区域76703522.09%36.52%区域4260938.60%14.21%区域20160101近三年订单排名情况（前8）区域定单数量区域占比模块占比区域76703522.09%36.52%区域4260938.60%14.21%区域8265688.76%14.47%区域3146104.82%7.96%区域637431.23%2.04%区域146102.00%2.51%区域548291.59%2.63%区域242251.39%2.30%起始起始2016020160131红色点表示此大区当月订单超过200黄色点表示此大区当月订单超过100 高层视角>定单执行情况分析>生产节拍分析mm定单金额定单数量完成率>定单执行情况分析>生产节拍分析mm定单金额定单数量完成率70%60%50%40%30%20%10%0%500045004000171集团战略层三35003000250020001500物料A物料B物料C物料D物料E物料F1000500001月2月3月4月5月6月7月8月9月10月11月12月>定单完成情况分析>>定单完成情况分析350330310290270250Δ230Δ210190170华北华东华南华北华东华南1月2月3月4月5月6月7月8月华中库存数量实际定单数量计划定单数量起始日:结束日:2016010120161231起始日:结束日:2016010120161231全部全部华南华北华中华东送货金额6374完成率送货金额6374送货金额完成率区域业务经理：到区域及每个地区2016010120160101个性化定单占比情况分析20161231定单数量860个性化定单占比98%定单数量个性化定单占比12.0%10.0%8.0%6.0%4.0%2.0%0.0%806040200起始日:结束日:地区总监：看不同区域执行情况 起始日:20160101起始日:20160101适用查看人：项目负责人月份：201606近三年定单量排名近三年定单量排名区域排名华北1华南2华东3华中4中南5西北6东北7显差统计：对产品需求占比情况分析项目负责人：对项目执行状况管理层视角二管理层视角二>定制出货分析情况>同产品竞争排名分析情况0100% 产品C>客户满意度排名情况J产品 F产品E产品C产品B产品>生产效率分析70%50%40%20%生产数量制作成本人工效率 管理层视角定单完成进度分析统计定单完成进度分析统计2016年6月23日星期四12:04:02页面将于03分12秒后刷新管理层视角三操作层视角一操作层视角一>产能需要分析情况>定单报警—预付款未退回4500400035003000250020001500100050006000500040003000200010000定单数量生产成本——去年同期增长率6,0005,0004,0003,0002,0001,000-A客户B客户C客户D客户E客户F客户G客户定单金额预付款未退回100.0%99.5%99.0%98.5%98.0%97.5%97.0%96.5%96.0%95.5%95.0%>客户需求满足率分析70%60%50%40%30%20%10%>投入产出收益占比A类A类0 操作层视角产业区域模块材料类别产业区域模块材料类别操作层视角二2016年1月2016年2月2016年3月2016年4月2016年5月2016年6月2016年7月2016年8月定单数量定单金额实际完成率查询时间介于查询时间介于A类372423824238588-1346357203772094.70%35066654294372843728783654392154001541783-2568321453414594.14%37783-5638 操作层视角--流程可视化定单各环节可视监控报表问题点显差定单各环节展示：按原材料类别/区域/供应商类别/模块类别维度展示环节占比分析：例交货率85.86，物料合格率94.23%定单差异环节预警到到总体到环节到明细到明细 期末库存253期末库存2537个本期入库1602个本期领用2000个总下单2862W已开票2290W未开票572W总下单金额2862W已收货2332W接单数量280个，生产计划1980个检验数量1700个,坏品数量98个下单数量1980个,交货数量1700个寻供应商50家,合格供应商10家生产数量2800,供应商2家项目定单数量19138614028495201150251234456122234定单总额1562132918721156121177211212101167去年同期351731119774452974232442167增长率81.7%55.2%20.7%65.8%22.1%77.6%80.7%70.5%90.2%46.5%82.8%71.4%主要包含定单业务全流程可视化报表、问题显差、预警机制三个部分。将各个阶段显差考核到责任人，并对后续节点进行预警，挽回时间，提升用户体验。 操作层视角--流程可视化报表显差 区域-模块类型A产品 G产品高亮色标注差异，从差异出发，通过维度的切换组合剖析，探索差异点根源所在。区域-金额（万元）010101040105合计华东6483283429354华南23206635282686583666748713589454263918510034999华北40474373410929543华中25523627219559143448607036775618614800区域-日期区域-产品类型华东华南西南东北华北华中西北山东区域-物料品种0A类项目 乙方工厂优化（OptimizedFactoryAMMOAMMO乙方咨询的资产监控及运维优化（AMMO）解决方案，认识到把工厂专业知识和大数据分析结合起来的必要性。通过把专业操作和数据挖掘、机器学习和我们的专业研究及数据科询和技术服务的解决方案。本方案具有其独有特点，AMMO解决方案包含IoT服务，软件和管理咨询。这意味着交付结果包括咨询服务和技术。关注点在于围绕潜在产出建立一个版本且展示AMMO怎样显著提高为内部和外部客户交付的正常运行时间和可靠性。OptimizedOptimizedFactoryFactory）解决方案，针对不断增加的定制化客户需求，致力于解决新产品投入市场时效压力，同时满足低成本的控.通过对设备、人员、生产、物料及质量持续的监控及实时沟通，本方案提供了及时决策的能力。通过预测性模型和机器学习方法，本方案对多种复杂流程的监控提供支持。在多个案例中提高了生u执行更有效的方式：-世界级维护及可靠性-可靠性-中心维护-设备综合效率-贯穿生产的标准数据挖掘流程u增加维护的精准性和u提高资产可靠性和产量优化维护和资产价值传感器设备原始设备制造商设计了传感器和控制机械健康监测的设备机器学习算法计算即将失败机器学习算法计算即将失败地理空间映射检测不合规格、定位不准确或表现不佳的单位手机应用程序技术人员可以找到设备的精确位置去给具体失效模式提供所需的确切根据一项正式的维护响应计划给所有设备排名，这样团队可以聚焦于最有价值的活动传输传感器数据和集成生产计划、调度数据、失败历史、天气、置信号、视频等实时环境数据智能生产平台支持当前及近期的信息需求，提供实时生产过程中的决策支持及优化数据聚合数据分析算法算法数据管理分析预测机器学习u客户订单u运营计划u机器（loT）u供应商数据u员工改善数据u经济预测u天气预测生产优化u规划与安排u生产优化u规划与安排u生产管理u供应管理u质量管理u更小的批量u可预测的供给/需求u更短的产品生命周期u更多的生产差异化价值实现u生产能力u灵活性u利用率u服务水平u生产前置时间u定制化服务业务运营订单可视基础数据应用系统企业和客户沟通流程可视化规划与设计计划性控制可视化展现规划与设计企业销售关联活动流程可视化，如订单需求展开，创建采购订单，创建生产订单，入库，出库等企业和供应商沟通流程可视化规划与设计企业对采购订单汇总可视化展现规划与设计企业采购关联活动流程可视化规划与设计企业不同制造方式下订单流程可视化设计与规划企业制造订单执行流程可视化设计与规划企业制造订单执行流程监控、预警设计与规划企业物流订单生命周期可视化规划与设计企业物流关联活动流程可视化，如出库，入分拨点，逆向订单等设备保修及召回设备保修及召回安全风险分析生产风险分析过程质量监控原因分析变量追溯原因分析故障预警资产可靠性监控资产剩余寿命资产管理质量监控风险管控生产性能监控资产管理质量监控风险管控生产性能监控ValueValuecreationValueValuecreationValueValuecreationValueValuecreation生产能力监控设备利用率资产流动过程产出优化订单全流程可视化•集成的，可扩展的•低成本的顾客应用•以组件基础的架构•单个数据湖•安全的个人云端服务•可延伸的价值链的一体化•保证可视化数据来源，一个“事实来源” IoT数据 ERP/MES数据外部数据生产优化机器学习高级的分析和报告服务标准的BI报告和分析数据抽取和ETL生产优化机器学习高级的分析和报告服务标准的BI报告和分析数据抽取和ETL服务质量优化分布式制造预测性维护高级自动化物流优化1243 51243作为持续改进在大量精确生使用统计模使用运营知基于新的见计划的一部产数据和质量型、预测模型识，洞察出制解，责任到分，识别运营数据的基础和AI模型，发造业流程知识人，通过通提取数据集合现及发掘相关影响参数、预测发展模式知、告警、预警等方式处理AMMO平台基本架构AMMO平台AMMO平台平台整体业务流程配置业务逻辑层维修工单创建判断维修工单创建PLC点位故障计划停护维修工单处理设备日志Update开机允许判断故障隐患判断人工报单创建PLC设备数据读取PLC设备数据验证维修过程信息维修信息更新原因代码输入状态信息传递t维修过程记录设备主数据对象/故障/原因代码设备计量点主数据产品主数据配置业务逻辑层维修工单创建判断维修工单创建PLC点位故障计划停护维修工单处理设备日志Update开机允许判断故障隐患判断人工报单创建PLC设备数据读取PLC设备数据验证维修过程信息维修信息更新原因代码输入状态信息传递t维修过程记录设备主数据对象/故障/原因代码设备计量点主数据产品主数据维修过程查询维修过程查询产品主数据设备参数值设备计量点主数据设备PLC地址信息产品主数据设备参数值设备计量点主数据设备PLC地址信息设备主数据设备主数据对象/故障对象/故障/原因代码报修通知维修状态更新设备预警生产预警报警分析生产分析报表展示层趋势分析设备活动报警分析生产分析报表展示层趋势分析设备活动故障分析产品主数据设备计量点主数据生产计划时间坏品率计算引擎层故障分析设备效能计算趋势预测设备故障分析：通过建立标准化设备状态原因代码，可对设备历史性停机状态记录进行统计分析，为设备的改善优化提供数据支撑，降低因设备能力带来的产能效益损失。AA级C级D级计划停机时间计划生产时间设备损失结构计划停机时间计划生产时间设备损失结构（按个班次计算）性能非计划停机时间性能非计划停机时间产品速度损失产品速度损失实际PPM计算公式在一个班次的时间段中，对符合连续生产时间>5分钟，产出个数>5的条件进行PPM计算，然后去掉两个PPM最大值之后再取余下的PPM中最大值作为该时间段的PPM值。按时间段，则取每个班次PPM进行算术平均运算。设备停止<><><>设备停止<><><>C:产量StarttimeashiftEndtimebyPPM=Max(C1/T1;C2/T2;…Cn/Tn)shift取介于1.5~30之间后去掉前两个峰值 汇总时的算法·PPM=Avg(Shift_mc1_max;Shift_mc2_max;…Shift_mcn_max)传感器：1000台每台每天：86,400DP每小时平台：3,6mDP每个月26亿数据点预测缺陷的时间序列模型供应商及原材料参数影响进行中的问题识别输出监控过程例外情况输出订单生产执行明细监控工厂-产品线-班组产量监控订单生产计划与实际差异分析生产进度完成率预警分析大数据分析平台系统架构传统商业智能与大数据分析相并行，实时数据分析与--------s离线数据抽取•场景应用：实时性要求不高，计算量偏大•特点：重点在计算量，非高并发•方式：运行批处理程序--------s离线数据抽取•场景应用：实时性要求不高，计算量偏大•特点：重点在计算量，非高并发•方式：运行批处理程序离线数据抽取--日志日志--KakfaKakfa流式流式计算实时数据抽取实时数据抽取•场景应用：实时性要求高•方式：高并发数据写入kafka,进行数据缓冲，之后进行数据转换及存储，有效防止高并发写LogstashPattern1Pattern2…nLogstashPattern1Pattern2…n实时分析（Storm） 优点•编程模型简单•容错性高•水平扩展性强•消息处理高可靠性•易于开发JSONJSON…优点•编程模型简单•容错性高•水平扩展性强•消息处理高可靠性•易于开发JSONJSON…JSON数据存储缺点•Storm数据源只能JSON数据存储缺点•Storm数据源只能•汇总统计需要临时存储离线分析（Hive）ElasticSearch基础数据管理基础数据管理Agent管理Logstash管理云监控管理Hive表定义管理Topic管理应用管理作业管理日志类型管理Flume管理ETL任务管理专题分析应用业务分析应用数据服务应用可视化应用物联网智慧家居互联网电商渠道业务系统数据源HadoopSearchEngineNoSQLSQL数据应用HDFS/HbaseImpalaElasticsearchMongoDBRedisMySQLOracle数据集成定制组件(按需)网络爬虫Kafka(实时)Sqoop(批量专题分析应用业务分析应用数据服务应用可视化应用物联网智慧家居互联网电商渠道业务系统数据源HadoopSearchEngineNoSQLSQL数据应用HDFS/HbaseImpalaElasticsearchMongoDBRedisMySQLOracle数据集成定制组件(按需)网络爬虫Kafka(实时)Sqoop(批量)Flume系统MDXMondrian数据存储研发集市采购集市…集市研发集市采购集市…集市…集市市场集市市场集市数据可视化工具推荐Pentaho是数据重现领域最早的行业领军者之一，它是一个灵活易用、用户驱动的信息探索和分析平台。它也可以用于建立预测模型和创作的分析应用，发布交互式和可视化的仪表盘(dashboards)。•开放式、易扩展、模块化、标准化•支持大数据：既可以使用文件式存储(Hadoop)，又支•与第三方集成：与eCharts、D3.js、Unity3D等无缝衔接；Weka和R紧密集成•移动设备支持:支持iOS及AndroidNoSQLAnalyticHadoopClusterAnalytics现有ETL工具NoSQLAnalyticHadoopClusterAnalytics现有ETL工具/PDIDataIntegrationDataMartsFlcExistingETLToolorPDIEDWDataIntegrationDataMartsFlcExistingETLToolorPDIEDW现有ETL工具/PDI•合规性的数据细化•合规性的数据细化•基础设施的架构优化•设备和传感器数据处理•软件和SaaS的嵌入式分析•应用数据迁移•协调病人和商业信息•忠诚度数据处理与分析2.无效操作导致废品增加2.建立监控体制4.建立先进预测维护流程算业2.研发预测计算公式，预测机器业算2.新机器安装传感装置4.供应链流程没有优化2.分析平衡各分工厂产量及物流4.减少供应链的复杂性1.合并后的实体公司，运行了不效4.利用原始数据，高效制定合理护2.减少维护成本资产监控及运行优化平台—建筑工程机械全球领先企客户背景 客户背景设备量大，监控困难，部分设备的利用率低下。确监控，维护需求难以管理多工厂生产效能低，质量监控及提升压力大面临的挑战乙方设备量大，监控困难，部分设备的利用率低下。确监控，维护需求难以管理多工厂生产效能低，质量监控及提升压力大面临的挑战乙方解决方案运行结果本降低20%按时交付率提升25%采用了AMMO下的设备预警维护解决方案，及OF下的质量分析预测方案。包含了重型设备维护、机器传感远程监控和高频率高容量的数据采集及机器学习算法。从1000台以上的设备读取实时数据及日志,实现了设备及时监控、预警显示多部门的运行数据集成（MES,PLC…）OEE效能大数据分析及提升实现了质量问题分析及预测 客户背景其是在终端业务领域进行了受到关注最多的战略级IT应用实施项目，是公司互联网服务转型的典型代表。随着客户市场的全球扩张，业务量飞速增长，实体店IT平台作为整体建设中非常重要的组成部分，对数据的集成，分析及展示提出了更高要求。面临的挑战客户企业云业务要求对服务器的运行情况出具周期周边系统数量多，数据来源复杂，结构化非结构化性报表，面对数以万计的服务器，人工无法操作，数据同时存在抽样机器进行统计无法对运行状况全面了解全球数据分析，对实时性要求高，现有架构难以实查询效率低下，单次查询都需要10分钟+，系统宕全球数据分析，对实时性要求高，现有架构难以实查询效率低下，单次查询都需要10分钟+，系统宕业务量大，数据量多，业务无法有效利用现有数据每日订单相关记录5000万+，一体机数据10T+进行分析控平台完成乙方乙方解决方案品为大数据和PAAS解决方案，并已实施支撑多个业务系统大数据应用大数据日志采集平台搭建实时计算平台，建立了基于flume+kafka+storm的流式数据计算平台，将日志通过flume实时采集到kafka，并通过storm进行实时计算与分析，对于达到临界值的日志记录进行实时邮件发送预警，同时计算结果存储到redis，进行结果展现业务统计分析平台设计离线计算架构，采用了Oracle+ElasticSearch+Hive实现针对性分别存储，财务数据及聚合类数据进Oracle，分别进行实时查询及批量计算 项目成果成功实现战略落地项目，为支撑终端全球销售业务快速拓展，构建的统一交付快车道。帮助客户继续扩大市场份额，在市场大数据集成和分析方面，通过为营销部门提供最优质的最有价值的决策服务，与客户一起成长，实现双赢局面。基于在BI领域丰富的实施经验，增强企业级数据仓库系统，支持集团财经、供应链、交付服务等几十个业务领域的分析类系统得到了集团总裁的高度评价，是客户集团互联网服务转型的典型代表大数据日志采集平台集群运行良好，实现零故障业务统计分析平台普通报表查询响应时间在秒级，高度计算报表查询在2分钟以内客户背景客户背景客户是中国家电最大经销商之一。2013年，客户门店总数（含大中电器）达1,063家，覆盖全国256个城市，同时客户还有542家非上市公司。客户不仅启动了以消费需求为核心，全面整合供需链资源的兴商业模式，更打造了中国家电零售业先进的以消费需求为导向的信息化系统，全力保障消费者利益。乙方解决方案乙方解决方案数据统计平台，通过storm进行流式计态数量及金额统计据统计平台，通过storm进行流式计UV数据的统计平台上线之后，订单库实现零宕机面临的挑战面临的挑战客户电商平台每天订单量在数十万，订单金额在百万左右，面对众多的订单，要实时的监控每个订单处于什么状态，以及处于各个状态的订单有多少，以及每个整点的订单金额宕机多次客户电商平台上线每天访问网站的PV及UV，之前是通过F5的流量监控，只能粗略的查看，无法进行精细统计亿级每天集群运行良好，零故障，统计速度明显提升运行性能客户背景客户背景客户是中国家电最大经销商之一。2013年，客户门店总数（含大中电器）达1,063家，覆盖全国256个城市，同时客户还有542家非上市公司。客户不仅启动了以消费需求为核心，全面整合供需链资源的兴商业模式，更打造了中国家电零售业先进的以消费需求为导向的信息化系统，全力保障消费者利益。乙方解决方案乙方解决方案针对客户电商平台的诉求，我们采用了hadoop+hive+Mahout的大数据推荐基于用户喜好及协同过滤算法进行喜好推荐针对购物车数据及订单数据进行套餐推荐基于RFM模型进行热卖推荐面临的挑战面临的挑战客户电商平台上线之后，要根据用户喜好进行商品的推荐，之前都是从其他合作伙伴购买的数据，费用高且数据不准确。在网上商城二期上线之后，国美开始着手于自己的推荐算法运行性能运行性能数据解决方案团队人员储备据治理等多层次全方位需求•中国区人员分布上海，北京，广州，深圳，大连，成都各大城市•东南亚越南新加坡团队200+人技术支持•亚太区大数据解决方案中心建设中数据业务分析BusinessAnalysis大数据、数据仓库架构和建模3Informatica,ODI,Kettle9大数据开发ElasticSearchShenShenenu管理咨询-行业专家-咨询顾问-业务平台搭建-大数据平台搭建-项目管理-