云计算大数据行业应用实践和构建思路

云计算大数据行业应用

实践和构建思路浪潮集团有限公司付金涛目录国家云计算大数据政策浪潮云战略和实践云计算大数据构建思路

10月9日，中共中央就“网络强国战略”进行专题集体学习，国家领导人习近平在主持学习时重点指出：

要深刻认识互联网在国家管理和社会治理中的作用，以推行电子政务、建设新型智慧城市等为抓手，以数据集中和共享为途径，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。国家云计算大数据政策指导和内在驱动国办发【2013】96号文国办发〔2014〕66号文国办发〔2015〕5号文国办发[2015]50号–大数据浙政办发〔2015〕8号鲁政办发〔2015〕7号渝经信发【2015】45号渝府办发〔2014〕175号政策指导内在驱动聚焦自身业务,降低财政支出业务快速部署,提高维护效率提升公众服务质量，带动产业发展政府促进公共治理、改善服务质量促进业务整合、信息协同共享资源统筹集约、降低财政支出政府业务融合创新政府IT资源融合创新政府数据融合创新国家云计算大数据政策指导和内在驱动加大采购云服务力度完善政府采购云服务政策实现资源共享和业务协同发改委〔2016〕42号《组织实施促进大数据发展重大工程的通知》〔2015〕5号文《关于促进云计算创新发展培育信息产业新业态的意见》实现“一号一窗一网”强化数据资源在各领域应用大数据提升社会治理能力〔2016〕48号文《政府购买服务改革工作领导小组》〔2015〕50号文《促进大数据发展行动纲要》加快推动数据资源开放共享流通〔2016〕23号文《推进“互联网+政务服务”开展信息惠民试点实施方案》推动数据资源共享开放发展大数据，推动产业创新发展发改委：《促进大数据发展三年工作方案(2016-2018)》、《促进大数据发展2016年工作要点》、《政务信息资源共享管理暂行办法》和《政务信息资源目录编制指南》，建设一批“互联网+”和大数据国家创新平台国家云计算大数据政策指导和内在驱动目录国家云计算大数据政策浪潮云战略和实践云计算大数据构建思路

上市公司浪潮软件（600756）沪市浪潮信息（000977）深市浪潮国际（596.HK）香港510401451632人数：21680软件与集成云服务大数据企业软件云数据中心浪潮云战略云中心（云安全）云数据浪潮愿景

云服务云伙伴服务产品方案产品

云服务

云中心大数据金刚钻业务上云应用创新数据整合咨询规划三步曲

智慧城市

智慧企业浪潮云战略

传统IT存储服务器网络O/S中间件数据应用运行环境自己管理O/S

PaaS平台云存储服务器网络中间件虚拟化数据应用运行时YouManage由平台管理业务敏捷性和节省成本O/S

IaaS基础设施云存储服务器网络中间件虚拟化数据应用运行环境YouManage由平台管理IaaS: 硬件的自动化管理，人与机器的解耦合

获得效率/提高资源利用率PaaS: 应用的自动化管理，应用与OS的解耦合

获得弹性/简化运维云平台建设及管理发展趋势浪潮云战略IaaSCoreContainerBigDataDatabaseSDN/NFVSecurityIndustryAPPPaaS云海OS（IOP）浪潮是国内最早发布的云海战略和云平台产品的国内IT厂商中国首家IaaS和PaaS云计算领域自主技术的厂商业界唯一的“云计算、大数据”的自主提供整合性方案的国内厂商和集成商InCloudSphere（服务器虚拟化）InCloudManager（云管理平台）统一安全策略InCloudStorage（软件定义的存储）InCloud

Network（软件定义的网络）InCloudSSRInCloudSSAInCloudSSCInCloudSDP浪潮云战略采用世界领先的内核打造，产品稳定、性能良好，广泛应用于金融、电信等行业云海IOP-PaaS平台产品构建在IaaS之上，交付迅速稳定可靠，多重高可用架构，系统故障自动修复智能调度，应用实例自动弹性伸缩支持上万的大规模应用管理快速构建PaaS系统的平台级产品PaaS平台产品云海Insight-大数据产品套件内存数据库实现上万超高的并发访问MPP并行数据库支持PB级结构化多维快速查询Hadoop发行版兼容社区API，超过30项优化的Hadoop引擎涵盖GB-PB级处理场景的产品组合浪潮云战略产品名称技术架构关键功能特性适应场景响应时间云海Insight

HD基于Hadoop大规模分布式架构可视化运维统一用户、证书认证滚动升级4000节点的横向扩展能力适合PB级以上的海量数据离线处理大数据应用建设中构建基础资源库分钟-小时云海Insight

MPP基于MPP架构的分布式关系型数据库查询性能是传统关系数据库的10-100倍支持千节点内的稳定运行处理TB-PB级的结构化数据的数据仓库和数据集市的最优选择BI领域替换传统架构毫秒-分钟云海Insight

MemDB基于内存的无共享分布式架构支持Key-Value、及SQL关系型存储跨地区集群能力支持分布式事务毫秒级响应适合TB以下规模超高并发访问的OLTP和OLAP实时计算和加速场景毫秒、秒大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅靠单一的产品无法满足业务需求，组合使用，效果更佳PaaS平台产品浪潮云战略数据规模数据价值密度公有云私有云混合云管理安全管理安全等级/应用复杂度/成本低高浪潮云战略已经完成3个核心云计算数据中心，14个地市云计算数据中心全国已部署17个云计算数据中心重庆重庆浪潮云战略已签署81个省、市级云计算协议浪潮政务云全国布局浪潮云战略云服务器ICS计算负载均衡ILB物理主机IPH云托管ICH云存储ISS存储块存储IBS云盘IND关系型IDB数据库非关系型INB2A容灾云备份ICB云双活I2A云安全云防护云审计舆情分析IPM视频会议IVC云加速ICDN云容灾ISB安全基础服务管理服务应用服务通用应用云迁移I2C云备案2IS云测试IAT咨询服务运维维保规划设计咨询规划建设运营IDC数据中心政务云教育云食药云北京山东重庆湖南四川17个云中心警务云质检云……垂直应用方案云邮箱卫生云十浪潮云产品服务目录浪潮云战略云上贵州浪潮实践社会治理企业经营公共安全组织数据互联网数据大数据处理平台存储分析处理大数据应用在海量、无序的数据中，洞察规律，发现价值！浪潮已经收集、整理了39PB互联网数据大数据浪潮云战略数据储备指数揭示19类数据存储量和结构化记录数据储备指数数据储备指数B2B类电商数据3780.1B2C类电商数据C2C类电商数据28360.22000.5社交类数据2200.3行业价格数据政府采购数据土地招拍挂数据基础建设数据股票股指数据上市公司财报股权交易数据企业在线营销本地生活数据旅游产品数据网上订房数据团购数据舆情数据企业信用数据2000.51400.91300.21300.81000.41000.6850.1950.6780.4750.9602.3900.3820.5420.5矿业数据520.3大数据浪潮云战略2013年9月30日，习近平等中央领导同志听取浪潮专题汇报国家领导人关注浪潮发展浪潮集团发展近况总书记指示在关键领域要使用国产设备，能够替代（国外的）就行，哪怕还不完善，也要坚持使用，安全第一。希望浪潮继续努力，坚持自主创新，在云计算核心装备上争取更大的突破。(1)信息化关键技术和核心装备长期受制于人，形势严峻(2)要发扬“两弹一星”和“航天”精神，攻克国产化难题(3)要加大政策扶持，找准突破口，拿出推进计划和时间表2014年7月25日，国务院李克强总理视察浪潮总部中俄总理见证浪潮与俄罗斯企业签约李克强总理视察浪潮时表示：“像支持中国高铁一样，支持国产云计算关键装备走向海外”浪潮集团发展近况国家领导人关注浪潮发展金属材料中草药农业医药化工海洋工程战略新兴产业院士库咨询能源工程学术国家工程科技领域公益性、开放式的知识资源集成和服务平台建设，以满足国家经济科技发展需要为总体目标以创新驱动、提高质量、服务发展为指导思想，按照统一规划、协同建设、分步实施、突出服务的原则进行建设和管理资源最丰富、应用范围最广、实用性最强、影响力最大的国内领先、世界一流的工程科技知识整合体，为国家工程科技领域重大决策、重大工程科技活动、企业创新与人才培养提供信息支撑和知识服务中国工程科技知识中心建设是国家信息化建设重要组成部分中国工程科技知识中心(CKCEST)是经国家批准的首个以跨领域专业数据汇聚融合与深度知识挖掘为建设目标的公益性、开放式的资源集成和知识服务平台。实现从数据-信息-知识-价值的深度服务各种数据源图书馆专业库档案馆展览馆博物馆出版媒体物联网互联网传感器知识产品（跨库检索、深度挖掘、知识图谱、热点跟踪、趋势预测……）服务国家发展决策服务工程科技工作者服务行业发展和企业发展资源汇聚、数据整合与知识加工服务重大工程科技活动中国工程科技知识中心建设是国家信息化建设重要组成部分数据的应用是核心技术+模式等创新，驱动创业创新和跨界融合，落地互联网+，实现数据价值生态应用数据安全安全的设施是基础提供安全高效的云服务，提供灾备服务，融合N个分中心的需求持续的生态是目的发挥市场活力，引导社会和分中心参与建设，建设共享开放和合作规则，推进合作联盟，延伸合作生态集中的数据是资源黄金和石油，采集、存储、清洗、标准、分析、挖掘5个建设内容1个云中心：1+1+N1个数据合作平台1个应用创新服务平台1个数据资源平台运维、运营是保障，1个运营中心知识中心门户云设施数据开放应用商城基础应用创新应用管控体系组织保障运维管理标准规范运营管理线下服务运营团队运营模式应用体验技术保障评价体系项目管理专业领域创新应用专业领域大数据应用交叉领域大数据应用双创应用战略咨询应用数据可视化应用深度搜索知识组织文献服务院士库服务专家人才检索计算存储网络高性能计算个性化门户统一用户认证应用开放平台数据海平台系统支撑基础支撑架构资源管理信息安全运营管理应用运行知识工具运营平台专业数据库数据互联网数据图书文献其他数据国家级重点工程-工程科技知识中心“浪潮云”战略

浪潮是国家级云计算大数据建设项目“中国工程科技知识中心”项目的总集成商。中国工程科技知识中心（简称“知识中心”）是国家工程科技领域公益性、开放式、网络化知识服务平台，是国家信息化建设的一项基础工程。知识中心采用云计算大数据技术，汇聚农业、水利、气象、海洋等不同领域的工程科技知识数据，建设成为引领当今最新工程科技发展和技术创新方向，有力支撑国家开展战略咨询研究工作，成为国家工程科技思想库、服务中国的工业化和现代化建设。2016年6月21日，中国工程院与浪潮签署战略合作协议国家级重点工程-工程科技知识中心“浪潮云”战略教育管理公共服务平台总集成商全国中小学生学籍信息管理系统开发商教育部门户与应用集成系统集成商全国教育部省数据交换与共享平台集成商教育部数据中心一期、二期基础设施提供商教育部应用集成规范标准起草单位浪潮在各省承担省级数据中心建设：广东省、江苏省、陕西省、辽宁省、湖南省等两级建设的教育云浪潮实践围绕“建平台、抓应用、成体系”的信息化目标，立足于教育现有信息系统基础，构建“平台＋应用”的一体化架构规划、咨询、项目管理、运行维护规范、标准化体系信息安全体系服务资源信息服务流程服务交互服务业务数据主数据分析数据元数据数据资源内容数据信息资产服务器、存储、网络、安全容灾中心基础数据库管理与服务密码安全服务平台报表工具统一认证单点登录数据和应用集成决策与分析应用学生类、教师类、学校类应用其他应用展示和决策分析公共服务应用系统支撑公共中间件智能工具目录工具地理信息工具内容管理工具运行支撑服务：数据服务总线、监控数据支撑服务：数据字典、订阅发布、比对、更新安全支撑服务:统一用户、组织机构管理、角色管理、权限管理、用户认证、单点登录、CA认证、电子印章、加密解密技术支撑服务：统一消息、统一代办、流程、规则引擎、编码服务、缓存服务、日志服务、调度服务、异常服务、时间服务等综合门户：教育管理公共服务门户/教育信息公共服务门户业务支撑服务：学生教职工个人识别码、学生转学、教职工调动、其他业务组件数据交换与共享虚拟化和云管理总集成商规划咨询项目管理总集成商规划咨询项目管理门户集成门户系统与应用集成平台一体化应用系统支撑平台、公共中间件封装、数据交换与共享应用一体化中小学生学籍系统资源一体化数据资源、服务资源、基础设施建立全国统一的学籍管理基础应用平台提高基础教育学籍管理信息化水平学籍电子化建立全国学生的基础信息数据库电子学籍统一管理数据共享实时监控和管理全国范围内学生流动情况学生营养餐改善计划学生资助、义务教育经费改革校车监管31542建设目标精细化管理建立全国中小学生一人一生一卡一号控制择校、班额核定学生信息随迁子女、留守儿童、控辍保学跨省、跨地区转学学生情况实时监控统计报表浪潮实现的全国中小学生学籍信息管理系统采用部省两级建设，实现覆盖全国全部35万所中小学、1.7亿中小学生集中管理和跨省学生学籍转移，并通过系统在为全国的学生、家长、学校提供服务，为教育管理提供准确的应用和数据支撑服务。全国中小学生学籍信息管理系统浪潮实践教育十三五规划基础云设施计算池存储池网络池云容灾整合政府、企业、社会等相关教育信息资源教育云公众服务平台第三方教育服务学籍查询教师服务学校审核办学审批留学咨询出版服务投诉举报培训搜索图书订阅电子商务名师在线幼儿教育成人课堂听课超市教育便民服务交流沟通在线课堂电子书包在线题库家长课堂数字图书馆教育公众服务门户提供智慧化教育服务学生、教师/专家平板手机笔记本政府教育服务企业行业、社会访客台机用户中心协作中心资源中心应用中心运营中心学校资产办学条件规划决策其他业务教师管理学生管理数字书店在线题库在线沟通电子书包在线课堂人人通班班通校校通教育管理公共服务平台教育资源公共服务平台三通数据服务中心商城服务中心开发服务中心在线服务中心习总书记参观考察浪潮承建的教育信息化系统全省公安和社会数据超大存储超快计算超强研判分析警务云大数据实战要素警种技战法全息数据库智能联想自动关联警务云6PB385类277亿条一人一档一物一档一案一档警务千度基于公安业务模型，内置大数据深度挖据与统计分析工具，无缝对接与展现各类信息，进一步缩短警务响应时间，满足了各警种部门打防管控实战需要，实现全警联动。浪潮实践警务云酒店住宿信息2亿上网信息

每天10万关系型数据SQL联合查询5天内多地住宿无法完成1、一人多处住宿冲突名单2、一人多地住宿上网冲突名单3、一人出行、住宿冲突名单……航空信息100亿……火车信息

每天30万使用时间、地点、人员的比对碰撞云计算分布式计算5天内多地住宿5秒多点碰撞是为了帮助办案民警，按时间、地点顺序，寻找符合案件发生时间特征的人员清单，进一步缩小查找范围，排查可疑线索警务云—多点碰撞警务云—反恐平台水、电、煤气用量分析家用电器水表电表煤气表传感器传感器传感器常驻人口流动人口闲置房屋山西公安10万民警与政府其他部门工作人员整理数据，其中包括水电气数据根据异常用电数据抓住4人暴恐小组警务云–总体架构警务云创新三步曲户籍系统交管系统案件系统情报系统警综系统每个系统对应一套硬件系统系统相对封闭、数据共享受限云计算IaaS平台浪潮云基础设施&浪潮云海OS计算池存储池网络池第一步：上云浪潮云海IOP第二步：数据整合组织数据互联网数据第三步：创新应用警务千度多侦联动SaaSPaaSIaaS浪潮云海IOP多点碰撞…武警部队大数据分析平台国土资源部不动产登记系统2014.32014.7提出基于云计算大数据理论构架不动产登记系统得到认可客户想法通过平台把服务器、存储、虚拟化等资源管理起来，浪潮提出IOP理念，通过IOP不仅能够管控硬件资源，还能够对应用、数据、服务进行统一管理，避免“数据绑架”，得到专家组认可2014.82015.12015.102016.1基于IOP理念，提交IaaS，PaaS，Daas，Saas四层架构模式解决方案通过评审招标文件基于四层架构，结合对用户业务全面了解成为技术控标关键点。通过专家论证，形成招标文件基于云海IOP和云海OS，开发行业信息资源平台IDAP，在IDAP之上搭建不动产数据开发接入交换系统，业务应用合作伙伴基于平台完成业务应用软件开发，组织外部专家测试，出具符合性测试报告姜部长主持召开上线运行情况演示汇报会,四项工作目标圆满完成,得到领导高度评价国土资源部不动产登记系统IaaS网络资源存储资源计算资源PaaS大数据支撑平台云海IOP+云海OSDaaS不动产信息资源平台（IDAP）基础库业务库分析库共享库查询库数据开放服务平台通用业务组件行业业务组件专题服务组件SaaS

登记系统信息查询地图展示接入系统共享系统数据管理合作伙伴浪潮自主开发dro-data互联网数据成立合资公司运营数据进行行业增值应用数据运营不动产私有云数据采集公有云平台打造统计第二轨13打通数据壁垒、实现数据共享交换国家统计局统计云通过融合其他部委数据和合作厂商、互联网数据，增加统计数据来源；提高统计能力和数据质量，提高政府统计公信力；为政府提供精细化管理和决策提供有力依据。实现各司之间的数据共享，方便各司之间统计指标的借鉴；促进管理模式创新和管理方式转变。2建立统计数据治理体系制定统计数据治理标准规范；建立包括统计产品、统计报表、统计指标以及互联网数据的数据目录全集；建立目录和元数据的分类和标签体系。打造统计第二轨闭环18第二轨流程图建设内容企业一套表司局传统应用司局传统应用司局传统应用第一步：业务上云大数据处理平台第二步：数据整合内部数据互联网数据第三步：创新应用数据验证专家系统行业经济指数创新应用…计算池存储池网络池可信云基础资源中心数据治理体系其他部委大数据中心44国内生产总值社会消费品零售总额生产者价格指数生产者价格指数中国统计年鉴城市统计年鉴农业统计年鉴......统计产品统计指标统计对象统计表项目劳动力生产情况规模以上工业企业数固定资产投资情况学校数在岗职工人数主要农产品供需情况农业机械年末拥有量农产品生产价格指数农村文化机构村卫生室及人员数国家统计调查资料行政部门行政记录资料农林牧渔业工业建筑业批发和零售业住宿和餐饮业房地产业服务业矿业运输业工业产销总值及主要产品产量表：工业总产值建筑业企业生产经营情况：建筑业总产值新建住宅销售价格调查表：成交总价二手住宅销售价格调查表：销售金额住宿和餐饮业产业活动单位（个体经营户）经营情况：营业额邮电业务量完成情况表：邮电业务总量财政部、中国人民银行、国家税务总局、保监会、证监会等行政管理部门的相关数据…………数据治理服务数据梳理示例数据治理服务加工-梳理分类体系ABCDE梳理分类体系统计行业分类数据所在部门分类加工次数分类数据来源分类数据所在区域分类教育部农业部财政部工商局质监局原始数据一次加工二次加工三次加工C农林牧渔工业农业建筑业固定资产能源运输A北京天津上海山东河北河南……

BE城市司农村司搜房网淘宝网京东网D行业区域部门来源加工深度实时感知粮情动态全球最大的智能粮库互联网/VPN/局域网/专线移动互联网3G/4G/…仓房仓房仓房粮情预警郑州直属库第8仓库小麦当前粮温35.2超警戒温度32长沙直属库第2仓库稻谷当前仓湿48接近警戒湿度50郑州直属库第4仓库

稻谷检测时间：2024/6/28最高29.7仓温最低27.8平均28.7最高35.8粮温最低30.6平均33.3宜存100%质量轻度不宜存0%重度不宜存0%济南直属库第1仓库

小麦检测时间：2024/6/28最高29.7粮温最低27.8平均28.7最高30.5氮气最低29.2平均29.8宜存100%质量轻度不宜存0%重度不宜存0%粮质粮情看板智慧粮食云平台系统管理了31个省市的数百个粮库，接入数万个视频摄像头，数百万个粮情监测探头中储粮可以实时掌握储备粮库存总量和分布、粮食质量和粮情状态，国家掌握粮情周期由15天缩短为3天中储粮智能粮库收购轮换出入库粮食质量互联网数据组织数据托市收购挂牌拍卖粮食轮换期货套保RFID身份证读取条码扫描器地磅温湿度感应器监控探头色相分析仪互联网交易数据物联网数据中储粮智慧粮食云平台将粮食业务数据、粮情监测数据、互联网数据整合形成国家粮食大数据，为托市收购、粮食轮换、粮食期货套保提供大数据服务，保障了国家粮食宏观调控政策的落实中储粮大数据中心芝加哥交易所美国农业部灾备中心ActiveX双活同步数据流容灾备份数据流广州容灾中心应用备份系统北京亦庄数据中心应用A应用B北京东坝数据中心应用A应用B同步数据共享，负载均衡实现北京双活业务数据中心异步数据复制技术实现灾备数据保护使用数据同步技术实现数据一致性浪潮云服务模式搭建两地三中心，北京同城双活+广州异地容灾实现主干系统的动态负载均衡以及无间断业务服务，确保全国大集中的应用高可用和业务连续性双活质检云浪潮实践烟草总局将新商盟业务整体外包给浪潮，从咨询、规划、设计、建设、运营等方面提供整体的解决方案和服务新商盟将500万零售商汇聚在一起，年销售额1万亿人民币新商盟（国家烟草行业网上订货系统）浪潮实践

在听取浪潮大数据服务汇报后，李克强总理指示，浪潮利用大数据技术整合政府数据和互联网数据，找出其中规律，发改委、国家工商总局要与浪潮合作，利用云计算、大数据技术建设统一征信系统统一的企业信息化大数据平台安监质监工商云海IOP大数据处理平台企业信用公示监管“企业千寻”大数据搜索平台企业活跃指数分析droData互联网数据存储资源网络资源组织数据（工商、质监、统计…）计算资源应用平台云中心…………电商产品质量风险监测产品质量检测协作平台产品质量指数分析隐患排查治理应急管理大数据平台重大危险源信息监测分析工商云浪潮实践高校大数据逻辑架构互联网数据电子商务社交网络新闻媒体……政府开放数据工商卫生气象……数据处理中心数据采集大数据科研创新平台数据应用分析决策舆情分析风险管控精准营销疾病预防农事服务交通管理。。。。。。高校校务、一卡通网数据数据存储分布式存储结构化半结构化非结构化数据计算数据分析分布式计算

流式计算计算引擎垂直搜索

信息挖掘分析引擎算法模型可视化目录国家云计算大数据政策浪潮云战略和实践云计算大数据构建思路决策软件+数据+“孤岛式”：业务系统与基础实施没有分离“烟囱式”：应用软件与数据没有分离“所有式”：IT资源使用权与所有权没有分离DATA交易