勤智创新创业大数据平台及解决及方案

1、勤智创新创业大数据平台解决方案匚断四菊码wIac,卜广小产等FourIIMufiQgEdVdiwrXX勤智数码科技股份XX2015年6月目录建立大数据平台的目的2大数据平台带来的价值3.投资建立的内容5.大数据支撑体系建立5大数据支撑平台6数据管理子系统1.1创新创业管理子系统1.6数据统一展示门户子系统1.7用户及权限管理子系统2.0大数据平台运营维护效劳2.2平台内部资源的监控管理2.3平台故障处理管理2.4日常平台管理任务自动化2.5故障处理自动化2.5科研专家和数据资源2.6工程收费和收益模型2.6平台运营效劳2.7.数据运营效劳收益2.7.大数据产业链开展促进收益2.7.政府社会收益

2、2.8工程建立阶段目标2.8建立大数据平台的目的大数据正在改变信息社会，我们正从IT时代走向DT时代。大数据产业，作为国家战略新兴产业，受到各级政府的高度重视。大数据产业建立，通过“政府引导、市场主导的模式建立一个数据驱动的创新创业生态环境，改变当下政务数据的分散、独立的现状，充分利用“群众创业、万众创新的创新创业热潮，积极建立一个以数据驱动的运营体系、创新创业生态、大数据产业链、政务数据共享交换、智慧城市大数据支撑平台为核心目的的大数据全产业链的生态环境。以“一点创新，全盘激活为引导思路，“一平台，多应用为框架设计思路，在人才培育体系建立、就业岗位增加、产业开展空间和产值提升等方面真切的做到

3、为政府提供全方位的效劳，从而为产业开展现状形成标杆性的开展格局，夯实大数据产业开展根底。进一步推进“群众创业、万众创新，让创业创新成为经济增长的“倍增器、开展方式的“转换器，让“群众创业、万众创新在全社会蔚然成风；支撑政府在更高的平台上实现经济可持续开展，为产业转型升级提供经历和启示。大数据平台带来的价值创新创业大数据平台可以带来巨大的产业开展空间、解决诸多历史问题、明确城市产业的开展方向以及带动相关产业的协同开展，具体表现在：数据运营体系的建立：建立以数据为核心资产和驱动力的运营体系，全面利用智慧城市框架内各类垂直业务的运营数据、国信优易拥有的可访问的700T国家局部部委的政务数据、区域政府

4、的各委办局的政务数据等高价值的数据资产，并为之配套形成标杆性的规X与标准，对于大数据产业开展方向无疑会产生标志性的里程碑意义。依托国信优易的未来国家级大数据共享促进中心的开展定位，创新创业大数据平台作为区域内唯一的国信优易所拥有的国家部委重要数据资源的访问接口，在未来以数据驱动的运营体系中会处于非常有利的开展格局。创新创业生态的孵化：以数据为根底的创新创业平台，不仅迎合了国家“群众创业、万众创新的政策，可以为政府效劳，产生很多就业时机，形成有效的会聚人才、吸引投资的强大磁场。数据作为政府的核心资产，有数据就有机遇，就会有人才培养和孵化的润土。大数据产业链的打造：结合大数据产业开展目标，充分利用

5、创新创业大数据平台中拥有的高价值智慧城市运营数据、国信优易数据、政务数居等核心资源，打造以数据为核心的产业链：产业链上游为各类数据拥有者和数据制造者；产业链中游为各种数据加工、创新创业、数据使用者，让数据成为产业链的“石油资源，驱动产业链的良性开展；产业链下游为政府或者社会企业对数据加工创新环节产生的各类落地的应用和商业模式进展投资和运营；通过大数据产业链的良性循环，为政府带来百亿级别的产业开展机遇和上亿的产值。智慧城市数据互联支撑：智慧城市开展规划的顶层设计会涉及到很多的底层数据和上层应用，将各类垂直应用的运营数据接入到统一的智慧城市数据支撑平台中，可以为未来智慧城市建立产生的数据的互联互通

6、提供根底支撑，为数据的运营体系提供充足的血液。政务数据共享交换：通过对各个委办局数据孤岛中各类数据的分类、数据目录定义、数据挖局、数据分析、数据清理、数据脱敏、数据水印、权限管控、数据热度模型等各类数据的生产加工，为上层基于数据的共享创新等应用提供足够数据支撑；同时政府也可充分利用民生数据，脱敏利用后最大限度的做到效劳于民。XX勤智数码科技股份XX以下简称“勤智数码成立于2005年，管理团队均来自世界五百强，具备丰富的资本运作、市场运营经历，依托与电子科技大学成立的“机器学习和数据智能联合实验室，在大数据平台、数据分析和算法融合、应用开发等领域有丰富的工程经历和实力，成功承接过数十个政府大型工

7、程的建立，运营和运维工作。勤智数码期望借助本地化企业的优势，承当创新创业大数据平台的工程建立及后期运营工作，组建最优秀的专家团队，在顶层设计、建立以及运营工作等方面高质量、按方案的完成。3投资建立的内容创新创业大数据平台工程的投资建立，因为涉及的软硬件资源、咨询沟通、信息数据等内容繁多，勤智数码结合政府相关的工程经历，对初步建议的投资模式进展了如下的归纳总结。创新创业大数据平台工程主要涉及到三个方面的投资建立内容，包括：1大数据支撑体系的建立2大数据平台运营维护效劳3科研专家和数据资源效劳投入具体投资建立内容如下：大数据支撑体系建立为了实现政务数据的共享创新体系的建立，对政务数据需要有完备的分

8、析处理体系，以支撑整个创新创业生态、大数据产业链的安康开展，而且国信优易拥有高质量的国家部委的各类数据，为了能有效的访问到经过国信优易授权的各类数据，建立内容已经充分考虑应用国内目前成熟和先进的技术，最大限度复用国信优易大数据平台的成熟稳定的技术架构和实现，结合特定需求的元数据管理、数据分类、数据审计、数据审核、数据评估、数据定级、数据发布、数据水印管理、数据开放接口管理、数据展示统一门户系统、身份权限管理、用户管理、平台门户系统、其他接口和应用平台等符合本地实际情况的定制开发等建立内容。大数据支撑体系是整个创新创业大数据平台工程的核心支撑，也是投资建立难度最大的一个投资建立任务之一。包括：大

9、数据支撑平台创新创业大数据平台承当了智慧城市底层支撑、政务数据共享交换、互联网数据存储、国信优易数据访问接口等多个核心业务需求，平台自身需要具备和采用先进的经过深度优化大数据技术、分布式存储计算和算法模型、高并发和快速响应的高速缓存架构等，建立一个基于SOA框架的大数据能力核心平台，作为整个工程的数据智慧处理中心，需要支持多种数据源的聚集政务数据、互联网数据、行业数据等，支持不同的数据格式构造化数据、非构造化数据以及流数据等。在繁杂的数据接入要求的情况下，采用基于总线机制的数据接入系统，可以快速有效的完成数据接入的要求以及提供丰富和灵活的扩展性。大数据支撑平台的建立方案采取复用国信优易成熟的大

10、数据平台产品的思路，一是确保了与国信优易的数据接口访问互通的一致性、二是成熟的产品架构确保了运行的稳定性、技术的先进性。平台的总体逻辑架构分为三层：根底设施层IaaS层、大数据平台层PaaS层，以及大数据应用层SaaS。根底设施层依托于分布式存储架构，大数据平台层那么提供了包括数据接入、分析、共享和平台管理在内的大数据分析处理功能，最后由大数据应用层提供的各种大数据应用来充分展示大数据平台的数据处理能力和共享能力。，一仃户创着钊重保进赛酰效，理前费赛茶赞图：创新创业大数据平台逻辑架构设计根底设施支撑平台IaaS政务大数据平台将充分利用区域政务中心或信息中心提供的根底设施资源，如：计算、存储、备

11、份、网络和平安防护等，从而为政务大数据平台提供一个稳定可靠、高性能、扩展性强、易于管理的根底设施平台，IaaS层中根底的效劳器和网络等资源方案尽量复用现有的硬件资源。大数据分析处理平台PaaS政务大数据平台利用数据接入效劳，将在云计算中心部署的政务应用中存在的政务信息资源以及互联网数据进展统一的接入，经过对构造化和非构造化数据进展处理后，汇总形成总计21个一级类，133个二级类的政务大数据目录库，实现资源的查询、检索以及共享利用。同时，构建高效的大数据分析系统，利用分布式数据处理、分析工具和展示工具，为上层应用效劳提供大数据处理和分析能力。此外，利用大数据门户，为政府各委办局、社会公众、社会应

12、用开发商提供资源查询、信息公开和数据效劳。大数据典型示X应用层SaaS利用根底设施支撑平台和分析处理平台构建根底云端应用效劳能力，建立数据创新创业促进系统、数据创新竞赛等提云端应用效劳，在平台落地建立完毕时，即可提供具体应用提升人气，产生数据价值。标准和先进的平台大数据平台规划设计完全符合国家的宏观政策和各类标准，在标准规X层面，通过建立政务大数据平台的数据目录编制规X、数据权限管理规X、运行标准规X、平台平安与运维标准规X、数据交换接口规X，为平台的运行、维护与平安级权限控制管理等方面提供标准规X依据。大数据平台的核心技术优势明显，以整体高可用性、灵活的可扩展性、技术先进性为原那么，打造适合

13、于政府的大数据产业开展的支撑平台：双总线技术的SOA框架:平台层采用基于政务效劳总线GSB及政务数据总线GDB双总线架构的SOA框架。GDB主要负责数据的接入和交换，GSB主要负责对内对外的提供统一的效劳接口。深度优化的分布式异构存储技术:平台使用了经过深度优化的HDFS、HBase与集群关系数据库相结合的异构存储方案，利用基于内存交换技术的高速缓存和高性能数据中间件实现了高并发的异构存储体系。自主知识产权的高效算法和分布式计算框架：平台内部集成了几十种自主知识产权的经过十多年技术沉淀的算法集合，利用MapReduce和Spark的高效分布式计算框架，实现各类复杂数据挖掘和分析需求效迷印有普瞳

14、外部Jl缶层电速充曷最空打相第登首理独握中嚓菜陡救掘坪拈茶统敦矗定弼系掂龊理而管理，跣依相青理家统希赛平竹用户管理系统创新工厂用户管理系统内补用户甘理系统女寸忏恸或统也宛用户甘理科殳一国等市耀层加密鼻域3Tft住修逋B戏中口敷斑乜亨系统图：创新创业大数据平台功能层次架构设计互联网舆情信息模块据不完全统计，中国网民规模达6.32亿，互联网普及率为46.9%,网络已经成为超越播送、报纸、电视的第一大信息传播媒介。42%的消费者拥有博客或个人空间。61.7%的网民在购置之前到网络社区如垂直、论坛、博客或问答寻求推荐和建议。34%的博主发表关于产品和品牌的意见。73%的消费者在网上交流观点。76%的网

15、民将网络口碑作为了解产品和效劳最可靠的信息源。78%的消费者相信朋友的推荐。在选择商品和效劳时，人们更加关注他们在网络上的排行。不到10%的网民发表着超过80%的原创言论，并吸引着超过90%的点击率。根据权威媒体统计，69%的政府和企业危机来自于互联网。对互联网信息的接入将在信息资源的规模上对大数据提供更加丰富的数据资源。本工程将对互联网门户、网络社交论坛、微博舆论信息等相关信息资源进展接入。互联网分布式爬虫对互联网数据的获取主要依赖于网络爬虫技术实现。创新创业大数据平台采用先进的分布式网络爬虫框架，由框架完成爬虫的统一调度、管理和维护工作，以及被采集数据的统一存储工作。爬虫使用者只需要进展简

16、单的配置或开发极少量脚本代码即可完成一个复杂页面甚至的爬取工作。另外，平台在合法X围内适当利用反防爬虫技术，如验证码识别、动态IP、动态用户等，从而保障互联网数据的有效获取，减少人工干预，节约本钱。平台提供局部互联网门户、网络社交论坛、微博等系统的爬虫，并采集相应数据以供平台使用。对于以后新增的应用，如果需要用到其他的数据，那么可以基于爬虫框架，使用平台提供的SDK套件开发相应的爬虫。互联网门户信息获取接入互联网门户信息获取接入是利用分布式网页爬取技术，以及基于行业领域享库的模式识别技术，实现对各类新闻门户、行业领域专业门户等相关B/S网页进展实时解析获取符合条件的数据。互联网门户信息爬取的对

17、象如下：?对新华网、人民网、中国新闻网、新浪网、搜狐网、腾讯网、网易网、凤凰网、省级新闻网等各大综合类新闻的实时监控，获取符合条件的电子政务相关的信息。?对中国气象网、中国地震台网、交通网、减灾网等行业领域门户的实时监控，获取气象、地震、交通、自然灾害信息。?其他政府期望及时获取的有价值互联网信息等。网络社交论坛信息获取与门户信息获取方式类似，网络社交论坛信息获取同样通过网页的爬取技术获取互联网中的社交论坛信息。主要提供以下相关内容的获取：?对天涯社区、猫扑社区、搜狐论坛、凤凰论坛、网易论坛、新浪论坛、凯迪社区、强国论坛、中华网论坛、新华网论坛、环球网论坛、红网论坛等众多主流论坛的信息进展实时

18、监控，获取符合条件的电子政务相关的信息。?对搜狗说吧、百度贴吧等公共交流平台中的信息进展监控，获取网民反映电子政务相关的信息内容。微博信息获取微博信息获取主要通过调用爬虫对新浪微博的网页爬取方式，对微博用户发布的信息进展实时的爬取，微博信息可以进展根底的统计分析，为未来深层次利用做好准备。数据管理子系统元数据效劳系统元数据库管理基于Web浏览器端，向后台系统管理员提供根据数据平台内部的元数据标准数据描述元数据、效劳信息元数据，分别进展对应元数据库的创立与管理的功能。元数据管理?基于Web浏览器端，向后台系统管理员提供对元数据文件导入的功能。?基于单机版元数据编辑器，向后台系统管理员提供对数据描

19、述元数据的创立编辑保存功能。?提供基于元数据检索、元数据入库存储、元数据修改删除功能的元数据管理WebService效劳。元数据效劳管理基于Web浏览器端，向后台系统管理员提供启停元数据效劳的功能。数据目录和接口标准管理系统大数据资源目录体系梳理包括对政务信息资源核心元数据标准、分类标准、标识编码标准等方面进展梳理。参考国家对政务信息资源分类体系的制定标准，经过先期梳理，可将政务大数据资源目录梳理为21个一级类，133个二级类代码1目录名称描述和说明ZA综合政务关于政治方面的事物和和国家的管理工作ZAA政务综合类与政务管理相关的综合性事务，包括政务督查、电子政务、信息公开ZAB方针政策政府制订

20、的、宏观的、指导各个领域开展的方针政策ZAD政府工作关于政府的规章制度、组织机构建立和开展，以及工作职责等相关信息ZAEL机构编制关于机构编制的管理、机构体系的当前概况和远景规划ZAF政府领导关于政府各级领导的简历、工作岗位、工作活动、讲话等相关信息ZAG会议、会务会议产生的文件等相关信息，以及会议组织、管理的相关信息ZAH重大事件有深远影响的事件的相关信息ZB经济管理关于经济的管理、规划、开展概况ZBAr经济管理综合类ZBB经济开展方案关于经济的宏观的开展规划ZBC经济管理关于经济的宏观管理现状ZBD经济体制改革关于经济体制改革的管理和规划、开展情况。ZBE经贸管理关于经济贸易的宏观管理和开

21、展调查报告、统计资料ZBF统计关千统计工作的管理和开展情况（此处只列出局部分类，整体依据国家标准进展同一分类）在平台建立的同时结合符合国家标准的平台段数据目录的定义,结合各个委办局的实际接口情况，明确各个委办局数据接口的接入标准，明确可会聚共享交换的数据分类、数据格式、数据类型、数据接入方式等内容。通过明确的接口标准定义，指导各个委办局的数据接入，并提供必要的技术支持和指导。数据目录的定义和管理要遵循国家现有政务电子信息化建立的相关标准，同时结合各个委办局数据的地域特殊性进展更细致的完善，确保数据目录在遵循国家标准的前提下，兼容支持本地政府的各类数据。数据挖掘和分析系统数据分析模块子系统作为创

22、新创业大数据平台对外提供数据的深度挖掘和分析效劳的核心系统，分布式数据处理子系统提供了对分布式存储数据进展处理的能力。数据分析系统利用多种分布式计算引擎，结合分布式数据存储模型对各类构造化及非构造化的信息资源进展快速的分布式分析处理，并将分析处理后的中间结果数据提供给上层示X性应用以及其他部门业务系统中进展二次利用；此外，模型管理子系统提供各类业务分析模型的新建、修改等管理功能。创新创业大数据平台的数据分析系统可分为如下几个主要局部：分布式计算引擎支撑系统在分布式处理领域中，分布式并行技术是最为核心的领域之一。没有好的分布式处理程序的支持，分布式处理就不可能很好的工作，所谓超级计算、大数据分析

23、也就更加无从谈起了。创新创业大数据平台通过提供MapReduce、Spark和Storm三种分布式计算框架，为上层应用提供大数据分布式计算的支撑。这种架构既能够最大限度的满足各种业务模型的需求，同时也能够充分利用政务大数据平台的软硬件资源，提供数据存储访问及分布式计算任务的调度、运行及结果通知等功能。算法及模型支撑系统数据分析不能一概而论，数据分析需要有根底算法的支撑。随着数据集规模和复杂度的持续上升，对算法要求也越来越高。创新创业大数据平台采用基于Hadoop技术架构的处理技术，为数据分析师及开发者提供几十种具备自主知识产权的分布式算法。平台提供相应的SDK开发工具套件及算法调用API，从而

24、让各种应用能够方便的使用平台数据及其算法。拥有根底算法的支持仅仅完成了数据分析和挖掘的第一步，对于每一个具体的基于数据的应用系统，都需要根据其自身特点建立相应的分析模型，才能够有效的支撑应用系统。简单的说，分析模型可以看作是由一个或多个根底算法组合而成，根底算法提供了大量的中间结果，而模型那么将大量的中间结果处理为最终结果。数据分析开发套件SDK大数据平台提供的三种分布式计算框架为平台提供了强大的分布式计算能力，从而为各种基于数据的应用提供了根本的运行环境；同时，根底算法库中大量的分布式算法实现那么为数据分析模型的建立提供了底层的工具支撑。为了让平台的计算能力和算法分析能力应用到实际业务之中，

25、还需要通过研发人员开发出使用这些计算能力和算法库的分析程序。分布式计算开发套件SDK那么使平台具备了二次开发的能力，它可以让研发人员利用大数据平台中分布式并行计算的能力，通过基于数据分析的定制开发，实现对海量大数据进展分析处理，建立数据分析处理的结果性数据，为上层大数据业务应用提供数据支撑。数据信息管理系统数据审核数据审核模块主要是承受供给商门户上传的流数据和块状数据，对这些数据进展审核，决定其是否能通过，并进入数据评估。数据评估数据评估模块主要是对已审核过的数据，针对各个指标项进展数值评估，最终保存其评估结果，供用户查询和数据定价时参考。数据定价数据定价模块主要是设置经过数据评估的数据，对应

26、不同用户、不同使用环境进展数据定价。数据发布管理数据发布管理模块主要是发布经过定价或评估的数据，进展对外发布，设置其发布X围和发布状态。数据日志系统数据日志存储对外提供数据日志存储效劳接口，供其他系统进展数据日志信息的存储。数据日志查询基于Web浏览器端，向后台系统管理员提供数据日志查询功能。数据审计系统数据效劳使用情况审计基于web浏览器端，向后台系统管理员提供对登陆和使用平台进展数据效劳使用情况的用户行为进展跟踪记录和统计，并形成分析报告的功能。效劳状态监视基于web端，向后台系统管理员提供对所有已注册并发布的开放数据API和数据下载效劳的效劳状态信息进展监视记录，并形成分析报告的功能。数

27、据使用权标记系统块状数据水印效劳向数据平台提供webserviceW式的块数据水印效劳接口。流数据水印效劳向API管理系统和创新工场API系统提供webservice形式的流数据水印效劳接口。水印管理效劳基于web浏览器端，向后台系统管理员提供对水印的管理和验证功能。创新创业管理子系统创新创业应用管理系统创新应用APP测试创新工场APP测试：当APP上架之前需要经过后台管理人员的测试，创新工场开发者用户应当提供给数据平台测试账号，布置测试环境，提供测试数据，以及对应APP的一些根本信息。后台管理员会根据提供的信息对该APP进展测试。创新应用APP发布APP发布：对于测试通过的APP应用，后台管

28、理员会进展发布，添加新的APP应用，输入APP有关的根本信息“名称、开发者、访问方式、说明描述、使用说明及演示地址等。开放数据API管理系统API发布开放数据API发布：API数据系统主要提供给用户使用API的方式，进展数据下载。是通过接口形式，实时获取最新数据。后台管理员上架API，填写API的详细信息包括：API数据的描述api的收费情况描述、接口作用信息、接口的参数对照信息、返回字典等信息，接口信息调用地址、返回格式，API调用的文档，以及API调用的地址。之后会经过后台管理人员审核确认API通过审核，才会发布到数据平台。API测试API发布之前必须经过测试，确保API的可用性、正确性、

29、以及数据的完整性，对一些法律规定不允许公布的数据将不予以发布。数据统一展示门户数据统一展示门户主要为普通用户提供浏览、确定数据X围的功能，数据是由平台或者数据供给商提供的，用户可以通过分类、查找、过滤等方式找到自己关注的数据，然后查看数据的详细信息，数据自身都是经过脱敏和加密，符合对外展示的具体要求的，成为数据驱动的运营体系的统一对外展示接口。数据统一展示门户系统功能包括，数据展示，数据的过滤功能，数据的查找功能，数据列表，数据的详细信息。数据展示数据展示功能主要是将数据种类、描述、样例、历史访问量等信息展示给客户，以方便用户的分析使用。具体包括以下内容：?数据的分类显示数据的分类会出现页面的

30、头部导航栏，当用户把鼠标放到某一大分类出，弹出当前大分类下的所有子分类，用户点击子分类进入当前子分类有关数据的详细列表页面。?数据的过滤功能提供标签过滤功能，用户点击其中某个标签，会按照此标签以及之前的过滤标签重新过滤目标数据。目标数据的将以标签匹配的数据标题的关键字查找出来，以列表的形式展示出来，以供用户选择。?数据的查找功能提供查找功能，用户通过页面的搜索查找有关输入关键字所匹配的数据，搜索框前可以选择搜索数据的标题还是搜索详情，默认的是标题的关键字，输入数据的关键字，根据程序的处理搜索有关数据的关键字匹配，以列表的形式展示出来以供用选择。?数据列表数据列表会展示当前用户选择的或者默认的分

31、类下的所有的数据，会以列表分页的形式展示，按照时间默认排序。当前列表会展示数据的一些根本信息“数据的标题、数据质量的评分、数据的图片、数据的访问量以及数据的简单描述；如果当前登录的用户为创新工场的用户，创新工厂用户进入API列表，api标题后会多出金银铜等级，只有符合当前等级的用户才可以调用当前的API数据。?数据详细信息数据的详细信息，点击数据的标题进入当前数据的详细信息页面。会显示当前数据的详细信息，包括“数据的图片、数据的标题、数据的价值、数据来源、数据上架的时间、数据的大小、当前数据的下载量、数据的简短描述、当前数据的完整性八个指标、收藏、推荐有关当前数据的相关数据、数据的详细信息、访

32、问过的用户对当前数据的评论信息。数据检索数据的检索包括，标签的筛选，数据的关键字及详细信息的搜索。用户点击其中某个标签，会按照此标签以及之前的过滤标签重新过滤目标数据。目标数据的将以标签匹配的数据标题的关键字查找出来。搜索框前可以选择搜索数据的标题还是详细信息，默认的是标题的关键字，输入数据的关键字，根据程序的处理搜索有关数据的关键字匹配，以列表的形式展示出来以供用选择。用户管理当前平台用户管理分为三类：普通用户管理、创新工厂用户管理、供给商用户管理。普通用户管理：普通用户可以在前台的个人中心里管理自己的根本信息，查看自己的账户信息，修改密码等操作。还可以通过我的订单查询当前所有的订单，及订单

33、最新的状态，查看并管理当前的API的信息。查看当前的系统消息。创新工厂用户管理：创新工厂用户可以在个人中心管理自己的根本信息，查看自己当前的等级，查看并管理自己的账户余额，查看并管理当前的API的信息，更新自己所购置的API版本等，发布自己的应用，查看并且管理自己当前已发布的应用。查看当前的系统消息。供给商用户管理：供给商用户可以在前台的个人中心里管理自己的根本信息，查看并且管理自己的数据状态，修改密码等操作。发布数据，查看自己发布的数据的情况。查看当前的系统消息。数据共享交换系统数据聚集配置管理基于web端，向后台系统管理员提供对数据平台主节点与分节点/独立数据终端系统之间的数据聚集操作配置

34、管理功能。数据在线聚集基于web端，向后台系统管理员提供进展数据在线聚集传输的操作管理功能。数据离线聚集基于web端，向后台系统管理员提供进展数据离线聚集传输的操作管理功能，包括数据离线聚集包的导出及导入功能。数据共享交换日志管理基于web端，向后台系统管理员提供数据共享交换业务操作的日志记录检索浏览功能。数据访问规那么系统访问规那么管理基于web浏览器端，向后台系统管理员提供基于内置数据访问业务规那么，对特定用户或特定数据效劳进展访问规那么设置管理的功能。数据访问效劳向平台提供基于webserviceW式的API数据访问效劳接口。访问信息效劳向平台提供基于webservic即式的API数据访

35、问历史记录信息检索效劳接口。访问规那么管理对数据访问相关的各类规那么进展统一管理和配置。3.1.5用户及权限管理子系统用户信息管理系统数据平台注册用户管理平台注册用户管理，系统管理员可以在后台进展平台注册用户的管理。通过用户管理，可以查看用户的订单，以及发现不合法用户后，对用户的冻结功能。创新工场用户管理创新工场用户管理，系统管理员可以在后台对平台所有的创新工场用户进展操作。可以在后台的用户管理中的创新工场用户管理中设置。可以进展查看当前所有的创新工场用户列表及详细信息“创新工场用户名称、所发布的API、发布时间、账户信息、用户等级等。管理员还可以对新申请的创新工场用户进展审核，对不符合创新工

36、场用户条件的申请进展驳回。对已经通过审核的创新工场用户的账户进展冻结，叫停该用户在应用市场所发布的应用。数据供给商管理数据供给商管理，系统管理员可以在后台对平台所有的数据供给商进展操作。可以在后台的用户管理中的数据供给商管理中设置。可以进展查看当前所有的供给商列表及详细信息“供给商名称、所提供的数据、时间等。管理员还可以对新申请的数据供给商进展审核，对不符合数据供给商的申请进展驳回。对已经通过审核的数据供给商进展冻结，叫停所发布的数据等操作。系统管理员管理系统管理员管理，超级管理员账号可以在后台配置有关系统管理员的权限，设立不同的管理权限从而实现不同角色管理员的划分，例如订单管理员，只能进展订

37、单的操作，无法操作其他菜单。超级管理员可以在后台用户管理中配置有关的系统管理员的权限。授权管理系统数据效劳分组管理与授权?基于Web浏览器端，向后台系统管理员提供对数据效劳进展分组定义和分组管理设置的功能。?基于Web浏览器端，向后台系统管理员提供将数据效劳分组与用户分组进展对应关系设置和管理，按照对应关系对用户组进展数据效劳授权的功能。数据效劳分级管理与授权?基于Web浏览器端，向后台系统管理员提供对数据效劳进展分级定义和分组管理设置的功能。?基于Web浏览器端，向后台系统管理员提供将数据效劳分级与用户分级进展对应关系设置和管理，按照对应关系对用户级别进展数据效劳授权的功能。数据效劳单独授权

38、?基于Web浏览器端，向后台系统管理员提供为特定用户对特定数据效劳的访问授权进展管理控制的功能。?提供针对特定用户访问特定数据效劳授权的WebService效劳接口。数据访问权限管理数据访问权限管理：普通用户及其供给商用户只可以访问普通的块数据，及API。创新工厂的用户除了可以查看普通的块数据，及API，还可以调用创新工厂中的对应着自己账户等级的API。身份认证与访问控制系统用户身份认证提供WebServiceB式的用户身份合法性认证效劳，根据用户名和口令进展用户身份的比对认证。数据效劳动态Token授权效劳向用户提供获取数据效劳开放数据API效劳和块数据下载效劳访问授权动态Token的Web

39、效劳API，通过用户身份认证和数据效劳访问权限认证后，向用户返回最新的数据效劳调用授权动态Token。数据效劳访问控制对用户向数据平台发送的数据效劳调用请求进展有效性验证和访问控制。大数据平台运营维护效劳创新创业大数据平台工程涉及的软硬件系统X围较广，且承载了重要核心的数据资产，其稳定运行的保障十分重要，勤智数码依托自身十多年的IT运维经历，建立一套基于ISO/IEC20000和ITILv3理论，遵循ITSS、GB/T28827-2012系列运行维护效劳国家标准的运营维护体系，对平台中各子系统以及各功能模块提供统一的监控维护效劳，包括效劳的提供状态监控、效劳的使用状态监控、系统的运行状态监控等

40、。包括如下的平台运维效劳：平台内部资源的监控管理对平台所涉及的所有硬件资源、软件资源和数据资源进展实时不连续的7x24小时的监控和管理，合理设定资源状态的预警阈值的设定，确保任何资源状态异常的及时通报和展示，通过声光报警、短信、的及时通知，确保管理人员及时的发现和处理问题。同时借助大数据平台的优势，实现平台内部软件、硬件资源运行状态的趋势预测，不同资源告警阈值的智能化管理和自动设定，做到平台内部运行状态的稳定和持续。硬件资源监控大数据平台的硬件资源较多，所有硬件资源包含：路由器、交换机、防火墙、主机window、linux、Solaris、HP-Unix、AIX等、虚拟效劳器、无线设备AC/A

41、P、存储设备、光交换、其他平安设备等的监控，监控方式支持snmpv1/2/3、ssh/telnet、TCP、syslogtrap、脚本、WMI、netflow/cflow/sflow/netstream协议等。?支持对大数据平台涉及的各种设备状态的实时监控（如：通断、资源使用情况、端口状态、流量峰值、流量变化量等其他关键指标等）?支持网络设备的流量的应用层协议分析和监控.?借助类似曲线图表现大数据平台内部最近一个小时，最近一天，最近一周，最近一月，最近一年的效劳器或者集群的cpu负载,内存,网络,硬盘等指标?支持各类监控指标的告警阈值的人工和自动调整?支持告警信息的短信、通知以及声光报警通知?

42、支持网络拓扑和机房的视图可视化管理?支持网络资源的配置自动备份软件资源监控大数据平台内部的软件资源复杂，需要支持统一化的一体监控模式，支持对Hadoop架构体系内所有软件模块和系统HBase、HDFS等、关系型数据库MySQL集群、OracleSQLServer、中间件系统、前端应用、软件TCP端口等软件资源的监控和管理，支持SNMP、SSH/telnet、JMX、JDBC等监控方式和协议，实现：?支持大数据平台内部的各种传统关系型数据库和数据库集群、Hadoop架构中HDFS/HBase等的状态、内存数据库状态、各类中间件资源状态、平台内部和前端应用状态、各类内外部的接口状态的实时监控?支持

43、各类监控资源的告警阈值的人工和自动调整?支持告警信息的短信、通知以及声光报警通知?软件信息变动和资源使用异常等关键指标的监控?基于软件关联关系的监控，实现基于多个软件和硬件的业务级别的监控平台故障处理管理大数据平台涉及的软硬件信息和数据量较大，平台上线运行后会面临海量的故障信息，故障信息分析是运维工程师面临的难题，而云计算、虚拟化等新技术的广泛采用进一步加剧了运维管理的复杂度。需要对运维流程进展梳理，将技术人员从繁重的运维工作中解脱出来，实现运维作业的标准化、自动化，缩短业务响应时间，提高效劳质量。平台的各类故障和告警处理的管理主要针对平台运行期间所有异常事件的统一管理，确保所有异常事件都被处

44、理的管理功能。借助国家标准和ITIL的SLA模型，需要建立一套完备的故障事件、问题、变更和发布等的标准化故障处理流程，规X故障处理的过程，做到故障的及时处理、追踪、统计，确保每一个问题和故障都能被及时的处理。提供页面/短信/声音/光/消息客户端/WebService接口及时通过责任人进展告警处理。日常平台管理任务自动化日常平台管理工作中有很多是标准化的工作，如巡检、值班等工作。这些工作会占用大量的时间，将人工的操作、管理转变为系统自动化的操作和管理，可以节省时间，将精力投入到更紧急、更重要的工作中。自动巡检功能平台的监控管理系统自动将需要巡检的设备状态发送到系统中，自动进展设备运行状态和重要指

45、标性能数据的收集汇总形成自动巡检结果，同时巡检过程全程记录，通过巡检工单，能够跟踪巡检的执行情况。人工巡检功能针对非监控资源的巡检，可通过系统内提供的人工巡检功能完成巡检结果的记录，为巡检任务执行的方案、监视和结果的电子化管理提供了有效的手段。值班管理系统提供值班管理功能实现管理人员的排班、值班、交接班等信息的电子化管理，系统自动排班。故障处理自动化告警的处理过程通过基于ITIL的事件、问题、变更等标准化的流程进展管理系统自动进展告警过滤、压缩，防止海量告警。自动将关键告警通过消息发送给责任人。系统自动运行预定义的脚本恢复故障。对于需要技术人员处理的故障，系统自动创立工单，派发给管理人员处理。系统自动关联知识库，协助技术人员处理工单。技术人员处理完毕后处理方案一键转知识，知识不断累积。平台内部管理的移动化支持移动终端的平台状态监控和故障事件的处理，实现管理人员不在现场时的实时平台