如何构建高校大数据科研云平台解决方案

如何构建高校大数据科研云平台4

总结

3

OceanMind高校大数据云平台应用

1

各学科大数据分析挖掘面临的挑战

2

如何构建高校大数据科研云平台1各学科大数据分析挖掘面临的挑战客观世界数字化©SINOVATIO

Corporation.All

rights

reserved.中新赛克劳动力矿产能源数据成为人类社会的重要生产要素识济业济业济然济（生产运输工具）

（蒸汽机）

（电力/电气化）农业革命

第一次工业革命

第二次工业革命知识大数据（大数据智能技术）第四次工业革命数据发现智慧、

产生智慧（信息技术）第三次工业革命自给自足信息计算采摘狩猎科技革命

推动生产

要素转化

为生产力

计算辅助人类智慧新价值创造新经济增长点

机器取代人力种植/养殖智能化

农业化电气化

信息化

机械化©SINOVATIO

Corporation.All

rights

reserved.农

经知

经自

经工

经越来越多的学科需要掌握大数据技能大数据分析挖掘能力是未来各学科发展的基本技能CAB大数据分析挖掘D生物遗传物理学经济学天文学统计学©SINOVATIO

Corporation.All

rights

reserved.。。。。。。EVelocity-速度实时性要求高Volume-巨量数量巨大Variety-多样性结构化、半结构化、非

结构化数据Value-价值密度沙里淘金，价值密度低传统数据分析、挖掘手段难以满足需求©SINOVATIO

Corporation.All

rights

reserved.大数据分析挖掘的重要性

据统计大数据使用过程中80%工作集中于数据分析

挖掘相关工作。

据统计失败的大数据应用项目70%以上源自无效的、

不专业的数据分析挖掘。

据统计80%以上大数据新建应用无法适应业务不断快速变化，90%以上都需要重新开发。大数据分析挖掘是大数据项目成败的核心大数据项目的困境©SINOVATIO

Corporation.All

rights

reserved.如何从海量数据中挖掘价值数据价值如何体现？数据智慧如何挖掘?©SINOVATIO

Corporation.All

rights

reserved.降低大数据分析挖掘的门槛是核心各学科大数据分析挖掘面临的挑战如何应对日益复杂的大数据处理？如何降低大数据应用开发门槛？如何减少繁琐数据分析挖掘工作？如何适应快速的业务变化？如何减少大数据应用重复开发？如何让大数据分析挖掘自助化？©SINOVATIO

Corporation.All

rights

reserved.2如何构建高校大数据科研云平台我们需要什么样的大数据科研云平台？为什么需要构建高校大数据科研云平台.

科研项目需求.

横向课题需求.

论文数据分析需求.

科研工作的实际需要术门槛高

独立建设大数据平台周期长独立建设大数据平

台利用率低高校大数据

科研云平台通用大数据平台技©SINOVATIO

Corporation.All

rights

reserved.现实场景在应用过程中是变化的影响现实场景的因素在应用过程中是变化的数据源的种类在应用过程中是变化的数据的内容在应用过程中是变化的数据的数量在应用过程中是变化的构建高校大数据科研云平台的关键点之一：“”变化“”•数据是变化的•模型是变化的©SINOVATIO

Corporation.All

rights

reserved.目标挖掘数据信息价值大数据专家

精通大数据管理技术、数据处理技术

不熟悉大数据的业务场景

对大数据挖掘的方向理解不深刻学科专家

熟悉大数据的业务

场景

清楚大数据挖掘的

方向

大数据管理、处理

技能需增强如何解决业务与数据的紧耦合状态大数据智能分析挖掘系统构建高校大数据科研云平台的关键点之二：学科知识和数据知识解耦©SINOVATIO

Corporation.All

rights

reserved.构建数据和业务松耦合关系，有效提升数据使用效率让擅长的人去做擅长的事数据业务©SINOVATIO

Corporation.All

rights

reserved.数据数据业务业务数据总线大数据操作系统的本质是屏蔽大数据底层技术细节，直接向应用层提供服务OceanMind大数据操作系统应用接口层：数据定义模型、查询模型、分析计算模型大数据操作系统层操作系统层硬件资源层大数据操作系统CPU、硬盘、内存、外设，网络引擎层：数据存储管理、查询、计算分析能力数据源管理层系统扩展内核调度、资源分配驱动程序驱动程序业务应用业务应用驱动程序驱动程序业务应用业务应用业务系统层©SINOVATIO

Corporation.All

rights

reserved.系统服务基础平台服务（PaaS）分布式图关系数据库HDFS(分布式文件系统)业务应用服务（SaaS）基础设施服务（IaaS）大数据平台总体架构运维管理服务管理数据服务虚拟化Hive/Impala(数据仓库)机房分流&DPI

专用设备专题库HBasekafkaSqoop/Flume..(数据库/文件ETL)ZooKeeper数据模型服务（DaaS）ElasticSearch/..(全文检索)LogStach/..

(日志采集检索)运维管理服务（MaaS）Yarn/…(任务调度)应用生成（流程表单、可视化组件、业务协同）Spark/Storm

(分布式计算)预警告警服务水平管理服务流程管理租户管理设备智能档案事件智能档案网络人员智能档案存储资源池网络资源计算资源池安全防护资源管理安全设备服务器存储设备管理配置管理权限管理监控管理数据可视化数据分析数据挖掘数据清洗数据驱动数据转换数据接入数据加载第三方业务应用XX业务应用XX业务应用(分布式消息系统)目标管理分析(分布式协作服务)©SINOVATIO

Corporation.All

rights

reserved.(分布式数据库)基础库基础平台服务（PaaS）分布式图关系数据库HDFS(分布式文件系统)业务应用服务（SaaS）基础设施服务（IaaS）大数据云平台构建方式1-组件众多、技术复杂、整合困难运维管理服务管理数据服务虚拟化Hive/Impala(数据仓库)机房分流&DPI

专用设备专题库HBasekafkaSqoop/Flume..(数据库/文件ETL)ZooKeeper数据模型服务（DaaS）ElasticSearch/..(全文检索)LogStach/..

(日志采集检索)运维管理服务（MaaS）Yarn/…(任务调度)应用生成（流程表单、可视化组件、业务协同）Spark/Storm

(分布式计算)预警告警服务水平管理服务流程管理租户管理设备智能档案事件智能档案网络人员智能档案存储资源池网络资源计算资源池安全防护资源管理安全设备服务器存储设备管理配置管理权限管理监控管理数据可视化数据分析数据挖掘数据清洗数据驱动数据转换数据接入数据加载第三方业务应用XX业务应用XX业务应用(分布式消息系统)目标管理分析(分布式协作服务)©SINOVATIO

Corporation.All

rights

reserved.(分布式数据库)基础库基础平台服务（PaaS）分布式图关系数据库HDFS(分布式文件系统)业务应用服务（SaaS）基础设施服务（IaaS）大数据云平台构建方式2-如何将技术能力转换为服务能力运维管理服务管理数据服务虚拟化Hive/Impala(数据仓库)机房分流&DPI

专用设备专题库HBasekafkaSqoop/Flume..(数据库/文件ETL)ZooKeeper数据模型服务（DaaS）ElasticSearch/..(全文检索)LogStach/..

(日志采集检索)运维管理服务（MaaS）Yarn/…(任务调度)应用生成（流程表单、可视化组件、业务协同）Spark/Storm

(分布式计算)预警告警服务水平管理服务流程管理租户管理设备智能档案事件智能档案网络人员智能档案存储资源池网络资源计算资源池安全防护资源管理安全设备服务器存储设备管理配置管理权限管理监控管理数据可视化数据分析数据挖掘数据清洗数据驱动数据转换数据接入数据加载第三方业务应用XX业务应用XX业务应用(分布式消息系统)目标管理分析(分布式协作服务)©SINOVATIO

Corporation.All

rights

reserved.(分布式数据库)基础库基础平台服务（PaaS）分布式图关系数据库HDFS(分布式文件系统)业务应用服务（SaaS）基础设施服务（IaaS）大数据云平台构建方式3-屏蔽技术细节，直接提供服务能力运维管理服务管理数据服务虚拟化Hive/Impala(数据仓库)机房分流&DPI

专用设备专题库HBasekafkaSqoop/Flume..(数据库/文件ETL)ZooKeeper数据模型服务（DaaS）ElasticSearch/..(全文检索)LogStach/..

(日志采集检索)运维管理服务（MaaS）Yarn/…(任务调度)应用生成（流程表单、可视化组件、业务协同）Spark/Storm

(分布式计算)预警告警服务水平管理服务流程管理租户管理设备智能档案事件智能档案网络人员智能档案存储资源池网络资源计算资源池安全防护资源管理安全设备服务器存储设备管理配置管理权限管理监控管理数据可视化数据分析数据挖掘数据清洗数据驱动数据转换数据接入数据加载第三方业务应用XX业务应用XX业务应用(分布式消息系统)目标管理分析(分布式协作服务)©SINOVATIO

Corporation.All

rights

reserved.(分布式数据库)基础库Spark(MLlib机器学异构

习)存储R框架（统计分析挖掘）OceanMind提供面向应用的大数据服务，最大程度降低大数据使用门槛OceanMind大数据云平台-异构数据源、异构存储、异构计算、二次开发、可视化智能分析二次开发能力栈

算子可拖拽流程化

流程管理

大数据功能算子化

业务生成

数据可视化组件行业模板XX行业模板XX行业模板XX行业模板XX行业模板XX行业模板

APP1

APP2

APP3…

APPN第三方业务应用业务应用APP

TensorFlow（深度学习）应用生成交互组件算子模型内存存储列存储Python框架

(统计挖掘分析)流程驱动调度协同Storm

（流计算）流程可编排自助化流程模板可重用深度学习

数据分析BDOMM大数据操作维护管理R语言文件存储小对象JAVA语言全文SCALA语言流式数据源CUDAPython互联网数据源DB数据源其他数据源大数据

数据源文件数据源图存储数据导出关联分析模型管理预警告警数据清洗数据转换联合搜索机器学习数据统计可视化大数据智能算子库

功能算子©SINOVATIO

Corporation.All

rights

reserved.异构数据分析引擎数据导入计算融合使用者

教师

学生其它开发者

教师学生其它件二次开发管理平台3发布大数据分析挖掘平台用Ocean

Mind大数据基础平台存储资源池计算资源池网络资源池OceanMind高校大数据科研云平台平台使开发套提交开发接口开发文档算子管理开发管理业务流程基础算子基础算子专业算子成果案例业务流程专业算子业务模板业务模板成果案例©SINOVATIO

Corporation.All

rights

reserved.412丰富的算子满足多样化、复杂的、持续变化的清洗转换需求-

数据转换算子

数据清洗算子

数据挖掘算子

数据导入算子OceanMining大数据科研云平台-应对“变化”(丰富的算子)多样化大数据应用

数据导出算子

©SINOVATIO

Corporation.All

rights

reserved.OceanMining大数据科研云平台-应对“变化”(功能算子二次开发)©SINOVATIO

Corporation.All

rights

reserved.OceanMind提供报表、图形及页面生成控件，可以将业务模型的运行结果数据通过控件拖拽方式进行直观呈现，快速完成业务生成。•数据源灵活可选；•菜单生成自定义；•

多种图表可选；•快速生成应用页面；OceanMining大数据科研云平台-应对”变化“(模块化业务开发)©SINOVATIO

Corporation.All

rights

reserved.简单托拉拽、无编程化大数据做分析挖掘，快速实现大数据应用系统管理OceanMining大数据科研云平台-应对”专业知识和数据知识解耦“(高可视化互操作)大数据功能算子化流程可编排自助化流程模板化可重用算子可拖拽流程化全流程可视化交互©SINOVATIO

Corporation.All

rights

reserved.生动灵活的可视化展示满足不同的大数据可视化需求OceanMining大数据科研云平台-应对“专业知识和数据知识解耦”(灵活的数据展示)丰富可视化图形灵活可视化呈现©SINOVATIO

Corporation.All

rights

reserved.阶段对比阶段内容OceanMining其他厂家开发阶段业务开发1、拖拽算子流程2

、ACE显示组件+交互组件无，需开发编译算子二次开发SDK（java

、R）少量逻辑开发不支持数据接口Thrift/HTTP

REST/JDBC/ODBC基本相同阶段周期周期短周期长阶段难度难度小难度大测试阶段测试调整1

、ACE显示组件+交互组件2、调整算子流程参数无，需开发编译测试验证无需编程、无需编译、直接执行所见即所得无，需开发编译阶段投入投入小投入多阶段效率效率高效率低维护阶段维护阶段自带流程监控针对开发编译新数据增加、变换调整参数、调整流程、无需开发编译重新开发编译业务需求变动调整参数、调整流程、无需开发编译重新开发编译、推倒从头再来维护难易较容易难度大维护成本成本低成本高降低总体拥有成本，平均提升效率200%~400%OceanMind大数据科研云平台应用生命周期对比©SINOVATIO

Corporation.All

rights

reserved.3OceanMind高校大数据云平台应用OceanMind高校大数据科研云平台展示©SINOVATIO

Corporation.All

rights

reserved.OceanMind高校大数据科研云平台应用让学科专家的大数据分析挖掘工作更轻松！优化整合学校各种管理信息系统和协同办公系统，完善高校决策支持系统的模型库、数

据库和知识库建设，通过大数据分析，实现

学校发展的智能决策。建设高校科研研究平台，促进产学研深度合作，促进科

研成果转化。实时监测校园网络，动态感知网络运行状态，预防和控

制网络风险。科研成果验证

共享智慧校园决策分析校园网络风控©SINOVATIO

Corporation.All

rights

reserved.OceanMind高校科研成果验证共享系统高校教师•

在线注册•

按需购买•

灵活方便•

科研轻松•

沟通交流•

共享成果•

共同进步全国高校渠道伙伴•

线上/线下推广•

比项目更灵活•

长期分享收益高校大数据科研云平台——让学科专家的科研工作更轻松！

科研云OceanCloud开发者（个人、企业、教师）分享收益共享算子开发算子©SINOVATIO

Corporation.All

rights

reserved.内部数据（智慧校园平台）招生管理教学计划项目申报机构编制设备登记缴费管理固定资产财务报表餐饮管理课程编排教材管理科技协作人事档案材料登记学生公寓入学管理学籍管理科研考评人才招聘房屋登记楼宇房屋宿舍管理考务管理学术论文绩效考核采购计划审核教工住房网上选课教学实践学术报告学术交流职称评聘设备维护日志水电管理社团管理综合评测劳资福利设备报销维护修缮OceanMind智慧校园大数据决策分析系统外部数据国内信息平台国外信息平台大数据智慧校园分析挖掘系统——全面整合、分析高校各系统数据，为高校发展提供决策支撑。Ocean

Mining智能分析挖掘平台

模板库学生成长的大数据分析教师发展的大数据分析提升服务能力的大数据分析学生管理系统教务管理系统科研管理系统

教工管理系统资产管理系统财务管理系统

后勤管理系统

Ocean

Mind大数据基础平台论坛咨询报告咨询报告论坛会计账目资金管理薪资管理期刊出版物期刊智库出版物权威报告智库权威报告

流程管理©SINOVATIO

Corporation.All

rights

reserved.

算子库一卡通数据库存储资源池计算资源池网络资源池科技数据库办公数据库学生数据库财务数据库后勤数据库用户数据库教工数据库教务数据库设备数据库资产数据库网络日志库流量日志设备日志流量内容OceanMind校园网络大数据风险控制系统------------------------------------------------------------------------◆网络运行风控网络故障分析网络QOS保障网络流量统计网络异常行为分析用户行为风控用户内容审计用户异常行为分析大数据校园网络风险控制系统——采集分析校园网流量数据，动态感知校园网络风险。Ocean

Mining智能分析挖掘平台

模板库实时报警基于用户行为的动态分析基于规则的静态分析Ocean

Mind大数据基础平台

流程管理©SINOVATIO

Corporation.All

rights

reserved.

算子库存储资源池计算资源池网络资源池基于大数据的网络风险控制网络运行风控•流量分析•网络故障•关键业务质量用户行为风控•用户内容审计•用户行为分析OceanMind校园网络大数据风险控制系统-静态数据分析+动态数据挖掘•

流量数据-

流量日志-

流量内容•

日志数据-

设备日志、操作系统日志-数据库日志、应用日志基于规则的静态数据分析•必须事先掌握规则和样本•不能针对不同的环境分析特定

的异常基于行为的动态数据挖掘•无需事先掌握规则和样本•可以根据不同的环境区分特定

的异常支持静态规则数据分析和动态数据挖掘，改变传统安全监控方案只支持静态规则的局限©SINOVATIO

Corporation.All

r