大数据平台基础知识20210120

大数据分析平台2022.01股票代码：8722191.大数据基础概念2.大数据发展现状及职业发展方向3.智速云大数据分析平台介绍5.大数据行业解决方案目录Contents4.智速云大数据分析功能特点“大数据”这一概念的形成，有三个标志性的事件：2008年9月，美国《自然》（Nature）杂志专刊——Thenextgoogle,第一次正式提出“大数据”概念。2011年2月1日，《科学》杂志专刊，通过社会调查，第一次综合分析了大数据对人们生活造成的影响，及人类面临的“数据困境”。2011年5月，麦肯锡研究院发布报告——Big

data:The

next

frontier

for

innovation,competition,and

productivity,第一次给大数据做出相对清晰的定义：“大数据是指大小超出了常规数据库工具获取、存储、管理和分析能力的数据集”。

大数据的概念速度快Velocity数据量大Volume多样化Variety传统数据大数据GB->TBTB->PB以上数据量稳定，增长不快持续实时产生数据，年增长率超过60％主要为结构化数据半结构化，非结构化，多维数据大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大数据量（volumes）、多类别（variety）的数据中提取价值（value），但是传统关系型数据库存在性能、存储、成本、IO瓶颈等等的原因，无法支撑这4个V+1个E的要求，解决方法就是分布式技术、廉价的X86平台、本地存储，分布式技术是大数据处理的核心。统计和报表价值高Value数据挖掘和预测性分析

大数据的特征计算运行、计算速度越来越快存储存储成本下降智能实现信息对等解放脑力，机器拥有人的智慧云计算，硬件性价比的提高以及软件技术的进步数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率智能设备、传感器的普及，推动物联网、人工智能的发展

大数据的技术支撑1.大量人群产生的海量数据2.大量传感器产生的数据3.科学研究和各行业对大数据的依赖智慧城市电信环境医疗教育金融服务零售

大数据是如何产生的？啤酒与尿布谷歌与流感

大数据的意义大数据各行各业实战IntelligentSystemsArchitecture智慧城市电信零售终端设备HHNB/ULTCamerasPoSKioskDS环境医疗教育金融服务数据中心CPUSSD10GbEInfiniband……

大数据各行各业应用大数据行业应用–社交媒体

大数据行业应用-社交媒体大数据行业应用–互联网平台

大数据行业应用-互联网平台大数据行业应用–电商平台

大数据行业应用-电商平台发起环境识别用户业务入口：手机APP、网厅、营业厅使用对象识别用户行为：电子支付位置识别用户所处的逻辑区：金融中心终端识别用户使用的终端：小米3圈子识别卡号6002315127**Q：1542852**微信：**行为对象识别用户行为对象：固定收益理财自动适配实现•手机GPS定位，通过POS刷卡、通过对用户位置的追踪，对位置敏感度高的服务营销提供帮助。••完善终端库，及时发现用户换机提醒用户安装新版本客户端• 捕获用户日常偏好；• 指定不同渠道的产品营销配比•••用户使用场景还原反应用户的使用习惯用户缴费习惯•••话术准备；竞品策反；网厅吸金•用户转账支付关系到社交关系映射完善用户画像•

大数据行业应用-金融-客户画像

大数据行业应用-金融-舆情分析

全国PM2.5监测态势1.大数据基础概念2.大数据发展现状及职业发展方向3.智速云大数据分析平台介绍5.大数据行业解决方案目录Contents4.智速云大数据分析功能特点

国内发展现状全球大数据市场发展趋势国内大数据市场发展趋势

近年来，我国大数据产业从无到有，全国各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。2017年我国包括大数据核心软硬件产品和大数据服务在内的市场规模将超过2600亿元，与2016年相比，增长了49%。2017年1月，工信部发布了《大数据产业发展规划2016-2020年》，进一步明确了促进我国大数据产业发展的主要任务、重大工程和保障措施。国家政策的接连出台为推动大数据产业快速成长提供了良好的发展环境，未来2-3年市场规模的增长率将保持在50%左右。预计2020年，我国大数据市场规模将超过8000亿元，预计未来中国将成为全球数据中心。2技术创新与支撑能力不强。在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距，对开源技术和相关生态系统影响力弱。3大数据应用水平不高。虽然大数据具有强劲的应用市场优势，但是目前还存在应用领域不广泛、应用程度不深、认识不到位等问题。4大数据安全体系不健全。数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范不健全，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系。5人才队伍建设亟需加强。大数据基础研究、产品研发和业务应用等各类人才短缺，难以满足发展需要。1数据资源开放共享程度低。数据质量不高，数据资源流通不畅，管理能力弱，数据价值难以被有效挖掘利用。

大数据产业具备了良好基础，面临难得的发展机遇，但仍然存在一些困难和问题。

国内发展现状

根据数据显示，现在仅大数据、人工智能、云计算这些学科为代表的新一代信息技术产业，人才缺口就有150万。到2050年，人才缺口会达到950万人。

大数据的发展也催生出一些新职业如大数据分析师、首席数据官等。

全球大数据人才需求逐年上升

数联寻英发布首份《大数据人才报告》：报告显示，在未来5-10年，我国大数据市场规模年均增速将超过30%。未来5年，国内大数据人才缺口将突破150万。在BAT发布的招聘职位中，目前大数据岗位占比已经超过60%。现业界有一种观点：即使把全国所有计算机专业都做成大数据专业，仍然无法满足国内对大数据人才的需求。所以人才供给的缺乏正是大数据发展面临的一个瓶颈。

全球大数据人才需求逐年上升

薪资待遇市场调研方向数据分析师方向数据工程师方向概率 分

大数据就业方向市场调研方向技能树：统计学、excel、PPT职位：调研顾问、市场调研

经理、资深品牌经工作内容：-面向花联网、快消品、零

售等客户-攥写市场分析报告月薪：5-8K数据分析师方向技能树：python、算法知识、SPSS、R职位：数据分析师、数据挖掘

工程师工作内容：-监控产品数据指标-攥写分析报告-数据挖掘模型月薪：10-15K数据工程师方向技能树：SQL、hadoop、spark职位：ETL工程师、可视化

工程师工作内容：-数据清洗平台-编写数据报表后台-数据展示-任务调用月薪：8-10K

大数据就业方向1.大数据基础概念2.大数据发展现状及职业发展方向3.智速云大数据分析平台介绍5.大数据行业解决方案目录Contents4.智速云大数据分析功能特点

提供从数据分析、挖掘到数据可视化展示的全套解决方案，推动客户实现数据价值到商业价值的完美蜕变。

智速云大数据分析平台理念统一的工作台/所有时间范围/提升的交互能力决策网络/业务活动/权责Mobile/离线/综合的/实时的01.02.03.相互沟通思考的自由简单的操作

智速云大数据分析平台是最新一代的大数据分析软件，能够对多种数据进行快速分析和处理，可以满足不同性质的管理和研发流程中对大量数据的分析和决策要求。其最大的特点是通过多种动态的图形和筛选条件，快速对大量的数据进行分析和处理，能够生成包括柱状图、曲线图、饼图、散点图、组合图、地图、树形图、热图、箱形图、汇总表和交叉表等多种展现形式，且所有的图形都能提供众多的数据分析维度。

智速云大数据分析平台可视化自助服务分析自助式的大数据可视化分析

智速云大数据分析平台云计算的分布式存储和计算能力提供了技术支撑；而大数据的核心是数据处理，数据挖掘技术成为高效利用数据、发现价值的核心技术.。

数据可视化--“科学与艺术的结合”事实上，数据可视化是一个处于不断演变之中的概念。这里的变化主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。数据可视化源于统计学，出于对资料统计的结果会不受人重视的忧虑，发展出一种色彩缤纷的图表形式，让数据能够更加让人印象深刻。让大数据有意义，使之更贴近大多数人，最重要的手段之一就是数据可视化。数据可视化，是关于数据视觉表现形式，在大数据领域中，素来有“科学与艺术的结合”的说法。

弗罗伦斯·南丁格尔

（英语：FlorenceNightingale，1820年5月12日－1910年8月13日），英国护士和统计学家，曾往伦敦的医院工作。

她发明出一种色彩缤纷的图表形式，让数据能够更加让人印象深刻。这种图表形式被称作【南丁格尔的玫瑰】，是一种圆形的直方图。

她用这种数据方式表达医院季节性的死亡率，对象是那些不太能理解传统统计报表的公务人员。她的方法打动了当时的高层，包括军方人士和维多利亚女王本人，促进了医师改良的提案。

【南丁格尔玫瑰图】历史资料

一个多层级多终端灵活自助式分析平台ERPCRMSCMETLOLAPCubeDataWarehouseMetaData分析平台收集业务需求设计数据模型数据源数据加载构建元数据开发报表发布给最终用户分析用户开发人员连接到数据源增加多数据源交互与数据可视化发布/共享ADSCache循环往复任意增加/修改数据数据分析产品

自助式分析开发流程即时共享任何分析结果无单独的发布步骤通过多个相互链接的可视化图表研究数据从简单的条形图到强大的统计功能，一切都触手可及自动生成的动态过滤器任何字段的实时内存过滤用户驱动的直观界面完全交·互式的用户体验从多个来源加载数据直接ODBC访问，基于服务器的信息链接、Excle电子表格、数据文件

专业开发版--桌面分析与创作即时共享无单独的发布步骤，简单的保存到库中一致的用户界面可视化、过滤器、指导式应用无缝转化到Web中跨浏览器支持MozillaFirefox与InternetExplorer；无需插件支持企业重建品牌，门户集成轻松更改标题外观，在门户中用作iFrame浏览器设计分析应用遵循由大数据实训平台专业版创建的开发模式功能丰富的交互式AJAX用户界面（UI)通过浏览器提供卓越的响应能力

网页查看版--基于web的交互式分析统计服务(S+,R语言)

提供先进的统计计算引擎与部署管理器。自动化服务组件数据任务调动与自动更新。

实训版--大数据实训平台服务器管理和集成服务

数据集成、用户管理、分析文件管理、数据源信息管理等集中式部署相关功能。Web分析服务用于发布分析结果,基于浏览器的页面设计。应用程序数据服务

与企业数据源直接集成：SAPR/3、SAPB/W、用友ERP、OracleEBS、金蝶ERP。智能化的布局支持数据仓库新增炫酷图表数据挖掘1.自适应页面大小2.可自由拖放功能1.支持平面文件加载，如：txt文件、CSV文件、excel文件、log文件、shp文件、XML文件等。2.支持关系型数据库连接（SQLserver、Oracle）和非关系型数据库连接（MongoDB、Hbase、Hadoop、JDBC、ODBC、OLEDB）。1.三维散点图2.热图1.K均值聚类分析2.线相似性分析3.树形图4.KPI图5.地图6.箱线图3.层级群集分析4.预测模型5.R语言3.分类聚合模型4.关联规则分析模型

智速云大数据分析平台特征医药行业--目标与生物标记发现--先导化合物发现与优化--临床试验分析--药物警戒--销售与市场金融服务行业--投资组合管理--风险分析--监管达标能源--勘探--业务规划--油气田开发--生产生产制造行业--成品率不良率分析--流程工程设计--产品工程设计--质量与保修电信通讯行业--客户分析--网络分析消费品行业--市场分析--销售有效性--活动与促销分析--产品研发情报--电子邮件分析--新闻分析--网络分析

应用行业支持数据仓库，也支持基于列式存储的内存分析技术既可以使用文件式存储(Hadoop)，又支持数据仓库，满足大数据量客户的需求数据装载于内存中，实时响应用户的分析需求，计算速度快系统具备良好的适应性与可扩展性开放的API接口，方便与外部系统进行快速集成系统具备跨平台性服务器可以既可支持windows平台也可支持其他Unix环境移动智能设备及云端的支持支持iOS系统及Android系统设备，决策者只要用手指就能做批示和交互支持分布式内存技术，如Hadoop等，适合云端部署快速适应性

技术优势1.轻松设计不同风格管理驾驶舱满足任一屏幕的可视化应用

智速云大数据分析平台支持对txt、csv、excel、log、xml、shp（标准的矢量地图）等平面数据文件的加载，也支持通过连接器与SQLserver、Oracle等关系型数据库，MongoDB、Hbase等非关系型数据库、Hadoop、JDBC、ODBC、OLEDB等数据库建立数据连接加载数据。2.数据ETL—不仅支持平面数据文件还支持关系型数据库和非关系型数据库列式存储技术，缩算法LZO压缩算法(C语言)和缓存算法（页面置换算法)LRU（Leastrecentlyused，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，LRU的淘汰规则是基于访问时间，有新的数据进来，之前最先新进的数据将被踢出掉。在内存模式下，分析平台从数据库、文件或系统读取所有原始数据保存到内存当中。然后它将数据排序为固定的格式，做快速和高效的可视化所需的计算。3.第四代内存处理架构

数据挖掘

(DataMining)是指从大量数据中提取出隐藏于这些数据中的规律，进而通过这些规律来预测未来或是指导人们做出相应的决策。

数据挖掘就是寻找隐藏在数据中的信息过程，如趋势，特征及相关性，也就是从数据中发掘信息或知识。自主开发统计引擎，基于R、S+统计语言中常用统计挖掘算法，满足大部分客户的需求，不需要专业的开发工具，只需几个小时就可以开发自己的统计模型。4.大数据挖掘关键技术

大数据实训平台整合了R语言、S+语言,使其具备预测分析、优化模式检测等能力。

高级分析使用户能够做出更优秀、更明智的决策。将大数据实训平台的可视化数据分析能力与S+的深入统计能力相结合，提供先进的预测分析，降低统计建模的复杂性，使大数据实训平台最终用户能够充分利用S+先进的模型检测、优化、分类和预测。在大数据实训平台中直接提供得到广泛采用的强大R语言，以执行高级假设分析和复杂的分析。大数据实训平台和S+（大数据实训平台

统计服务）之间更可靠的数据连接通过将S+和R运行程序存储在大数据实训平台统计服务中，使其能够从大数据实训平台界面直接调用。大数据实训平台OOTBS+OpenSourceRTERRSAS®MATLAB®分析过程简单直接；探索数据隐藏的模型和趋势；在数小时内快速建立企业级预测模型。能够快速的帮助客户发现和解决问题5.利用统计服务实现高级分析能力：支持S+和R基于颜色和点形对数据进行分组绘制基本散点图运行结果:运行结果:R举例：用R语言绘制散点图1.大数据基础概念2.大数据发展现状及职业发展方向3.智速云大数据分析平台介绍5.大数据行业解决方案目录Contents4.智速云大数据分析功能特点（1）适用于任何人的分析系统（2）提供SDK功能扩展（3）除具有分析函数外，又具有高级的统计函数和数据挖掘函数。1.适用性

（1）交互式过滤——通过范围滑动条、检查框、单选按钮、列表框或文本搜索进行数据过滤

（2）交互式分析——通过标记、条件筛选、缩放滑块、层级滑竿快捷进行交互分析

（3）强大的书签——通过书签可在任意时间对分析过程截取快照，从而便于返回至之前生成的数据视图。2.灵活的交互式分析

大数据实训平台中的数据钻取，首先建立钻取组，不同的是在大数据实训平台中称为层级，上图层级命名为地区。在图表中分析使用中，下钻到行政省时，将按照上级行政大区分类，所有的行政省都将展示出来。如上图所示。3.支持数据钻取终端用户可快捷进行拖拽式分析；通过开发版，分析用户，可以通过拖拽、快捷切换分析维度指标，更换分析数据源；通过浏览器，分析用户可以快捷的在web端进行私有数据分析。将品牌名称经过拖拽快捷切换为展厅名称4.自助式分析

用户在可视化分析过程中，如需对一些数据进行简单加工处理，如使用算术运算符、逻辑表达式等，给自己的表达式取名，以便日后使用。5.自定义表达式OVER函数是平台基于一些特定应用场景集成进来的，用于计算基于组的某种聚合值。常用于销售行业中的销售环比、销售同比、销售占比分析，制造业中的生产环比、采购环比、采购同比分析。6.OVER函数应用可使用拖放操作更改图表的布局，图表也会根据页面大小自适应布局。单击图表标题并将鼠标拖动到其他图表。灰色框将显示在此图表一部分的上方，当松开鼠标后，布局会更新。使用鼠标拖放，自适应的布局在页面中7.自适应页面布局GIS地图三维散点图KPI图帕累托图柱形图热图箱线图K均值聚类分析线相似性分析Holt-Winters8.支持丰富的图形展示带饼图的省份地图交互式分析世界地图交互式分析在线地图交互式分析8.支持丰富的图形展示三维散点图是由在三个轴上绘制数据点，以显示三个变量之间的关系的图形。三维散点图在建模中的应用较多。8.支持丰富的图形展示KPI图即关键业绩指标，KPI是企业中业绩考评的方法。KPI可以使部门主管明确部门的主要责任，并以此为基础，明确部门人员的业绩衡量指标，使业绩考评建立在量化的基础之上。8.支持丰富的图形展示

帕累托图亦称主次分析图，是从大量数据中找出主要因素，分析主要矛盾的一种图形。它是条形比较图和累计曲线图的结合，即以条形表示各影响因素的绝对值，以曲线表示各影响因素占总数的百分数和累计百分数。

帕累托法则认为，相对少量的原因通常造成大多数的问题或缺陷。该法则通常称为80/20原则，即80%的问题是由20%的原因导致的。帕累托图也用于汇总各种类型的数据，并进行80/20分析。

如上图是一个企业的费用支持分析，通过帕累托分析结果表明，主要的费用支出项目在礼品、奖金、酒店住宿机票，占到总体支持项目的一大半。8.支持丰富的图形展示通过柱形图实现排名分析8.支持丰富的图形展示

热图是用颜色代替了数字，最大值显示为鲜红色、最小值显示为深蓝色、中间值为浅灰色，这些极值之间具有相应的过渡（