工业物联网大数据平台建设方案

工业物联网大数据平台建设方案

、r"t-

刖吉：

工业物联网是将具有感知、监控能力的各类采集、控制传感器或控制器，以及移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大

幅提高制造效率，改善产品质量，降低产品成本和资源消耗，最终实现将传统工业提升到智能化的新阶段。从应用形式上，工业物联网的应用具有实

时性、自动化、嵌入式（软件）、安全性、和信息互通互联性等特点。

正文：

为什么有工业4Q?

21

工他20

+'买货AR心里比8惧0

■迷汾绻HIM、

A

什么是大数据2

所渭“大数据"，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合

理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。.

WlKIPLDlA

MtrntMtyhffjM

大数据处理技术代表了新Tt的技术架构，这种架构通过高速获取数据并对具进行分析和

挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息.毒IDC

—■AnalyzetheFuture

从大量数据中挖掘高价值知识是各界对于大数据的一个共识。

海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。

——Google首席经济学家Ha!Varian

大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实.

大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个

细节相融合，对企业产生新的价值.

工业大数据分析及应用的三个阶段

大数据特征：量（Volume）、速度（Velocity）、多样性（Variety）、真实性（Veracity）

工业大数据特征：大数据特征+可见性（Visibility）、价值（Value）

时间第一阶段第二阶段第三阶段

1990-20002000-20102010〜至今

核心技术远程监控、数据采大数据中心和数据数据分析平台与高

集和管理分析软件级数据分析_!：具

问鹿对象/价值以产品为核心的状以使用为核心的信以用户为中心的平

态监控，问题发生息服务，通过及时分式服务，实现r

后的及时处埋，帮维修和预测型维护以社区为基础的用

助用户避免故障造避免故障发生的风户主导的服务生态

成的损失险体系

商业模式产品为主的附加服产品租赁体系和长按需的个性化H服

务期服务合同务模式，分享经济

代表性企业和技术GMOnStar™阿尔斯通GEPredix平台

产品TrackTracerTM

互联网大数据与工业大数据的对比分析

I：业大数据待解决问题(3B)：

隐匿性(BelowSurface)；碎片化(Broken)；低质性(BadQuality)

互联网大数据工业大数据

数据量需求大量样本数尽可能全面地使用样本

数据质量要求较低较高，需要对数据质量

进行预判和修复

对数据属性意义的解读不考虑属性的意义，只强调特征之间地物理关

分析统计显著性联

分析手段以统计分析为主，通过具有一定逻辑地流水线

挖掘样本中各个属性之式数据流分析手段，强

间的相关性进行预测调跨学科技术的融合，

包括数学、物理、机器

学习、控制、人工智能

等

分析结果较低较高

准确性要求

>背景介绍

嗜工调查分析

录>平台建设

Contents

>云平台总体架构

>大数据平台介绍

>大数据平台应用

>模型算法介绍

工业大数据的核心是机器数据

专有机器数据流

工业4.0系统可以被看作是数据、

硬件、软件和智能的流通与互动.

从智能设备和网络中获取数据,然

后利用大数据和基于机器所在行业

的分析工具进行存储、分析和可视

化。最终的“智能信息”可以供决

策者（在必要时实时）使用，或者

作为各工业系统中更广泛的资产优

化或战略决策流程的一部分.

分析模型能信息

机器大数据的特点

实时深度分析

一个典型的大规模机器大数

基于复杂数值算法的实

据应用系统（如工程机械（物

时和历史分析

联网、：由气生产物联网、智

能电网、车联网、地质勖采

等），每天产生的数据量是

淘宝交易的10。倍，目要在

独特数据类型这些数据上实时做豆杂的领

机器产生的时间序列，-域相关分析

时空序列，或者数组阵

列数据,多种类型

工业互联网与大数据的作用

提升产品智能化

•产品的智能化是把传感器、处理器、存储器、通信模块、传输系统融入到各种产品

中，使得产品具备动态存储、感知和通信能力，实现产品的可追溯、可识别、可定

位。目前互联网汽车、工程机械、智能家电等是产品智能化的热点领域C

深入拓展行业应用

.工业互联网与大数据通过网络与企业管理平台连接，企业管理平台可以运用无线网

络、视频远程故障诊断等信息服务系统，远程监控设备的运转情况，并基于工业大

数据实现故障预警，有针对性地提供维修等服务，实现“服务型制造”。

工业互联网与大数据的特点

02

全要素全过程全方位

全要素就是说产品数据的数据的设计和使用，必

采购万物互联意识，关注企

完整性,它携带了全部的尺须要考虑跨越不同的设关注产品设计、制造、

业各业务的全面关联及

寸、工艺、制造、售后使计、制造阶段。使用等上下游信息。

融合。

用的信息。

大数据对企业的应用价值体现

技术高效、低成本

以技术驱动为标志，内

提升业务效率存计算、MPP、CEP...提升客户体验

自助分析、生产管道分而治之的分布式计算互联网化的电子渠道

可视化、资源解例随让运营荏实时高效决策.全景体验、个性化商

需而动，营销实时，品推荐、LBS位置营

以业务效率提升为标志.销、面向客户个体的

深度洞察

增强管理水平创新商业模式

数据集中到数据中心数据开放服务、租售数据、

,多数据源管理，透广告等新业务.

明服务支持，实时的

决策和预测能力提升

整体经营管理水平.

工业大数据云平台实现路径

产品数据化数据产品化

口将计算机的逻辑功能嵌入到机器上，用数□从海量产品数据中挖掘出对用户有价值的

据的方式描述机器制造和运行过程中产生信息，以直观，有效的表现形式，为用户

的大量信息。决策提供商业支持和服务

大数据处理的需求和特点

扩展性•增量式的、几乎无限的扩展

〉资雌中》瞎

分布式

可用性•要求系统总是在线运行

灵活性•灵活可动态改变的数据模型

＞背景介绍

＞调查分析

录＞平台建设

Contents

喑＞云平台总体架构

大数据平台介绍

大数据平台应用

模型算法介绍

云平台总体架构

SaaS

应用>laaS:提供基本的计算、网络

层和存储资源。

>PaaS:中间层，提供对行业业

PaaS呦开放植架2

服务务应用的支持C

标准服务接口业翁服务数据霰务数据处理算法服务

层FT>SaaS:向用户交付最终业务应

仓

数用和数据分析,

库

PaaS据

噂噩®业第3数据资共享数数据处理

管

业务融>PaaS环境层：为业务应用提供

源目录据治富去库

理

层合支撑的软件组件、包括各种中

间件和数据库等。以Hadoop

应用环境引掌礴大数据处理歌集群监

（中间件、消息队列、工作流（此处理.流处理监控

地控为代表的大数据处理。

调度、内存计管）八调度+

应用环境调度大数据环境调度运>PaaS业务层：包含了应用的后

维台程序，数据处理算法以及业

)

laaS（基琏基础设蟒TW务平台

设施层）提务数据等实现业务能力的元素。

>PaaS服务层：将业务层的业务、

鼻髀物，”MQ@a日日日竽。

虚拟计算环地物理计算环境存储环境网络环境算法和数据以接口的形式提供

给上层的前端应用直接访问,

平台核心：统一资源+大数据+开放服务

云平台总体架构介绍

面向一般数据中心典型的以PaaS能力为核心，将应

应用场景，提供对混合IT用系统的典型软件组件以

资源的统一接入，以构筑服务形态提供，为业务系

云模式下基础资源调度的统提供统一环境支持，并

最佳实践。进行统一管理和监控,

将大数据平台作为典型服为用户提供面向DevOps的

务组件整合到云平台中进统一云服务业务流程，以

行统一管理，以适应未来统一平台提供传统的laaS

应用对大数据能力的普遍和PaaS能力,并贯穿开发、

使用。测试和生产的全过程。

工业大数据平台一数据业务逻辑

星丽□«»|•*卜］中wa

苜

企亚数|«1

处fl!

且

rnuM能循构化trn曼

自

§

CRM.ERP救密科.批分析

・摊入

□数据源2数据管理

2数据接入4数据分析

大数据平台目标架构及定位

:数据采集（ETL）：

'负责源数据的采集.清i先、转换

精细化董酒智能运蓄应用商生物联网应包客服应用:和加锣向任.

应用层:1、把原始数据加栽到Had。。严

［招标应用|康丽］I!「专题分析］:台.

2、把加工后的数据加载分布式

数据库和主数据仓库

■此分历能力多蛭分析镭力贼g6同能力糅力分＜^的自助分妒能力秘豺I率能力

墟力展

：Hadoop云平台：

技黄铳T务和开放SQLFTP.WS.MDX、API.

：负责存储海量的流量话单数据，

i提供用亍的计物口非结期七数据

Hadoo基于X86平台:的处理能力，实现《氐成本的存储

:和啰寸延高并当的期）能力。

数据层分布式数据库（MPP）:

存储加工、关联、汇总后的业务;

数据，分布式计算，文学：

数据深度分析和数据挖标能力，

获取层向主数据仓库输出KPI和高度汇

总数据，

主数据仓库（与MPP台设）：

政行源存储指标数据、KPI数据和高度

jrastsg._______i

!®!ISraWS口：

：向大数据应用方提供大数据平台

i的能力.

大数据平台：数据分级存储

数据分级存储原则数据融合与分级存储实施

>数据生命周疝中在线数据对高性能存储的需求，--------------------------------------->

》将核心'模型（即中度汇总的模型）通过改造融入到现有

以及随着数据生命周期的变更，逐渐向一般性能主数据仓库的核心'模型中，减少数据冗余，提升数据质

存储的迁移，是分级存储管理的•条主线。同时量。

兼顾考虑其他分级原则，共同作用影响数据迁移上将堇数据仓库中的历史数据和清单数据迁移到低成本分

机制。布式数据库，减轻主数据仓库的计算与存储压力并支撑

深度数据分析。

分统眼财

1、核心模

型融入主

数据仓库

2、历史数

据迁移到分

布式数据库

工业大数据平台一技术架构

应

用资产管理/服务数据管理阑务数据分析数据安全

层

内存存储全文搜索NO-SQL

TSDB

大数RedisSearchSQL&APIHBase

据基

础算法分析引室工业灌数据实时分析分布系发离线计苴

技术文件引擎

平台ifi用搜索引擎通用SQL分析引擎

清惠修列

DATAAGENT

数

分

分

i系

据

DATACollector叠

采

s据

喈量数据导入批量数据口入

隽<--------I#传•协议a

TlkiS@CRM

数据采集一设备数据

■外加传感器

利用关键测量技术，将关键

勺邰传感器力睽于原有组件善

复杂装备上，实现设备

推力轴承

数据化；

9

*

■内置传感器噩［.

tnsj

利用设备内置传感器，解决

解析复杂装备原有工业方案*力E'蜡小

传输协议

加内检裔系统育发射犯”

统

数据采集—实时数据接入处理

实时轲斯告警左阿比对法警^间■口统it在拨tows费■Kafka/Flume

•F用于日志

数据/传感器数

据/用户行为数

据的接入

Hadoop分布式数据库内存数据库•业务系飨媚

库的增量实时

接入采用CDC

、binlog方案

,实现采用数

据库日志的方

式无负荷接入

数据采集一批量数据接入处理

Gobblin/Kettle/Sqoop

•支持到多种数据源，支持到各种关系型数剧叫MongoDB/HBas碍NoSQL

•支持也增量庖寸各种传四式

•采用ETL方式接入数据，甥§接入的过程中可1烦行清海口整合

技术架构解决方案

交互式查询实时在线处理

＞通常的时间跨度在数十秒到数分钟之间＞通常的时间跨度在数百毫秒到

-按数据维度进行统计、聚合数秒之间

-数据来源多,高并发、数据处理

-根据历史数据进行拟合和预测

量达

-计算数据之间的相关性和模式等

-分析结果快速响应

-适合提供高速在线分析服

＞典型应用场景

＞典型应用场景

-社交网络分析、关联关系分析

-政府各部门数据

-用户分类、用户行为预测

-证券交易

＞高并发查询

-银行保险

-按主键毫秒级检索

-企业ERP/CRM等

-按多维度秒级检索

A适用于数据量在GB到TB的高速数据分

析-按照关键字秒级检索

大数据平台：Hadoop主要功能

Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群

可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据

和计算的高可靠保证。

HDFS：分布式文件系统

有较强的容错性

可在X86平台上运行，减少总体成本

可扩展，能构建大规模的应用

・HBase:非结构化NoSQI分布式数据库

基于分布式文件系统HDFS,保证数据安全

列式存储，节省存储空间

提供大数据量的高速读写操作

・Hive:分布式关系型数据库

.数据可保存在HDFS,可提供海量的数据存

储

♦类SQL的查询语句，提供大数据的统计和

分析操作，适合海量数据的批处理

通过MapReduce实现大规划并行计算

・MapReduce:大规划并行计算弓摩

,可将任务分布并行运行在一个集群服务器

中

•技术基础研究方向

研究方向关键任务制片点

1）新型内存迭代数据挖掘算法

人数据2）数据挖掘可视化开发平台1）基于内存计算的机器学习算法

2）行业大数据深度机器学习模型

可视化挖掘3）房地产、金融、电信等机器学

3）大数据可视化挖掘

习模型研究

大数据1）基于内存的迭代算法研究1）基于大数据内存的il算技术

内存计算2）内存大数据高速统计分析技术2）国内产品领先

1）人数据自然语言识别

大数据语2）非结构化数据的知识发现、集大数据平台的可视化集成目前是空白领

义分析成技术域

1）大数据云计算.平台技术1）云BI技术及大数据平台的核心技术研

大数据咒

云计算技术2