大数据云计算人工智能与应用实践

刘鹏教授2大数据现象大数据现象200001500010000500003500030000250003050161

280

540800

1200

1800790035000新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本大数据产生原因来自“大人群”泛互联网数据来自大量传感器的机器数据行业内容数据多结构专业数据：大数据赋予我们洞察未来的能力未来制造业要的不是石油，最大的能源是数据。和板蓝根精确彩铃邮箱游戏3.292.29WAP总站3.56彩信精品盒实施精确

与否的

效率对比彩信生活2.7140％售成30％率功销

20％

2.8310％2.

95信用实时态势12云计算的

思想文件系统(GFS)客户端互为备份管理节点GFS主节点GFS主节点C0C1C2C5数据结点1C0C2C5数据结点NC1C5数据结点2…客户端客户端客户端客户端C1由于数据中心和

通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的

影响。到2020年，数据中心将消耗的电力资源，比法国、德国、 和巴西目前消耗的电力总量还要多。绿色和平组织的报告绿色云计算风力传，AtlanticWind

Connection(输，AWC)计划。总成本约50亿将提供该计划37.5%的In

能面板阵列充分吸能可以产生10千瓦的电力，为数据中心提供部分的电力。海上数据中心云计算给用户体验带来的小小终端=超级计算机更加智能的服务如影随行的私人数据中心服务器

不会塞车90%

Off

的价格信息随手可得302016年

AlphaGo比赛成绩表AlphaGo3月09日103月10日103月12日103月13日013月15日10【赛前】AI专家：还需要10年：“计算机战胜

的可能性不到百分之五。”（3月7日）：若机器和人比赛围棋，我认为机器是一点机会没有的。我对人工智能有极大的怀疑，都是

！围棋，电脑绝不可能战胜人类！：除非出现不可理喻的低级

，否则我绝不会输。人工智能向人类发起

，还属起步阶段。：“5个九段一起上或许能赢”：“AlphaGo全局几乎完全零

。”：“

围棋确实是有史以来我见过最强大的对手！”DeepMind

CEO

DemisHassabis。DeepMind于2014年1月被

4亿

收购4岁开始下国际象棋，8岁开始思考2个问题：1）大脑是如何学习掌握复杂任务的；2）计算机能不能效仿？提前两年完成高中学业。17岁时，

了经典的模拟游戏ThemePark的开发工作。然后他继续在

大学完成了计算机科学的2005年，他开始在伦敦大学学院开始攻读神经科学博士现年38岁给定s，算出最好的a如何评估所有可能的落子点？围棋落子的可能性为10171，宇宙原子总数为1080关键：减少搜索空间（1）跟专家学习（1）跟专家学习（1）跟专家学习（1）跟专家学习策略网络（2）跟自己学习（2）跟自己学习（2）跟自己学习（2）跟自己学习（2）跟自己学习（2）跟自己学习方法2：态势评估（深度缩减）如果有个函数V(s)能够对棋局的好坏程度进行判断方法2：态势评估（深度缩减）策略网络价值网络方法3：快速探索人类的大脑并不是一开始就能处理一些复杂的问题，而是由外界刺激决定了神经网络的生长，各种信息刺激了脑部发育，脑内的神经元之间不断重组，连接，形成更复杂的神经网络，使渐渐具有其他的活动能力。3w,bh

(x)

=

fi

iw

x

+b

i=1第l层第l

-1层hw,b

(x)zi1w2ww31aa2a3aibBiasbBias输入

和激活值aiai

=

f

(zi

)sl

-1多层神经网络示意图l-1si

j

jj

=1z

=

w

a

+

bai

=

f

(zi

)未来学家尔在《奇点》一书中认为，人工智能的进步会不断加速，聪明的机器会设计更聪明的机器，这种自我强化最终会导致人工智能达到一个“奇点”，成为远远超出人类智能水平的一种存在。阿兰国逝世60那天，在英学会举行的“2014

测试”大会上，聊天程序”“尤金·古（EugeneGoostman）首次通过了

测试。深度互联人工智能+66cStor云cTrans云传输c云主要参数指标：产品型号技术规格外形规格mini

ITX（170mm×170mm）处理器In Micro

Server

S1269，TDP

11.7W内存DDR3,8GB

ECC,SODIMM,1333MHz接口支持16个SATA

2.0/3.0盘位网络模块2路千兆以太网口操作系统Linux

Fedora

17

(Core

3.8.4)管理系统支持IPMI、iKVM、vMedia（可选配）电源系统ATX电源接口，单板功耗25W工作环境工作温度：10℃～40℃，每小时变化＜10℃相对湿度：8%～90%（非凝露、非结霜）功耗25WCSTOR云系统工作原理正面背面cStor云cTrans云传输c云用例数据量耗费时间结果集用例454.4亿，6.225TB毫秒条用例454.4亿，6.225TB毫秒条用例454.4亿，6.225TB毫秒条select

t.tmnl_task_id,

t.terminal_id

from

e_mp_power_curve

p

,

a_tmnl_task

t,a_tmnl_task_obj

o

where

p.data_date=to_date(

?

,

’yyyymmdd')

and

(instr(substr(DATA_WHOLE_FLAG,0,96),

'0')

>

0

or

instr(substr(DATA_WHOLE_FLAG,0,96),

'4')

>

0or

instr(substr(DATA_WHOLE_FLAG,0,96),

'9')

>

0

)

and

t.task_id

=

?andt.tmnl_task_id

=

o.tmnl_task_id

and

o.obj_id

=

p.id英特尔

的硬件平台和管理技术英特尔E5系列CPU英特尔服务器组件D

enterManager能耗管理云创

自主知识

的软件架构分布式文件系统cStor/HDFS分布式数据库D

ube任务执行引擎TaskMaster数据立方云计算

管理系统大数据处理利器，极具突破性的整柜解决方案cStor云cTrans云传输c云特征提取图像质量分析图像拼接检测类火焰检测目标智能分析

技术类图像处理类统计类人员行为检测烟雾检测人流量统计人员密度分析车流量统计人或车的越界检测人流量检测可疑遗留物检测车辆逆行检测物品保全侦测人脸识别DNA技术目标运动DNA序列生成DNA可视化图谱cStor云cTrans云传输c云0.01%0.05%0.1%0.1%0.5%10008006004002001102004001000800600400200Throughput

(Mb/s)Throughput

(Mb/s)100Round

Trip

Time

(ms)网闸光闸逻辑

、双向通信通过逻辑配置实现低密网与高密网之间数据交换。物理

、单向光传输将信息从低密网（公网）单向可靠传输到高密网（内网/专网）。106平安城市智能交通0点至18点：车GPS表入库数据量:40,063,456条出租车GPS表入库数据量:38,188,940条320

TE表入库数据量:6,360,063条320RFID表入库数据量:2,810,675条平安城市智能交通云平计算台环保物联网微型空气站企业排放监测敏感点监测常规空气站实时污染溯源精准云计算平台网格113精细化预报发布服务运营服务设备管控质控与优化总体架构大数据应用生态亮点单因子微型空气站6+因子微型空气站环境猫设备小巧支持联网无需更换精准机制价格低廉检测因子：PM2.5温度湿度10+因子空气质量连续监测仪10多种指标自动连续监测1000+因子小型空气站（光谱分析仪）1、DOAS：基于

-

定律，利用差分吸收光谱技术。2、开放光程：为了增加对污染气体的感知能力，采用了较短距离的开放光程，既突破了传统“点式”监测

数据的局限性，又改进了“线式”监测精度的不足。3、光纤接入：光源和光谱仪都采用光纤接入，使仪器内部与外界环境隔绝，可增强对外界环境的抵抗能力，保证了光谱仪的长期可靠运行。4、宽带光源：光源的光谱范围涵盖紫外、可见、红外，能检测多种气体。

5、微型光谱仪：采用全息光栅作为分光器件，杂散光低，提高了测量精度。以CCD（电荷耦合器件）、CMOS

（互1000+因子小型空气站（光谱分析仪）非色散：NDIR色散：FTIR1000+因子小型空气站（光谱分析仪）红外光谱图：纵坐标为吸收强度，横坐标为波长λ

(mm)和波数1/λ(cm-1

)应用：有机化合物的结构解析。定性：基团的特征吸收频率；

定量：特征峰的强度；高精度纳米传感器激光-金属SPPs与被测物质的互相作用SPPs传感器监测特定物质SPPs传感器输出信号强度与被测物质信息的相关特性基于纳米的生化传感器产品结构领军科学家12Rahachou

Aliaksandr白俄罗

家白俄罗斯

国立大学校长中国国家外专局高端专家相间过程弛豫-扩散理论的创始人纳米聚合物和无机复合膜、多层膜体系的物理化学学派创始人。金属原子、有机分子物性及固体表面相变机理和理论的开创者。学术

500篇以上，学术专著5部，专利和发明70多项。高端人才团队12沈大为-外

监德克萨斯理工大学计算机科学专业硕士在

工作20多年，包括AT&T和Verizon-技术总监大学电子工程博士曾在

机电研究院担任高级工程师在

冈山大学担任研究员；在 工作20多年·A·

乔夫-技术专家白俄罗

立交通大学化学物理博士白俄罗

立交通大学副教授、副研究员；白俄罗家科学大奖获得者·-专家顾问白俄罗

家

通讯

，被总统授予“白俄罗

家功勋科学家”。相间过程弛豫-扩散理论的创始人，是聚合物和无机复合膜、多层膜体系的物理化学学派创始人。高精度纳米传感器聚苯胺-金属银纳米复合薄膜传感器溴化铜纳米

传感器波导激光等离激元传感器反应速度快1分钟以内稳定性好稳定性95%灵敏度高ppm量级1.5cm高精度纳米传感器基于纳米金属复合薄膜的小型化集成化低成本化传感器研发Sample

holderExperimental

dataInterdigital

electrode

withCuBr

coatingsDeposition

process传感器的大数据校准126数据上传使用流程NB-IoT模组工业园工监测—点式监测指标：SO2、NOX、O2、CO、HCL、HF、CH4、烟尘、流速、温度、压力、湿度等；工业园工监测—线式工业园工监测—网格式工业园工监测—面式工业园区监测平台服务器重建和应用加载时间长硬件

费时费力运营

成本高等虚拟资源池集成的计算,内存,&网络灵活的结构连线,动态装配,始终可预知的基础设施运营环境使能共享服务管理能源消耗跨系统与跨设备的智能能源消耗服务请求传统建设模式

的问题：服务交付服务器利用率较低云平台建设，将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、空间和各种软件服务。云平台---基础硬件云平台---基础硬件云计算大数据深度学习cProc云处理平台A8000云

系统深度学台云平台---基础软件环境质量状况，发环境质量：动态监测现周边污染来源云平台共性软件统一的接口服务一张图展示统一的大数据管理实时实时实时显示网格化部署的所有监测站点基本信息、实时数据、趋势曲线实时污染过程演化实时公众AppGIS地图实时数据统计趋势分析深度循环神经网络（DRNN-deep

recurrent

neural

network）精细化预报精细化预报PM2.5浓度（P风速（WS）风向（WD）温度（TEMP照度（SUN）湿度（HUM）雨（RAIN）精细化预报污染溯源一级网格网格长：

书记、市长二级网格三级网格四级网格网格员：副网格长：区长/县长网格员：副区长/副县长网格长：乡镇长网格员：居委会、村委会网格长：居委会、村委会网格员：居委会、村委会委员大气污染防治专职网格监督员检查汇报组织管理体系问题发现、处置机制考核评价机制精准网上咨询服务违法

信息典型违法案例分析重点

企业排放信息空气质量信息企业自律信息环保政务环保政务政务考核结果信息机动车检测信息网上

政策宣传、审核信息通知、通告APP发布服务•子系统NH3浓度分布图SO2浓度分布图HCL浓度分布图子系统H2S浓度分布图一企一档展示子系统江苏省固定风险源系统平安城市智能交通以观测为例，如果密集观测网，加上物联网的数据，如果依照传统学的角度来看，这些数据量大、纷杂、、无法使用、无法处理，甚至根本和“无关”，但是这就是所谓的“全量数据”也就是大数据。数据的纷繁杂乱才真正呈现出世界的复杂性和不确定性特征，想要获得大数据的价值，承认而不是对抗或避免才是一种可行的路径。如微软的数据库设计专家

Pat

and所言：“我们再也不能假装活在一个齐整的世界里。”“传统的数据，是小数据。”

—前兆异常度的研究表明：前兆是和构造体有关的，它们是相关联的。与纷繁复杂的前兆现象是相关联的Hi-net观测点的处理方法“着未着法”从“复杂算法”到“简单算法”小数据时代，在数据的限制无法突破的情形下，数据处理算法的研究越来越深入，发明的算法越来越复杂。当数据量以指数级扩张时，原来在小数量级的数据中表现很差的简单算法，准确率会大幅提高；大数据的简单算法比小数据的复杂算法更有效。大数据时代，我们不再受限于传统的方式，我们得到的是“是什么”，这就足以做出快速的决策与行动。因为机会和价值很快就会被刷新。从“审慎的决策”到“快速的决策”小数据时代，通过收集和分析数据来验证这种假设；如果有一些数据有问题，就影响原有假设，决策与行动是审慎的。宫城县.5级年

月

日震后3分钟最快从大数据获取效益的，是应急快速响应数据服务12月6日景谷5.8和5.9级强余震之后互联网数据加州ShakeAlert网东北9.0级大数据管理与共享平台日本3·11“Earthquake

Early

Warning”“地震

或警报”用户采取措施居民避难个人终端、

报备收到信警息公共通信发布信息仪监测并及时处理，传达至震波传达相关部门震源仪1234A部署带传感器的网络机顶盒B通过网络把传感器的数据传送到数据中心数据中心接收到大量传感器数据，根据数据挖掘的模型判断是否是，触发。强震训练模型弱震训练模型采用因果关系范式前兆异常度平安城市智能交通用看青奥24201612840公环教智安交电广地石其安保育慧防通力电震油他行行行城行行行行行行行业业业市业业业业业业业1900.3512.85120.8512103487.5705003000250020001500100040003500201120122013201420152016云创大数据净利润增长单位：万元1921931942014年合作伙伴大会2015年合作伙伴大会195通过ISO9001质量体系认证江苏省高新技术企业江苏省软件企业省高新技术产品认定省信息产业协同研发创新技术中心“AAA”级资信等级江苏省标准化编委197198《大数据实验手册》内涵42个大数据实验，每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导，涵盖原理验证、综合应用、自主设计及创新的多层次实验内容。本书适合作为相关专业本科和

，高职高专学校也可以选用部分内容开展教学，同时也可作为大数据研发人员和

者的学习和参考资料。《实战Hadoop》第一版于2011年9月，是国内第一本Hadoop编程书籍，经过5年的精心准