人工智能概论（第2版） 课件第7章 大数据与云计算

第七章大数据与云计算——人工智能的资源和平台前导物联网、云计算、大数据和人工智能海量的数据通过物联网收集，然后存储于云计算平台，最后再通过大数据分析技术，甚至更高形式的人工智能技术提取和分析得到人类需要的信息。大数据的基础是物联网和云计算，人工智能的基础是大数据。人工智能的决策依赖于大数据的分析。目录大数据大数据的应用大数据的实训案例云计算融合发展大数据PART01什么是大数据谷歌数据中心谷歌搜索引擎不但可以存储用户搜索出来的所有网站链接，还存储了人们的所有搜索行为通过对大量数据分析，谷歌还可以预测人们接下来会采取怎样的行动，这种对大量数据进行捕捉、存储和分析，并根据这些数据做出预测的能力，就是我们所说的大数据。什么是大数据用现有的一般技术难以管理的大量数据的集合。大数据的规模庞大，处理的复杂性高，采用现有的数据处理系统都难以对其驾驭。大数据的级别是PB/EB级别，1PB=1024TB、1EB=1024PB、1ZB=1024EB大数据从哪来？企业生产：工业设备、智能制造、仪表仪器等都可能产生数据人类的衣食住行：网上消费和购物、发送邮件、用手机上网聊天、发表博客、浏览网页等等社会运行：交通摄像头、监控，银行资金流水，公交运营记录，物联网中产生的等等大数据的作用？电商企业通过数据分析了解，用户通过点击站内广告最终购买产品的比率较高获得有价值的信息，以数据来驱动企业业务，为社会提供发展动力。超市的产品供应商可以利用植入购物车中的IC标签，来收集顾客的行动路线数据，通过与商品销售数据相结合，从而分析出顾客买或不买某种商品的理由。大数据的特征主要具有四个特征：数量（Volume）、种类（Varity）、速度（Velocity）和价值（Value），简称4V，即庞大的数据量、丰富的数据种类、极快的数据处理速度和巨大的商业价值四个特征。大数据的处理流程在合适工具的辅助下，从实际业务系统中采集数据，并将结果按照一定的标准进行存储，然后利用合适的数据分析技术对数据进行预处理和分析，然后将分析后的数据建立数据模型，进行人工智能识别，最后将结果进行可视化展示给终端用户。大数据的处理流程——数据采集数据采集是指从传感器、智能设备、仪器仪表、企业在线系统、互联网平台、移动互联APP、RFID射频等数据源获取数据的过程。大数据的处理流程——数据预处理现实世界采集的数据存在不完整性（遗漏）、含有噪声（错误）、数据不一致、数据质量不高等问题。而在使用数据时要求数据具有一致性、准确性、完整性等特性。因此在使用数据之前要对数据进行处理，即数据预处理。大数据的处理流程——数据存储将海量的、来自前端的数据经预处理后，快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的、集中的海量数据进行查询、分类和汇总，以此满足分析需求。大数据的处理流程——数据分析与挖掘数据分析与挖掘是整个大数据处理流程的核心，只有通过数据分析与挖掘才能获取更多智能的、有价值的信息。依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术大数据的处理流程——数据展示大数据的应用PART02大数据的实训案例PART03云计算PART04什么是云计算云计算（CloudComputing）是一种按使用量付费的新型互联网商业模式，这种模式可以为用户提供可用的、便捷的、按需的网络访问，可按需提供给用户网络计算资源。云计算是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）、热备份冗余（HighAvailable）等技术发展融合的产物，通过网络将大量分布式计算资源集中管理起来，实现并行计算，并通过虚拟化技术形成资源池，为用户提供计算资源按需、弹性分配，极大提高了IT资源的效能。云计算的特征按需自助服务客户可以根据业务的需求，自主向云端申请资源无处不在的网络接入通过互联网访问云资源，不受地理位置的限制，可以随时随地接入云平台与位置无关的资源池客户一般无需知道资源的确切物理位置，只需要根据自身的需求申请相应的资源。快速弹性现有资源需要调整时，只需要向服务提供商增加或者减少租赁资源按使用付费云计算商业模式IaaS（Infrastructureasaservice）基础设施即服务案例1：采用阿里云平台来申请一台服务器资源，要求2核CPU，2G的内存，40G的系统硬盘，连接此服务器的带宽是1Mbps。云计算商业模式PaaS（Platformasaservice）平台即服务案例2：在华为软件开发云平台上申请Mysql数据库服务器，其软件版本为Mysql5.7,服务器为2核CPU8G内存，最大连接数数为2500，存储空间为500G，并设置数据库密码为Qdjsj@308。云计算商业模式SaaS（SoftwareasaSer