《大数据导论》课件 第2章 大数据相关技术

第2章

大数据相关技术演讲人2024/12/24目录2.1云计算与大数据2.2人工智能与大数据2.3物联网与大数据2.4小结012.1云计算与大数据ONE2.1.1云计算的基本概念云计算是一种提供存储和计算资源的网络，用户能够随时获取“云上”资源，按需求量使用。在用户视角下，存储和计算资源可以看成无限扩展，按照使用时长、数量付费。因此，“云”就像自来水厂一样，用户能够随时使用水，不限定时间、用量，只需要按照使用量付费给自来水厂。云计算实现了通过网络提供可伸缩、廉价的分布式计算能力，用户仅需接入互联网，即可随时随地获取所需的各类存储和计算资源。云计算代表了基于虚拟化、低成本、动态可扩展的基础网络应用设施，目前已经广泛应用到各行各业。2.1.1云计算的基本概念1.云计算的提出云计算的概念发源于20世纪60年代，斯坦福大学计算机教授约翰•麦卡锡（JohnMcCarthy）在讲座中提到“计算机将会变成一种公共资源”，同时代的道格拉斯•帕克希尔（DouglasParkhill）在著作《计算机效用变革》中将计算机资源类比为电力资源，并提出了私有资源、公有资源、社区资源等概念，这些概念在云计算的应用中沿用至今。现代云计算诞生于20世纪90年代末的互联网大潮。1997年拉姆纳特•切尔阿帕（RamnathChellappa）教授在演讲中首次提出“云计算（CloudComputing）”概念；2006年8月，GoogleCEO埃里克•施密特（EricSchmidt）正式定义了“云计算（CloudComputing）”概念，推动了云计算的商业化应用。2.1.1云计算的基本概念1.云计算的提出在云计算的商业化应用中，1999年成立的Salesforce公司被公认为云计算的先驱，其主要业务是面向企业客户销售基于云的“软件即服务”产品。2006年，Amazon公司推出了商业化云计算产品“亚马逊网络服务AWS”，其中重要的产品为“弹性计算云EC2”，是业界首款面向公众提供基础架构的云服务产品。继AmazonAWS产品以后，各类云计算产品层出不穷，不但包括Microsoft、Google等互联网巨头构建的云计算产品，还包括国内互联网巨头构建的阿里云、腾讯云、百度云以及京东云等产品。表2-1给出了云计算发展简史。2.1.1云计算的基本概念1.云计算的提出表2-1云计算发展简史2.1.1云计算的基本概念云计算的定义广义上来讲，云计算是信息技术、软件和互联网相关技术提供的共享服务，这种服务将存储和计算以“共享池”的方式提供，并命名为“云”。云计算整合了存储和计算资源，并通过软件实现自动化管理，只需要投入较少的管理资源，即可提供大规模的资源共享服务。在互联网的流通中，云计算像普通生活中的水、电、煤一样，可以自由、方便的随取随用，且价格较为低廉。实际上，云计算的概念较为抽象，且近几年发展快速、并趋于完善，迄今为止并没有一个标准的定义，各类知识图谱中均给出了关于“云计算”的概念定义：（1）百度百科：云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统，处理和分析这些小程序，并将结果返回给用户。2.1.1云计算的基本概念云计算的定义（2）维基百科：云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按照需求提供给计算各种终端和其他设备，使用服务商提供的计算机基础设施作为存储和计算资源。（3）云计算安全联盟（CSA）：云计算的本质是一种服务提供模型，通过这种模型可以随时、随地、按需地通过网络访问共享资源池的资源。资源池中的资源包括计算资源、网络资源、存储资源等，这些资源能够被动态地分配与调整，在不同用户之间灵活划分。符合这些特点的互联网服务都可被称为云计算服务。2.1.1云计算的基本概念云计算的定义（4）美国国家标准与技术研究院（NIST）：云计算通过网络构建了便利、按需付费的计算资源获取方式，包括网络、服务器、存储、应用和服务等。这些资源来自共享、可配置的计算机资源池，且能够以最小的管理代价或服务提供商交互的方式快速获取资源。总之，云计算并不是一种全新的网络技术，而是全新的网络应用概念，其核心概念是以互联网为中心，为用户提供快速、安全的存储服务和计算服务，让每个互联网用户都能够使用庞大的计算资源和数据中心。2.1.2云计算的基本要素与优势1.云计算的基本要素NIST为云计算定义了NIST800-145标准，该标准定义了云计算的五大基本要素：自助服务、网络分发服务、可衡量服务、资源灵活调度以及资源共享池。图2-1给出了NIST提出的云计算要素示意图。在NIST的标准中，云计算按照服务模式可以分为：基础架构即服务（IaaS），平台即服务（PaaS）以及软件即服务（SaaS）三个类别；按照部署方式可以分为：公有云、私有云、行业云和混合云四个类别。

NIST800-145标准被业界普遍接受，主要原因是该标准建立了云计算的五大基本要素，简洁地说明了云计算的基本特征。通过云计算的五个基本要素可以很容易区分云计算服务和普通信息化服务，具体基本要素的内容为：2.1.2云计算的基本要素与优势1.云计算的基本要素图2-1NIST提出的云计算要素示意图2.1.2云计算的基本要素与优势1.云计算的基本要素（1）自助服务：云计算为用户提供自助的资源获取服务。自助式服务充分发挥了云计算架构强大的运算能力，保障用户获得高效、便捷的体验。例如：基于腾讯云的在线会议系统，用户可以自助的选择会议类型、设置参会人数，上传会议资料等。当会议开启后，腾讯云服务器将参会人员连接到虚拟的在线会议室。腾讯云并不需要人工干预流程，所有服务细节需求由用户决定。不同于腾讯云方便快捷的资源服务，传统多方会议服务需将分散的终端机房统一集中到中心机房，软硬件设施较为僵化，需要人工划分、分配资源。（2）网络分发服务：基于互联网分发服务，能够打破资源使用的地理位置限制，打破硬件部署环境的限制。云计算实现了只要接入网络就能享受计算资源，革命性地改变了计算机的使用习惯。以文档编辑为例，基于金山云的WPS在线文档编辑，仅需使用者通过手机、电脑或平板等终端登录后，即可进行在线的文档编辑。共享式WPS文档提供了Word、Excel、PPT等常见文档编辑功能，不再需要购买和安装Office类软件，仅需通过Web浏览器即可办公，且文档还支持多人协同编辑，极大地提升了工作效率。2.1.2云计算的基本要素与优势1.云计算的基本要素（3）可衡量服务：成熟、稳定的云计算平台，能够实时跟踪用户对于存储、CPU和网络带宽的需求，通过后台的实时分析给出量化指标。根据量化指标，云平台运营商能够快速进行后台资源的调整与优化，从而为用户提供弹性云服务，提升资源使用效率，降低资源使用成本。（4）资源灵活调度：实际上，云平台的存储、计算资源被虚拟成“云”，云计算提供商能够快速将新设备添加到“云”上，以满足不同客户日益增长的资源需求。基于用户视角，只需要根据资源使用按时付费，即可获得几乎无限的资源提供，云平台的资源调度非常灵活。例如：基于阿里云、腾讯云的应用能够满足用户不断增长的资源需求。在腾讯会议或钉钉会议中，已经同时召开过千人级别的全球视频会议，还能够支持更大规模的多方视频会议。2.1.2云计算的基本要素与优势1.云计算的基本要素（5）资源共享池：云计算平台的计算资源“存储、CPU和网络带宽”通常被称为“资源共享池”。资源共享池是将所有设备的存储、计算能力放在资源池中，并进行统一的资源分配。当用户发出资源请求时，即可直接从资源共享池中为其分配资源，所有用户都“共享”地使用资源池中的所有资源。NIST云计算五大关键要素非常形象地提炼了云计算模式的基本要素，在绝大多数成功的云计算服务中，都能很容易地感受到五大基本要素。例如：AmazonAWS的EC2云计算产品，其所提供的资源服务可以直接在网站上自助开通，通过网络分发为用户提供共享的资源服务，用户可直接在EC2后台中查看计算资源使用情况。此外，EC2提供了一个用于云计算资源“负载均衡”的资源调配系统，能够满足瞬息万变的用户需求。这些基本要素将EC2塑造成了优秀的云计算服务提供商，也界定了优秀云计算服务的基本特点，成为后续云计算服务争相模仿的对象。2.1.2云计算的基本要素与优势2.云计算的优势云计算问世接近20年，截止到2018年，根据国际数据集团（IDC）的数据统计显示，69%的信息化企业已经采用了云计算资源服务，18%的信息化企业计划在未来采用云计算资源服务。云计算服务拥有如下的六大优势：（1）超大规模：“云计算”能够为用户提供前所未有的存储和计算能力。统计数据表明，截止到2023年，Google云服务一共拥有24个数据中心，分布在包括北美洲、欧洲、亚洲和南美洲等全球范围，Amazon和Yahoo等云服务提供商均拥有几十上百万台服务器。国内的阿里云与腾讯云走在了云平台建设前列，在世界各地为云平台构建了数据中心，图2-2给出了腾讯云建设的印度数据中心。2.1.2云计算的基本要素与优势2.云计算的优势（2）虚拟化：云计算支持用户在任意位置、任意时间采用各类终端设备获取服务资源。用户所请求的资源来自虚拟的“云平台”，而不是实物物理硬件，用户的应用程序则在虚拟“云平台”上的某个节点上运行。实际上，用户无须了解应用程序的具体运行位置，直接通过网络获取虚拟化的服务。图2-2的印度数据中心2.1.2云计算的基本要素与优势2.云计算的优势（3）敏捷性：云计算为用户提供全面的基础工具和操作系统，用户可以根据需要快速启动资源，从云存储、云计算、数据库到物联网、大数据分析等业务，都可以快速、自由的试验，具有较高的敏捷性。（4）弹性可扩展：云计算具有理论上无限制的存储和计算资源，用户无须为日后高速增长的业务而过度预置资源。弹性伸缩服务是云平台的重要功能之一，通过策略自动调整业务资源服务，保障按需调整云服务资源。表2-2给出了云平台弹性伸缩服务的典型应用场景。2.1.2云计算的基本要素与优势2.云计算的优势表2-2云平台弹性伸缩服务的典型应用场景2.1.2云计算的基本要素与优势2.云计算的优势（5）数据安全：数据安全是政府、企业等云计算用户的重要需求之一，云平台提供了许多高级安全功能，确保数据得到安全的存储和处理。一方面，通过联合角色进行精细权限和访问管理，限制不同角色对敏感数据的访问权限；另一方面，通过大数据分析实施基线保护，例如：身份验证、访问控制和数据加密等。（6）高可靠性：可靠性是众多云计算应用的另一个重要需求，云平台采用数据副本容错、计算节点重构、日志回滚等措施构建了高可靠性，用户可以灵活实现数据的备份和恢复。2.1.3云计算的体系架构云计算的体系结构可以通过两种方式划分，一是基于服务模式划分为三个类别；二是基于部署方式划分为四个类别。2.1.3云计算的体系架构1.云计算的服务模式云计算提供如下三种服务模式：（1）基础架构即服务（IaaS）：早期最基础的云服务为虚拟主机（VirtualMachine），随着计算机技术和互联网技术的发展，基础服务被拆分为CPU、存储、网络和数据库等基础云产品，实现了整个云计算的基础架构。IaaS允许用户进行灵活组合，实现弹性计费。（2）平台即服务（PaaS）：PaaS指的是基于IaaS提供的编程语言、库和开发工具，创建应用服务平台，即将本地环境中的开发服务平台迁移到云端。常见的开发平台服务包括：提供音视频、短信和邮件的通信服务，提供地图、定位和导航相关的地理信息服务，提供面向人工智能开发者的数据标注以及模型训练服务等。2.1.3云计算的体系架构1.云计算的服务模式（3）软件即服务（SaaS）：SaaS是为用户提供基于IaaS和PaaS构建的应用程序，即将本地环境中的信息应用系统迁移到云端。常见的软件应用服务包括：办公协同系统、企业OA系统、财务报销系统以及销售CRM系统等。随着5G网络的普及，我国率先进入大数据与人工智能时代，自动驾驶、工业互联、云医疗等场景的兴起，对基础设施的要求越来越高，云计算的服务模式也越来越清晰。表2-3给出了三种云计算服务模式的特性对比。2.1.3云计算的体系架构1.云计算的服务模式表2-3三种云计算服务模式的对比2.1.3云计算的体系架构1.云计算的服务模式为了加深读者对云计算服务模式的理解，以下用一个“比萨饼服务平台”案例进行形象的比喻，如图2-3所示。（1）如果不使用外界资源，完全自制比萨饼，则需要您准备所有的器具和原材料，并自己完成制作的全过程。这相当于所谓的“传统架构”（没有应用云计算服务），自己不但要掌握全部的技术方法，还需要准备所有的资源。（2）如果从“比萨饼服务平台”上订购制作比萨饼的原材料，自己准备制作的器具并完成制作的过程，这相当于应用“IaaS架构”的云服务，自己要掌握制作技术，但基础原料由服务商提供。2.1.3云计算的体系架构云计算的服务模式03（3）如果在“比萨饼服务平台”上请了一位面点师上门制作，他不但准备了原材料，还负责制作过程。而您甚至不需要准备制作的器具，只需要备有苏打水和桌子，这就相当于应用了“PaaS架构”的服务。04（4）如果在“比萨饼服务平台”上直接购买了比萨饼，则您要的产品全部由服务商提供，您只需要根据自己的需要付费使用即可，这就相当于得到“SaaS架构”的服务。2.1.3云计算的体系架构1.云计算的服务模式图2-3基于“比萨饼服务平台”理解三种云服务模式2.1.3云计算的体系架构2.云计算的部署方式云计算提供如下四种部署方式：（1）公有云：公有云指的是第三方提供商为用户提供的公开云服务，通过互联网接入使用，核心属性是共享资源服务。公有云以低廉的成本，提供有吸引力的服务，为用户创造新的价值。公有云面向普通大众，隐私安全性低于私有云，但是其作为支撑平台，能够整合上游服务提供者和下游服务用户，打造新的价值链和生态系统。（2）私有云：私有云指为特定用户构建的云计算平台，能够为用户提供高质量的服务，提高数据和资源的安全性，其核心属性是专有资源。私有云不但可以部署在企业数据中心的防火墙内，还能够部署在安全主机托管场所，提供了远高于公有云的隐私安全性。2.1.3云计算的体系架构2.云计算的部署方式（3）混合云：无论是公有云还是私有云，在服务场景中都存在一定的限制。混合云融合了公有云和私有云，是云服务的创新模式和发展方向。云服务用户既想将私密数据存放在私有云中，同时又希望获得公有云的计算资源。这种情况下，需要将公有云和私有云进行融合、匹配使用，以期获得更具个性化的云服务方案。（4）行业云：行业云是面向某个行业构建的共享云端基础设施，支撑特定行业的资源服务需求，这类云服务一般建立在混合云之上，通过云服务共同构建行业服务，其中面向政府的重要应用场景为“政务云”。【案例2-1】“人民党建云”政务云平台。2.1.3云计算的体系架构2.云计算的部署方式2014年3月，人民网中国共产党新闻网推出“全国党建云平台”栏目，搭建了“云信息、云服务、云管理”的新型党建宣传模式，形成以全国党建云平台为主体，中央和国家机关、国企、非公、高校四个子平台为辅的“一体四翼”发展模式，逐步建成覆盖全国的党建综合信息平台。经过近八年的发展，截止到2021年底，全国党建云平台已经有超过10万个入驻单位，涵盖了党委、政府、企事业单位、社会组织等各类组织。全国党建云平台是党建工作的重要信息化平台，通过云计算等新技术，实现党建工作的智能化、信息化和网络化，为党建工作提供强有力的支撑和保障。在全国党建云平台上，各级组织可以开展党建工作的各类活动，具体包括：2.1.3云计算的体系架构2.云计算的部署方式（1）网上支部：随时随地开展网上支部会，会议过程中党员可通过文字、语音、图片等形式记录学习情况，形成完整的会议记录。此外，党组织也能够随时检索党员在组织中的生活记录，通过大数据与人工智能技术，解决异地会议、三会一课留痕、会议记录造假等问题，为党组织评价提供有力的证据。（2）组织生活：通过图文、视频等形式在线上开展组织生活。党员之间评论打分，与工作考核任务绑定，构建了自动化、流程化的考核分析，实现看得见、可量化的党建工作。（3）积分排行：搭建党组织的积分系统，通过排名方式激励党员学习、分享和活动，充分调用党员工作的积极性。（4）工作考核：将党组织和党员的考核工作搬上“云端”，打造在线的党组织任务布置、党员完成考核的全流程，便于纪委监督随时了解情况，实现党建工作向基层延伸。2.1.3云计算的体系架构2.云计算的部署方式国内最大的云计算服务商为阿里云和腾讯云，为各类企业和个人提供公有云服务。除此之外，华为云、金山云、百度云、天翼云等属于第二梯队，为中大型企业定制私有云服务。电信和海康等企业则主要进行基于混合云的行业云建设，主要应用产品包括政务云等。表2-4给出了四种云计算部署方式的对比。2.1.3云计算的体系架构2.云计算的部署方式表2-4四种云计算部署方式的对比2.1.4云计算的核心技术云计算的核心技术包括虚拟化、分布式存储及计算、并行编程和云安全等，下面对核心相关技术进行简要介绍。2.1.4云计算的核心技术1.虚拟化技术虚拟化是云计算最重要的特征之一。虚拟化技术将实体存储和计算资源予以抽象、转换后呈现出来，打破了实体资源不可切割的屏障，使得物理单元和逻辑单元解耦，用户能够通过更好的方式使用存储和计算资源。云计算上的虚拟化技术解决了资源使用的诸多瓶颈：01（1）服务器整合：物理服务器的性能瓶颈受限于单台服务器，没有虚拟化技术之前，很难将多个服务器整合成一个高性能服务器。利用虚拟化技术，可以快速整合多台服务器的存储和计算资源，为用户提供弹性资源服务。02（2）灵活资源分配：通过虚拟化技术，云平台能够动态调配资源给每个用户，资源使用进程中能够在不同物理机之间“不停机”地转移，避免了硬件故障导致服务停滞的问题。同时，虚拟化技术能够采用负载均衡策略，为用户提供所需的服务资源。032.1.4云计算的核心技术1.虚拟化技术（3）快速部署：在服务器部署中，物理机的部署需要硬件组装、驱动配置和软件安装等流程，部署效率低且难以维护。在虚拟化技术下，云计算用户仅需简单的设置，即可快速产生一台或多台标准化的虚拟机，节省了大量的部署时间，同时也提升了维护的效率。（4）可用性与数据备份：虚拟快照是一种重要的虚拟化技术，将虚拟机的当前状态通过“照片”的形式存储。当出现失误或事故时，能够通过虚拟快照快速恢复当前状态，而物理机则难以做到这一点。2.1.4云计算的核心技术2.分布式存储及计算技术分布式存储及计算技术是云计算的另一个重要特征。云平台将计算任务分布在云端的分布式计算设备上，数据也存储在云端分布式存储设备中。其中，分布式计算技术将大量计算的工程数据分区成小块，由云端的多个计算机节点分别计算，再上传合并进行数据分析处理。通过分布式计算，可以节约整体计算时间，极大的提升效率。此外，云平台服务大量用户，若采用集中式存储无法满足海量大数据的存储需求，分布式存储技术则能够在多台计算机上搭建大规模存储集群。分布式存储是一种全新的数据存储应用技术，通过网络连接计算机集群，使用每台计算机上的磁盘空间进行存储，将分散的存储资源构建成统一的数据存储中心。分布式存储追求在云端为每个用户提供可扩展、价格低廉的存储服务。1.4云计算的核心技术分布式存储及计算技术云存储是分布式存储的发展与延续，二者之间不是替代关系，而是互补与结合的关系。分布式存储技术是云存储实现的基本条件，云存储利用分布式存储技术提供可靠、廉价的存储服务，并延伸出了重要的技术革新。例如：流媒体网站存储的发展离不开分布式存储技术，通过分布式存储技术构建的云存储，为优酷、腾讯、爱奇艺等视频网站提供了内容分发网络服务（CDN）。CDN服务是云存储的自然延伸和有效补充，通过网络进行内容分发，形成了自下而上的多中心化的分布式网络模式。表2-5给出了云存储和分布式存储的对比。2.1.4云计算的核心技术2.分布式存储及计算技术表2-5云存储和分布式存储的对比2.1.4云计算的核心技术2.分布式存储及计算技术从概念层次上来讲，云计算与分布式计算之间，既包含相互独立的关系，又包含交叉关联的关系。云计算是分布式计算技术面向应用的延伸，分布式计算是云计算的实现基础。没有分布式计算技术，云计算的概念和应用无法落地表2-6给出了云计算和分布式计算的对比。2.1.4云计算的核心技术2.分布式存储及计算技术表2-6云计算和分布式计算的对比2.1.4云计算的核心技术3.并行编程技术为了提升计算效率和系统处理能力，云平台在总体设计和逻辑设计中，广泛采用并行编程技术，保证各个计算任务能够并行执行，提升云计算的效率。因此，云平台的这种特性要求操作系统支持并发性和资源共享，能够采用并行编程的方式设计程序，同时支持两个以上的运算或逻辑操作。在常用的云计算并行编程技术中，一般采用MapReduce并行编程模型，将计算任务划分为多个子任务，通过Map步骤和Reduce步骤实现大规模节点的调度与分配。2.1.4云计算的核心技术4.云安全技术云平台提供优质的安全管理服务，例如：针对大量用户的运行软件，进行软件异常监测。在强大的云存储、云计算和网络互连基础上，云平台能够快速获取最新的木马、漏洞和恶意程序信息，并推送至云端进行自动分析和处理。云端的分析结果能够自动分配到各个客户端，监测客户端可能发生的最新异常，从而保障客户端的安全运行。云安全技术理论上能够通过云端的统一分析与调配，将病毒的传播范围控制在一定范围内，提升所有用户的安全性。2.1.5云计算的发展现状与主流平台1.云计算发展现状云计算的产业结构包含三层产业链。上游产业链为基础设施供应商以及互联网数据中心服务商，提供各类芯片、服务器、存储设备，以及建设数据中心；中游产业链即为云计算服务本身，提供IaaS/PaaS/SaaS服务；下游产业链为云生态，包括基础平台和原生云服务等。到目前为止，全球云计算市场整体呈现高速增长，2017年美国云服务占据全球59.5%的市场份额，其次是欧洲占据21.5%的市场份额，亚洲市场份额仅占12.1%。从市场分布来看，国际云计算产业经过多年发展，市场规模相对成熟，公有云占据主体部分。此外，2021年的统计数据显示，SaaS服务在全球的云计算市场占比较高且超过66%，而PaaS服务的市场规模最小。根据中国信息通信研究院2023年7月的《云计算白皮书(2023年)》的数据，2.1.5云计算的发展现状与主流平台1.云计算发展现状图2-4给出了2020-2024年全球云计算市场规模及同比增速，其中2023、2024年为预测结果。从图中数据可知，全球的云计算市场在2021年前高速增长，从2022年开始逐渐趋于稳步增长，云计算市场趋于稳定。2.1.5云计算的发展现状与主流平台1.云计算发展现状近十年，我国的经济模式发生了翻天覆地的变化，云计算技术在中国市场已经进入成熟阶段。我国云计算市场的IaaS服务占比最大，其次是PaaS服务，占比最小的是SaaS服务。根据中国信息通信研究院的统计结果，2022年，中国云计算总体处于快速发展阶段，市场规模达到4550亿元，比2021年增长40.9%。如图2-5所示，2022年公有云市场规模达到3256亿元，增长率由前一年的70.8%放缓至49.3%。公有云将成为未来几年中国云计算市场增长的主要动力。2.1.5云计算的发展现状与主流平台1.云计算发展现状从公有云细分的三种服务市场来看，公有云的IaaS和PaaS服务保持高速增长，SaaS服务稳步发展。如图2-6所示，2021年，公有云IaaS服务市场规模达到1615亿元，增速为80.4%，占公有云总体规模的75%。PaaS服务依然保持着细分市场中最高的增长率，规模达到196亿元同比增长90.7%，SaaS服务稳步增长规模达到370亿元，同比增长滑落至32.9%。根据国际数据公司IDC的统计数据显示，2022年上半年我国公有云服务市场整体规模达到165.8亿美元，其中IaaS市场同比增长27.3%，PaaS市场同比增长45.4%。从国内云计算服务厂商的市场占比来看，如图2-7所示，阿里云、天翼云、腾讯云、华为云和移动云占据公有云IaaS服务市场前5名，而公有云PaaS服务市场排名前列的则是阿里云、华为云、腾讯云和百度云。2.1.5云计算的发展现状与主流平台1.云计算发展现状图2-52017年至2022年中国公有云服务市场规模趋势图数据来源：中国信通院，2022年1.5云计算的发展现状与主流平台云计算发展现状图2-62017年至2022年中国公有云服务细分市场规模统计图数据来源：中国信通院，2022年2.1.5云计算的发展现状与主流平台1.云计算发展现状图2-72021年中国公有云IaaS服务市场分布数据来源：中国信通院，2022年2.1.5云计算的发展现状与主流平台1.云计算发展现状私有云在我国云计算市场也占据了半壁江山。2022年12月，在赛迪顾问《2022年中国私有云市场研究报告》中，给出了中国私有云市场的发展脉络。如图2-8所示，按照市场能力和技术能力，将中国私有云提供商划分为四个象限。其中，市场能力和发展能力突出的“领导者”，包括由华为、新华三和华云组成的“中国私有云三华”，以及天翼云和浪潮。在“挑战者”象限，势头迅猛的金山云和深信服正在迎头赶上；在“可期待者”象限，则有以技术突破创新的腾讯云和阿里云；“跟随者”象限则是近年来进入私有云行业的新兴企业，包括曙光云、京东云和百度云等。2.1.5云计算的发展现状与主流平台1.云计算发展现状图2-82021年中国私有云提供商竞争力象限分析图数据来源：赛迪顾问，2022年11月2.1.5云计算的发展现状与主流平台1.云计算发展现状企业数字化转型和企业使用云服务等模式，将随着新一代私有云技术革新而升级。在业务驱动和政策利好等因素影响下，我国私有云市场增长迅速。2022年11月，赛迪顾问关于中国私有云的统计数据显示，未来三年中国私有市场将保持高速增长，增速维持在30%以上。图2-9给出了2022-2025年中国私有云市场规模与增长预测。预计到2025年，我国私有云市场规模将达到3035.1亿元，每年增速持续平稳在32%至33%左右。2.1.5云计算的发展现状与主流平台1.云计算发展现状图2-92022-2025年中国私有云市场规模与增长预测数据来源：赛迪顾问、中商产业研究院，2022年2.1.5云计算的发展现状与主流平台2.云计算主流平台当前，随着云计算生态的不断完善，国内外涌现出大批的优秀云计算服务提供商。以IaaS服务为例，美国主导了行业生态，拥有AamazonAWS、MicrosoftAzure等基础设施服务提供商；中国的IaaS服务市场则由阿里云、腾讯云、UCloud等服务商领跑。下面，我们介绍国内外主流的云计算平台。【案例2-2】AmazonAWS平台2002年初，Amazon已经开始规划网络服务（云服务的前身）AWS系统架构，并于2006年正式推出云计算产品。2013年，AmazonAWS中标了美国中情局（CIA）构建政务私有云的6亿美元超级订单，奠定了AWS系列产品在全球云计算产业中的领导地位。当前，AmazonAWS在全球22个国家和地区建设了69个数据中心，为全球用户提供1700+个云端节点。2020年开始，Amazon计划在日本、南非、意大利、西班牙和印尼等地区新增五大数据中心，为更多地区的用户提供基础和应用云服务。目前，AmazonAWS云平台提供了全面，多达上千种云服务，为用户提供全面可选择的IaaS服务、PaaS服务和SaaS服务，涵盖存储、计算、网络、操作系统、应用等服务，为用户配备智能管理工具、安全配置工具以及运行监控工具等。【案例2-2】AmazonAWS平台表2-7给出了AamzonAWS的主要IaaS服务产品。从表中可以看出，Amazon的基础设施服务涵盖云计算、云存储、云数据库和内容分发网络。据统计，2022年第三季度，AmazonAWS在全球公有云市场占比为34%，是目前公认的全球最大的公有云提供商。此外，AmazonAWS在2022年整年实现销售收入801亿美元，与2021年相比增长179亿美元，增长率达到29%。2022年上半年，AmazonAWS在中国的IaaS+PaaS市场占比份额达到9%，同比增长30.7%。【案例2-2】AmazonAWS平台表2-7AamzonAWS的主要IaaS服务产品【案例2-3】MicrosoftAzure平台【案例2-3】MicrosoftAzure平台。

2008年，Microsoft进入云计算市场，正式创建云计算服务WindowsAzure。用户通过MicrosoftAzure即可在全球任意位置访问Microsoft数据中心，享受云服务提供的计算、存储、数据库、应用程序和大数据分析等业务。Azure系列产品属于典型的进入市场早，但是发力较晚的云服务平台。虽然于2008年进入了全球云计算市场，但是沉寂了6年后才进入公众视野，成为了AmazonAWS的重要战略对手。2014年，Microsoft新任总裁纳德拉开始重视云服务和开源社区，将WindowsAzure正式更名为MicrosoftAzure，至此Azure成为了成熟、开放的云平台，并支持多种编程语言实现计算应用服务。Azure为用户提供IaaS、PaaS和SaaS服务，【案例2-3】MicrosoftAzure平台由于Microsoft成熟的操作系统和软件体系，Azure在SaaS产品中呈现领先优势，与AWS同为全球云计算的龙头产品。图2-10给出了MicrosoftAzure公有云IaaS服务支持的主要功能产品。图2-10MicrosoftAzure公有云IaaS服务支持的主要功能产品【案例2-3】MicrosoftAzure平台

当前，MicrosoftAzure已经在全球建设超过200个数据中心，可以部署至全球44个区域，为全球超过10亿用户和2000万公司提供云计算服务。据统计，2022年第二季度，MicrosoftAzure营收约为110.69亿美元，同比增长46%。同时，2022年第三季度，MicrosoftAzure在全球公有云市场占比为21%，是目前公认的全球第二大公有云提供商。目前，在MicrosoftAzure持续环比增长情况下，有望在2023年反超MicrosoftOffice，成为Microsoft第一大产品。【案例2-4】UCloud平台【案例2-4】UCloud平台。UCloud（优刻得）成立于2012年3月，是国内基础云计算服务提供商，长期专注于移动互联网领域，深度了解移动互联网场景的云计算和云存储需求。UCloud的核心团队来自腾讯、阿里、Amazon等国内外知名企业，通过自主技术研发，为用户提供了计算资源、存储资源、网络资源等必备的基础IT架构服务。UCloud提供如下的产品：通用计算、I/O密集型计算、科学计算等多场景的计算服务产品；高速缓存、高可用块存储、低成本归档存储等多需求的存储服务产品；满足底层架构灵活性、国内高效访问和国际加速访问的网络服务产品。

UCloud云服务在全球拥有32个区域，500+个加速节点，为用户提供业务架构丰富灵活的业务需求。2017年到2018年，UCloud分别接受了元禾控股和中国移动十亿级别的融资。【案例2-4】UCloud平台2020年1月，UCloud正式在上交所科创板挂牌上市，成为中国云计算第一股上市公司。2021年，UCloud承办世界人工智能创新大赛，为大赛顺利进行保驾护航。2022年，UCloud响应国家“东数西算”工程，分别部署了上海青浦云计算中心和内蒙古乌兰布察云计算中心，满足政企数字化增效需求。同年，入选“2022年中国互联网企业综合实力百强”。2.1.6云计算与大数据的关系云计算与大数据之间密不可分，云计算为大数据提供了有力的工具与途径，大数据则为云计算提供了有价值的用武之地。起初，云计算包含两方面的含义：一是Google开发的大规模分布式存储和计算技术；二是Amazon提供的“按需租用”AWS服务。随着大数据技术的发展，大规模分布式存储和计算技术从最初的“云计算”概念剥离，成为大数据技术的核心部分。云计算则由原始的“按需租用”，扩展成IaaS、PaaS、SaaS服务，以及公有云、私有云和混合云等服务体系。如今，大数据技术着眼于“数据”，关注实际业务，包括数据采集、存储、分析和挖掘方法，重点关注信息沉淀能力；云计算技术则着眼于“计算”，关注信息系统的基础架构、解决方案，重点关注计算资源服务能力。因此，云计算与大数据的关系非常微妙，既密不可分又有区别。表2-8给出了云计算与大数据技术的对比。2.1.6云计算与大数据的关系表2-8云计算与大数据技术的对比022.2人工智能与大数据2.2人工智能与大数据ArtificalIntelligent（AI）翻译成中文即为人工智能，简单来说，人工智能就是通过算法建立模拟人类智能的理论、方法、技术和系统。人工智能是计算机科学的一个分支，企图了解人类智能的本质，并设计一种与人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理以及专家系统等。2022年10月，习近平总书记《在中国共产党第二十次全国代表大会上的报告》指出：“推动战略性新兴产业融合集群发展，构建新一代信息技术、人工智能等一批新的增长引擎，加快发展数字经济，促进数字经济与实体经济深度融合。”人工智能将作为新兴技术，在数字经济的发展和科学技术的创新中，具有排头兵和先行者的作用。如今，人工智能技术已经进入我们生活的方方面面。2.2.1人工智能的基本概念1.人工智能发展史人工智能，顾名思义即人造的智能，是认知科学、逻辑学、计算机科学等科学交叉形成的一种新型科学技术，人工智能研究的目标就是使机器能够表现出类似人类的智慧，具有智能行为。近70年来，人工智能的发展主要包含四大阶段：2.2.1人工智能的基本概念人工智能诞生期人工智能概念诞生于20世纪40年代至50年代。1950年，“人工智能之父”艾伦•图灵（AlanTurning）给出了图灵测试的定义：“如果一台机器能够与人类展开交互，而不会被人类辨别出机器的身份，那么这台机器具有智能”。1956年，美国达特茅斯学院举行了第一次人工智能研讨会，会上“人工智能（AI）”概念由约翰•麦卡锡（JohnMcCarthy）提出，赫伯特•西蒙（HerbertSimon）和艾伦•纽厄尔（AllenNewell）展示了编写逻辑理论的机器，此次研讨会被认为是人工智能诞生的标志。2.2.1人工智能的基本概念人工智能黄金期人工智能进入高速发展的黄金期是20世纪50年代至70年代。1966年，世界上第一个聊天机器人ELIZA由麻省理工学院魏泽•鲍姆（WeizenBaum）研发，ELIZA能够理解简单的人类自然语言，并能够与人类产生简单的互动。1966年至1972年，美国斯坦福研究所研发出世界上第一台基于人工智能的移动机器人Shakey，标志着人工智能应用的发展。1968年，美国斯坦福研究所道格•恩格勒（DougEngelbart）发明了计算机鼠标，并构想出了超文本链接概念，为现代互联网建立了基础。2.2.1人工智能的基本概念人工智能低谷期20世纪70年代处，受限于计算机的存储和计算性能，人工智能的研究遭遇低谷期。人工智能的应用场景要求机器具有儿童认知水平，但是研究者发现这个要求过高。在1970年左右，研究者无法构建一个支持正常人类儿童智力水平的数据库，计算机程序的学习能力也无法像人类儿童那样迅速、快捷。由于缺乏能够应用的研究进展，人工智能相关的研究逐渐遭遇低谷，出资方也停止了研究资助。2.2.1人工智能的基本概念人工智能爆发期2012年，随着深度神经网络的提出，深度学习在人工智能领域得到了极大的发展和广泛应用。2012年，加拿大神经科学团队构建了具备简单认知、含有250万个模拟“神经元”的虚拟大脑Spaun，能够通过最基本的智商测试。2013年开始，深度学习被广泛应用于产品开发，Facebook成立人工智能实验室、Google收购语音和图像识别公司，推广深度学习平台，百度创建了深度学习研究院。2015年，Google开源了深度学习平台Tensorflow。2016年，Google开发的人工智能围棋系统AlphaGo战胜世界冠军李世石，围棋人机对弈让人工智能被世人所知，深度学习成为人工智能市场的导火索，人工智能开启了新一轮爆发期。2.2.1人工智能的基本概念2.人工智能的定义人工智能的定义可以分为两部分，即“人工”和“智能”，人工是实现AI的途径，智能是实现AI的目标。“智能”指的是包括人类、一些动物在内的生物所具备的学习、理解和推理的能力。百度百科关于“人工智能”的定义为：人工智能是计算机科学的一个分支，旨在了解智能的实质，并产生出一种新的能以人类智能相似方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。人工智能自诞生以来，理论和技术日益成熟，应用领域也不断扩大。未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程模拟，虽然不是人的智能，但能够像人那样思考，甚至在某些方面超过人的智慧。人工智能是研究使用计算机来模拟人类的某些思维过程和智能行为，如：学习，推理、思考和规划等，其任务包括使用计算机实现智能的原理、制造类人脑智能的计算机，以及使用计算机实现更高层次的智能应用。2.1人工智能的基本概念2.人工智能的定义在人工智能及相关学科的70余年发展历史中，由于人工智能学科的交叉性，有许多不同学科背景的学者都基于本学科给出了对人工智能的理解，提出了不同的观点，因此人工智能的发展产生了不同的学术流派。图2-11所示，人工智能三大主流学术流派分别为：符号主义（Symbolism）、联结主义（Connectionism）和行为主义（Actionism）。图2-11人工智能三大流派2.2.1人工智能的基本概念2.人工智能的定义（1）符号主义：符号学派的理论基础是“物理符号系统假设”和“有限合理性原理”。该流派认为任何一个模式，只要能与其他模式相区别，就被认为是一个符号。符号主义致力于通过某种符号来描述人类的认知过程，并将符号输入到能处理符号的计算机中，从而模拟人类的认知过程，实现人工智能。（2）联结主义：联结学派研究非程序的、适应性的、大脑风格的信息处理本质和能力。该流派基于神经网络以及网络间的联结机制与学习算法，研究智能模拟方法。联结主义从神经生理学和认知科学的研究成果出发，将人的智能归结为人脑高层活动的结果，强调人类智能是大量简单的神经元通过复杂相互连接后并行运行的结果，以此为理论实现人工智能。2.2.1人工智能的基本概念2.人工智能的定义（3）行为主义：行为学派认为智能取决于感知和行动，应该直接利用机器对环境的响应为原型设计人工智能模型，智能行为体现在现实世界中，通过智能体与周围环境交互而表现出来。行为主义认为学习是刺激与反应之间的链接，理论假设为：行为是学习者对环境刺激所做出的反应，学习过程是渐进的尝试错误的过程，强化是学习成功的关键。此外，在人工智能的实现和应用中也分为“强人工智能”和“弱人工智能”。强人工智能认为，有可能制造出真正能推理和解决问题的人工智能机器，且机器有知觉、有自我意识。强人工智能包含两类：一类是类人的人工智能，构建与人类思维和推理一样的机器，另一类是非类人的人工智能，构建与人类知觉、意识和思维完全不一样的推理机器。弱人工智能认为，不可能制造出真正能推理和解决问题的人工智能机器，现有的机器只不过看起来像“智能”，但是并不真正拥有智能，也不会有自主意识。2.2.2人工智能的研究领域人工智能是包含自然科学、社会科学以及工程技术的交叉边缘学科，涉及的研究和领域包括机器学习、群体智能优化、人工神经网络、专家系统、知识图谱、计算机视觉、自然语言处理、语音处理、人机交互以及智能机器人等，下面简单介绍人工智能常见的研究领域：2.2.2人工智能的研究领域1.机器学习学习是人类获取知识的重要途径和产生智能的重要标志。机器学习是让计算机模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善。图2-12给出了一个完整的机器学习系统，包括环境、学习环节、知识库、执行与评价。其中，环境向系统的学习部件提供支持信息；学习环节对环境提供的信息进行整理、分析、归纳或类比，形成知识，存入知识库；知识库存储预处理后的知识，为执行评价提供数据支持；执行环节根据知识库完成任务，同时将获得的信息反馈给评价环节，对所学习到的知识进行评价，进一步改善执行环节的行为。图2-12一个完整的机器学习系统2.2.2人工智能的研究领域1.机器学习机器学习包含三个类别：一是监督学习，即在机器学习模型训练时，提供训练样本及对应的类别标签，因此又称为有导师学习；二是无监督学习，即在机器学习模型训练时，只提供训练样本，而不提供或不存在样本对应的类别标签信息，又称为无导师学习；三是强化学习，即在机器学习模型训练时，通过试错的方式发现最优行为策略，而不是采用带标签的样本学习。通常情况下，强化学习的样本来自环境，标签具有延迟性。近年来，深度学习成为了机器学习领域的研究热点，作为机器学习的主要分支，推动着机器学习的理论及应用研究的发展，众多数据驱动的人工智能应用都基于深度学习技术。2.2.2人工智能的研究领域2.群体智能优化群体智能优化算法是计算智能的常用算法，属于人工智能在优化领域的重要分支之一。群体智能算法的基本理论是模拟自然界中鱼群、鸟群、蜂群以及狼群等动物群体的行为，利用群体之间的信息交流与合作，个体之间的互动达到优化目的。1989年，杰拉尔多贝尼首次提出群体智能概念，认为群体智能是研究由大量简单个体构成的群体系统的学科。与个体智能相比，群体智能算法往往没有复杂、精妙的内部设计，但是具有更强的鲁棒性、稳定性和适应性。优化问题是人工智能的经典问题之一，群体智能算法是求解优化问题的重要分支之一。与传统优化算法相比，基于仿生学的群体智能优化算法本质上是基于概率的并行搜索算法，寻优速度快，搜索范围广，不易陷入局部最优解，往往能够搜索到全局最优解。2.2.2人工智能的研究领域2.群体智能优化经过三十余年的发展，群体智能优化算法发展出了多个分支，包含三大经典算法：遗传算法是一种基于自然选择过程机制的搜索优化算法，基于“适者生存”的基本概念，即模拟了自然界强者倾向于适应和生存，而弱者倾向于死亡的过程。蚁群算法灵感来源于真实蚂蚁的觅食行为。模拟蚂蚁在搜索空间中移动时会释放“信息素”，信息素反映了蚂蚁的路径强度，蚂蚁则根据信息素的强度来选择路径。粒子群算法采用迭代计算群体和个体最优位置的机制，模仿鸟类和鱼群的群体行为，将群体中的个体抽象为粒子，引导粒子寻找全局最优解。2.2.2人工智能的研究领域3.人工神经网络人工神经网络是基于生物学中神经网络的基本原理，在理解和抽象了神经元以及外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑神经系统对复杂信息处理机制的数学模型。神经网络模型具有并行分布处理能力强、高容错性、智能性以及自学习等特点。实际上，人工神经网络是由单个简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性计算，在人工智能领域具有广泛的应用。在人工神经网络中，神经元处理单元可以表示不同的对象，如特征、字符、概念以及抽象模式等。神经网络处理单元即为“神经元”，主要包括输入单元、隐含单元以及输出单元。其中，输入单元接受外部数据的输入，输出单元实现网络结果的输出，隐含单元在二者之间建立非线性联系。人工神经网络的发展已经有超过70年的历史。表2-9给出了人工神经网络的发展中的关键模型。2.2.2人工智能的研究领域3.人工神经网络表2-9人工神经网络的发展时期及其关键模型2.2.2人工智能的研究领域4.专家系统专家系统是人工智能领域的重要研究分支，可以被看作是具有专门知识和经验的计算机智能系统。专家系统采用人工智能的“知识表示”以及“知识推理”技术，模拟领域专家解决复杂问题的过程，因此专家系统也被称为基于知识的系统。不同于数据驱动的人工智能模型，专家系统适合于没有数据或数据量很少的情况，在构建专家系统过程需具备三大要素：领域专家级知识、模拟专家思维以及达到专家级水平。经典理论认为“专家系统=知识库+推理机”，即专家系统需要通过一定的知识获取方法，将专家知识存储在知识库中，然后运用推理机进行复杂问题的求解。按照推理规则分类，专家系统一般可以划分为三个类别：2.2.2人工智能的研究领域4.专家系统（1）基于规则的专家系统：此类方法是将专家所掌握的现有知识与经验，通过规则转化方法，进行启发式推理过程，给予明确的前提条件，专家系统能够给出明确的结果。（2）基于案例的专家系统：此类方法是通过从数据库中检索已经解决的、类似的案例，通过比较新旧问题的特点和条件，总结相同点和区别，再根据现有知识进行推理。（3）基于人工神经网络的专家系统：规则或案例类专家系统只有固定数量的专家知识，且规则的推导逻辑比较固定。基于人工神经网络的专家系统则可以动态增加专家知识，不设置固定的推导逻辑，通过大数据训练神经网络模型，提升专家系统面向复杂问题的处理能力。目前，专家系统已经逐渐被机器学习、深度学习所取代，但是专家系统是人工智能发展过程中的重要组成部分，表2-10国内外研制的经典专家系统。22..2人工智能的研究领域4.专家系统表2-10国内外研制的经典专家系统2.2.2人工智能的研究领域5.知识图谱知识表达在人工智能领域具有很高的重要性，在众多知识表达方式中，知识图谱是一种拥有极强表达能力以及灵活建模能力的语义网络。首先，知识图谱采用语义表达现实世界，包括对实体、概念、属性以及之间的相关关系建模；其次，知识图谱还衍生出了数据交换标准，其本身即为数据建模协议，包含知识抽取、知识集成、知识管理以及知识应用环节。知识图谱实际上是一种特殊的图数据，即带有标记的有向属性图，其中每个节点含有若干个属性和属性值，对应现实世界的实体或者概念。边表示节点之间的关联关系，边上标记关系的类型，每条边或属性对应现实中的一条知识。知识图谱采用了人类容易识别的字符串表示各个元素，同时采用图数据结构也能够轻易使用计算机处理。2.2.2人工智能的研究领域5.知识图谱目前，各大信息检索引擎已经构建了全面的知识图谱。以百度搜索为例，图2-13给出了百度关于“大数据”的知识图谱，从图中可以看出，关于大数据这个实体，包含百度百科关于“大数据”词条的解释、《大数据》学术期刊的网址、大数据关联企业“美亚柏科”、大数据关联广告“Statista”平台，以及大数据相关的推荐书籍。图2-13百度关于“大数据”的知识图谱2.2.2人工智能的研究领域6.计算机视觉计算机视觉是利用摄像机和计算机代替人眼，模拟生物视觉构建视觉基础功能，其主要任务是让计算机理解图像或识别其中的内容，并给出相应的反馈与决策，就像生物智能每天使用视觉完成日常生活一样。在人类的视觉研究中，眼球、视网膜和大脑皮层组成了人类视觉系统，为了让计算机能够模拟人类视觉，研究者使用“摄像头”模拟眼球，收集图像信息；使用“数字图像处理技术”模拟视网膜，完成图像信息的预处理；使用“计算机视觉技术”模拟大脑皮层，实现图像信息的高层处理，如识别、决策等。总之，计算机视觉技术是人工智能的重要分支，即解决计算机如何模拟人“看”的问题。计算机视觉领域的经典任务包括：2.2.2人工智能的研究领域6.计算机视觉（1）图像分类：图像分类是计算机视觉领域的基础任务，在人工智能中具有广泛的应用。图像分类是用于解决“是什么”的问题，即通过标签描述图像中的主要内容。图像分类的典型应用场景包括车牌号码识别、交通灯识别、人脸识别等。（2）目标检测：目标检测是计算机视觉的重要任务之一，用于解决模拟人类视觉“目标在哪里”的任务。例如，给定一张含有狗的图像，其主要任务不但需要分类出其中的目标“狗”，还需给出目标“狗”实际的位置坐标。目标检测的典型应用场景包括姿态估计、人脸检测、口罩检测等。（3）图像分割：图像分割是计算机视觉的另一个重要任务，根据图像的色彩、纹理和结构等特征将图像划分为若干个相似的区域。图像分割适合于更为精确的目标定位、图像语义理解和识别等任务。图像分割的典型应用场景包括自动驾驶、卫星成像、医学影像等。1232.2.2人工智能的研究领域7.自然语言处理人工智能的研究领域涵盖运算智能、感知智能、认知智能以及创造智能。随着计算机视觉技术在感知智能研究中大放异彩，自然语言处理（NLP）技术则在认知智能中处于核心地位。从微观角度，NLP技术是构建人类自然语言到计算机内部的映射；从宏观角度，NLP技术是让计算机拥有模拟人类所期望的语言功能。NLP技术的经典任务包括：（1）回答问题：计算机模拟人类能够正确回答用自然语言输入的相关问题。（2）摘要生成：计算机能够分析输入的文本内容，自动生成文本含义的摘要。（3）语言释义：计算机能够使用不同的词语、句型复述所输入的文本内容信息。（4）机器翻译：计算机自动将输入的文本语言翻译成另一种文本语言。2.2.2人工智能的研究领域7.自然语言处理（5）对话生成：计算机能够根据上下文的文本内容，自动理解对话意图并生成对话。2022年12月，OpenAI发布ChatGPT机器人聊天系统。ChatGPT运用最新的自然语言处理技术，将人们输入的自然语言自动转换为机器可以理解的指令。随后，将这些指令输入深度神经网络模型中，进行语音分析、对话管理和对话生成，帮助用户解决问题、完成任务和提供服务。ChatGPT的一项重要技能是基于现有的上下文，自动生成语义推断，更好地理解用户语言。另一项优势则是基于完善的对话系统，可以识别用户语言中的意图，并建立跟踪用户意图的模型，理解用户语言中的需求。新版的ChatGPT添加了对话生成系统，根据用户的意图和上下文，通过深度神经网络模型自动生成有意义的句子，帮助ChatGPT更好地回答用户问题，为用户提供高效服务。2.2.2人工智能的研究领域8.语音处理语音处理是研究语音发声过程、语音信号统计特性、语音的自动识别、语音机器合成以及语音感知等技术的总称。语音处理主要包括如下三种主流任务：（1）语音识别：语音识别技术是将语音信号自动转换为相应文本的过程。在实际应用中，语音信号经常与自然语言理解、自然语言生成等技术相结合，成为语音及语义人工智能研究分支。语音识别过程包括特征提取、声学模型以及语言模型构建，首先通过特征提取方法从语音信号中提取有意义的特征，然后将特征分别输入声学模型、语言模型，获取相应的声学得分和语言得分，在构建的搜索空间中寻找最佳路径，获取语音信号对应的文本。（2）语音合成：语音合成技术是将任意输入的文本信息，转换成自然流畅的语音输出，又称为文语转换。该技术在银行、医院的信息播报系统、汽车导航系统、自动呼叫中心、智能电话客服等场景中都有广泛应用。2.2.2人工智能的研究领域8.语音处理（3）语音转换：语音信号中除了包含语义内容信息外，还包括说话人信息、语音场景信息等，这些信息通常是个人隐私应该受到保护。语音转换技术是通过语音处理技术，改变语音中的说话人信息以及场景信息，使得改变后的语音信号听起来像其他人在其他场景下发出的，在个人、背景隐私保护中具有广泛应用。2.2.2人工智能的研究领域9.人机交互人机交互是人与计算机之间采用一定的方式进行交互，目的是完成特定任务的信息交换过程。人机交互是集认知心理学、社会工程学、多媒体、虚拟现实以及人工智能多个学科及前沿技术为一体的综合学科。传统的人机交互采用键盘、鼠标、显示器等基础信息交互和图形交互，随着人工智能技术的飞速发展，脑电图、心电图、眼动仪、可穿戴设备等新兴技术的发展，革新了人机交互的方式，建立了语音交互、情感交互、体感交互、脑机交互以及虚拟交互等多种交互方式。人机交互具有广泛的应用场景，以脑机交互为例，人类通过大脑直接与计算机进行信息交换，不再利用外周肌肉系统进行通信，又称为脑机接口技术。2020年1月，浙江大学研究团队在高位截瘫志愿者脑内植入Utah阵列电极，实现了基于意念的脑机交互，控制机械手臂实现进食、饮水和握手等重要功能。同时，证明了高龄患者采用植入式脑机接口，能够进行复杂、有效的人机交互，有助于患者提高生活质量。未来，基于脑机接口的人机交互技术，将对辅助运动功能、失能者功能重建、老年机能增强等多个领域产生积极影响。2.2.2人工智能的研究领域10.智能机器人智能机器人是集机械、电子、控制、传感器以及人工智能多个学科及前沿技术为一体的高端装备，是制造技术的制高点。机器人的视觉可以通过摄像头获取环境图像，并通过视觉处理算法进行分析和解译，让机器人能够辨识目标并确定在环境中的位置；机器人的触觉采用触觉传感器获取，主要包括接触觉、压力觉、滑动觉、接近觉以及温度觉等，在机器人的精细操作中具有重要意义；机器人的听觉采用听觉传感器接收声波，并采用语音处理技术为机器人提供语音及语义交互能力；机器人的运行采用智能导航与规划方式，其自动避障系统由数据库、知识库、机器学习以及推理机共同构成，保障机器人的安全运行；机器人的人机交互通过语言、表情、动作或者穿戴设备实现，保障机器人与人之间自由地进行信息交流与理解。总之，智能机器人是人工智能各个分支技术的综合体。2.2.3人工智能的产业与应用1.人工智能的产业人工智能技术的核心产业包括基础设施服务、技术服务以及产品服务三个方面：2.2.3人工智能的产业与应用基础设施服务人工智能基础设施服务是整个产业链的最底层，提供人工智能模型、方法和技术的算力支持，保障人工智能产业上层的正常运转。基础设施服务主要包括三类服务：智能芯片服务，尤其是深度学习成为热点以后，GPU作为深度学习芯片进入发展快车道；智能传感器服务，数据驱动的人工智能算法模型离不开海量的感知大数据，带动了传感器的快速发展；智能计算框架，以Python编程为代表的经典机器学习算法库、深度学习算法库，也作为基础设施不断发展。2.2.3人工智能的产业与应用技术服务人工智能技术服务关注的目标是构建人工智能技术平台，为人工智能技术的应用提供相关的技术服务。在人工智能产业链中，智能技术服务处于关键位置，主要提供三类服务：技术平台和算法模型、应用场景的解决方案、基于云计算的智能在线服务。2.2.3人工智能的产业与应用产品服务人工智能产品服务是将技术成果应用到实际的行业，提升行业的效率。目前，我国人工智能产品主要应用到四大行业，分别是视觉人工智能、语音及语义人工智能、人工智能机器人以及决策类人工智能。表2-11给出了四大行业的典型人工智能应用产品。如今，人工智能借助于学科发展、科学建模、技术创新以及软硬件驱动，将进一步引导我国的各行业由信息化向智能化转变。图2-14给出了2017年至2022年中国人工智能行业市场规模预测趋势图。2.2.3人工智能的产业与应用产品服务图2-142017年至2022年中国人工智能行业市场规模预测趋势图数据来源：中商产业研究院，2022年2.2.3人工智能的产业与应用产品服务表2-11四大行业的典型人工智能应用产品2.2.3人工智能的产业与应用产品服务统计数据表明，2021年我国人工智能行业市场规模达到1987亿元，从2017年至2021年，人工智能市场规模年均复合增长率为58.1%。人工智能技术正在逐年突破创新，大量新的应用场景有待开发，预计2022年我国人工智能行业市场规模达到2845亿元。同时，图2-15给出了2021年我国人工智能行业细分市场占比统计。在人工智能行业的四大类别中，视觉人工智能的占比最多，达到43.3%。紧随其后的分别是决策类人工智能、语音及语义人工智能和人工智能机器人，市场占比分别是23.7%、18.1%和14.8%。2.2.3人工智能的产业与应用产品服务图2-152021年我国人工智能行业细分市场占比统计数据来源：中商产业研究院，2022年2.2.3人工智能的产业与应用2.人工智能的应用人工智能技术的飞速发展不断革新、重塑各个行业。当前，人工智能技术已经被广泛应用于智能安防、智能零售、智能医疗、智能交通等行业。下面，从两大国内新兴的人工智能技术公司介绍人工智能技术在国内的主流应用。【案例2-5】旷视科技：Face++人工智能开放平台。

旷视科技创立于2011年，是一个人工智能产品和解决方案品牌，以深度学习为核心竞争力，融合算法、算力和数据，打造“三位一体”的新一代人工智能生产力平台。Face++是旷视科技2012年开发的首个人脸识别云平台。在随后的4年时间里，数以万计的用户使用Face++提供的人脸识别API或SDK，使得“Face++”逐渐成为人脸识别领域最具影响力的品牌。随着旷视科技在计算机视觉中的不断探索，于2016年推出了全新的“Face++人工智能开发平台”，为视觉人工智能领域提供成熟的解决方案和最新的算法模型。如今，Face++云平台成为了国内顶级的视觉人工智能开放平台，为开发者提供人脸、人体、文字、图像各类识别服务。具体业务包括：2.2.3人工智能的产业与应用2.人工智能的应用（1）人脸识别：提供人脸属性检测、比对、搜索、关键点检测能力，支持肤质检测、面部特征识别等不同场景下的人脸应用。（2）人像处理：提供人脸融合、人脸美型美颜、滤镜贴纸等能力，满足多种营销应用场景。基于高精度人脸关键点检测，使得人像处理效果真实自然，构建了贴合脸型的智能美颜。（3）人体识别：提供人体属性识别、骨骼关键点检测等功能模块，支持人体抠图、手势识别等多个人体识别应用场景，适应人体重叠等复杂场景的识别，包含各种人体姿态识别。（4）文字识别：提供身份证、驾驶证、行驶证等卡证识别服务，支持各类票据、文书、卡证等普适的格式化文本识别，适应复杂场景的文本能识别，也提供灵活定制的文字识别目标。（5）图像识别：提供车牌识别、犬鼻纹识别、场景与物体识别等特定场景图像识别任务，支持定制化业务模式，识别模型适应复杂识别场景。22..3人工智能的产业与应用2.人工智能的应用【案例2-6】科大讯飞：语音及语义人工智能开放平台。

科大讯飞成立于1999年，来自中国科学技术大学学生创业团队。自成立以来，长期从事语音及语义、自然语言理解、机器学习推理及自主学习等核心技术研究，并处于国际前沿技术水平。2014年，公司正式启动“讯飞超脑计划”，研发基于类人神经网络的认知智能系统。22016年，发布“讯飞翻译机”，开创智能消费新品类。2018年，机器翻译系统首次达到专业翻译员水平。

讯飞开放平台1.0版本于2010年正式上线，集成了语音合成、语音搜索、自然语言理解和语音听写等功能模块，此时期平台的商业模式主要是提供人工智能单项能力的解决方案。2.2.3人工智能的产业与应用2.人工智能的应用2021年，讯飞开放平台升级到2.0版本，其功能模块由二维变成了三维，开放平台将由讯飞和头部垂直行业公司共同打造，面向行业场景赋能开发者。其中，讯飞开放平台提供人工智能模型、云计算平台以及深度神经网络训练算法；行业龙头提供应用场景、专家知识以及业务模型；开发者基于现有技术和资源，进一步完善场景，开展各类人工智能流程开发，形成具体的行业解决方案。如今，科大讯飞开放平台2.0版本将聚焦18个行业，长期布局人工智能赛道。科大讯飞开放平台的核心业务模块聚焦语音及语义人工智能，主要包括：（1）语音识别：提供语音听写、语音撰写、实时语音转写、离线语音听写、语音唤醒、离线命令词识别等功能，主要是将语音信号转化为文字，实现语音向文字的转化。2.2.3人工智能的产业与应用2.人工智能的应用1（2）语音合成：提供在线语音合成、离线语音合成、音库定制、有声阅读等功能，主要是将文字转化为语音信号，支持定制自己的语音特点，并应用至有声阅读等应用场景。2（3）语音分析：提供语音评测、性别年龄识别、声纹识别、歌曲识别等功能，主要是针对特定人的语音，进行语音信号的分析与识别。3（4）多语种技术：提供多语种识别、多语种合成、多语种翻译、多语种文字识别等功能，主要是对各种特殊语种的语音识别、翻译以及合成等功能。4（5）自然语言处理：提供词法分析、依存句法分析、语义依存分析、语义角色标注、情感分析等功能，主要是自然语言处理的基础功能，基于此可以构建更多基于自然语言处理的上层场景应用。2.2.3人工智能的产业与应用2.人工智能的应用根据科大讯飞的人工智能战略布局，未来每年要在语音及语义人工智能开放平台投入5亿研发基金，并联合超过百万的合作伙伴，打造全新的人工智能解决方案，共同拓展数字化市场。根据科大讯飞的财报显示，语音及语义人工智能开放平台是科大讯飞的核心业务之一，2020年贡献超过19亿元收入，占据公司营收的15%。2021年上半年的平台收入近13亿元，同比增幅超过130%。2020年至2021年，科大讯飞开放平台开发者数量增至265万，同比增长69%。2021年开始，科大讯飞提出了人工智能产业的奋斗目标：达到十亿用户、实现千亿收入、带动万亿产业生态、成为中国人工智能产业领导者。2.2.4人工智能与大数据的关系人工智能和大数据是如今信息行业的热门技术。根据上述介绍，我们知道人工智能技术的发展早于大数据技术，人工智能技术于20世纪50年代伴随着计算机技术发展，大数据技术则伴随计算机高速存储、快速计算能力的形成，于2010年左右开始受到重视图2-16给出了“人工智能”和“大数据”关键词的百度指数，从指数对比可以看出，从2013年开始，大数据的搜索指数追上人工智能；2014年到2017年，大数据的搜索指数在多数情况高于人工智能，人工智能在某些特殊特点事件呈现较高的峰值；2018年至今，由于AlphaGo采用深度学习击败围棋世界冠军，让人工智能的搜索指数在近几年超过大数据。其中，2019年3月至4月，国民短暂的关注了“大数据杀熟”问题，因此在该时期出现大数据搜索较高的峰值情况。综合来看，近十年来，人工智能和大数据之间的搜索指数几乎具有相似的规律，表明了二者之间具有密切的关联关系。2.2.4人工智能与大数据的关系图2-16“人工智能”和“大数据”关键词的百度指数2.2.4人工智能与大数据的关系1.人工智能与大数据之间的联系在过去，由于数据的稀缺和较高的存储成本，人工智能方法往往采用理论驱动或模型驱动，尤其是机器学习方法一般基于概率论、群体智能算法一般基于生物学模型。然而，随着大数据时代的到来，为人工智能的方法、模型和系统提供了海量的大数据支撑，提升了人工智能的发展速度，尤其是以深度学习为代表的“数据驱动型模型”，通过海量的大数据训练深度学习模型，在人工智能各个领域得到了广泛应用。另一方面，大数据技术提供的分布式计算思维，还能够拓展人工智能方法和模型，提升效率。因此，大数据技术为人工智能的腾飞做出了巨大贡献。2.2.4人工智能与