第3章 大数据、云计算与物联网

第3章

大数据、云计算与物联网目录CONTENTS物联网云计算大数据3.13.23.3大数据3.1大数据基本概念数据积累到一定阶段并成为知识经济体系中核心资源过程中的一系列技术层面、资源层面以及思想层面的变革的总称，在技术层面体现为数据存储、分析以及管理的创新和变革。大数据特点

容量巨大（volume）种类复杂（variety）处理速度快（velocity）价值密度极低（value）真实性（veracity）“5V”基本特性大数据的发展历程时间名称内容1990~1999年萌芽时期作为大数据发展的萌芽时期，这一阶段的大数据仅是一种构想，大数据的具体内涵也只是所储存的数据容量巨大，而对数据的其他方面的问题并没有进一步地探索。2000~2010年发展时期这一时期是大数据技术高速发展的阶段，大数据逐步进入到大众的生活。2011年至今兴盛时期2011年之后大数据的发展进入了全面兴盛的时期，越来越多的机构对大数据的研究从基本概念、特性转到数据资产、思维变革等多个角度的剖析。大数据也逐渐与各行各业深度融合，不断变革原有行业的技术并创造出新技术，大数据的发展呈现蓬勃之势。大数据关键技术030102数据采集数据管理基础架构数据理解与提取统计分析数据挖掘数据可视化大数据分析的基本方法可以归纳为5种：预测性分析、可视化分析、大数据挖掘算法、语义引擎和数据质量与数据管理。大数据技术栈大数据分析的基本方法大数据分析涉及的技术关键技术服务层工具层计算层存储层传输层采集层大数据在金融领域应用概况征信领域：聚合多类数据；信用动态评估；运用数学模型；在线出具报告反洗钱领域商业银行领域：形成非结构化数据；创新服务模式；提升风险管控能力；优化贷款流程证券投资领域：智能投顾；程序化交易；大数据基金保险领域：挖掘客户需求；个性化定价；欺诈行为识别大数据风险数据安全问题隐私保护问题数据垄断问题云计算3.2云计算概念

一种通过网络按需提供的、可动态调整的计算服务。它通过互联网访问一个可定制的资源共享池，快速部署资源，按使用量付费。这些资源包括网络、服务器、存储、应用、服务等，不需要太多的管理或与服务提供商的交互。超大规模虚拟化通用性强，可靠专业高可扩展性按需服务极其廉价潜在危险性云计算特征编程模型数据存储技术虚拟化技术资源管理技术云计算的服务模式基础设施即服务平台即服务软件即服务云计算关键技术云部署的类型公有云私有云混合云云计算面临的问题数据安全与监管合规由于云计算相关的金融监管政策尚不明朗，金融客户担心云上数据被云服务提供商“偷窥”或利用，云服务提供商也公开发起“数据保护倡议”，支持云计算平台上的数据所有权属于客户。云计算平台不得将数据移作它用，平台方有责任和义务帮助客户保障数据的私密性、完整性与可用性。数据采集、整合、应用的问题数据采集不统一。如无法实现数据一次采集多方共享，无法实现开发标准、接口统一，无法实现流程化数据清洗处理等。数据资源孤立。如获取外部信息不全面，内部信息获取碎片化，内、外信息时效滞后分散等。信息资源不共享。一是信息共享率低，信息化建设落后，数字化水平不完善，多项技术内涵有待加强。二是信息资源共享难度大，由于各个地区和行业对于信息资源共享的实际需求不同，及时有效的信息共享具有一定难度。云计算的应用概况金融云基于云计算商业模式应用的金融产品、信息、服务、用户、各类机构等平台的总称。银银平台通过多家银行合作，联合网络、人才、产品和服务等，进行优势互补、资源共享，共同为客户提供整体服务便利的金融平台。开放银行一种平台合作模式，以API（ApplicationProgramInterface）技术实现平台间的数据连通，并以双向融合、开放互动的模式推动银行向金融服务平台转型。物联网3.3

通过射频识别（RadioFrequencyIdentification，RFID）、红外感应、卫星定位（GPS）、激光扫描、无线传感器等信息传感技术，按约定的协议，根据社会需要实现物与物的联网，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。物联网概念

物联网基本特点030102利用云计算等技术及时对海量信息进行处理，真正达到人与人的沟通和物与物的沟通。信息的安全机制与权限管理也需要更高层次的监管与技术保障。全面感知安全传递大数据分析涉及的技术特点利用RFID、传感器、二维码以及未来可能的其他类型传感器，能够随时采集物体动态。物联网的发展历程时间名称内容1990~2005年起步探索阶段这个阶段物联网对于从事货物交易的企业影响尤为明显，依靠物联网技术进行的企业管理创新，提升了企业对生产环境中各环节的精准控制，提高了企业的管理效率。2006~2017年发展推进阶段这一阶段的物联网最明显的特征是数据化，被称为大数据物联网时代。2018年至今融合提升阶段2018年，物联网迎来真正的发展元年，物联网开始从概念走向成熟，广泛应用于生产、生活的各个领域。物联网的组成要素物流，物联网中的物流与传统意义上的物流，除了在智能物流领域有一定的融合之外，物联网的物流更多的是实体硬件上功能模块在不同层次之间的集成。资金流，主要是支付或者投资的资金通过实体与虚拟货币的形式在各个主体之间流动的过程，这种流动也会伴随着反向的实体或者虚拟产品的交换，而这种交换也是资金流重要的衡量标准。信息流，物联网中最主要的可见传输内容，行业特性明显，在不同类型个体当中所体现出的形式与作用有很大差别。互联网与无线通信网络，是物联网赖以发展的关键环节和基础。物联网技术内容IPv6技术互联网领域的一项基础技术。物联网通信协议以IP地址为基础，IPv6技术作为一种新的网络协议，地址容量是IPV4的数倍，支持动态路由机制，为物联网在各个行业的广泛应用和高速发展奠定了技术基础。无线通信技术主要包括GPRS/CDMA无线通信技术、数传电台通信、扩频微波通信、无线网桥和卫星通信无线局域网技术通过互联网接入移动终端、无线扫描器、射频识别扫描仪等，为生活带来更大的便捷。嵌入式技术将功能代码嵌入到芯片中，通过芯片实现基本的控制功能。嵌入式技术是物联网实际应用的重要保障。传感技术传感技术起到感知的作用，感应信息中的各种信号，有利于信息的传递，寻找信息源头射频识别技术可以有效地将自动化中物联网信息技术进行识别，运用射频技术可以查找到目标信息。纳米技术纳米技术在物联网技术中占有较高的比重，对物联网信息技术的影响较大。智能技术智能技术推动人工智能技术模式的形成，确保物联网拥有强大的信息处理能力。物联网工作原理首先，射频识别技术利用无线射频信号识别目标，并采集目标对象的相关信息。其次，对于物联网中的每个对象而言，还要探测物理状态的改变能力，记录环境中的动态特征。接着，智能技术与嵌入式技术通过把物联网中每个独立节点植入芯片最后，随着纳米技术和微型化的发展，越来越小的物体将实现相互作用和连接。物联网的网络架构用户层UI接口应用控制层数据服务器、通信服务器、终端服务器承载网络层核心承载网络接入层末梢节点网络、应用网关、采集数据接入末梢节点层二维码识别、RFID读写、感应器物联网的价值模式物联网具备多主体、多维度的应用特性，在产业应用成熟后，物联网将呈现出价值网的体系模式。硬件提供商（RFID、传感器、智能芯片等）网络运营商（电信网、互联网、广电网、电力网等）软件提供商系统集成商解决方案提供商服务提供商上游下游感知传递整合推广用户物联网综合应用平台物联网的价值传递在价值网体系中，用户是价值输送的最终目标；物联网综合应用平台是价值交换、传递、共享和增值的主要场所，硬件提供商通过技术水平的提升，对物体的性状进行感知，提供设备为价值创造提供基础和实现方式；网络运营商是价值运行的渠道和平台，运营商了解用户需求，通过软件、系统集成和解决方案模式获取价值元素，并交由服务提供商实施，完成价值增值过程。物联网价值网体系将成为物联网发展的主流模式，同时也会随着市场和需求的变化不断更新。物联网价值模式的另外一个重要特征是价值累加基础上的增值，这种增值过程来自于资源和价值活动在补充与交换过程中所获取的价值，这些价值会按照一定的方式在各个主体之间进行分配。物理网在金融领域的应用物联网给银行业带来更有效的安全保障

物联网为银行客户带来全新用户体验物联网降低供应链金融业务的操作风险物联网扩大了金融机构的服务范围

本章小结大数据是数据积累到一定阶段并成为知识经济体系中核心资源过程中的一系列技术层面、资源层面以及思想层面的变革的总称，在技术层面体现为数据存储、分析以及管理的创新和变革大数据具有“5V”的基本特点，“5V”指的是数据容量规模巨大（volume）、数据种类复杂多样（variety）、数据整合速度快（velocity）、数据价值密度极低（value）、真实性（veracity）大数据的发展阶段：萌芽时期（1990~1999年）、发展时期（2000~2010年）、兴盛时期（2011年至今）大数据分析的基本方法：预测性分析、可视化分析、大数据挖掘算法、语义引擎、数据质量和数据管理大数据分析涉及的技术：数据采集、数据管理、基础架构、数据理解与提取、统计分析、数据挖掘、数据可视化大数据可广泛应用于征信、反洗钱、商业银行、证券投资、保险等多个领域大数据风险包括：数据安全、隐私保护、数据垄断等问题云计算是一种通过网络按需提供的、可动态调整的计算服务。它通过互联网访问一个可定制的资源共享池，快速部署资源，按使用量付费。这些资源包括网络、服务器、存储、应用、服务等，不需要太多的管理或与服务提供商的交互云计算的特征：超大规模，虚拟化，通用性强、可靠专业，高可扩展性，按需服务，极其廉价，潜在的危险性云计算关键技术：编程模型、数据存储技术、虚拟化技术、资源管理技术云计算的服务模式：基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）云部署类型：公有云、私有云、混合云公有云（又称公有云）是由第三方提供商提供的云服务，用户使用资源时付费即可私有云是只对一个企业、组织或个人使用的云计算资源，由单个公司拥有、运营、控制和使用各种虚拟化资源和自助服务混合云以私有云为基础，同时结合公有云的服务策略金融云是指基于云计算商业模式应用的金融产品、信息、服务、用户、各类机构等平台的总称银银平台是通过多家银行合作，联合网络、人才、产品和服务等，进行优势互补、资源共享，共同为客户提供整体服务便利的金融平台。银银平台云服务包括支付结算服务、财富管理服务和信息科技服务开放银行是一种平台合作模式，以API技术实现平台间的数据连通，并以双向融合、开放互动的模式推动银行向金融服务平台转型云计算的发展历程：第一阶段，理论完善阶段（1956~2005年）；第二阶段，发展准备阶段（2006~2008年）；第三阶段，稳步成长阶段（2009~2014年）；第四阶段：高速发展阶段（2015年至今）物联网是指通过射频识别、红外感应、卫星定位（GPS）、激光扫描、无线传感器等信息传感技术，按约定的协议，根据社会需要实现物与物的联网，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络物联网特点：经济性、交互性、高效性物联网的发展历程：1起步探索阶段（19