金融科技 课件 项目2 大数据金融

《金融科技》FinancialTechnology项目二大数据金融教学目标知识目标1.掌握大数据的基本概念；2.了解大数据技术的处理流程；3.掌握大数据在金融领域的应用；4.了解大数据技术的应用趋势。能力目标1.能够利用大数据技术手段为客户提供金融服务；2.理解大数据技术对金融业带来的影响并积极予以运用。内容导航一大数据的基本概念二大数据的处理流程三大数据技术在金融领域的应用四大数据技术的发展趋势及应用前景大数据的基本概念一一、大数据的基本概念（一）（二）（三）大数据的定义大数据的分类大数据的基本原理一、大数据的基本概念导入案例导读【精品微课_二维码：沃尔玛“啤酒加尿布”的故事】一、大数据的基本概念（一）大数据的定义一、大数据的基本概念麦肯锡全球研究所对大数据的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。一、大数据的基本概念数据类型多样（Variety）应用价值高（Value）数据处理速度快（Velocity）数据规模大（Volume）数据真实（Veracity）大数据的5V特征：一、大数据的基本概念（二）大数据的分类一、大数据的基本概念数据结构上分类处理方式上分类数据来源和行业来分类结构化数据半结构化数据无结构数据实时数据离线数据网络数据社交媒体数据医疗数据农业数据身体健康数据设备监测数据……一、大数据的基本概念（三）大数据的基本原理一、大数据的基本概念物联网云计算物联网可看作大数据的采集端云计算可看作大数据的核心技术处理端一、大数据的基本概念物联网物联网产生海量数据，是大数据来源的基础设施。日常生活中，大数据的来源主要集中在以下三方面：以微博、微信为代表的社交网络；电子商务平台；摄像头收集的视频和图片等信息。一、大数据的基本概念云计算云计算为大数据的计算和分析提供了可行的方法。云计算的数据在云端，任何时间、任何设备，只要登陆后就可以享受计算服务。通过云计算对数据进行处理后，数据可成为一种基础的公共物品，被人所用。一、大数据的基本概念[做中学2-1]生活中的大数据5-6名同学一组，各组选择一个行业，收集该行业大数据应用的典型案例1个，并进行分析，写出案例分析报告。思考：大数据的应用是否可能误导决策？如果要保证数据分析的准确性，防止被误导，需要满足什么前提条件？《金融科技》FinancialTechnology项目二大数据金融教学目标知识目标1.掌握大数据的基本概念；2.了解大数据技术的处理流程；3.掌握大数据在金融领域的应用；4.了解大数据技术的应用趋势。能力目标1.能够利用大数据技术手段为客户提供金融服务；2.理解大数据技术对金融业带来的影响并积极予以运用。内容导航一大数据的基本概念二大数据的处理流程三大数据技术在金融领域的应用四大数据技术的发展趋势及应用前景大数据的处理流程二二、大数据的处理流程数据采集数据存储数据挖掘数据处理二、大数据的处理流程（一）各种智能设备中的运行数据（二）互联网网页数据（三）RFID射频数据大数据的数据源主要来自以下三方面：二、大数据的处理流程网页数据采集应用最广泛的技术就是网络爬虫二、大数据的处理流程数据采集数据存储数据挖掘数据处理二、大数据的处理流程大数据的存储系统必须对多种数据及软硬件平台有较好的兼容性，以适应各种应用算法或者数据提取转换与加载。现阶段常用的大数据存储技术包括：第二类，基于Hadoop技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，充分利用Hadoop开源的优势。第三类，大数据一体机，这是一种专为大数据分析处理而设计的软件、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析而特别预先安装及优化的软件组成。高性能大数据一体机具有良好的稳定性和纵向扩展性。第一类，采用大规模并行处理系统（MPP）架构的新型数据库集群，重点面向行业大数据，采用无共享（SharedNothing）架构，通过列存储、粗粒度索引等大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑。二、大数据的处理流程就存储大数据的数据库而言，最流行的两种数据库就是传统的关系型数据库和新兴的NOSQL数据库。微软的SQLServer数据库、IBM的DB2数据库、甲骨文的Oracle数据库、开源的MySQL数据库都是关系型数据库的典型。NOSQL数据库是近年来随着大数据技术发展而兴起的一种数据库技术。NOSQL数据库依据存储对象和存储方法的不同又可以分成键值型数据库、文档型数据库、列存储数据库、图存储数据库。二、大数据的处理流程序号

类型部分代表特点1键值型OracleBDBGoogleBigTableAmazonDynamoDB键值型数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。键值型数据库的优势在于简单、易部署，但如果只对部分值进行查询或更新，则效率相对低下。2文档型MongoDBCouchDB此类数据库可存放并获取文档，其格式可以是XML、JSON、BSON等，这些文档具备可述性（self-describing），呈现分层的树状结构（hierarchicaltreedatastructure），可以包含映射表、集合和纯量值。文档数据库可视为其值可查的键值数据库，可以对某些字段建立索引，实现关系数据库某些功能。二、大数据的处理流程序号

类型部分代表特点3列存储HbaseCassandraHypertable

列存储数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排。特点是方便存储结构化和半结构化数据，方便数据压缩，对针对基于列的查询有很大优势。4图存储Neo4JInfiniteGraph使用灵活的图形模型，并且能够扩展到多个服务器上。将数据存储在图状网络的节点上及它们之间的关系中，这里的图不是指图形图像，而是指一种数据存储结构。

二、大数据的处理流程在金融科技应用中，我们应如何选择合适的数据存储技术呢？一般来讲，有严谨的数据结构，对数据的可靠性要求高，经常需要对数据进行商业智能分析，这类数据库适合存储在关系数据库中，一般可以选择开源的MySQL数据库；相反，那些数据量特别大，对数据的扩展性要求高，对数据库的可用性要求高，对存储效率和恢复响应要求高的数据则适用于NOSQL数据库。二、大数据的处理流程在实践中，通常会将NOSQL和关系数据库进行结合使用，各取所长，可以分为两种模式：第一种：NOSQL数据库作为辅助存储。把所有的数据都存放在关系数据库中，可能被经常频繁读取的数据再存放在NOSQL数据库中一份，其目的是提高数据的查询速度，减少关系数据库的并发访问负载。第二种：NOSQL数据库作为主存储。把所有的数据存储在NOSQL数据库中，为了一些特殊业务或功能的需要，在将数据存入NOSQL的时候，同时存储到关系数据库一份。数据存储和查询主要是由NOSQL数据库完成，少量的数据是从关系数据库读取。二、大数据的处理流程数据采集数据存储数据挖掘数据处理二、大数据的处理流程数据抽取12数据清洗3数据脱敏在数据处理环节，主要完成三项操作：二、大数据的处理流程数据抽取1第一种，全量抽取。类似于数据迁移或数据复制，将数据源中的表格或视图的数据原封不动地从数据库中抽取出来，并转换成自己的ETL（Extraction-Transformation-Loading，数据提取、转换和加载）工具可以识别的格式。第二种，增量提取。抽取自上次抽取以来数据库中要抽取的表中新增、修改、删除的数据。二、大数据的处理流程数据清洗2在采集数据时，会存在大量的“脏”数据。这些数据或与我们的需求无关，或是错误数据，或是相互之间有冲突，因此要通过“去噪”过滤掉这些不符要求的数据，提取出有效数据，这一过程称为“数据清洗”（DataCleaning）。二、大数据的处理流程数据脱敏3现阶段常用的数据处理技术有AbInitio（大数据处理软件平台技术）、Hadoop（开源分布系统的基础架构，适合处理超大量的数据）、Netezza（IBM基于数据仓库的分析技术）Hadoop是由Apache软件基金会发起的一个分布式计算平台，也是目前最为流行的大数据处理平台。用户可以在该平台上开发和运行处理海量数据的应用程序。Hadoop在数据提取、变形和加载（FTL）方面具有优势，擅长存储大量的半结构化数据集，也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。数据脱敏指对一些涉及个人隐私的敏感信息，如身份证号、电话号码、银行账户等，进行数据的变形处理，达到隐私保护的目的。二、大数据的处理流程数据采集数据存储数据挖掘数据处理二、大数据的处理流程数据挖掘（DataMining）的前身是数据库中的知识发现技术（KDD），是指运用计算机技术从大量数据中将隐藏的有价值的信息提取出来的过程。基于海量数据；具有非平凡性，即挖掘出来的知识应该是不简单的；隐藏性，即数据挖掘是要发现深藏在数据内部而非浮现在数据表面的知识；价值性，即挖掘的知识能给企业带来直接或间接效益。1234二、大数据的处理流程数据挖掘有很多技术方法，归纳起来主要涉及统计学、机器学习和数据库等领域的研究成果。（一）统计分析统计分析是指利用统计学对大数据进行分析，包括统计学中的回归分析、差异分析、判别分析、因子分析等，主要用来处理结构化数据。统计分析反映了数据库中数据的属性值特性，通过函数表达数据映射关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。例如，通过对本季度销售的回归分析，对下一季度的销售趋势做出预测并做出针对性的营销改变。二、大数据的处理流程（二）聚类分析聚类分析是一种重要的数据挖掘方法，具体是指根据事物的特征进行分类，以期从中发现一定的规律。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。其原则是使同一类事物尽可能相似，不同类事物尽可能差异大。属于同一类别的数据间的相似性大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。聚类分析又可细分为划分聚类法、层次聚类法、基于网格和模型的聚类法。二、大数据的处理流程（三）决策树决策树是机器学习中最基础、应用最广泛的算法模型。其原理是，在一批已知的训练数据的基础上建立一棵决策树，利用决策树对数据进行分析和预测。常见的算法包括分类回归树（CART）、ID3、C4.5、随机森林等。决策树可用于预测贷款人是否具有偿还贷款的能力。借款人通过三个核心指标来判断：是否拥有房产、是否结婚、月收入金额。决策树的每一个内部节点都分别代表一个指标，树叶节点则表示贷款人是否具备还款能力。例如，客户甲没有房产，未婚，月收入8000元。通过决策树的节点判断，该用户最终落在“可以偿还”的树叶节点上。因此预测该用户具备偿还能力。二、大数据的处理流程（四）人工神经网络人工神经网络（ANN）是一种仿照人脑神经元结构和功能进行数据分析的信息处理系统。人工神经网络作为一种先进的人工智能技术，因其自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些模糊、不完整、不严密的数据，因此在数据挖掘领域得到广泛应用。二、大数据的处理流程（四）人工神经网络用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机；A用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表；B用于聚类的自组织映射方法，以ART模型为代表。C典型的神经网络模型主要分为三大类二、大数据的处理流程（五）关联规则关联规则是数据挖掘领域特有的技术，由一连串的“如果……/则……”的逻辑规则对数据进行细分，以期在数据库中搜索和挖掘以往不知道的规则。关联规则是找出隐藏在数据项之间的关联或相互关系，根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组；第二阶段为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融企业中，用以预测客户需求和偏好来改善自身的营销。二、大数据的处理流程（六）Web数据挖掘Web数据挖掘是一项综合性技术，指Web从文档结构和使用的集合C中发现隐含的模式P，如果将C看做是输入，P看做是输出，那么Web挖掘过程就可以看作是从输入到输出的一个映射过程。目前常用的Web数据挖掘算法有：PageRank算法、HITS算法以及LOGSOM算法。这三种算法提到的用户都是笼统的用户，并没有区分用户的个体。目前Web数据挖掘面临着一些问题，包括：用户的分类问题、网站内容时效性问题、用户在页面停留时间问题、页面的链入与链出数问题等。二、大数据的处理流程（七）数据可视化技术数据可视化是大数据技术非常重要的一环，关系到数据处理的最终效果和用户体验。数据可视化技术可以将有价值的信息展示出来，同时还能将其出现的原因背景以及其他相关价值信息列示出来，使隐藏在大数据资源背后的真相呈现在众人面前。可视化数据无需任何编程基础，只需要上传数据，就能创建和发布图表。数据可视化分析技术是以图表、图形、报表等方式将大数据分析处理的结果直观地、可视地展示给用户的过程。二、大数据的处理流程可视化工具简介ExcelExcel作为一个人门级工具，是快速分析数据的理想工具，也能创建供内部使用的数据图，但Excel在颜色、线条和样式上可选择的范围有限。D3D3(DateDrivendocument)是支持SVG渲染的另一种JavaScript库，能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。Visual.lyVisual.ly的主要定位是“信息图设计师的在线集市”，同时也提供了大量信息图模板。RR作为用来分析大数据集的统计组件包，拥有强大的社区和组件库，但R是一个相对复杂的开源工具。Gepi

Gepi是进行社交图谱数据可视化分析的工具，不但能处理大规模数据集并生成漂亮的可视化图形，还能对数据进行清洗和分类。Tableau

Tableau更适合企业和部门进行日常数据报表和数据可视化分析工作，产品涵盖TableauDesktop、TableauServer以及TableauPublic二、大数据的处理流程[做中学2-1]生活中的大数据5-6名同学一组，各组选择一个数据可视化分析工具（软件），对该工具（软件）的功能进行研究，并制作一份PPT来展示该工具（软件）的功能和效果。思考：有哪些数据分析问题是无法借助数据可视化分析工具来实现的？《金融科技》FinancialTechnology项目二大数据金融教学目标知识目标1.掌握大数据的基本概念；2.了解大数据技术的处理流程；3.掌握大数据在金融领域的应用；4.了解大数据技术的应用趋势。能力目标1.能够利用大数据技术手段为客户提供金融服务；2.理解大数据技术对金融业带来的影响并积极予以运用。内容导航一大数据的基本概念二大数据的处理流程三大数据技术在金融领域的应用四大数据技术的发展趋势及应用前景大数据技术在金融领域的应用三三、大数据技术在金融领域的应用01征信领域02反洗钱领域04证券投资领域06互联网金融领域05保险领域07金融监管领域03商业银行领域三、大数据技术在金融领域的应用01征信领域三、大数据技术在金融领域的应用聚合多类数据A信用动态评估B运用数学模型C实时出具报告C大数据征信有以下四个特征：三、大数据技术在金融领域的应用【大数据征信案例：ZestFinance】三、大数据技术在金融领域的应用大数据征信在实践中还面临诸多挑战，包括：数据质量参差不齐同人不同信用的问题信息安全问题数据壁垒问题征信机构的独立性问题三、大数据技术在金融领域的应用[做中学2-3]大数据征信试一试5-6名同学一组，分析大数据征信应从哪些渠道来征集数据？应从哪些维度来分析客户的信用状况？思考：大数据征信可能出现哪些问题和风险？三、大数据技术在金融领域的应用02反洗钱领域三、大数据技术在金融领域的应用反洗钱是指为了预防通过各种方式掩饰、隐瞒毒品犯罪、黑社会性质的组织犯罪、恐怖活动犯罪、走私犯罪、贪污贿赂犯罪、破坏金融管理秩序犯罪、金融诈骗犯罪等犯罪所得及其收益的来源和性质的洗钱活动，依照《反洗钱法》规定采取相关措施的行为。三、大数据技术在金融领域的应用12一方面，金融机构除了使用自身数据和行业数据外，还可使用来自工商、税务、房管、海关、公安、法院等政府部门以及消费、娱乐、社交等商业活动的数据；除了使用客户关系、会计系统等结构化数据，还可使用社交媒体、电子邮件、文本、音频、视频、网络日志等非结构化数据，在此基础上，建立反洗钱大数据平台，通过对相关数据的科学分析，甄别客户身份和可疑交易，从而将洗钱犯罪活动拒之门外。另一方面，政府通过加强制度建设，为大数据开放共享建立相应的社会保障制度。我国从2008年即开始实施《政府信息公开条例》，近年来不断采取措施推动各级政府部门在数据信息方面的共享。政府有必要牵头建立一个国家层面的跨系统、跨平台、跨数据结构的大数据网络，打破数据壁垒，消除信息孤岛，促进大数据在各机构间的流动和信息共享。三、大数据技术在金融领域的应用【反洗钱案例：Trulioo】三、大数据技术在金融领域的应用[做中学2-4]大数据反洗钱应用拓展5-6名同学一组，分析如何应用大数据技术实现可疑交易的识别和追踪？每组可通过PPT或小戏剧方式进行研究成果展示。思考：利用大数据实现可疑交易识别，需要解决的关键问题有哪些？三、大数据技术在金融领域的应用03商业银行领域三、大数据技术在金融领域的应用风险评估C运营优化D大数据技术在商业银行领域的应用体现在以下方面：客户营销A产品创新B三、大数据技术在金融领域的应用客户营销A银行可通过大数据分析平台，获得客户通过社交网络、电子商务、终端媒介等方式形成的非结构化数据，掌握客户的消费习惯、消费水平、兴趣爱好等信息，再将这些非结构化数据与银行自身掌握的结构化数据结合，为客户画像，在此基础上实现精准营销。三、大数据技术在金融领域的应用产品创新B商业银行通过大数据分析挖掘用户潜在需求，开发相关产品或增值服务，创新业务模式，提高客户粘性。三、大数据技术在金融领域的应用风险评估C风险管理能力是商业银行的核心竞争力之一。通过大数据构建企业信用档案，可使银行实时掌握企业经营情况和资产动向，提升银行的信贷风险控制能力。三、大数据技术在金融领域的应用运营优化D传统的银行信贷流程包括贷前调查、贷中审查、贷后检查，需要耗费大量人力和时间。在大数据时代，银行可凭借严格设计的评分模型和决策引擎，自动审批客户的贷款申请。资信状况良好的客户可以在线即时提取贷款资金，彻底打通贷款的申请、尽职调查、审批、放款各环节。三、大数据技术在金融领域的应用【直销银行案例：INGDIRECT银行】三、大数据技术在金融领域的应用[做中学2-5]大数据在商业银行产品营销中的应用

5-6名同学一组，每组选择一种商业银行产品，分析如何应用大数据技术开展营销？每组形成一份营销计划，并可通过PPT或小戏剧方式进行展示。三、大数据技术在金融领域的应用04证券投资领域三、大数据技术在金融领域的应用大数据技术在证券投资领域的应用主要体现在智能投顾程序化交易大数据基金三、大数据技术在金融领域的应用智能投顾智能投顾所涉及的大数据主要包括两大类：客户行为大数据和金融交易大数据。智能投顾是指以投资者的风险偏好和财务状况为依据，利用大数据和量化模型，为客户提供资产配置建议和财富管理服务。三、大数据技术在金融领域的应用【智能投顾案例：Wealthfront】三、大数据技术在金融领域的应用程序化交易程序化交易也是大数据应用比较多的领域。程序化交易又称高频交易（HFT），是一种通过高速计算能力，尽可能利用瞬时数据以及其他先进信息技术等识别、捕捉市场中细微价格偏离以获利的交易方式。三、大数据技术在金融领域的应用大数据基金国内一些基金公司通过量化策略和大数据投资方法的有机结合，成立了大数据基金。大数据基金通过算法筛选策略因子，设计出符合投资理念的量化模型，并借此筛选出更多优质投资标的。三、大数据技术在金融领域的应用[做中学2-6]大数据在证券投资中的应用

5-6名同学一组，收集大数据在证券投资方面应用的案例，提炼出利用大数据技术开展证券投资的适用对象、投资特点、优势以及不足之处，并分组汇报。三、大数据技术在金融领域的应用05保险领域三、大数据技术在金融领域的应用大数据在保险业的应用主要涉及：识别欺诈行为个性化定价挖掘客户需求030201三、大数据技术在金融领域的应用挖掘客户需求中国的众安保险公司是一家互联网保险公司，基于用户在电商网站的购买行为，推出网购退货运费险、网上支付安全险等创新险种。保险公司可通过客户在社交网络、电商网站等留下的浏览和交易痕迹，挖掘客户需求，寻找潜在客户。美国前进保险公司（ProgressiveInsurance）通过精细化分析客户财务状况、资产价值、风险偏好等数据，向客户提供量身定制的保险产品。三、大数据技术在金融领域的应用个性化定价在美国，保险公司可以通过安装在车上的通信工具收集有关数据来判断驾驶员的驾驶行为模式，结合驾驶员的年龄、驾龄、健康状况等特征，对车辆保险费率实现个性化定价。保险产品的精算定价能力是保险公司的核心竞争力。大数据可以帮助保险公司提升精算能力。三、大数据技术在金融领域的应用识别欺诈行为保险公司借助大数据，可以识别客户欺诈行为，防范骗保风险。在车险领域保险公司能够利用过去的欺诈事件建立预测模型，将理赔申请分级处理，可实施车险理赔申请欺诈侦测、业务员及修车厂勾结欺诈侦测，遏制骗保行为。在医疗保险领域常见的欺诈手段有两种：一种是非法骗取保险金；另一种是在医保额度内重复就医、浮报理赔金额。借助大数据技术，保险公司通过分析保险欺诈特征，建立预测模型，并通过自动化计分功能，快速将理赔案件按照欺诈风险级别进行分类处理。三、大数据技术在金融领域的应用【大数据在保险行业应用案例：Metromile】三、大数据技术在金融领域的应用06互联网金融领域三、大数据技术在金融领域的应用大数据作为一项基础设施和新兴工具，在互联网金融领域也有诸多应用，主要包括：第三方支付智能信贷精准营销三、大数据技术在金融领域的应用精准营销互联网金融实时掌握客户的借款、还款、投资等情况，通过与电商网站的数据共享，可以实时生成客户画像，了解客户的风险偏好、资金需求、投资偏好、信用状况等，从而有针对性地向客户推送定制化的金融产品，提升营销精准度，并能刺激客户金融需求，有助于扩大业务规模。三、大数据技术在金融领域的应用智能信贷以阿里小贷为例，从风险审核到最终放款，阿里小贷实现了全程线上模式，所有的贷前、贷中、贷后环节都能实时有效连接，并可以向那些难以通过传统渠道获得贷款的个人和小微企业发放贷款，实现普惠金融。借助大数据进行信用评估，能够实时更新借款人的信用状况