金融科技概论-第二章 大数据

金融科技概论第二章大数据学习目标：1.了解大数据的特点、大数据技术，体会大数据给人们的日常生活带来的影响和改变。2.了解大数据在金融领域的作用，以及各类型金融机构如何利用大数据赋能其传统业务。核心概念：大数据大数据技术大数据治理数字鸿沟第二章第一节大数据概况第二节大数据的功用第三节大数据在金融中的应用第四节大数据的风险和挑战第一节大数据概况一、大数据的定义

大数据的定义存在多个版本，尚无权威机构进行统一界定。大数据技术的战略意义在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么该产业实现盈利的关键在于提高对数据的加工能力，通过加工实现数据的增值。第一节大数据概况二、大数据的发展历程

萌芽期(1980-2008年)成长期(2009—2012年)爆发期(2013—2015年)大规模应用期(2016年至今)20世纪90年代，随着数据挖掘理论和数据库技术的逐步成熟，第一批商业智能工具和知识管理技术开始被广泛应用，真正的大数据概念开始萌芽。伴随互联网和智能手机的快速发展，数据碎片化、非结构化特征更加明显，数据量呈爆发式增长，对大量数据处理、分析的需求快速上升，大数据市场迅速成长。大数据迎来了发展的高潮，大数据在商业行为、国家战略层面均起到越来越大的作用。大数据应用渗透到各行各业，大数据价值不断凸显，大数据产业迎来快速发展和大规模应用实施。第一节大数据概况大数据产业链如下图数据应用产品服务个性化推荐、精准营销等行业应用金融、征信、交通、物流、医疗等社会治理智慧城市、智慧政务等数据管理数据集成、数据存取、计算处理、数据挖掘、云存储、数据安全等数据分析图像分析、视频分析、文本分析、语音分析、人工智能（AI）、商业智能（BI）、可视化等数据来源官方数据、企业联盟、第三方数据服务、企业数据等数据交易中心第一节大数据概况三、大数据的核心技术及分类

根据数据从获取到最终分析的全部处理流程，大数据的核心技术主要涉及数据采集、数据预处理、数据存储和大数据分析等。大数据技术主要通过上述流程挖掘数据中蕴含的价值信息并做出决策。（1）API采集（2）网络爬虫（3）感知设备数据采集数据采集（1）集中式存储（2）分布式存储数据存储（1）数据清理（2）数据集成（3）数据规约（4）数据变换数据预处理（1）数据挖掘（2）机器学习（3）深度学习（4）自然语言处理大数据分析第一节大数据概况大数据的分类

根据数据是否有限，数据可以分为无边界数据和有边界数据，有边界数据可以看作无边界数据的子集，大数据的处理本质是为了解决无边界数据。数据又含两种时域，即事件时间（数据实际产生的时点）和处理时间（处理数据的系统架构实际接收数据的时点），基于此，数据处理分为批处理、流处理。

添加标题第一节大数据概况四、大数据的特点-4V添加标题03010204速度快(velocity)量级大(volume)种类多(variety)价值性(value)量级大(volume):庞大的数据量是大数据最基本的特征，具体表现为。种类多(variety):大数据来源复杂、种类繁多，包括各种格式及形态的数据。速度快(velocity):大数据的获取是随时随地进行的，高速采集、处理、分析是大数据与传统数据挖掘技术的显著不同。价值性(value):大数据包含很多深度价值，通过对其分析、挖掘而产生的价值总量将是巨大的，而其价值密度却往往很低。

随着大数据技术的发展，不断有人提出新的特点。比如，强调数据质量的准确性(veracity)、强调数据体系不断变化的动态性(vitality)、强调数据显性化展现的可视性(visualization)、强调数据应用过程规范的合法性(validity)等。第一节大数据概况五、大数据的发展现状及展望根据大数据分析预测未来、指导实践的深层次应用将成为之后的发展重点应用层面大数据现象倒逼技术变革，将使信息技术体系进行一次重构，这也带来了颠覆式发展的机遇技术层面有机结合技术与标准，建立良好的大数据共享与开放环境仍需要进一步探索。治理层面大数据学习目标：1.了解大数据的特点、大数据技术，体会大数据给人们的日常生活带来的影响和改变。2.了解大数据在金融领域的作用，以及各类型金融机构如何利用大数据赋能其传统业务。核心概念：大数据大数据技术大数据治理数字鸿沟第二章第一节大数据概况第二节大数据的功用第三节大数据在金融中的应用第四节大数据的风险和挑战第二节大数据的功用一、多样化数据丰富观察视角二、借助海量数据推断总体

随着互联网的发展，文档、图片、音频、视频、地理位置等非结构化数据激增，这些非结构化数据通常更加复杂且难以处理，但它们也能为我们观察世界提供极大的增益作用。利用样本分析总体是常用的统计思想，但如果采集的样本过少，往往很难凭借有限的样本得出总体的规律，凭借大数据量级大的特点，可以很好地利用大数据获得大量样本的信息，进而对总体的分布可以有更好的把握。第二节大数据的功用三、从大数据中挖掘规律四、大数据带来新价值链与新价值创造方法

面对庞杂甚至有错误的总体数据，除了探求因果关系，关注事物的相关关系也能够有所发现，并通过这种关系解决问题。(一)大数据的内在价值及价值链(二)通过创新挖掘大数据潜在价值大数据学习目标：1.了解大数据的特点、大数据技术，体会大数据给人们的日常生活带来的影响和改变。2.了解大数据在金融领域的作用，以及各类型金融机构如何利用大数据赋能其传统业务。核心概念：大数据大数据技术大数据治理数字鸿沟第二章第一节大数据概况第二节大数据的功用第三节大数据在金融中的应用第四节大数据的风险和挑战第三节大数据在金融中的应用一、大数据在金融领域的作用

第一，数据将成为金融机构的核心竞争力。信息不对称问题的解决，可能带来极大的金融经营竞争优势，对于部分公司而言，数据甚至将成为最核心的资产。

第二，金融脱媒将加剧。随着大数据金融公司得到的优势愈发明显，市场份额不断提升，金融脱媒现象将更加突出。如果未来金融业务相关牌照的限制减少，大数据带给传统金融行业的冲击将更大。

第三，金融业务形态极大变化。以风险管理为例，传统模式更注重于抵押、质押资产和实地考察调研，而在大数据时代下，数据分析将以更新的形态发挥更大的作用。第三节大数据在金融中的应用二、大数据在银行业的应用大数据与商业银行的结合，依赖于商业银行三个得天独厚的优势：第一，商业银行业务系统信息化程度高。第二，商业银行数据类别和数量都是极大的。第三，商业银行业务比较规范，数据相对准确性高。

第三节大数据在金融中的应用二、大数据在银行业的应用大数据在客户关系管理和营销、信贷管理、风险管理、供应链金融、征信等方面都可以与商业银行业务紧密结合。（一）客户关系管理和营销：用于客户分类、预测客户流、高效渠道管理、精准营销。（二）信贷管理：优化革新信贷调查、审查、管理的过程，最终实现信贷业务效益的提升。（三）风险管理：大数据技术将其纳入评估是对风险模型的有效改进。（四）供应链金融：利用大数据的方式对供应链进行更深入的“理解”，将会大幅提升供应链金融的效率。（五）征信：大数据征信是指运用大数据技术分析，重构征信模型和算法，广泛考察个人、企业、社会团体的信用状况。第三节大数据在金融中的应用三、大数据在证券业的应用(一)量化投资(二)股票分析在金融业中，证券业属于数据密集型行业，积累了包括上市公司财务信息、市场信息、客户信息和交易数据等许多数据。而对于这些数据的处理和分析，有助于投资者和券商更好地进行证券投资。量化投资是运用数理统计分析的方法，分析大量与投资相关的历史数据。同时借助计算机的程序化交易，选取未来高回报的证券进行投资，获取超额收益。大数据在量化投资中的应用，主要是在高频交易领域对结构型数据的应用。股票分析分为基本面分析和技术分析两个方面，其中基本面分析包括股票选择和投资组合，技术分析包括交易策略和买卖时机。第三节大数据在金融中的应用四、大数据在保险业的应用(一)承保定价(二)保险公司经营保险业是一个对信息资源高度依赖的行业，将大数据的思维和处理模式引入保险业已成为多数人的共识。但是与银行业和证券业相比，保险业的数据基础尚未完善，其内部数据大多处于数据孤岛的状态，难以被充分挖掘和利用，大数据的应用才刚刚起步。保险是一种风险管理的金融工具，其定价主要是依据大数法则和保险精算理论，而大数据在承保定价中发挥着辅助作用。在传统定价方法的基础上，进行大数据分析有助于保险公司将客户细分化、产品定制化，从而建立科学有效的保险费率浮动机制和对不同客户的差别化定价机制。股票分析分为基本面分析和技术分析两个方面，其中基本面分析包括股票选择和投资组合，技术分析包括交易策略和买卖时机。第三节大数据在金融中的应用五、大数据在资产管理中的应用对于资产管理行业来说，大数据最重要的实用价值在于高效率地实现大规模、多类型的数据分析，挖掘出关于产品、客户、市场的有效信息，帮助资产管理者进行最有利的决策。资产管理已经产生了大数据革新浪潮:产品开发“多元化”，各种“一元起购”、随时取回的理财产品层出不穷，开拓了人均少、总量大的资产管理市场“长尾部分”;风险管理“智能化”，全面分析预测流动性风险，系统监控信用风险;市场营销“精确化”，一改以往不匹配客户真实需求的痛点。第三节大数据在金融中的应用五、大数据在资产管理中的应用(一)资产管理风险控制

大数据风险管理的基本步骤一般有数据准备、数据加工、挖掘分析、结果产出、决策应用5个环节。如右图所示，数据原料有的需要被加工成标准化的数据然后再放入模型中，根据各种算法进行数据分析，最后得到需要的相关数据产品，从而辅助决策。数据的获取和分析能力决定了风险控制水平的高低，这正是大数据技术的核心优势。大数据风险管理的基本步骤第三节大数据在金融中的应用五、大数据在资产管理中的应用(二)大数据客户开发大数据的特征满足了金融产品客户开发的需求。一般来说，大数据客户开发分为四个步骤：第一，合理划分区域。使用一定的特征将客户划分为一个又一个圈子，如生活圈、娱乐圈、学术圈、商务圈等。第二，区域客户画像。在其中一个典型圈子里，对客户的个人情况、消费特征、业务规模等信息都了如指掌。第三，行为偏好分析。进一步挖掘客户的特征和喜好，达到对客户的深层次认知与判断。第四，遴选营销活动。在前面工作的基础上，要以大数据方法来选择最好的营销手段。第三节大数据在金融中的应用六、大数据在监管中的应用金融数据处理的技术问题主要包括数据规模大、数据质量低、数据时效性高、市场调整快和数据内含隐藏联系等。金融市场监管的特殊性包括对市场风险预警能力的要求和后续司法举证能力的要求。大数据的发展正在逐渐解决上述难题，对在证券市场和银行系统进行大数据监管进行有益的尝试，并取得了不错的成绩。大数据学习目标：1.了解大数据的特点、大数据技术，体会大数据给人们的日常生活带来的影响和改变。2.了解大数据在金融领域的作用，以及各类型金融机构如何利用大数据赋能其传统业务。核心概念：大数据大数据技术大数据治理数字鸿沟第二章第一节大数据概况第二节大数据的功用第三节大数据在金融中的应用第四节大数据的风险和挑战第四节大数据的风险和挑战一、大数据对个人隐私的侵犯（一）数据服务商的信息滥用（二）境外机构的信息监听（三）大数据时代的数据入侵(一)个人信息被轻易获取(二)个人信息被随意共享和交易(三)个人信息因销毁不彻底而产生信息泄露风险二、大数据与金融信息安全第四节大数据的风险和挑战三、大数据与金融市场风险在只关注相关性而不关注因果性的模式下，很难筛选分析所需要的高质量数据。如掺杂了虚假、错误的信息，会得到不准确的分析结果，从而做出错误的决策。传统的统计分析方法不适用于对大数据的分析。01数据风险02添加标题添加标题交易风