2-大数据金融业务

第二章大数据金融业务提纲什么是大数据金融一二大数据金融算法与实践应用综合实训：数据分析业务实战三PARTONE什么是大数据金融1目录大数据的基本概念和特征01金融科技的实质02金融科技的发展历程0304大数据与其他新一代信息技术的关系05大数据金融的发展趋势一、大数据的基本概念和特征（一）概念“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一、大数据的基本概念和特征（二）特征Volume（大量）Velocity（快速）Veracity（真实）Value（有用）Variety（多元）二、大数据处理的基本流程大数据处理流程数据收集01数据处理03数据分析05数据预处理02数据挖掘04三、大数据与金融的融合网络平台风险管控客户画像智能营销产品创新物联网技术和大数据技术之间是相互依存的关系，物联网是大数据技术中数据来源的主要途径，而大数据技术承担了物联网技术中的分析功能。大数据和物联网技术的融合应用，是相互促进的关系，彼此互为支撑，才能够发挥出彼此的最高价值。大数据与物联网的融合云计算是提高大数据分析能力的一个可行的方案。云计算和大数据相互依存、共同发展，云计算为大数据提供弹性的、可扩展的存储以及高效的数据并行处理能力，大数据则为云计算提供了新的商业价值。云计算使大数据应用成为可能。没有云计算的出现，大数据将仍是空中楼阁，缺乏根基和落地可能。云计算不仅能为大数据处理打造一个高效、可靠的系统环境，而且还能够充分发挥云计算平台的优势，为大数据应用找到更多样化的出口。大数据与云计算融合大数据与人工智能的融合但人工智能技术的发展需要大数据技术的支撑。传统的大数据技术若没有人工智能技术的支持，会出现很多的数据信息泄露等问题，导致用户会蒙受一定经济上的损失。因此，将人工智能技术、大数据技术相融合创新发展，既可以促进技术的发展，同时也可以为用户提供更好的服务。四、大数据与其他新一代信息技术的关系五、大数据金融的发展趋势技术创新与行业安全有待加强大数据时代下市场信息整合力度加大大数据时代下金融风险管理力度加大机器学习将会加速发展，同时大批量的应用在反欺诈和风控领域金融服务业正在利用物理网数据方面做出努力PARTTWO大数据金融算法与实践应用2一、大数据金融基础算法介绍01（一）决策树决策树算法是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。婚姻Label=否抽烟Label=是年收入Label=是Label=否>80K≤80K是否已婚单/离一、大数据金融基础算法介绍K均值聚类算法，又称为K-Means聚类算法。该算法解决的问题是，在事先不知道如何分类的情况下（即无监督），让程序根据距离的远近，把N个对象（局部）最优的划分为k个类。它是无监督算法中比较常见的一种算法，原理比较简单易懂。（二）K均值聚类算法一、大数据金融基础算法介绍银行在进行信用评估时常使用逻辑回归算法，例如客户填写信息表后，银行借助信息表和第三方信息源处获得客户的信用信息，将相关信息数据作为输入，信用值作为输出，经过逻辑回归计算，确认该客户的信用等级。（三）逻辑回归一、大数据金融基础算法介绍孤立森林的原理是：异常值是少量且不同的观测值，因此更易于识别。孤立森林集成了孤立树，在给定的数据点中隔离异常值。简单来说，孤立森林算法通过随机选择特征，然后随机选择特征的分割值，递归地生成数据集的分区。（四）孤立森林划分数据数据集异常结果特征选取停止生长条件数据集............孤立树1孤立树N孤立森林投票计算异常分数子采样子采样一、大数据金融基础算法介绍人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统。神经网络需要通过学习的过程再来进行计算。神经网络包括一组连接的输入、输出单元，其中每个连接都有一个与之相关的权值。在学习阶段调整连接节点的权值拟合训练模型，在预测阶段对给定输入预测其正确分类标签。（五）人工神经网络衍生变量卡种及数蜃出入账金额通信行为消费趋势波动指数平均消费额线上小额现金贷模型(52个变量)通信数据身份数据网络数据10万客户运营数据某贷款机构与运营商数据总体匹配率80%，其中有值80281个，无值20288个角注:样本来源:随机抽取某贷款机构16年6月-12月放款的10万容户；样本比例:正负样木比例为8:2负样本(坏客户)定义:逾期大于30天的用户;正样本(好客户)定义:逾期小于等于30天二、大数据金融算法应用（一）欺诈现象的发现（二）银行小额贷款产品的贷中评估产品应用PARTTHREE大数据金融业务综合实训：数据分析业务实战3目录云服务申请实战01云金融安全实战02数据分析实战0304业务申请实战一、云服务申请实战云服务申请云应用购买金融机构要开展大数据金融操作，首先要向云服务提供机构申请云服务。角色切换至云服务提供机构或者商业银行，进入云存储页面，根据任务详情填写完毕后完成云应用新建。二、云金融安全实战（一）云金融安全角色切换至云服务提供机构，单击左侧菜单栏的【云金融安全-基础设施检测】按钮进入基础设施检测页面，随后依次单击防雷检测和消防设施检测右侧的检测时间按钮完成检测。单击【业务管理-新建业务】按钮进入新建业务页面，随后单击右上角的【新建业务】按钮显示新建业务窗口，根据任务详情填写信息后单击【确定】按钮完成业务新建。单击【安全评估】按钮进入安全评估页面，单击右侧操作栏的【开始扫描】按钮，选择扫描时间后单击【确定】按钮完成扫描01030204角色切换至商业银行，单击【云金融安全-基础设施检测】按钮进入基础设施检测页面，随后依次单击防雷检测和消防设施检测右侧的检测时间按钮完成检测。三、数据分析实战金融机构要进行数据分析及产品营销操作，首先需要进行数据采集及存储。分别单击【数据分析】【数据挖掘】【数据可视化】按钮进入相应页面。单击【用户画像】【创建画像】【精准营销】按钮进入相应页面。数据采集数据分析产品营销四、业务申请实战角色切换至个人用户，单击左侧菜单栏的【新建申请】按钮进入新建申请页面，页面显示