银行大数据解决方案

银行大数据解决方案一、项目背景8月31日，国务院印发了《增进大数据发展的行动纲要》，这一战略性文献为我国大数据发展与应用提供了指导大纲和政策保障。在数据已成为银行重要资产和贵重资源的形势下，《纲要》也为银行运用大数据推动转型发展指明了方向和实施途径，带来了发展新机遇。现在中国银行业正在步入大数据时代的初级阶段。通过数年的发展与积累，现在银行业的数据量已经达成100TB以上级别，并且非构造化数据量正在以更快的速度增加。银行业在数据方面有天然的优势：首先，银行在业务开展过程中积累了涉及客户身份、资产负债状况、资金收付交易等大量高价值密度的数据，这些数据在运用专业技术挖掘和分析之后，将产生巨大的商业价值；另首先，银行含有较为充足的预算，能够吸引到实施大数据的高端人才，也有能力采用大数据的最新技术。总体来看，尽管大数据在银行业的应用刚刚起步，现在影响还比较小，但是从发展趋势来看，应充足认识大数据带来的深远影响。银行业需要进行统一的大数据平台建设，建立综合预测分析体系，整合生产系统数据资源。在此基础上与《纲要》规划的信用信息共享交换平台和公共机构数据统一开放平台有效对接，双管齐下扩展数据来源和采集渠道。这能够首先高效收集、有效整合公司和社会公共数据，掌握公司真实需求，实现精确营销。特别可通过农业农村信息综合服务和农业资源要素数据共享，获取三农数据和小微公司数据，解决数据挖掘和分析难点，提高三农和小微金融服务水平。另首先运用平台动态监控公司经营及个人信用变化状况，强化信用风险智能化管理和预警，减少信用评定、风险控制的难度和不拟定性，实现风险管控和精确营销的双重收益。二、银行大数据平台总体框架银行大数据平台框架概述银行大数据建设是基于已有的信息化基础，充足运用和整合已有信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提高创新能力和产品服务能力。（1）大数据分析基础平台按照功效划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的公司级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。（2）数据应用系统基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充足发挥大数据价值。（3）数据管控建立数据原则，提高数据质量，加强元数据管理能力，为平台建设及安全提供保障。银行大数据平台建设原则平台是大数据的基础实施，其建设、设计和系统实现过程中，应遵照以下指导原则：经济性：基于现有场景分析，对近年数据量进行合理评定，拟定大数据平台规模，后续根据实际状况再逐步优化扩容。可扩展性：架构设计与功效划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。可靠性：系统采用的系统构造、技术方法、开发手段都应建立在已经相称成熟的应用基础上，在技术服务和维护响应上同顾客主动配合，确保系统的可靠；对数据指标要确保完整性，精确性。安全性：针对系统级、应用级、网络级，均提供合理的安全手段和方法，为系统提供全方位的安全实施方案，确保公司内部信息的安全。大数据技术必须自主可控。先进性：涵盖构造化，半构造化和非构造化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台含有良好的先进性和弹性。支撑现在及将来数据应用需求，引入对应大数据有关技术。平台性：归纳整顿大数据需求，形成统一的大数据存储服务和大数据分析服务。运用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。分层解耦：大数据平台提供开放的、原则的接口，实现与各应用产品的无缝对接银行基础数据层来源银行内部大数据资源金融行业的数据大多数来源于客户本身信息以及其金融交易行为，其中八成左右的数据集中于银行。因此根据现在积累沉淀的数量资源状况，将数据重要分为三大类：第一类：客户基础数据客户信息数据，即客户基础数据，重要是指描述客户本身特点的数据。个人客户信息数据涉及：个人姓名、性别、年纪、身份信息、联系方式、职业、生活都市、工作地点、家庭地址、所属行业、具体职业、婚姻状况、教育状况、工作经历、工作技能、账户信息、产品信息、个人爱好等等。公司客户信息数据涉及：公司名称、关联公司、所属行业、销售金额、注册资本、账户信息、公司规模、公司地点、分公司状况、客户和供应商、信用评价、主营业务、法人信息等等。现在银行业的客户信息数据积累数量无疑是最大，如果将这些割裂的数据整合到大数据平台，形成全局数据，再按照本身需要进行归类和打标签，由于都是构造化数据因此将有助于数据分析。能够将这些信息集中在大数据管理平台，对客户进行分类，根据其它的交易数据，进行产品开发和决策支持。第二类：支付信息交易信息数据，能够称之为支付信息，重要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息：涉及工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购置理财产品、购置保险产品、信用卡还款等。公司客户交易信息：涉及供应链应收款项、供应链应付款项、员工工资、公司运行支出、同分公司之间交易、同总公司之间交易、税金支出、理财产品买卖、金融衍生产品购置、公共费用支出、其它转账等。第三类：资产信息资产信息重要是指客户在金融机构端资产和负债信息，同时也包含金融机构本身资产负债信息，其中数据大多来自银行。个人客户资产负债信息涉及：购置的理财产品、定时存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、公司年金等。公司客户资产负债信息涉及：公司定时存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理财产品、票据、债券、固定资产等。银行本身端资产负债信息涉及：本身资产和负债例如活期存款、定时存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。第四类：新型业务数据这类数据涉及系统的运行日志、客服语音、视频影像、网站日志等。外部大数据所需来源银行机构进行大数据分析，为了赢得差别化竞争，就必须考虑其它数据源的输入，这些数据是本身不含有的，但是对其数据分析和决策起到了很重要的作用。银行内部有客户信息、交易信息、信用信息、资产信息等，含有较全的数据，需要的外部数据含有一定针对性，下表是外部数据需求的整顿。外部信息数据需求类型及应用方式法院、公安数据个人严重行政处分统计（如行政拘留等）、刑事犯罪统计、涉诉状况（人身关系、财产关系）、交通严重违规违章统计P2P征信信用数据个人在P2P平台贷款的信用统计互联网消费行为数据理解客户消费能力和消费偏好客户征信信息客户在其它银行或金融机构的贷款统计、信用统计等信息第三方征信客户的评级状况以及客户的社会信息社保、纳税、公积金客户的社会保障状况及经济能力工作单位性质理解客户社会身份第三方催收机构有催收统计的客户信息、客户的社会信息出入境统计客户出入境目的地、出入境频率等理解客户国外消费潜在需求国内出行统计理解客户出行习惯表一：银行外部数据需求类型正是由于以银行为代表的金融机构需要大量的外部数据弥补本身内部数据的局限性，从而催生针对金融业的大数据交易市场。现在金融机构能够采用同大数据厂商合作的方式，通过本身平台来采集数据或购置第三方数据。三、大数据在银行业的应用场景客户管理借助大数据分析平台，构建360度的立体画像。图二：银行大数据技术客户画像维度随着大数据的大量涌现，特别是在社交网络的背景下，服务渠道不应仅局限于传统的银行渠道，而应整合新的客户接触点（即社交媒体网站等），这种趋势已经变得日益清晰。银行业发展战略也逐步从以产品为中心转向以客户为中心，客户成为银行发展的重要驱动力。银行不仅仅销售产品和服务，并且还应为顾客提供完美的多渠道体验，成为真正以客户为中心的组织。理解客户终究是谁以及客户最真实的需求成为银行经营管理者最为关注的问题。银行能够通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备等媒介产生的非构造化数据，构建全方面的客户视图。根据顾客行为对顾客进行聚类分析，进而能够有效的甄别出优质客户、潜力客户以及流失客户。营销管理借助大数据分析平台，执行个性化营销管理及方略。图三：银行大数据技术精确营销在客户画像基础上，银行可展开精确营销。1）实时营销。例如客户当时的所在地、客户近来一次消费等信息来有针对地进行营销，或者将变化生活状态的事件（换工作、变化婚姻状况、置居等）视为营销机会；2）交叉营销。即不同业务或产品的交叉推荐，如招商银行能够根据客户交易统计分析，有效地识别小微公司客户，然后用远程银行来实施交叉销售；3）个性化推荐。银行能够根据客户的喜好进行服务或者银行产品的个性化推荐，如根据客户的年纪、资产规模、理财偏好等，对客户群进行精拟定位，分析出其潜在金融服务需求，进而有针对性的营销推广；4）客户生命周期管理。客户生命周期管理涉及新客户获取、客户防流失和客户赢回等。构建更全方面的信用评价体系运用大数据平台及技术，能够更加好的构建银行系统的信用评价系统。图四：银行大数据全方面信用评价体系信用风险评价是银行信用风险管理工作的根据和基础,其前提是要为信用风险评定建立科学合理的评定指标体系。大数据能分析及协助银行理解客户各方面的信息，做出快速、高效的评价、评定，实现业务安全的实施。风险管理借助大数据平台及技术，实现高效精确的风险控制。图五：银行大数据全方面风险管理体系随着银行业务的快速发展，银行经营者必须有效地甄别风险、防备风险和控制风险。风险管理成为银行稳健发展至关重要的一环。社会化媒体的互动、实时的传感器数据、电子商务和其它新的数据源，正给银行经营带来一系列的挑战。仅仅借助传统的解决方案，无法全方面进行风险管理。大数据分析协助银行理解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，建立完善的风险防备体系统。运行优化在运行优化方面的应用涉及：1）市场和渠道分析优化。通过大数据，银行能够监控不同市场推广渠道，进而为银行产品或者服务找到适宜的渠道，优化推广方略。2）产品和服务优化。银行将客户行为转化为信息流，并从中分析客户的个性特性和风险偏好，智能化分析和预测客户需求，从而进行产品创新和服务优化。解决信息孤岛银行的系统是非常多，带来的问题是信息孤岛，过去，银行普通需要小时的时间间隔去扫描各个业务系统，这会造成某些业务方面的问题。例如：现在绝大多数的交易都能够在多渠道上做，顾客在做的过程中可能会碰到困难。碰到这种状况，客户会打电话到客服，对应的客服人员不太可能实时的懂得这个问题。新一代的解决方案是运用现在大数据的能力把分布在各个地方的原始数据和原始的日志定时每隔一分钟进行收集和抽取，放到分布式文献系统里，然后建立索引，这样一来就能够实时的查询四、大数据在银行业的应用趋势风险定价模型利率市场化改革逐步深化，银行正在增强本身的定价能力。在贷款业务上，银行与银行的竞争本质上就是风险定价的竞争。现在，银行在客户数据和数据质量方面落后于互联网金融公司，但是风险定价能力则超出这些公司。多渠道数据的实时交互银行需要加紧新兴电子渠道建设，同时还要基于客户统一信息视图，实现数据在各渠道终端的及时交互。加强语义和语音分析诸多银行内部、社交网络、移动设备上来的数据和电子商城上的数据都是非构造化的，其中一部分还是语音，例如客户录音，这些数据对于银行理解客户也是至关重要的。实时营销将会推广到更多的银行和更多的银行业务根据客户所在地进行营销、根据客户近来一次的交易进行营销、根据客户的言论进行营销、根据客户浏览的网页或者商品进行营销等。银行进入P2P领域对于部分细分市场，银行将从贷款的提供者走向贷款的中介。事实上，我们已经看到某些银行正在尝试这种模式，他们仅仅是撮合资金的提供方和需求方。将银行的电子商城业务和银行金融服务结合起来银行进入电子商务领域本质上并不是为了与互联网电子商务公司竞争，而是为了更加好地理解客户。从现在来看，银行开展的电子商务业务都不太顺利，电子商城上的商品价格普遍偏高，交易量稀少。五、银行大数据应用风险及防控银行业结合了互联网大数据会使得该行业面临更多更复杂的风险。在此背景下银行业大数据健康可持续发展离不开对风险的监控和管理。数据安全和数据定价风险银行从一开始诞生就离不开数据，银行的核心基础就是大数法则，在大数据时代，互联网银行在深度触网的过程中会产生多个构造化和非构造化数据，深度挖掘客户的大数据，开发出客户潜在需求和适宜的金融产品，前提是确保这些数据来源的全方面性、可靠性和精确性，避免数据失真所带来的定价风险。信用与网络欺诈风险运用大数据分析软件，能够防止信用卡和借记卡欺诈。通过监控客户、账户和渠道等，提高银行在交易、转账和在线付款等领域防御欺诈的能力。在监控客户行为时，大数据能够识别出潜在的违规客户，提示银行工作人员对其予以重点关注，从而节省反欺诈监控资源。运维风险和运行风险前者如数据丢失、数据泄露、数据非法篡改、数据整合过程中的信息不对称造成错误决策等，后者如公司名誉风险、数据被对手获取后的经营风险等。因此，必须加强数据管控。为此，一是高度重视并推动统一的数据原则，并做好数据清洗，确保数据质量。二是审慎划定数据边界，合理开展内外部数据共享和非核心数据业务外包。三是大数据下应更加重视隐私保护和信息安全，加大对反网络攻击的投入。操作风险之因此将此风险单独列举出来，重要是出于此风险的危害性角度考虑，由于该风险诸多时候会对公司产生致命性的打击。大数据时代的互联网金融面临的操作风险更加不容无视，银行工作人员和客户的在线操作风险如果不引发重视，不仅会影响互联网金融的久远发展还会引致法律风险。特别在大数据时因此我们呼吁操作风险的管理应纳入到日常的风险管理中。六、银行大数据商用价值银行对于大数据的就用不单单在于提供一种有效的手段，提高银行对于客户的理解与认知能力。他的商用价值还体现在下列几个方面：（1）批量实现较高水准的个性化客户产品服务，增加客户粘性，推动业务创新。有效地将大数据分析系统够构建客户360度全方位视图，设计更有竞争力的创新产品。对公司型客户的财务