金融大数据对金融信息服务的影响及应用现状

金融大数据对金融信息服务的影响及应用现状

一金融大数据概述（一）金融大数据的概念和内涵1.金融大数据概念大数据一词最早出现在阿尔文·托夫勒（AlvinToffler）1980年所著的《第三次浪潮》一书中，托夫勒将大数据推崇为“第三次浪潮的华彩乐章”，并提出超前的观念——“数据就是财富”[1]。2008年《自然》杂志开辟了“大数据”专刊，专门介绍大数据所带来的机遇与挑战，更是广泛引起各国关注。近十年来，大数据浪潮以难以想象的速度席卷全球，大数据技术也不断渗透到经济社会的各个层面。虽然，大数据已经成为全球各国科技、经济、社会等不同领域研究和应用的焦点，但到目前为止，对于大数据仍然没有一个共识性的概念，计算科学、数据科学、信息科学、资源科学等不同领域的研究者，均从各自的领域出发对大数据做出了诸多定义。本书根据国务院2015年颁布的《促进大数据发展行动纲要》中关于大数据的论述，对大数据概念进行了界定，认为大数据是“具有规模巨大、种类多样、形成快速、真实度高的数据集合”，可以通过使用新的信息技术手段从中发现新知识、创造新价值、提升能力的一种新兴的信息服务业态。金融行业拥有海量的积累数据，每天也不断产生巨量的交易数据，无疑成为大数据应用最深的领域之一。根据对大数据概念的界定，我们认为金融大数据是在金融领域推广和应用大数据的核心理念和关键技术，对海量金融活动产生的数据集合进行采集、存储、计算、分析、应用等，挖掘海量数据的内在价值，以满足金融市场中更高的洞察需求和更高的决策需求。当前，大数据技术几乎应用在所有金融领域，包括金融资讯、第三方支付、网络信贷等各种金融服务，通过对海量数据进行模型构建，发现金融市场的变化规律与动态趋势，预测金融市场波动起伏，对可能出现的金融风险进行监督与防范。2.金融大数据的内涵伴随大数据、云计算、物联网、人工智能等新一代信息技术的迅猛发展，数据的应用广度和深度都在日益加深，大数据理念也不断深入各行各业，虽然大数据的内涵伴随技术的进步不断深刻与丰富，但是大数据的双重基本内涵仍然存在，即大数据的技术性和思维性。具体到金融大数据的内涵，一方面，从技术角度切入，金融大数据是一种新兴的信息技术，一种在海量金融交易数据中寻找有意义关联、挖掘事物变化规律、准确预测事物发展趋势的能力；另一方面，从思维角度来说，金融大数据是一种全新的思维方式，一种通过大量经验性数据归纳分析，提升人们行为决策能力的思维变革。（二）金融大数据的特征与类型1.金融大数据的特征根据对现有研究资料的总结分析，大数据有五大基本特征，分别是数据规模大（Volume）、种类多（Variety）、速度快（Velocity）、真实度高（Veracity）以及价值大（Value）（见图1）。与环境大数据、工程大数据、能源大数据等类型的大数据相比，金融大数据除了具有大数据的基本特征之外，自身还具备时效性（Validity）、波动性（Volatility）两大特征（见图2）。具体来说，金融大数据有如下特征。图1大数据基本特征（5V）图2金融大数据的特征（7V）（1）数据规模大（Volume）：银行、证券交易所、保险等金融机构每天的业务开展都会产生的海量数据。据不完全统计，我国大型商业银行和保险公司的数据量已经超过100TB，同时，伴随新一代信息技术在金融领域的不断渗透与融合，每日新增数据量还在不断扩大。（2）种类多（Variety）：由于来源众多，金融大数据的种类繁多，不仅涵盖股票、基金、债券、期货等传统金融业务的结构化交易数据，还包括图像、音频、视频、生物识别、地理标记、笔迹等非结构化数据。（3）速度快（Velocity）：由于计算机和传感器技术的快速发展，金融行业的数据生成、采集、传输、存储、分析速度大大提升，同时数据的完整性和一致性也得到有效提升。（4）真实度高（Veracity）：金融数据是重要的经济社会数据，很多金融统计数据都是衡量经济社会发展的关键性指标，也是很多企业和个人进行投资理财、资产管理的重要参考，因此，对金融数据的处理有着严格的要求，对数据录入审核更严格和数据维护更严密，可以有效过滤掉噪声、异常、错误等“脏数据”，数据的真实度非常高。（5）价值大（Value）：数据日益成为国家和企业的战略性资源，对其价值的认可也在不断加深，金融领域的市场波动，包括客户身份、资产负债情况、资金收付交易等数据更是无论在宏观层面还是在微观层面都具有巨大的分析价值和应用价值。（6）时效性（Validity）：数据的时效对分析问题、优化决策具有直接的影响。当下处于数据井喷时代，尤其是在瞬息万变的金融市场，每一秒钟都有大量的数据生成，因此，只有及时有效的数据才能发挥最大的效果。（7）波动性（Volatility）：波动是金融市场的常态，金融大数据不可避免地也具有起伏波动特征。因此，金融大数据除了考虑时效性，即多长时间的数据有效，还需要确定一定的波动周期以确定这些数据不再与当前的分析有关。2.金融大数据的类型金融数据的来源众多且数据处理方式不同，加之积累的海量数据规模和每日新增巨量交易数据，因此金融大数据有很多类型，可以从金融机构、金融市场、融资方式、统计方式等不同的角度对数据类型进行划分（见表1）。本报告按照大数据最常见的数据结构划分方法，将金融大数据分为三类：结构化数据、半结构化数据和非结构化数据。表1金融大数据类型分类视角数据类别金融机构银行、证券、基金、保险、期货等金融市场资本、外汇、黄金、货币等融资方式直接、间接统计方式存量、流量宏微观宏观、微观结构化结构化、半结构化、非结构化表1金融大数据类型（1）结构化数据：所谓结构化数据是以二维表结构为逻辑表达现实的数据，通常可以用关系型数据库按照固定的模式，如数字、符号来表示和存储[2]，结构化数据通常可以直接用传统数据处理平台来构建模型和处理分析，常见的金融结构化数据主要包括行情数据、研报数据、绩效数据、指数数据等。（2）半结构化数据：半结构化数据是一种介于结构化与非结构化之间的数据，即存在一定的结构但是不方便进行模式化的数据，这类数据通常一部分可以用数字、符号来表示，另一部分则需要通过文字描述来表示，常见的金融半结构化数据主要包括金融资讯数据、金融社交数据等。（3）非结构化数据：所谓非结构化数据无法按照一个预定义的数据模型或固定的组织方式对数据进行表示，无限定的结构形式，大数据挖掘的重点和难点就在于非结构化数据。非结构化数据涵盖范围较为广泛，占据数据资源的80%以上，常见的金融非结构化数据主要包括图片、音频、视频、新闻等。二金融大数据的发展现状当前，大数据全面渗透辐射到金融领域各个方面，已经成为我国金融业发展的新增长点和引爆点。大数据能够深度挖掘金融大数据冰山下的金矿，充分利用金融领域生成的海量数据发现数据所蕴含的情报价值，形成更为精准的用户需求、用户评价、金融风险等不同报告。大数据彻底颠覆了金融领域基于数据的传统业务，重塑了金融服务的发展方向，极大地释放了被抑制的金融创新。本报告从具体应用角度出发，分析金融大数据在我国不同金融机构的发展现状。（一）金融大数据在银行业的应用现状银行业是受大数据影响最深的行业之一，以中国银联公司为例，其业务涉及全球160个国家和地区，银行卡数量超过43亿张，持卡人数量超过9亿人，每天近7000万条交易数据，核心交易数据都超过了TB级。一方面，银行业在开展业务过程中，积累了大量客户个人情况、资产情况、交易情况等高价值的数据，因此，利用大数据技术挖掘和分析银行数据更能产生商业价值；另一方面，银行业拥有充足的资本采用大数据技术和引进大数据人才。因此，大数据在银行业应用较为广泛。具体来说，金融大数据在银行业的应用主要有三个方面。①优化业务流程。大数据技术可以高效处理海量繁杂的银行业务，银行业可以利用大数据对众多具体运营数据进行深入分析，不断优化运营细节和创新服务模式，改进业务处理流程和重塑业务规则，缩短服务时间，提高决策效率，提高整个服务的自动化程度（见图3）。②驱动银行业务增长。数据是新的生产资料，坐拥海量数据的银行一方面可以利用数据提高核心业务水平，以更强的洞察力和更精准的营销更好地服务客户，提升用户黏性；另一方面，也可以把数据变成更加丰富的差异化金融产品和金融服务，促进银行业从规模经济向范围经济转型，创造更多增值业务，驱动银行业务增长。③提高银行风险管控能力。在互联网时代，银行、企业、个人以及中介机构之间的交互与联系更为密切，局部风险容易扩展成系统性风险，银行业面临的挑战和风险日益增加，传统的风险管理框架在互联网时代显得缺少前瞻和预测能力。大数据技术在银行信用风险管理上的广泛应用，可以逐步建立以大数据分析替代个人判断的新型信用风险模式，重组与再造银行信用风险管理架构，为企业和客户提供全面深入的信用风险分析。以中国工商银行为例，2013年中国工商银行围绕风险大数据重构银行风控体系，研发并投入使用外部欺诈风险信息系统，截至2017年3月，该系统累计预警业务风险129万笔，涉及资金435亿元，有效保障了银行与客户的资产安全。图3大数据分析决策过程（二）金融大数据在证券业的应用现状现代证券行业具有资本密集、数据密集、智力密集等特点，不断发展的大数据技术对证券行业的重要性与日俱增。证券行业的大数据往往具备细节化、多维化、动态化、随机化等特征，只有通过大数据技术才能及时高效地处理海量证券交易数据。具体来说，金融大数据在证券业的应用主要有四个方面。①提高营销服务水平。伴随金融机构间合作的日益加深，加上大数据抓取技术的不断发展，券商机构可以采集和整合更多的客户信息，如身份、信用、行为、喜好、经营状况、社交群体等，将大量非结构化数据转换成结构化数据，建立客户潜在需求模型，形成立体化客户画像（见图4），从而实现精准营销甚至交叉销售。以国泰君安为例，其智能化服务平台可以在2秒种之内对2200多万名用户、1000多万名客户进行识别、画像、需求感知并进行选择预判。②提升客户关系管理能力。凭借大数据技术，券商机构可以对不同客户群体进行更为细致的聚类分群，如可以根据客户的账户状态、交易习惯、资产情况、投资收益等不同条件，对客户群体进行细分，挖掘不同的客户交易模式，寻找最有价值和具备潜在价值的客户群体，提供适合的金融产品和服务。同时，可以通过挖掘历史交易数据与客户流失数据的关系，预测客户流失情况。例如，海通证券2012年就自主开发“给予数据挖掘算法的证券客户行为特征分析技术”，应用在客户深度画像以及基于画像的用户流失概率预测方面。③增加金融产品和服务的定制化程度。在大数据的背景下，证券机构将有能力挖掘不同客户的产品和服务偏好并根据其风险承受能力，设计出更符合客户需求的投资、理财、融资、消费等多种金融产品和服务，如光大证券推出智投魔方、华林证券推出智投机器人Andy、平安证券推出金融服务AI慧炒股等。④探索量化投资应用。量化投资的本质是定性投资的数量化分析过程，传统量化投资借助计算机和金融工程建模从历史交易数据中探索出“大概率”收益的投资组合。传统量化模型多是基于传统财报和市场报告等结构化数据，大数据进入量化投资领域后，一方面可以充分使用舆情、搜索、语义文本等非结构化数据，满足日益复杂多样的证券建模需要；另一方面，可以促进大数据量化投资策略更加精细和专业化。图4基于大数据的用户信用画像（三）金融大数据在保险业的应用现状相比于电商行业、券商行业、银行业等较早应用大数据的行业，保险业的大数据在我国起步较晚。然而，保险行业的诞生与发展从来离不开统计与数据，而大数据逐步在保险行业推广和应用。具体来说，金融大数据在保险业的应用主要有三个方面。①合理制定保险费率。当前，保险公司的保险费率多是基于样本统计的历史数据来预测保险标的发生损失的概率，进而通过精算精准确定的。然而，这种传统计算方法存在一定的弊端，由于保险标的风险状况是动态变化的，而历史数据难以准确反映最新情况，所以，保险标的不能完全准确地反映出面临的风险现状。大数据在保险行业应用的不断加强，使得保险公司可以获得更多维度的全量数据，有效提高风险评估的准确性，因此，可以更加合理的制定保险费率。如美国利宝互助保险集团（LibertyMutualInsuranceGroup）通过和汽车企业合作，对车主的驾驶习惯进行大数据分析，以便精准地确定车主每年需要缴纳的保费。②提高保险反欺诈效果。保险欺诈既给保险企业带来巨大损失，也给社会带来严重的危害和不安定因素，长期以来，保险公司投入了大量人力物力来进行反欺诈，通过大数据来进行保险反欺诈已经成为行业共识。凭借大数据技术，建立投保人的信用评价体系，再挖掘保险欺诈行为的规律特征，开发建立反保险欺诈大数据系统，可以准确、及时识别出欺诈案件。以中国平安为例，平安集团拥有8.8亿人数据，其生物识别技术被广泛用于反欺诈，在小额贷款业务，已对超过3000万例人脸识别核身，将冒办率由29%降至0；在大额贷款业务方面，已对超过30万人进行表情面审，效率提升了10%。③提升保险营销能力。投保人购买保险的前提是对未来风险的一个预期判定，而大数据无疑为这样的风险判定增加了准确性。以大数据为基础的保险服务将最大程度激活保险市场上的潜在需求，让保险机构对客户行为、客户状态、兴趣爱好等客户个人情况有全方位的了解，再通过行为倾向性营销建模，从而成功预测客户的保险需求。典型代表是美国州立农业保险公司（StateFarm），美国州立农业保险公司建设了统一的信息中心，将各种金融保险业务的数据进行有效整合，借助大数据将其他业务精准推销给其用户，使其银行业务的客户中有98%都是原有保险业务的老客户。（四）金融大数据在金融监管部门的应用现状金融行业是大数据的先行者，金融监管部门也是大数据的首批试水者。随着大数据技术的应用在金融领域的日趋加深，部分金融机构和互联网巨头凭借其在互联网领域的固有优势，掌握了海量的数据资产，容易产生数据寡头现象，因此，金融监管部门必须运用大数据改变传统工作方式。具体来说，金融大数据在金融监督部门的应用主要有三个方面。①重塑金融监管模式。大数据技术在金融监管领域的应用改变了传统监管模式的“滞后性”“一刀切”“高成本”等弊端，提高金融监管的效率与准确率。大数据技术可以扩展渠道来源并实时追踪金融市场与企业的动态变化，全方位采集数据，保证监管的及时性，降低监管面对的信息不对称难题。例如，ZsetFinance公司可以进行多源数据采集，既包括传统的信贷记录数据，也包括社交、购物、交易等非传统数据，让信用评估更加准确可靠。同时，基于大数据和机器学习技术构建智能监管监测系统，能够提升监管过程的智能化水平，极大地提高监管效率。②降低金融监督管理机构的管理和运行成本。大数据通过对监管数据的深入挖掘和全面分析，形成科技监管框架，制定有针对性的措施，改进金融机构内部管理缺陷，降低运行和管理成本，加强和优化金融监管职能，提升监管手段的精准性和落地性。③增强风险控制能力。通过大数据技术增强金融监督部门的风险管控能力，既能有效规避系统性金融风险，又不形成对金融科技公司的发展制约。如2017年底，九次方大数据服务公司研发的省市金融风险预警大数据平台投入运营，在国内多个省份政府金融办、发改委、经信委等部门进行试用，逐步实现我国金融风险相关舆情及时预警分析和精准化区域监控。三金融大数据对金融信息服务的影响大数据与金融行业正在加速融合，对金融服务业发展产生了巨大冲击，金融大数据对金融信息服务也产生了深刻影响，对其服务可视化程度、服务模式、服务边界以及服务创新都带来了巨大变革。（一）提高金融信息服务的可视化程度数据可视化是一种借助图形化手段表达数据的变化、联系或者趋势的方法。随着大数据时代的到来，越来越多的数据需要得到有效利用，大数据对数据可视化产生了巨大冲击，也推动数据可视化技术不断应用到各行各业，医疗、航天、环境、金融等领域都开始用更高效的信息处理算法表示数据的价值。当前，金融大数据推动了数据可视化技术在金融信息服务中的应用，提高了金融信息的可视化程度，促进了金融信息服务效率的提升，主要包括如下三个方面。①更有效率的数据展现形式。以大数据技术为引领，综合使用数学算法、数据挖掘、图形处理等一系列信息技术，从海量结构化与非结构化并行的金融大数据中，提炼出有效数据并以信息动态集成方式展示出来。②更有效率的运营体系。可视化金融服务正逐步应用到不同金融服务场景当中，数据可视化可以实现多项服务的数据共享共生、同步并行，减少设备故障率，降低资源浪费，提高业务衔接水平，不断优化运营体系，大大提高金融信息服务体系的效率。③更有效率的业务监控。金融大数据可视化系统可以追踪金融机构从总部到各分支机构的运营动态，实时监测设备和业务的效能情况、运行情况、完成情况，面临异常情况时，能够及时反馈、迅速应答。（二）提升金融信息服务的定制化水平金融行业竞争异常激烈，产品和服务的同质程度非常严重，随着80后、90后逐步成为金融信息服务的主要用户，对服务的个性化定制的需求也在不断增加。金融大数据提升了金融信息服务的定制化水平，主要体现在如下三点。①更多普通投资者享受的差异化服务。受人力成本的限制，传统的定制金融信息服务通常面向高价值客户群，而金融大数据可以根据客户的多种行为偏好数据和网络抓取数据进行交叉验证和数据建模，形成更为精准和立体的客户画像，再经过用户风险承受度测算，为普通投资者制定出符合自身偏好的投资分析信息。②更加盈利的增值业务。差异化服务往往带来更多额外收益，基于大数据对大量用户信息的挖掘和分析，设计研发出符合大众需求的金融信息服务和产品，根据不同客户需求差异开展个性化定制服务，这一服务是金融信息服务中的增值业务，也将成为未来金融信息服务业的主要盈利模块。③更加智能的服务推送。金融大数据处理平台可以对用户搜索、消费习惯、市场热点等数据进行有效记录和智能分析，向用户智能推送差异化的金融信息服务，实现服务与用户的精准匹配，有效降低用户搜寻成本。（三）拓展金融信息服务的服务边界2015年9月国务院颁布的《促进大数据发展行动纲要》提出，我国将在2018年底前建成国家政府数据统一开放平台，要求率先在信用、金融等重要领域实现公共数据资源合理适度向社会开放。金融数据资源的开放性增加，也进一步拓展了金融信息服务的边界，主要体现在如下三点。①服务对象和范围扩大。大数据的高效性以及渗透性，使金融信息服务的对象和范围得到大大扩展。例如，高频的理财服务、存款服务、支付结算等交易活动难以在传统的金融信息服务中实现，而由于大数据技术在金融领域的深度应用，这些服务目前都已经实现。②推动跨界合作。大数据提高了数据采集的准确率，降低了市场分析的错误率和成本，让金融与非金融业之间跨界合作的门槛得以降低，产生出新的融合价值，这也使得金融信息服务不仅仅服务于金融相关领域，也可能会服务其他产业。③打造开放服务平台。伴随金融业务载体与电子商务、社交媒体的融合程度日益加深，各行各业对金融信息服务的实时性和准确性要求越来越高，因此，通过大数据技术打造开放金融信息服务平台，以利用数据价值为核心的商业服务模式正在逐步形成。（四）增强金融信息服务的创新能力金融信息服务创新是以新的变革方式，促进服务更加高效、方便和准确，大数据有力地提高了金融信息服务创新能力。①服务理念的创新。大数据技术的发展改变了传统的信息服务模式，从主动性、差异性、集成性等方面对服务提出了更高的要求，让金融信息服务业有条件也有能力更好地服务客户。②服务载体和路径创新。大数据技术整合移动社交、移动支付等功能，充分利用微信、微博、论坛、知乎等社交网络所提供的金融机构的服务入口，创新金融信息服务的载体和路径，创建直面更多更复杂客户需求的平台。③服务手段创新。一方面，以优质的服务手段满足客户，凭借大数据技术，金融信息服务中不断融入社交、时事、偏好等非结构化数据，开发更符合客户习惯与特征的金融信息服务产品；另一方面，以更高黏性的手段绑定客户，金融机构通过大数据分析将提供适合客户之间交流以及客户与服务商之间相互交流的服务平台，增强客户黏性。四金融大数据在金融信息服务应用中的瓶颈当前大数据在全世界范围呈现井喷式增长，大数据应用渗透到金融行业的方方面面，成为推动金融信息服务变革的重要动力。大数据的演进与生产力的提高有着直接的关系。当然，由于大数据本身处于技术发展初期，加上我国金融信息服务业自身发展的不足，大数据在金融信息服务应用方面存在一些瓶颈。（一）数据人才匮乏随着大数据重要性的日益凸显，越来越多的企业投入大数据业务拓展中，随之而来的就是大数据人才匮乏问题。相关统计数据显示，未来3～5年，我国数据人才缺口超过150万人。虽然目前国内已有多所高校设立“数据科学和大数据技术”相关专业，然而，一个新兴专业从设立到成熟，再到为社会输送合格的人才需要一定的时间，因此，金融行业大数据人才稀缺的局面也将持续一段时间。同时，当前大数据发展还呈现新的特点，即从技术攻克逐步转化为商业应用，对大数据落地人才的需求更加强烈。金融大数据在金融信息服务领域的应用是数据分析转化为商业价值的过程，是典型的大数据落地应用，数据人才匮乏成为制约金融信息服务业发展的重要瓶颈之一。（二）数据共享难题国家“十三五”规划纲要明确指出“把大数据作为基础性战略资源”，要“全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用”。然而，长期以来，不同金融机构间的数据共享存在法律、技术、标准等一系列障碍，具体来说，金融领域的数据共享主要面临三个问题。首先是共享的法律问题，数据共享的很多法律问题至今没有解决，主要是数据产权问题和隐私保护问题。其次是利益问题。数据日益成为企业重要的重要资产，数据共享相当于将重要的资产共享出去，企业担心难以获得相应价值的回报。最后是共享平台问题。不同机构间标准的不同，加上大量非结构化数据的存在，造成缺乏一个高效的共享平台。金融大数据发展的核心要求是对金融各领域数据资源的积累与共享，如果无法实现不同金融机构间、不同金融企业间、不同金融服务环节间数据的共享，则无论是对市场波动的预测分析，还是对个人行为习惯的判定都将大打折扣。（三）数据质量问题数据质量决定数据的价值。近年来，电子商务、社交平台、新零售等新兴领域与金融行业的融合不断加深，加上金融行业自身的快速发展，产生了海量数据资源。然而，由于数据标准、数字监管、非结构化数据转换等问题的制约，数据质量难以提高，海量的金融数据未能产生海量的数据价值。数据质量不高制约着金融大数据的分析效果，同样也影响着金融信息服务业的发展。五促进金融大数据在金融信息服务业应用的对策建议数据作为互联网时代的新能源，是推动金融业转型升级、催生行业新业态、挖掘商业新价值的重要引擎。金融大数据对金融信息服务业的冲击不局限于某一环节，而是带来整个业务流程的系统性变革，对此可以提出如下对策建议。（一）加强大数据人才队伍建设大数据的应用范围和应用深度日益扩大，人才短缺成为制约大数据发展的最大瓶颈。只有加快建立大数据人才培养体系，强化人才培养机制，才能满足金融信息服务业日益增长的优质大数据人才需求。为建设一流的大数据人才队伍，应根据我国现阶段大数据发展现状和大数据