大数据背景下传统金融机构发展的机遇与挑战研究

PAGEPAGEII大数据背景下传统金融机构发展的机遇与挑战研究摘要：金融机构要顺应大数据时代的发展，抓住金融大数据的机遇，重视金融数据流的存储、分析与使用，充分运用大数据技术，从海量数据中识别和获取有价值的信息，为金融机构业务调整和战略转型提供有力支撑。在未来的发展时期，金融机构要加大数据技术的研发与应用力度，将数据安全纳入到风险管理体系，同时建设一支高素质的人才队伍，以应对金融大数据带来的挑战。关键词：大数据；传统金融机构；机遇；挑战Abstract:financialinstitutionsshouldadapttothedevelopmentofbigdataeraseizeopportunitiesoffinancialbigdataattachimportancetostorageanalysisanduseoffinancialdatastreamfullyutilizethetechnologyoftechnologyoftechnologyoftechnologyandidentifyandobtainvaluableinformationfrommassivedata.Providestrongsupportforfinancialinstitutionbusinessadjustmentandstrategictransformation.DuringfuturedevelopmentfinancialinstitutionsshouldincreaseR&Dandapplicationofdatatechnologyintegratedatasecurityintoriskmanagementsystemandbuildahighqualitytalentteamtocopewithchallengesposedbyfinancialbigdata.Keywords:bigdata;traditionalfinancialinstitutions;opportunities;challenges

目录前言 11.相关概念简述 31.1大数据背景 31.2传统金融 42.大数据背景下传统金融机构面临的机遇和挑战 42.1机遇 42.1.1推动战略转型 42.1.2降低运行成本 52.1.3减少信息不对称 52.2挑战 52.2.1传统金融机构受到冲击 52.2.2数据安全问题突出 53.传统金融机构应对挑战的措施 63.1制定金融机构大数据战略 63.1.1推动业务发展模式的转型 63.1.2促进内部管理模式的升级 63.2加快技术研发与创新 73.3加强大数据安全管控 73.4打造高素质专业人才队伍 8结论 8参考文献 9致谢 10PAGE3前言随着近年来互联网特别是移动互联网的爆发式增长，全球数据量以几何级数增加。过去两年新增的数据量占人类历史数据总量的90%。据IBM的预测，到2020年全球数据总量会达到35ZB(1ZB等于1万亿GB)，是公元2001年之前总和的50倍，也是现在数据量的8倍，这是一个过去无法想象的巨大数据量。然而，大数据真正的本质不在于“大”。大数据是在移动互联网大发展以来才出现的，与传统数据相比，除了“大”以外，其差别主要体现在以下几个方面。(1)在线:大数据必须在线并且能随时调用。传统数据的生产、存储以及调用是分割的，很多数据在采集之前就已经经过了人脑有意识的处理，如市场调查产生的数据;而大数据则强调人们无意识的参与，数据的产生和捕获都是在人们无意识的正常生产经营活动中进行的，做到了反映真实，并一直在线。若再借助以云计算为代表的新型处理方法，就能将在线的大数据实时进行分析，并随时调用分析结果。(2)全体:即收集和分析与研究问题相关的更多数据。受数据捕获和处理能力的局限，传统数据在很多时候体现的是样本思维，即只能关心有关研究问题的片面的数据。大数据不再抽样，体现了全体思维，尽可能地覆盖所研究问题的全面和全程的数据点，从而尽可能地反映事物真实的全貌。这也是大数据最有价值的部分:人们可以通过对数据的分析、研究，对同一个事物进行不同角度的观察，形成多维度、全方位的认识。(3)混杂。在传统数据时代，由于大多是抽样地、截取式地捕获数据，并且分析数据的手段和能力也相对有限，因此使用的通常是可量化的、清洁的、比较精确的数据。而在大数据时代，由于追求全体和在线特点，因此拥有了大量的、非量化、非结构化的数据，并且其中的很多数据对于研究问题是无用的，如监控视频，往往人们需要的仅仅是监控中的一两个画面。因此大数据是混杂的数据，在高度混杂的状态下，处理传统数据时的抽象的因果关系现在被一种相关关系所代替。总之，大数据是包括结构化和非结构化的海量数据。大数据的管理目标是在数据海洋中分析挖掘出有价值的规律。大数据是在线的和实时的，数据运用时不追求精确而是在混杂的现实条件下追求时效性，一旦发现某些有用的规律，马上加以利用，从而使业务更加灵活，对市场机会更加敏感。正在来临的大数据时代，金融机构之间的竞争将在网络信息平台下全面展开，说到底就是“数据为王”。谁掌握了数据，谁就拥有风险定价能力，谁就可以获得高额的风险收益，最终赢得竞争优势。中国金融业正在步人大数据时代的初级阶段。经过多年的发展与积累，目前国内金融机构的数据量已经达到100TB的级别，并且非结构化数据量正在以更快的速度增长。金融机构在大数据应用方面具有天然优势:一方面，金融企业在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据，这些数据在运用专业技术挖掘和分析之后，将产生巨大的商业价值;另一方面，金融机构具有比较充足的预算，可以吸引到实施大数据的高端人才，也有能力采用大数据的最新技术。从总体来看，正在兴起的大数据技术将与金融业务呈现快速融合的趋势，给未来金融业的发展带来重要机遇。首先，大数据推动金融机构的战略转型。在宏观经济结构调整和利率逐步市场化的大环境下，国内金融机构受金融脱媒影响日趋明显，表现为核心负债流失、盈利空间收窄、业务定位亟待调整。业务转型的关键在于创新，但现阶段国内金融机构的创新往往沦为监管套利的工具，没能基于挖掘客户的内在需求，提供更有价值的服务。而大数据技术正是金融机构深人挖掘既有数据，找准市场定位，明确资源配置方向，推动业务创新的重要工具。其次，大数据技术能够降低金融机构的管理和运行成本。通过对大数据的应用和分析，金融机构能够准确地定位内部管理缺陷，制订有针对性的改进措施，实行符合自身特点的管理模式，进而降低管理运营成本。此外，大数据还提供了全新的沟通渠道和营销手段，可以使金融机构更好地了解客户的消费习惯和行为特征，及时、准确地把握市场营销效果。再次，大数据技术有助于降低信息不对称程度，增强风险控制能力。金融机构可以摈弃原来过度依靠客户提供财务报表获取信息的业务方式，转而对客户的资产价格、账务流水、相关业务活动等流动性数据进行动态和全程的监控分析，从而有效提升客户信息透明度。目前，花旗、富国、UBS等先进银行已经能够基于大数据，整合客户的资产负债、交易支付、流动性状况、纳税和信用记录等，对客户行为进行360度评价，计算动态违约概率和损失率，提高贷款决策的可靠性。当然，也必须看到，金融机构在与大数据技术融合的过程中也面临诸多挑战和风险。一是大数据技术应用可能导致金融业竞争版图的重构。信息技术进步、金融业开放以及监管政策变化，客观上降低了行业准人门槛，非金融机构(如阿里和腾讯)更多地切人金融服务链条，并且利用自身技术优势和监管盲区占得一席之地。而传统金融机构囿于原有的组织架构和管理模式，无法充分发挥自身潜力，反而可能处于竞争下风。二是大数据的基础设施和安全管理a}待加强。在大数据时代，除传统的账务报表外，金融机构还增加了影像、图片、音频等非结构化数据，传统分析方法已不适应大数据的管理需要，软件和硬件基础设施建设都a}待加强。同时，金融大数据的安全问题日益突出，一旦处理不当可能造成毁灭性损失。近年来，国内金融企业一直在数据安全方面增加投人，但业务链拉长、云计算模式普及、自身系统复杂度提高等，都进一步增加了大数据的风险隐患。三是大数据的技术选择存在决策风险。当前，大数据还处于运行模式的探索和成长期，分析型数据库相对传统的事务型数据库尚不成熟，对大数据的分析处理仍缺乏高延展性支持，而且它主要仍是面向结构化数据，缺乏对非结构化数据的处理能力。在此情况下，金融企业相关的技术决策就存在选择错误、过于超前或滞后的风险。大数据是一个总体趋势，但过早进行大量投人，选择不适合自身实际的软硬件，或者过于保守而无所作为，都有可能给金融机构的发展带来不利影响。1.相关概念简述1.1大数据背景对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。1.2传统金融传统金融，主要是指只具备存款、贷款和结算三大传统业务的金融活动。广义的寿命周期成本还包括消费者购买后发生的使用成本、废弃成本等。简单来说，金融就是资金的融通。金融是货币流通和信用活动以及与之相联系的经济活动的总称，广义的金融泛指一切与信用货币的发行、保管、兑换、结算，融通有关的经济活动，甚至包括金银的买卖，狭义的金融专指信用货币的融通。2.大数据背景下传统金融机构面临的机遇和挑战2.1机遇随着大数据时代的到来，金融机构的数据量迅猛增长，促使金融机构在网络信息平台上的竞争日趋激烈。同时，金融业务与大数据技术呈现出快速融合的发展趋势，这为金融业发展带来了机遇，具体表现在以下方而:2.1.1推动战略转型当前，我国金融机构呈现出核心负债流失、业务定位不明确、盈利空间收窄的现状，推动金融机构战略转型已经成为金融业健康持续发展的必然趋势。而在大数据技术的支撑下，金融机构可运用先进的数据技术挖掘客户内在需求，明确市场定位，调整业务结构，进而为业务创新提供依据，有利于为客户提供更具价值的服务。2.1.2降低运行成本金融机构在应用大数据分析的情况下，能够快速找到内部管理存在的缺陷，进而结合自身的管理特点，制定改进措施，提高管理效率，降低运营成本。在金融机构的业务开展中，大数据还提供了便捷的沟通渠道以及多样化的营销于段，方便金融机构及时收集客户信息，针对客户消费习惯和行为特征制定针对性较强的市场营销策略。2.1.3减少信息不对称在传统的金融业务开展中，金融机构主要通过客户提供的则务报表获取相关信息，极容易因信息不对称而加大金融机构的业务风险。但是在大数据时代下，金融机构可以利用信息技术获取客户的则务信息，对客户的流动性数据进行全程监控分析，减少信息不对称现象。如，花旗、LBS等管理先进的国外银行，已经基于大数据对客户交易支付、资产负债、纳税、信用记录等信息进行整合，能够动态计算客户的违约概率，大幅度降低了贷款业务风险。2.2挑战金融大数据面临着机遇与挑战并存的局而，不能只看到金融机构与大数据技术融合带来的优势，而忽略其中潜在的风险隐患。2.2.1传统金融机构受到冲击随着国家对金融业的开放和监管政策的变化，在大数据技术的支撑下，非金融机构逐步进入金融业，抢占了传统金融机构的市场份额。山于非金融机构的技术优势明显，国家对其监管不到位，从而加剧了金融市场的竞争激烈程度。这就迫使传统金融机构必须加大创新力度，充分发挥自身潜力，以保持强有力的竞争优势。2.2.2数据安全问题突出在金融业务与大数据技术融合的背景下，金融机构的非结构化数据，如影像、音频、图片等数据迅猛增加，要求金融机构必须加强软硬件基础设施建设，以满足大数据管理需要。同时，随着金融机构自身系统复杂程度的不断提高，以及业务链的不断拉长，数据安全问题日益突出，一旦出现数据丢失或损坏，就会给金融机构造成巨大损失。2.2.3技术决策风险加大。我国金融大数据尚处于探索阶段，在分析型数据库建设方而仍然缺乏成熟的技术支撑，导致大数据分析处理仍以结构化数据为主，而非结构化数据的分析处理能力未能得到实质性的提升。这就使得金融机构对大数据技术的选择属于探索行为，面临着技术决策失误或决策滞后的风险，进而影响金融机构的发展。3.传统金融机构应对挑战的措施3.1制定金融机构大数据战略3.1.1推动业务发展模式的转型金融机构应当把互联网金融和大数据应用作为战略转型的重要抓手，通过广泛收集各渠道、各类型的数据，利用大数据技术整合信息，对客户体验做深度挖掘，掌握客户真实需求，增加客户豁性，开展“精准营销”和“个性化服务”。金融企业转型能否成功，关键在于差异化战略的实施情况，前提就是找准自身定位，理解客户内在需求，再把这两个方面结合起来，走特色化的蓝海道路。在这方面，大数据、大分析和云计算将会发挥实质性的作用。3.1.2促进内部管理模式的升级近年来，金融机构的管理升级行动层出不穷，包括业务流程再造、ISO质量管理、关键绩效指标、平衡计分卡、经济增加值等各种模式轮番卜阵。很多管理升级项目实施后，企业绩效却并未得到提升。管理升级不成功的一个重要原因是:许多管理模式是在缺乏有效数据支持的情况下，仅凭咨询公司或企业领导人靠经验做决策推行的。一些看似漂亮、在其他企业成功的方法却并不适用本企业。因此，金融企业应通过自身数据寻求规律，通过采用大数据技术，对相应的管理模式进行对比分析和实证检验，找到真正能够解决本企业问题的管理方法，达到管理升级的实际效果。3.1.3推动风险管理模式的创新。现代化金融机构的风险管理应该是高度量化的，所以必须充分发挥业务数据的基础性作用，逐步实现由“小数据”向大数据的管理方式过渡。例如，就信用风险而言，传统商业银行在进行信贷决策时，主要依据客户的会计信息、信用记录、客户经理的调查以及抵押、质押担保情况等，再通过专家判断进行决策。这种决策模式比较适用于经营管理规范的大中型公司，而对数量庞大的小微企业并不适用;而且决策所依据的主要是企业过去的静态信息，时效性、相关性和可靠性不足，风险不能得到有效控制。金融企业通过推进对大数据的应用，可以创新风险决策模式。一方面，通过多种传感器、多渠道采集数据，更加全面、准确、实时地掌握借款人信息，有效降低信息不对称带来的风险。另一方面，利用大数据技术可以找到不同变量间的内在关系，形成更准确的决策模型。这方面，国内外金融机构已取得不少成功经验。例如，阿里金融利用阿里巴巴B2B、淘宝、支付宝等电商平台上客户积累的信用数据及行为数据，引入网络数据模型和在线视频资信调查模式，通过交叉检验技术，辅以第三方验证，确认客户信息的真实性，向这些通常无法在传统金融渠道获得贷款的客户群体发放“金额小、期限短、随借随还”的小额信贷。依靠大数据而不是担保抵押来进行风险的决策与抵御，这使阿里金融获得了向传统银行发起挑战的核心竞争力。至于金融机构面临的其他风险，包括市场风险、操作风险、流动性风险等，更是需要依靠大量基础数据，才能进行有效的监控和管理。3.2加快技术研发与创新金融大数据需要依靠软硬件基础设施的支撑，所以金融机构要加大信息化建设力度，积极研发并应用先进的科学技术。首先，金融机构要将数据分析技术、非结构化数据处理技术、可视化技术、非关系型数据库管理技术作为数据技术研发的核心，并在金融业务中融合云计算、物联网、移动互联网等先进技术，提高金融大数据的分析处理能力。其次，为提高金融机构的智能服务水平，应而向大数据研发网页搜索技术、知识库技术等，将其与大数据处理技术相融合，进一步提升为客户提供服务的效率。再次，金融机构要将数据分析与挖掘技术引入客户信用评估、风险管理等环节，基于大数据对客户交易支付、资产负债、纳税、信用记录等信息进行整合，利用自动化的数据搜索、处理、分析，替代传统的人工调查，提高信用评估的客观性和准确性，从而降低金融机构运行成本，强化风险管控。3.3加强大数据安全管控当前，金融大数据虽然能有效降低信息不对称程度，为强化金融机构风险管理提供有力支撑，但是与此同时也会带来数据安全问题。所以，金融机构要将数据安全管理纳入到风险管理体系范畴内，强化对数据安全的动态监控，提高大数据的安全性。具体做法如下:首先，对大数据链条中所涉及的所有机构进行协调，建立起统一的数据安全标准，强化对金融数据安全的自我监督。其次，金融机构要积极与监管机构进行交流，接受监管机构的技术指导，改进大数据的安全管理措施，提高大数据安全水平。再次，金融机构要主动与客户加强沟通，让客户掌握数据使用的安全防范技能，引导客户参与到大数据风险管理中来，形成风险管理合力。3.4打造高素质专业人才队伍金融大数据发展形势下，金融机构要着力打造一支高素质的人才队伍，为金融机构大数据战略实施提供人力资源保障。首先，金融机构要积极引进专业人才，加大互联网技术、大数据分析、移动互联网等方而的高级人才队伍建设。其次，金融机构要积极引入高级管理人员，要求高级管理人员具备较强的运营管理能力、战略经营能力、客户洞察能力以及资