大数据环境下证券公司的小数据战略

1、精选优质文档-倾情为你奉上大数据环境下证券公司的小数据战略随着信息技术的进步，以及移动通信、移动互联网和物联网的快速发展，人类社会所拥有的数据面临着前所未有的爆炸式增长，信息社会也因此进入了大数据时代。飞速增长的大数据不仅改变着人们的生活与工作方式，也给经济发展和科学技术的进步带来了新的机遇，引起了科学研究模式的根本性改变。同时，也给当前的信息技术带来了巨大挑战。在中国，互联网企业、金融界迅速跟进，进行了包括开源构架为代表Hadoop的全新升级，在经过2013年的硬件、软件和技术的升级，大数据从概念走向了应用。一、大数据的特点、安全问题及在证券公司的应用进展（一）大数据的特点提到大数据，人们经

2、常用海量化（Volume）、多样化（Variety）、快速化（Velocity）来描述大数据，同时也伴随有高风险、耗资巨大、运行耗时多的IT投资等特点。越来越多的企业从大数据的分析中获利，并获得快速成长。但另一方面，数据容量增长的速度大大超过了硬件技术的发展速度，引发了数据存储和数据处理的危机。结构化数据、非结构化数据以及多结构化数据的数据构成，对传统的数据分析处理算法和软件提出了挑战。同时，为了能及时把握市场动态，快速制定出合理准确的生产、运营、营销策略，进而提高企业的核心竞争力，对大数据的快速处理分析，将为企业实时洞察市场变化、把握市场先机提供决策支持。但大数据的好处来源于它的驱动价值（V

3、alue），应用算法和预测模型来解决具体的商业问题，使得“数据价值化”成为企业提供竞争力的下一个关键点。（二）大数据的安全问题移动通信、移动互联网和物联网的快速发展带来了海量的数据，它一方面使社会更加民主化，人们之间的交往更加社会化；但另一方面，为了争夺和保全企业的核心数据，各类窃听门事件陆续爆发，员工的隐私、公司的机密等一系列数据安全的关键词不断被提起。互联网在带来便利的同时也使得隐私更加透明化，个人在享受了大数据时代带来便利的同时，也有信息遭到侵犯的隐忧。（三）大数据在证券公司的应用发展1、大数据在证券公司的个性化服务大数据在证券公司加强风险管控、精细化管理、服务创新等转型发展中别具现实意

4、义，是实现向信息化券商转型的重要推动力。大数据能够加强风险的可审性和管理力度，在“普惠金融”的要求下，证券公司可以利用互联网金融思维，将股权众筹模式引入券商业务之中。股权众筹与新三板市场的结合可以很好地解决小微企业贷款的风险管理问题，而大数据技术是解决上述问题风险控制的利器之一。此外，大数据在证券公司客户服务方面别具风格，能够实现客户的精细化管理。当前中国证券业以客户为中心的管理改革已经起步，在“以客户为中心”的理念指导下，通过对客户消费行为模式的分析，提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现精细化管理和差异化竞争。在过去几年里，越来越多的证券公司采用数据驱动的方法进行有

5、针对性的服务来降低风险和提高业绩。他们执行特殊的数据分析程序来对一系列的资料进行收集、存储、管理和分析大数据集，识别关键业务观察，以便给客户提供更好的决策。可利用的金融数据源包括股票价格、外汇和衍生品交易、交易记录、高频交易、无结构化新闻和文本、以及隐含在社会媒体和网络中的消费者信心和商业情绪等。2、证券公司积极备战大数据。大数据时代的到来，很多证券公司厉兵秣马，开始搭建大数据平台。对于证券公司而言，要快速整合公司内外部海量数据资源，通过数据挖掘、数据管理和数据分析的手段，为公司在风险控制、业务创新、和客户的精细化管理方面提供决策依据，帮助公司在高频交易、小额信贷、精准营销等领域加速推进。同时

6、挖掘实时和非实时的计算分析能力，为企业提供全周期的低成本高性能的商业智能平台支持。一个公司在进行大数据的分析中，需要投资许多服务器，为了得到不同的数据，需要使用复杂的分析机器和数据挖掘应用软件来搜索网络，这些数据包括客户投资及交易行为的分析、潜在客户及流失客户的信息等。所有这些数据进入一个中心数据仓库，再利用复杂的算法进行分类和处理，并将它们详细地展示出来。图1为大数据的技术架构图，给出了从数据采集、数据分析到数据解释的路线，对证券公司建立技术结构具有一定的借鉴作用。图1：大数据的技术架构3、当前大数据应用所面临的困难。大数据的前景是诱人的，但如果想利用大数据来为企业做实实在在的事情却面临很多

7、困难。首先大型证券公司为了实现内部资源共享、提升整体数据管理效率，往往会部署多个数据中心。一般需要部署分布式云数据中心，实现数据中心即时服务，从而提升IT服务质量和多个数据中心的整体IT利用率。而分布式云数据中心又包括私有云、公有云和灾备。随着产生越来越复杂数据流的设备和交易的增长，有效地利用企业现有数据是未来竞争的优势之一。大数据的上述应用使得企业可以从不同的方面获利，但这些设备和软件需要耗费大量的财力物力，不少证券公司在大数据方面的人才储备方面也明显不足，因此对筹建大数据平台只能望而却步。对于证券公司尤其是中小证券的很多实际问题来说，小数据是足够的，可以暂时在各方面条件受限的现实情况下分析

8、小数据，从小数据的分析中获利。事实上，商业效益隐含于所有数据中，数据量的大小并不是最关键的。无论是拥有大数据还是客户的简单交易数据，所关心的是想得到的商业结果以及如何分析这些数据。二、小数据的来源、特点及应用（一）小数据的来源小数据的概念最初是康奈尔大学计算机科学教授Deborah Estrin提出的。她的研究发现来源于年迈父亲的细微变化，她从父亲2013年去世前几个月的数字社会脉动中看到了信号的异常父亲停止了发送电子邮件，去超市购物的次数逐渐减少，在附近散步的距离越来越短。然而这些细微的异常变化却没能显示在医生的心电图中心电图显示健康状况正常。这启发Estrin开始研究小数据，从日常生活的小

9、数据中寻找异常之处，并把它当作一种新的医学证据。小数据并不是指数据量小，而是根据客户的特定需求，有针对性地找出能够给客户提供决策支持的客观依据，从而达到服务客户的目的，它的存在对于促进经济社会的发展、更加准确地满足客户需求具有非常重要的作用。（二）小数据的特点小数据是在数量和格式方面易收集的、易处理、易操作的数据。与大数据类似，目前对小数据的概念还没有明确的定义，一般可以认为，小数据具有及时、有用、可组织、可包装和可视化的特点，对于使用者来说，小数据具有易收集、易理解和易操作的特点。小数据的数据分析在深度上比大数据更胜一筹，能提供比大数据更精确的信息。可以预料，未来将是小数据发展的一个大机遇。

10、小数据利用的提升，使得企业可以高效地利用他们的现有资源，从而避免了购买大数据处理机器所带来的财力超支。（三）小数据的应用客户关系管理系统是小数据应用的首要选择。客户关系管理是企业用来管理他们当前客户和潜在客户的系统，该系统为企业提供了中心化存储、查看和组织客户信息的场所，能够帮助销售人员更高效地进行销售。客户关系管理不仅能够帮助销售人员完成销售任务，而且能增加客户的忠诚度和满意度，让中小企业更加有利可图。通过对客户关系管理数据的分析，可以分析出决策者如何制定合适的方案，告知企业能够获取最高潜在收益的方向所在，使企业能更好的理解客户、与客户建立良好的关系。举例而言，客户打电话购买企业的产品或想得

11、到企业的技术支持，如果第一次没能解决，第二次接电话的雇员不同于第一次，客户一般需要重新将他们的问题叙述一遍，这就降低了客户体验。如果通过客户关系管理，将客户第一次的需求进行存储，使得雇员每次传递始终如一的、高质量的服务，在此过程中能够巩固客户关系和增强客户忠诚度。这样就能实现企业数据的无缝对接，实现客户和雇员的实时全貌观。（四）小数据的安全问题相对于大数据对隐私的无止境侵犯，小数据在保护客户隐私方面占据主动，能够很好地解决隐私问题。由于小数据对内是客户个人数据的集合，而任何对外的数据输出，都可以通过预先设定的授权程序给定，对于企业而言，只要在企业内部控制好对于客户数据分析的授权，就可以有效地保

12、护客户的隐私。三、大数据与小数据的区别和联系大数据通常指千兆字节和艾字节度量的结构化和非结构化数据的组合，其海量化、多样化和快速化的特点使得大数据非常难以掌控。大数据可以通过发现客户行为的隐含模式，如预测总统大选、预测世界杯比赛的结果等。而小数据则是在没有大数据分析所常用的各种系统的情况下，达到能操作的结果。表1列出了大数据和小数据在数据类型等多个层面上的区别。表1：大数据与小数据特征对比分类大数据小数据数据类型数据来源于非传统数据资源社会媒体传感数据视频影像等传统企业数据，包括客户关系管理系统交易数据网络交易数据海量化太字节()拍字节()艾字节()泽字节()吉字节()太字节()多样化结构化数

13、据非结构化数据多结构化数据结构化数据非结构化数据快速化实时性需要即时反应接近实时不需要立即反应价值化复杂、先进预测分析商业智能分析数据存放位置云存储离线存储SQL服务器等数据库局部计算机数据收集目标没有特别的目的性为了达到预期结果而收集数据重点广度深度在进行大数据的分析和处理中，从开始使用到最终产生效益需要耗费大量的时间和财力，特别是需要大数据在线分析来达成目标和传递个性化体验的情况下，这在一定程度上造成大数据的应用成本偏高且特别难以推广。在这种情况下，如果能做好小数据的处理和分析，企业同样能够获得利润。当然，在财力、人力和物力运行的情况下，能够兼顾大数据和小数据的分析，做到数据的优势互补，则

14、能够创造更多的利润。图2给出了大数据和小数据在数据量方面及效率对比图，可以看出，在中间重叠的区域，大数据和小数据的分析功效难分仲伯，大数据和小数据的优势互补将是企业的最好选择。图2：大数据和小数据在数据量方面及效率对比图四、小数据在证券公司的应用（一）小数据在经纪业务方面的应用不同于大数据，小数据是现成的可以利用的资源，证券公司可以通过网络媒体了解客户投资需求和偏好以及他们对于某投资行业的看法等，通过分析客户的反馈，提高企业的服务质量，还可以通过互联网信息来分段和精选客户。传统意义上，证券公司通过降低佣金来挽留客户，但最终往往得到一批无效客户，并引起了行业的恶性竞争，严重损害公司利益和行业形象

15、，2014年初的零佣金已引起证监会的紧急叫停。通过对客户的分析可以得知，资金量大的客户换手率不一定高，而真正换手率高的客户通常会有很多个性化需求。中小证券公司在有限的市场和销售资源的条件下，可以利用智能过滤和分段工具找到最佳客户。通过对客户投资类型的分析，为客户提供量身定制的服务，一方面可以增加客户的满意度和忠诚度，另一方面也可以提高证券公司的效益。在互联网金融和信息技术的冲击下，证券公司作为金融中介的职能将有所改变。证券公司未来的经营模式将以通道为基础，服务与交易相融合的经营模式将成为主流。摆脱传统依靠收取交易佣金的方式，实现业务多样化，是证券公司寻求业务转型发展的必然选择。任何差异化的业务

16、服务创新均有赖于对客户信息的了解，券商可以通过数据模型对现有客户交易数据、客户服务数据、行情数据、金融资讯等进行分析，同时对潜在客户的数据、用户行为记录产生的数据进行深度挖掘，实现有效的客户关系管理。（二）小数据在营销服务方面的应用营销服务方面，针对产品、服务、客户洞察的精细化和个性化，证券公司可以从客户出发，从客户数据着手提取客户价值等核心信息，并对核心信息进行细分，再做精准营销、个性化的处理，进而针对客户开展营销策划和营销行动。券商可以从服务渠道优先、交易渠道优先、关怀活动优先等方面入手，研究细分群体的潜在投资偏好和需求，打包服务产品，组装成套餐，提供不同细分客户群体的解决方案。一般而言，

17、以客户为中心和公司利润增长是一对矛盾体。要以客户为中心，就需要改变以产品为中心的模式，做到信息披露公开，舍弃将“不透明的口袋”作为收入和利润来源的模式，积极应对因此而造成的利润下降的压力。在这一过程中，对客户数据分析这一技术的变革将是成功的重要因素。通过建立潜在客户识别模型和新增客户质量评估模型识别出公司的潜在客户，通过建立客户渠道偏好模型、客户购买倾向预测模型、客户投资能力评价模型、产品关联分析模型、客户满意度评价模型和客户忠诚度评价模型等提高客户的黏性和忠诚度，通过建立客户流失预警模型、沉默客户盘活模型和核心客户保有模型等有效防止客户的流失。通过这些服务，可以改善公司的服务，提高客户满意度

18、，同时提高员工的生产能力，进而提高公司的竞争力，达到获取利润的目的，有效地解决了以客户为中心和公司利润增长的矛盾。（三）在量化投资方面的应用小数据在量化投资方面显示出数据挖掘的深度。可以个股期权隐含波动率为例说明小数据在量化投资方面的应用。波动率是衡量金融产品在某一时间段内价格变动程度的数值，也是衡量市场变动速度的数值。自从2013年12月个股期权模拟测试以来，证券公司和投资者都对其正式上线翘首以盼。期权作为一种风险管理的工具，以其高杠杆性、多策略性吸引着投资者，为投资者提供了一种全新而又高效的风险管理手段。在运用期权定价模型对衍生品进行定价时，决定期权价格的几大因素如标的物价格、到期时间、利

19、率和股息等确定以后，只有隐含波动率是未知的。而隐含波动率是投资者对未来波动率的预测，它是市场价格的真实映射。作为投资者信息的集散地，金融市场中每天的交易数据反映了供求双方从历史数据和最新资讯中获取各种信息后形成的预期，包含了信息容量最大和最可靠的事前预测信息，此时便可以根据研究的需要，选取不同时间的交易数据信息构成时间序列，从而预测出隐含波动率。这种利用历史数据进行期权价格计算和预测的方法，是金融量化投资的一个缩影，显示了小数据在预测和定价方面的良好效果。五、小数据在证券公司的未来发展（一）小数据的未来趋势通过数据分析提供销售水平和服务质量，是证券公司未来发展的重要手段。目前国内对于小数据的分

20、析和利用仍然处于低级阶段。对小数据的分析和应用大致可以分为三个层次：第一层次是对现有数据的全面分析，其中涉及到模型建立、各类数据在模型中的占比等。目前大部分证券公司对数据的利用处于这一层次。第二层次是对数据变量的全面把握，能够利用数据进行远期预测，如股票未来走势预测、客户资产管理预测、客户流失和忠诚客户的预测等。第三层次是考虑小数据的人文因素，在数据分析日臻完善的基础上，引入社会、心理、人文等因素，能使得数据的分析结果更加准确。（二）小数据预测对人才的要求小数据并不是数据量小，而是数据针对性强。为了使得数据分析的结果更加准确，从而做出有预测性、有价值的分析。小数据分析人员要求具备统计学、商业分析和自然语言处理能力，能够对数学、统计学、机器学习等多方面的知识全方位掌控。对于金融行业的数据分析人员来说，需要对相关金融知识和其所涉及到的数学背景有很深的理解，能够快速进行编程计算。以个股期权为例，为了更准确地计算隐含波动率，小数据分析师需要熟悉期权定价所需要的模型（如B-S