分析：为什么大数据会如此轰动

分析：为什么大数据会如此轰动？

1、存在的背景​基础设施的巨大飞跃，数据储存技术、网络技术的迅猛发展，为大数据时代的到来准备了物质基础。​物联网本质上就是更多采集数据的入口和节点；云计算培养了服务的商业模式和集中建设降低单位计算和存储成本。到了移动互联网就更有意思了：第一个特点是身份，在合适的时间，合适的地点，将合适的信息送给合适的人，你要知道你的对方是谁，他有什么喜好，他现在是什么状态，没有这个精准身份的信息，一切都无从谈起。第二个就是连接，双向适时的互动连接，有了网络以后，你想要什么信息，就从电脑上去索取。手机我们一半除了拿信息以外，我们另外一半推信息，但是这个带来的变化也就是信息流动能够更加适时了。第三个是手机主要的特性，信息是有位置属性的。最后是感应，我们电脑上已经不会再有太多的感应器了，手机上的感应器角度会越来越多，可穿戴的产品，未来我们的手机可以闻到味道，可以感受到甲醛超标，可以感受到电磁辐射。这三样结合在一起本质上就是产生、处理和应用了大数据，通过各种各样新的技术和来帮助我们解决各种各样的问题，重新构建信息流，资金流、物流。​2、数据究竟有多大​大数据带动方法论上的变化本质上是人的行为越来越被虚拟化，以前历史上谁都不知道你在互联网上是人还是狗，现在处处行迹处处痕，语言分析、自然语义处理、图像处理、信号处理、关系预测来精准预计，导致全球数据量每两年翻一翻。随着Iphone和各种安卓普及，每个人在云端都有几个G几个T的网盘，存着各种各样的信息，大到一定程度，根本没法处理，我们叫做狭义的大数据。有很多的新的计算机的处理方式，存储方式，和数学建模的方式去分析这些数据，那数据根据访问频次又分冷数据和热数据。当年由于热数据所带来的信息量意义更大，关注度集中在此，数学上的方法也是基于统计抽样。奇妙的关联度：但随着计算和存储成本的降低，发现可以处理全量数据，全量数据堆积在一起发生了非常多奇妙的现象。有些对当前的科学都有重大影响，当年基于统计、抽样建立起来的模型极有可能是错的，比如开普敦定律和冥王星的失误。这个可以参考我和国栋共著的大数据时代的历史机遇一书。所以在狭义的定义下会出现IBM和IDC定义的4个V，数据规模(Volume)、快速(Velocity)、多样的类型(Variety)据价值(Value)。​3、但是我认为为什么大数据会如此轰动是深远的社会背景，更重要是数据思维​首先就是我一直提的数据思维，所谓的数据思维，要重视数据的全面性，而非随机的抽样性。其次：就是关注数据的复杂性，弱化精确性，以前我们就有很多人要求一是一，二是二，现在大数据里面我们就不要求那么精了，我们要求一个大的框架，模糊的准确度趋势的判断第三大数据是一种重新评价企业、商业模式的新方法了，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。​我定义了从五大维度：活性、颗粒度、维度时空、情绪第一个叫活性，基本上你在互联网公司里面，比如你用阿里的服务，可能每天使用3到5次，但是你知道银行的网点你可能一个月或者更多时间才去一次。第二个称之为叫颗粒度，就是你在电商的平台上从你进店到购物、到形成采购、到物流、到运送、到配送、到最后的评价跟分享，所有的环节都给你充分的记录起来，这是很重要的，我称之为颗粒度，银行我们现在看到的信息的数据或者金融的数据就是水电、煤气加成本，再加上你的工资到账日期，这个数据是非常粗糙的。三个是称之为维度，像易宝支付，当你使用他的数据以后你的数据就留在他那里面，这样有更多的维度进行数据相关的处理和分析。第四远近。当某个人有贷款需求的时候，我的金融机构，我的互联网公司，很有可能是第一个能知道你有贷款需求的，或者在线的时候知道，我可能第一时间就知道这个客户，银行知道这个过程中间还有很多，这是一个，这是远近。最后一个我们称之为叫情绪，你在微博上发的任何一条信息都是带有情感的，你有情感之后就知道你的状态，就知道采取任何的营销是不是有用。​4、接下来发生怎样的事情泛互联网化​软件、硬件会免费，成为收集数据的入口行业垂直整合：一开始是软件做硬件、互联网公司做硬件和软件，接下来就是电商做金融、金融做电商、软件公司提供增值服务。为什么？一旦需要无线的靠近客户之后，就要服务客户需求的一切，行业的边界在不断被打破数据成为资产：数据会变得越来越重要，是一切商业模式起源和重构的基础。​5、在中国和全球的情况全球范围看，这种变革正在发生​互联网行业首当其冲，接着是商业智能与咨询服务领域、零售行业，还包括医疗、卫生、交通、物流甚至生物科技、天文……大数据催生的数据服务意识和能力，正在影响这个社会的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域，并催生了了各行各业的变革力量。也就是我们所说的跨界颠覆者。我把大数据技术分为传统企业级别，和创新市场。企业级别市场还是IBM、EMC、惠普、Oracle新瓶装旧酒，那些商业智能数据处理的老产品来取代，更多的只是忽悠客户来干干数据分析的活。当时在另外一方面，像google\facebook，国内的BAT等是真正在考虑大数据的。而且以阿里引导的去IOE的大趋势，也是体现了在未来移动化和大数据浪潮下，老外的产品无法满足国内快速、开源、便捷的增长需求。在创新市场里面的大数据技术：一方面，以开源为主。即便是IBM、Oracle等行业巨擘，也同样是集成了开源技术，和本公司原有产品更好的结合而已，在新兴的大数据处理领域，中外公司几乎站在同一起跑线。单纯考虑狭义的大数据处理技术(如Hadoop、MapReduce、模式识别、机器学习等)，中外差距很短左右。如果考虑数字资产规模以及利用的技术，中外差距更多体现为意识上的差距。像阿里已经完全取代了IOE的产品，当前不仅自己用，而且还提供了阿里云对外输出。节省20亿IT开支，像亚马逊已经把EC2和S3成为较大的盈利点。而且阿里现在的处理能力每秒达到1亿次，超过了4大行的综合(马云前几天在人民银行的忽悠)。另一方面，中国人口和经济规模，决定中国的数据资产规模，冠于全球。客观上为大数据技术的发展，提供了演练场。比如我之前在甲骨文的时候是三大运营商的咨询经理，每次遇到客户客户都提，我们的数据量全球第一。神枪手是靠子弹磨练出来的，好的产品也是靠数据量出来的。在阿里，京东、百度相关公司，不管是客户需求驱动、还是成本驱动都开始了替代过程，我认为这个变化趋势会进一步传导到金融、电信、政府等重要IT投入行业中。​6、几家典型公司的大数据​百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，日均响应50亿次搜索请求，搜索市场占比达80%，百度联盟，60万联盟合作伙伴每天有50亿次的日均行为产生，这些构成了巨大数据的基础。变现模式：推百度指数，并在百度指数的基础上建立百度风云榜；百度数据中心，研究机构的方式网络搜索咨询报告。广告站长和开发组提供的百度(移动)统计以及相关的开发者服务工具。​腾讯则超过7.836亿QQ活跃账户，4.69亿微博用户和超过1亿的视频用户、5.976亿QQ空间用户，微信、手机管家等带来的移动用户也超过了4亿，海外用户快超过1亿。除却海量用户，腾讯“N个产品×N个平台×N个终端×N个用户关系”的庞大服务矩阵，带来数据的非结构化、碎片化、海量化。变现工具只有：腾讯分析和腾讯罗盘。​马云宣称平台、金融和数据是阿里未来的三大战略方向。阿里未来本质上是一个数据公司，电商越来越离不开数据，金融的核心也是数据。收购的新浪微博、友盟、高德、丁丁等就是为了圈数据。相关的东西我都喷过数百次了，就不详细展开。负责人：车品觉，有意思的产品：内部的淘数据、KPI系统、数据门户、活动直播间、卖家云图、页面点击、黄金策；给客户提供的数据魔方、无量神针和类目360、淘宝指数最具备划时代意义的2012年阿里又推出了“聚石塔”产品可提供数据存储、数据计算两类服务2012年“双11”那次191亿元的大促销当天，“聚石塔”处理的订单超过天猫总量的20%，比平时增长20倍。阿里金融是大数据衍生产品开发的一个范例。阿里由于电商特性他在应用上走得是最远的。​7、产业链的分类与规模​相关的基础产业还挺多的，一是数据技术产业，包括硬件方面的智能管道、物联网、服务器、存储、传输、智能移动设备等，软件方面的语言、数据平台、工具、结构与非结构数据库、应用软件等，服务方面的IDC、云计算、WEB应用等；二是数据采集，包括定位、支付、SNS、邮件等行业；三是数据工业，包括数据挖掘、数据分析、数据咨询等产业；四是数据应用业：比如基于数据产生的互联网金融。​8、我对大数据总结了一些东西，概括：​一种思维，数据思维​两大推动，极致体验、长尾效应​三大趋势，泛互联网、垂直一体化、数据是资产​四大步骤，入口、流量、数据、变现​五大标准，活性、颗粒度、维度时空、情绪​六大模式，数据、信息、咨询、媒体、数据使能、技术​七字心决，专注、极致、口碑、快​9、其他重要相观点​下一步国家必将在更高层次的产品和服务上替代外国的东西就像电视、冰箱、汽车一样，主要在信息和精密制造。​【观点补充】​谢谢欢欢精彩全面的分析，我想补充的一点是对于大数据，硬件上已经做好了准备。包括各种各样的传感器，mcu嵌入式微控制器也开始运作在安卓系统上来提供更强大的处理和更开放性，与以前封闭的嵌入式系统将完全不一样，这表示全世界以前的嵌入式孤岛，会被联系起来。最后由于4G网络的快速到来，为高速数据传输铺好了道路。​各行业都会出现数据驱动的多边平台业务模式的企业，跨界融合快速创新基于设备交互和移动互联的数据收集信息点收集，以及大数据分析，会产生许多新的创新模式，但是对应的信息泄漏点也增加许多。​昨天手机下载一个银行的app，发现要手机个人的手机通讯纪录和地址等三个信息，从个人隐私角度看非常不安全。近日多家的手机支付安全出现问题，也说明原来的闭环或类闭环交易出现了第三方或信息转接机构后，安全性需要统筹考虑，否则对行业是重大影响。可能以往二十年我一直在做金融所以比较注意风险，但真正的大数据时代一定要把安全和保密做到位，否则棱镜门等类似的事件和黑客冲击一定会影响我们，这也算是一个卖水的产业吧。对应手机支付等还没有充分考虑到，双因素认证是我们今后一定要注意的安全手册。单要素认证短期看方便，包括和手机绑定，长期看一定会出大风险。在未来的可穿戴可传递设备和软硬交互中，设备唯一终端号是很重要一个因素。同时任何的第一次的安全认证必须认真进行验证，包括第一次使用或中途更换设备等。​我们在研究的过程里面，从2011年国内第一个聚焦在大数据相关的研究，最早大数据只是一个IT的概念，现在到了2013年的时候，突然发现数据开始逐渐的对各个行业的商业模式，对各个行业产生非常大的影响。我们走访了1200多家企业，形成了一本书和七篇重磅报告。​当前尤其重要的对于金融业，因为金融业本身没有物流的行业，本身聚焦在数据，聚焦在信息的行业，现在一大群跨界颠覆者，这一类的互联网企业拥有大量的客户数据，现在寻找更新的变现模式，他们拥有极致的客户体验，刚才王德培先生讲了金融互联网，我从另外一个角度讲互联网金融，站在互联网做金融的角度来讲，不外乎有数据，第二他有近乎极致的客户体验，这个是跟以前的金融机构完全不一样的一个核心要素，这两点是我们中间要重点来反复在提的。​我的内容分五大部分：第一见证奇迹发生的时刻。第二跨界颠覆者以及深刻的产业背景。第三未来产业格局、竞争格局巨变，不只是金融业。第四大数据时代已经到来。在座有很多是做电商的负责人，我们看现在的大量互联网公司怎么来做电商，他们对数据的把握，对于客户的分类是什么样的。第五现在金融业面临的机遇和挑战，这里有很多相关的内容。​余额宝，外部的消息已经超过500-600亿的体量，用户的规模已经超过1200万。第一，这个规模不重要，因为很多人问我说，他可能是货币基金，货币基金可能不挣钱，如果到牛市的时候，这一部分看似买货币基金的客户，未来会现在成为购买债券和股票型的基金，而且在互联网上购买更加的方便，这是非常重要的一个特点。第二，1200万用户数，这是跟以前完全不一样的过程，中国最大的几家基金公司现在的用户规模就是千万级，但是其他都是被牢牢把控在银行的手里，基金公司最大的风险不是在于规模在下降，而在于你的客户数不是真正的把握在基金公司自己手里，没有办法进行二次营销，客户怎么来的怎么走的你不知道，这就是最大的关键。现有很多基金公司人群里面，平均客单价在1万元，基本没有重复购买，为什么？因为这群客户绝大多数都是45岁以上，或者是50岁以上的中年人、老年人，跑到一个网点被理财人员忽悠购买了相关的产品，每次都是新客户所以营销成本是巨大的，没有品牌效应的沉淀。​余额宝里面人群平均年龄是80-85年，整体的消费会持续的往上走，这是很重要的一个关键因素。在这个过程里面，银行渠道，最近去了很多银行网点调研，包括某地核心区的营业网点都跑了一圈，现在主动去银行网点购买的，在座有很多是80、70左右的人，现在主动跑到银行网点里面购买理财产品购买相关业务实际上是非常困难的事情，因为没有时间，我们调研大量的银行网点，平均每个月也就120-150单主动办理业务，其他都是交水电煤气费的用户。​人群的变化，不要低估人群的变化，对于80、90后的人来讲，未来的支出80%-90%都是在线完成的，在座的领导一定要分析现有客户的年龄结构，这是非常重要的一个变化过程。余额宝里面，绝大多数都是80、90后进行购买的，而且很多客户是重复购买，现实收入并不高，但是关键是基金的产品本身就是面对低净值、标准化。我们要去理解产品用户的数据和资源是最关键的东西，比当前的规模重要的多。你的用户核心的数据纬度的利用有没有足够的充分，现在实际上拥有100万客户，其实可以展开非常多的金融服务。你面对核心客户在发生变化，谈互联网金融，最大的核心就是覆盖的人群不一样，很痛苦，中间要做大量的调整，我听说当时阿里给天弘提出一天修改150个需求，这是很重要改变，用马云的话讲，千万第一看不懂，第二看不起，第三来不及，一定要重视背后几点比较大的变化。​我认为基金公司在这个事情里面重点看三件事情，第一客户体验，客户体验非常重要，这是第一要素。第二移动化，别看现在在PC上，未来在手机上购买可能还会速度更快，现在在余额宝里面很大一部分来自移动化的购买。第三移动化的数据是非常重要。​第二一大批跨界颠覆者和产业背景，这个事情出来之后，大量的券商、基金公司都在尝试做这一块的业务，包括像是国泰君安，最核心是率先进入到央行支付体系里面，把它的股票、期货、资管账户结合在一起，拿到最后的客户信息，这是以前证券公司所没核心的东西，为什么证券公司在产业里面话语权不重。平安证券做了一个互联网相关的平台，对外进行券商平台的直接销售，方正证券(601901，股吧)，直接进入到天猫，尝试在淘宝做网点。长城证券，号称跟腾讯合资成立一个网络的券商业务，而且现在在推出一系列的产品，包括华创。总结几点，第一要么在网上开商城，华创、华泰、国泰君安。第二加入第三方电商平台，现在入住淘宝上面一大群证券公司，包括还有打开一个叫做非现场开户，一旦打开会导致什么？导致很多营业部变得不重要。还有一个包括闲置资金的理财产品，现在在证券跟互联网公司的全面合作基本没有，实际上一个互联网平台跟一家证券公司合作就可以了，不像基金公司要搭建平台供人选择，所以证券的压力会更大。现在的基金跟券商与互联网公司的合作情况，现在主要是阿里、腾讯、和讯，很多有流量的客户，有客户有流量的平台，包括像是东方财富(300059，股吧)大量的基金往里面对接，天弘还要进一步的扩容，包括新华开通支付宝的支付渠道，包括淘宝相应的业务，微信这一块，刚刚提出要提供移动支付的时候，我估计再多人都会跑过去跟腾讯展开合作，在这里面，不是简单的把你的产品上线了就是叫做做了互联网金融，从最早的客户体验、研究，到IT系统后台的改造，包括对于数据的整个运营过程，到怎么样的营销方式，在这个里面，我们现在看到的除了天弘现在还没有第二家。​在这个过程里面，除了阿里之外，现在一大群互联网公司都在往这边走，包括腾讯、360、小米、新浪、京东、苏宁、国美都在尝试把自己的线上流量进行变现，不做不行，不做自然从互联网第一梯队出局。因为你的竞争对手用原子弹了你还用迫击炮。比如像是和讯，最早做网站，接下来跟其他学习做了一个服务平台，把全部数据打通，了解用户的喜怒哀乐，在合适的机会推送合适他的产品，以前和讯也是比较辛苦，只能卖广告，但是广告实际的客单价非常低。举一个例子，在互联网里面，三大商业模式，第一卖广告，第二做电子商务，第三卖游戏。这三大业务，实际上每个客户创造的价值非常低的，比如像是百度，每次点击价值就是几块钱，包括像是融360和好贷网，他们每次的点击一百多元，这样一次点击传递给金融企业、银行；银行在线下拿到一个客户的成本在2千甚至更多，这是非常重要的一个变化过程，把广告免费掉到卖保险(放心保)、理财产品，包括未来的虚拟电子券商，现在大量的公司都在推出这样的产品，在两个多月的时间里面聚集这么多，现在极大显示互联网金融产品的销售生命力，为大家讲一个重要的特点，不要小看互联网金融，左边对应是接近30万亿，未来可能是45万亿的银行存款，中间是互联网平台，右边是保险、基金、券商所有的理财产品，以前用户不会知道这个东西，因为研究余额宝的客户会发现，绝大多数客户第一次购买产品，绝大多数客户买了之后客户体验很爽，这是非常不一样的变化，这是一个很重要的变化。因为我老婆是淘宝的重度用户，以前在我的支付宝里面定期有1万元，她最近把1万元买了支付宝，客户体验非常好，经常提示最近挣了多少钱，可以买多少商品，后来她把家所有的活期存款都买了余额宝。其实很多都是来自于快捷支付从银行的活期存款里面变来的资金，这是谁都改变不了的变化。​融合经济衍生新机遇，现在连装修、汽车贴膜很多东西都在网上进行销售，在网上销售最大的特点是什么？它可以把以前非标准化的产品通过平价变得标准化，搬家，以前是线下搬家，现在都是线上搬家，这次我们搬家，我老婆找了线上搬家，他们的服务态度非常好，我当时觉得很奇怪，最后在走的时候告诉说我，一定要打一个好评一下子我就明白了这就是约束。​上次在基金业协会里面，阿里的人提到过，未来几年他们的基金销售宏伟目标，吓人，我不详细说这个数字了，达到那么大的目标，在互联网上一定会存在70%、20%、10%的效应，集中度一定提升，在金融产品销售里面也会出现。两大路径，未来移动互联网成为主流，在移动互联网上，可以非常轻松、方便的拿到客户的信息和数据，所以产品一定要做得定制化。品牌会变得非常强势，品牌跟高品质的制造，在互联网上会传递非常快。通过智能手机、平板电脑和可穿戴设备，让每一个人在不断虚拟化的过程，现在分不清是在实际环境还是在网络当中，现在这两个不断被融合。现在的80、90后已经被互联网和移动互联网教育非常深度，举一个简单的例子，最近去调研，微信的一组数据，对于80、90后的重度微信用户来讲，6.8分钟看一次微信，这样会带来多少的营销和相关的机会。这群人未来的开支会有80%-90%会基于互联网的形态进行销售的，他们购买基金、理财、相关的金融产品也会是以互联网的形态。​这群人现在随着微博、微信的出现，有一群80、90后会成为意见领袖，比如像是韩寒、郭敬明、陈坤，这些人通过微博微信的方式，逐渐成为意见领袖，他们引导消费、需求。像是小米，雷军没有花一分钱的广告费用，后年有可能会突破1千亿的销售收入，他就是通过粉丝效应。我现在用的是iphone5的手机，我把iphone4淘汰给我的外婆，我的微信没有删除，搞得我外婆有事没事会用微信喊我，而且也导致我外婆周边的老年人都会要求他的儿子女儿给他们装微信。​我们要重视移动互联网，第一屏幕非常小，第二现在采集用户的数据和行为是非常多的纬度，在移动互联网，产品会变得非常简单，一个理财的app会有成千上万的竞争对手出现，你想要进入到客户的手机里面是非常难的，一旦客户体验不好，2秒钟就可以删除你。在这个过程当中，移动互联网要求信息推送非常的精准，而且非常简便，现在我体验过很多基金公司相关的基金平台，没有5-6步没有办法做好。因为移动互联网要求极致的体验，会对于整个现在基金公司的IT部门提出巨大的压力，巨大的要求，对于产品设计、市场营销策略，渠道策略都会发生很大的变化，这是很重要的过程。所以你可以看到，从当年集贸市场到大卖场、连锁店到现在的电子商务，你会发现中间所有的运营环节全部已经变了，所有的IT支撑体系已经变了，这是一个。第二称之为叫做在移动互联网和大数据时代下，这一类已经充分把整个行业的称之为产业链、利益链的重新调整。​现在互联网金融存在一个大的背景，互联网建立在某一个领域或者是某几个细分领域，可以大量降低融资的成本和信息对称，这是重要的变化过程，对于传统的金融机构来讲，只服务于高富帅，只服务20%。离客户究竟多远多近，有理财需求的时候，很有可能使用手机上面的APP第一时间可以感觉到。互联网同时创造很多新的需求，80、90后，包括更多的创造型的产品出来，这是一个变化的过程。现在大量的互联网公司冲进或者惦记这个领域已经成事实，之前给判断，现在四大行最害怕是某家股份制银行跟阿里的合作，现在民生跟阿里合作了，这必然是一个大趋势，一方面互联网企业围绕着数据开始进入到金融领域里面，第三方支付以前是所有人看不起的业务，刚刚王总说了，第三方支付需要大量的物理网点，手续费非常低，竞争非常激烈，很多人看不起，阿里做的时候，希望跟银联合作，但是银联说太小了，你自己玩。而现在阿里积累了海量的数据，开始做增值服务。​金融机构现在做电子商务，我不太看好他们做电子商务，为什么？一个简单的道理，在PC互联网时代里面，基本上所有的电商格局已经基本上大定，这是第一。第二做电商是始终砸钱的过程，对于现在大部分国有背景的银行来讲，投多少亿，能不能连续砸10年，亚马逊和京东是连续亏了10年。金融企业我相对看好的模式，一个是平安，一个是民生，做互联网来讲，一方面是互联网的企业，他们的优势是数据、客户体验、反应速度、客户情绪深刻理解。对于金融企业来讲，他们的优势是有资金，有牌照，有相关的客户业务，所以在这个过程里面，我觉得是一个不断融合的过程，这里会产生大量的新型金融公司完全不同的新业态。而且不仅仅是金融行业，很多行业都在发生非常大的变化，包括金融、电信、医疗、教育等等都在发生变化我们有七篇报告在阐述。​总结几点。这是一场子颠覆性的革命，从信息不对称的服务业出发逐步延伸到政府、制造业甚至第一产业中。许多企业家的坐标系，商业知觉失灵了，许多投资人对趋势的判断失效了，最早体现在客户结构的变化，80、90年代人群的消费成主流，带动游戏规则的变化，物理间隔。​大数据时代一定要注意移动互联网，在2012年移动互联网流量已经全面超过PC了，我们如何在移动互联网做我们的产品，同时最重要是考虑客户的需求点阿里现在都面