大数据利用大数据后

（大数据）利用大数据后*利用大数据后，农夫山泉会发生管理变革吗？YES*中国能制作出类《纸牌屋》的电视局吗？NO*大数据可以给阿迪达斯带来利润吗？YES*网易数据工程师可以当“媒婆”？YES*中国政府未来会开放数据吗？YES*正在到来的数据革命改变政府、商业和我们的生活......《纸牌屋》就在制作这期“大数据专题”编辑记者们旁征博引，试图将数据堆砌的商业案例剔除，真正的实用性强的数据挖掘故事留下。我们报道的是伪大数据公司？我们是否成为《驾驭大数据一书的作者BillFranks所称的“大数据骗局”中的一股力量？同样的质疑发生在阿里巴巴身上3月237000万美元收购了一家移动开发者数据统计平台的真是一家大数据公司吗？这些质疑并非没有道理。中国确实没有大数据的土壤“差不多先生”“大概齐”的文化标签一直存在。很多时候，各级政府不太需要“大数据”，形成决策的关键性数据只有一个数字比率（GDP）而已；其二，对于行业主管机构来说，它们拥有大量原始数据，但它们还在试探各样的企业共享？其三，数据挖掘的工具价值并没有完全被认同在这个领域，硬件和软件的发展并不十分成熟。阿里巴巴的马云将大数据作为战略方向，百度的李彦宏用“框计算”来谋划未来。即便是CBA（中国男子篮球职业联赛）也学起了NBA（美国男篮职业联赛）五花八门的数据统计、分析与挖掘。DowJonesVentureSource间里，11.7亿美元流向了119家数据库软件公司。去年，SAP市值得益于其数据库软件HANA的商业化，去年一年时间里HANA带给SAP3.92亿欧元的收入，增长了142%。挖掘出自己的直接变现能力在截稿日时，我们再重新读维克托·迈尔-ViktorMayer-Sch鰊berger《、工作与思维的大变革一书，作者相信，未来，数据会成为有价值的资产表里。案例1：农夫山泉用大数据卖矿泉水发挥你您的想象力，选择您认为可是的答案泉水堆头静静地摆放在这里来自农夫山泉的业务员每天例行公事地来到这个点，拍摄10张照片：水怎么摆放、位置有什么变化、高度如何……这样的点每个业务员一天要跑15个，按照规定，下班之前150张照片就被传回了杭州总部。每个业务员，每天会产生的数据量在10M，这似乎并不是个大数字。但农夫山泉全国有10000100G月为3TB公司的CIO里挖下第一锹。费者在水堆前停留更久，他们一次购买的量多大?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?。从2008年开始，业务员拍摄的照片就这么被收集起来，如果按照数据的属性来分类，“图片”音频等要系统地对非关系型数据进行分析是胡健设想的下一步计划，这是农夫山泉在“大数据时代”必须迈出的步骤。如果超市、金融公司与农夫山泉有某种渠道来分享信息，如果类似图像视频和音频资料可复杂的“0、1、1、0”。SAP全球执行副总裁《中国企业家采访时表示，企业对于数据的挖掘使用分三个阶段，“一开始是把数据变问题，可以形成互动，很多支持的工具来帮我们做出实时分析；而3.0我们往什么地方走”SAP从2003年开始与农夫山泉在企业管理软件ERP方面进行合作。彼时，农夫山泉仅仅是一个软件采购和使用者，而SAP还是服务商的角色。而等到2011年6月，SAP和农夫山泉开始共同开发基于“饮用水”这个产业形态中，运输环境的数据场景。关于运输的数据场景到底有多重要呢？将自己定位成“大自然搬运工”的农夫山泉，在全国有十多个水源地农夫山泉把水灌装配送上架，一瓶超市售价2元的550ml饮用水，其中3毛钱花在了运输上。在农夫山泉内部，有着“搬上搬下，银子哗哗”的说法。如何根据不同的变量因素来控制自己的物流成本，成为问题的核心。基于上述场景，SAP、道路等级、天气、配送中心辐射半径季节性变化不同市场的售价不同渠道的费用各地的人力成本、甚至突发性的需求（比如某城市召开一次大型运动会）。在没有数据实时支撑时，农夫山泉在物流领域花了很多冤枉钱比如某个小品相的产品（350ml足“华北往华南运，运到半道的时候，发现华东实际有富余，从华东调运更便宜。但很快发现对华南的预测有偏差，华北短缺更为严重，华东开始往华北运此时如果太湖突发一次污染事件，很可能华东又出现短缺”这种没头苍蝇的状况让农夫山泉头疼不已在采购仓储配送这条400家办事处30、残次等问题与生产基地能够实时连接起来。也就是说，销售的最前端成为一个个神经末梢，它的任何一个痛点，在大脑这里都能快速感知到。“市场费用物流生产财务等数据，这些数据都是通过工具定时抽取到SAPBW或OracleDM，再通过BusinessObject展现”“展现”的过程长达24就是说，在24小时后，物流、资金流和信息流才能汇聚到一起，彼此关联形成一份有价值的统计报告当农夫山泉的每月数据积累达到3TB更策是否正确，或者对已出现的问题作出纠正，仍旧无法预测未来。2011年，SAP推出了创新性的数据库平台SAPHana为全球第三个9月宣布系统对接成功。胡健选择SAPHana采用SAPHana24小时缩短到了0.67可以做到实时计算结果，这让很多不可能的事情变为了可能。这些基于饮用水行业实际情况反映到孙小群这里时，这位SAP全球研发的主要负责人非常兴奋基于饮用水的场景，SAP并非没有案例，雀巢就是SAP在全球范围长期的合作伙伴。但是，欧美发达市场的整个数据采集梳理报告已经相当成熟，上百年的运营经验让这些至还不如中国本土公司强烈。这位董事长将手指放在一中心的成本随之显示出来生的数字涟漪。以往，钟目炎目炎的执行团队也许要经过长期的考察要凭借经验来再做判断但现在，起码从成本方面已经一览无遗剩下的可能是当地政府与农夫山泉的友好程度，这些无法测量的因素。有了强大的数据分析能力做支持后，农夫山泉近年以30%-40%的年、乐百氏和可口可乐山泉、康师傅、娃哈哈、可口可乐的冰露，分别为34.8%、16.1%、14.3%4.7%步他希望那些业务员搜集来的图像、视频资料可以被利用起来。SAP迅速将其复制到神州租车身上“我们客户的车辆使用率在达到一定百分比有优化空间。通过合作创新，我们用SAPHana为他们特制了一个算15%。案例2：阿迪达斯的“黄金罗盘”发挥你您的想象力，选择您认为可是的答案看着同行大多仍身陷库存泥潭，叶向阳庆幸自己选对了合作伙伴。他的厦门育泰贸易有限公司与阿迪达斯合作已有13年，旗下拥有100多家阿迪达斯门店。他说，“2008年之后，库存问题确实很严重，但我们合作解决问题，生意再次回到了正轨”在最初降价、打折等清库存的“应急措施”结束后，基于外部环境、消费者调研和门店销售数据的收集们引向正轨的“黄金罗盘”。斯收到数据后，阿迪达斯对数据做整合分析，再用于指导经销商卖货研究这些数据，让阿迪达斯和经销商们可以更准确了解当地消费者对商品颜色款式功能的偏好，同时知道什么价位的产品更容易被接受。容易按个人偏好下订单选择最适合的产品二线城市的消费者对品牌和时尚更为敏感，可以重点投放采用前沿科技的产品运动经典系列的服装以及设计师合作产品系列受欢迎品订购建议红色，当地消费者更偏爱蓝色。推动这种订货方式，阿迪达斯得到了经销商们的认可。“我们一起商定卖哪些产品什么产品又会热卖再遇到库存问题”挖掘大数据，让阿迪达斯有了许多有趣的发现韩国潮流原因者需要不同的服装以应对不同场合的需要，上班吃饭喝咖啡去有应对上班、休闲、宴请的三种不同风格的服饰就可以。两相对比，高线城市，显然为阿迪达斯提供了更多细分市场的选择。要。“批发型”公司转为“零售驱动型”力推动者而数据收集分析，恰恰能让其更好地帮助经销商提高售罄率。“在适当的时机，将符合消费者口味的产品投放到相应的区域市场一方面降低了他们的库存，另一方面增加了单店销售率罄率更高，也意味着更高的利润”阿迪达斯大中华区董事总经理高嘉礼对大数据的应用成果颇为满意。案例3:数据权之争发挥你您的想象力，选择您认为可是的答案拥有了数据就等于夺取了行业制高点，飞友网络科技公司CEO郑洪峰深知个中道理。始出现通过一套算法，数据工程师们将机场航班实时动态转换成直到达、延误取消返航备降等状态，从而帮助用户更高效地安排行程计划。目前这个市场上主要有三款应用产品，分别是航班管家飞常准和航旅纵横，飞常准正是飞友科技推出的一款应用来居上的趋势。随着这个细分市场呈现三足鼎立的局面，一个问题浮出水面郑洪峰向《中国企业家直言，数据是这个行业最重要的资源。但是目前中得自己所需要的数据。“我们的数据成本是非常高的”郑洪峰告诉本刊，“气象航班信息空域流量等信息有些是公开发布的，有些则需要公司向空管局机场和航空公司购买或交换”对于郑来说，获取数据的过程就是一部血汗创业史的各大机场航空公司之间的数据是割裂的，为了获得准确的航班起降信息，郑洪峰和他的团队就去为这些政府机构大公司提供技术支持，以此来交换所需要的数据“我们必须放下身段，他们需要什么我们就做什么”郑说道通过多年的积累，郑洪峰打通了部分数据通道。郑洪峰在民航系统工作近12年，其人脉和常识的积累成为飞常准的重要优势。1999年，他创建了民航资源网。现在，这家网站是中国最大的民航门户网站。2005年，他又创办了飞友，主要为飞行旅客提供机票搜索引擎等服务。从2008年开始，郑洪峰团队通过飞常准为用户提供航班动态服务有价值的反馈信息郑洪峰依靠民航内部的资源维持着自己的数据来源。但郑知道，这并不能长久。郑洪峰的故事并不是孤例中国一家大型电子商务公司的数据挖掘专一线城市的物流状况在这一过程中需要考虑当地交通拥堵程度和天作的效率以交通数据为例，这位数据挖掘专家使用的是百度地图和计，失真度也是这位数据挖掘专家担心的“我们非常希望政府能开放一些原始数据”他继续说道，“我们也希望和领先者能平等地分享数据权，而不是数据成本增加了二三倍”美国有一个叫做的网站，用户可以从类似但是值得一提的是，这个网站的数据来源是一个公开的美国政府网站。目前在上面大约有超过40万各种原始数据文件，涵盖了农业气象金融就业交通能源等近五十个分类美国官方表示，这个网站的目的是“创新来突破政府的围墙而创造性地使用这些数据”2006年经济学家唐·泰普斯科特（DonTapscott《维基经济学中“失败者创建的是网页，而胜利者创胜利者则将资源与每个人共享”这一理念后来被认为是网络2.0时代的核心理念网络2.0同样适用于政府，最近几年各国政府的一系列举措标志着政府2.0时代的到来。那么在大数据时代，中国政府做好准备了吗？深藏的事实飞常准的竞争对手也遇到了相同的困境管家非常卖力它与各大机场合作，间接获得自己所需要的航班起降信息。2012年6月，航班管家与上海虹桥机场达成协议，航班管家可以直接从虹桥机场获得信息，包括航班的延误取消以及登机口变更等一手信息，且提供的信息均与虹桥机场同步其重要的数据来源。准所焦虑的事“开放与竞争对我们来说是好事”对于飞常准来说，央企中航信旗下的航旅纵横才是最大的威胁“在一定程度上，它有垄断数据的嫌疑”一位坚持匿名的专家说道。而面对记者的采访要求，航旅纵横以不便透露为由拒绝中国所有终端旅客详细的数据库，包括姓名手机是中航信最核心的资源的利益输送饱受诟病。要原因，而这一数据掌握在空管局手里“空管局也愿意将数据分享给航空公司国有自己特殊的情况”上述专家说道。30%的空域对民航开放管制最为严格的国家之一“民航系统也很头疼，七成多的空域属于国”上述专家说道。郑洪峰以此对比中美两国差异“在国外，像准点率这些关键数据都是由政府全部公开的，一个非常重要的参数集的”换句话说，相关政府部门并没有掌握到第一手的数据来源，遑论数据开放了。在石油电信铁路民航等战略行业中，民航业的数据开放远远走在了其它行业的前头找相对封闭的铁路系统要一些关键性数据，“更难，更不靠谱”数据专家说道。“有时，政府也有担心，你要数据做什么？有时他们第一反应是，‘间谍’”上述民航专家说这位民航专家的一部分工作是为相关政府写内部报告，有时府部门的怀疑。像的数据平台。BNET力的只占5.6%，比起美国和英国等政府开源力度差距巨大。此项调查的负责人，BNET商业英才网副总编周安利认为：政府部门依然缺乏对大数据的真正、全面的认识。在挖掘信息系统价值方面，所以中国政府部门对大数据可能长的距离要走。数字生产力30015万个国际航班郑洪峰直言，飞常准的优势和主要收入来源就是利用大数据技术对数据进行收集分析和加工司以前无法完成的。往只有两三百块钱，因此用户都不愿意买这个险“而现在，航班一落超过的，用户可以直接从保险公司拿到钱，过程非常简单”郑说道。与保险公司的合作，郑洪峰得到的回报是收取一小部分服务佣金。负责任。美国政府前助理信息官、纽约大学法学院教授贝丝·诺维克（BethNoveck)在她的《维基政府——运用互联网技术提高政府管理能力一书中阐述了如何在数字化背景下，运用网络和大数据建立民主和高效的政府“数据开放可以让体制内外的人一起参与进来，解决政府无法完成以及棘手的问题”诺维克告诉《中国企业家诺维克以感染率数据为例说明开放数据的作用美国的医疗部门搜集据转化为有价值的信息和谷歌却能够运用自己强大的技术能力制作了一幅数据地图不管是研究机构或者是普通患者都能运用搜索引擎查找任何一家医院的感染率来决定是否住院。府部门合作，利用后者的数据进行网络打假。百度相关负责人告诉《中国企业家2000亿网页中筛查出有问题的假药难以达到打击假药的最佳效果相关监管资质，这也是百度无法进行独立打击假药的问题所在百度曾独立打击假药，但效果十分有限。从2010年开始，百度联合卫生部、国家药监局等多个部委部门发起“阳光行动”，打击各类互联网不良及虚假信息，之后，百度与国家药监局正式达成战略合作，国家药监局的三大药品数据库，总计20余变化实时更新用户可以通过通俗的商品名专业的药品名批准文号等多个途径，在百度搜索到药品的权威信息。“作为5平台优势，与各家具有数据资源优势的政府部门权威信息全面入驻网络”这位负责人说道，“重要的是，数据治国，相关政府部门也获得了很好的赞誉”中国传媒大学教授沈浩认为，虽然中国政府在2007年就发布了《政府信息公开条例，但目前政府公布的数据大部分还是报告和报表，析、加工和挖掘。“样的数据学术和商业上才能去应用它”沈浩说，“你看的网站，在上面的联邦政府的数据库，都是以电脑可读取的格式发布的”郑洪峰也意识到这个难题他有时候会给相关政府大公司提供一些数据，他力求寻找一种标准格式而在这样的方向上，中国的一些公司也在与政府一起努力。据市场不是市场经济而是投资拉动型的经济而目前高德与地方测绘局采取的合作形式是授权模式，高德帮助政府采集数据拥有了标准化的数据，相关政府就拥有了一个标准的基础数据库“这是国家测绘”赵珂说。郑洪峰也相信，未来会更务实更市场化，歧视性的东西会越来越少。业用户用好航班的数据。《航班正点提高率计划案例4：《纸牌屋》你学不会发挥你您的想象力，选择您认为可是的答案文_本刊记者伏昕编辑_杨婧凭借一部片子咸鱼翻身，这样的桥段在当下热播美剧《纸牌屋身上Netflix。Netflix据革命的代表。无论是《纽约时报洛杉矶时报还是最近一期的《经济学人，严肃媒体们都在重要版面研究《纸牌屋》成功之道。获得如此密集关注，并非没有道理纸牌屋》不仅是Netflix网站上有史以来观看量最高的剧集，也在美国及40多个国家大热。Netflix产品创新副总裁托德·耶林（ToddYelin“比我们最大胆的梦想都要好”。事实是，美国“白宫甄嬛传”、导演大卫·芬奇（DavidFincher）和老戏骨凯文·KevinSpacey。最抓人的是，Netflix根据数据技术推导出《纸牌屋的关键要素，喜欢BBC剧大卫·芬奇和凯文·一件事。中国的乐视网一直关注Netflix的发展路径“值得研究的是Netflix如何从后端数据推导出前台生产”乐视网副总裁何凤云说。这种做法与旧传统是背道而驰的，以美国著名的有线电视网络媒体公司HBO为例，它对导演强烈的个性抱以完全的信任，全权委任导演去制片编剧挑选演员而在中国，几大视频网站在自制剧时都有自己的选片团队，由他们为观众选择与确定导演，挑选剧本。多年前，依赖于种种技术，Netflix对数据的记忆能力已经炉火纯青。当一位用户通过浏览器登录Netflix账号，Netflix后台技术将用户位置数据设备数据悄悄地记录下来这些记忆代码还包括用户收看过程中所做的收藏推荐到社交网络等动作在Netflix回放、快进、停止等动作都是一个行为，每天用户在Netflix上将产生高达3000多万个行为，此外Netflix的订阅用户每天还会给出400万个评300Netflix其首席内容官泰Netflix“可寻址的观众”。Netflix利用上述数据提供一项推荐引擎业务万用户能在一个个性化网页上对影片做出1－5的评级，这些评级构成了一个巨大数据池，如今这个数据池容量已超过近百亿条根据数Netflix群体做出相关内容的精准推荐。Netflix要将巨大的数据池变为生产力并非易事2005Netflix曾开放一数据集，并设立百万美元的奖金(netflixprize)，征集能够使其推荐系统性能上升10％的推荐算法和架构这个数据集包含了超过48万个匿名用户对大约近2万部电影做的大约10亿次评分。Netflix一直在寻找与自身匹配的数据挖掘工具据一位前Netflix云数2010年Netflix将Netflix的数据中心迁移到了AmazonAWS之中，其二是将Oracle数据库迁移至SimpleDB。而到了2011年又从SimpleDB迁移到CassandraCassandra个大洲忘掉上述专业术语，一个小故事足以说明它们的意义法国电影《不要告诉任何人》在美国的票房收入惨淡，只有600万美元。可Netflix的工程师并不相信这个数字，他们通过上述数据挖掘技术，找到了不易察觉的点击量，而这些才是被隐藏的事实。2011年时，Netflix决定播放《不要告诉任何人如Netflix预测的一样，这部电影在播放后立即在最受瞩目的节目中排到第四位。Netflix的这些努力投资人表面上相信NetflixNetflix董事长兼CEO里德·他将从二级市场收购Netflix10%的股份投资人坚持认为Netflix气数已尽，这位投资人的计划是，进入Netflix董事会再建议哈斯廷斯卖掉Netflix。Netflix是通过邮寄方式租赁DVD的模式赚取利润。然而，在互联网时代这个盈利模式逐渐式微Netflix商业模式是付费用户通过PC、TV及iPad、iPhone收看电影、电视节目。但在逐步放弃高利润率的DVD业务，彻底转型低利润率的流媒体业务后，Netflix却遭遇营收增速放缓成本费用激增的困境2012依然暴跌美国知名专栏作家撰文称“Netflix被收购或许才是投资者最理想的选择”。里德·哈斯廷斯别无选择Netflix利用数据挖掘能力计算出可以赢的办法，1亿美元买下一部早在1990年就播出的BBC电视剧《纸牌屋》的版权，请来导演大卫·芬奇（DavidFincher·史派西（KevinSpacey）担当男主角。乐视网副总裁何凤云向本刊介绍，1亿美元买下的《纸牌屋》总共2季26集，计算下来单集成本约为400万美元，远远高于美国一般电视剧的单集制作成本——150万至200《广告狂人《斯巴达克斯这类热播美剧才能达到200万美元左右。算下来，对于Netflix而言，只有新增100万一年期合约付费用户才能收回上述成本。Netflix并非没有计算过豪赌的回报，这样做不仅可以带来新增用户，更为重要的是它为Netflix开拓了上游市场，走上了自制剧之路。在《纸牌屋》之后，还将有四部自制剧在2013年登陆Netflix。这意味着，Netflix可以逐步降低对版权费用日趋高涨的好莱坞剧的依赖。Netflix他们与Netflix所面成本上升导致资本开支加大体播放领域Netflix仍占据市场首位，但面临着HBO（美国家庭电视广播网）Amazon（亚马逊）HuluYouＴube大内容投入。搜狐视频、乐视网、爱奇艺近两年也纷纷打造自制剧。每集几十万，意味着买下一整部剧不下千万《纸牌屋中国地区的互联网独家播放权的搜狐视频，不得不上调版权采2012年的版权采购成本为50002013年这一预算上调到8000万美元“但我们拍一个自制剧，成本基本上也就三分之一，甚至不到这个数”高飞说。了大量数据比如乐视网通过分析用户收看时间，在今年推出午间自制剧场“但真正细致到使用数据来决定导演、演员，中国还没有哪家公司敢说他们能做到这点”何凤云说。Netflix那样将宝盈利，无法完全将用户需求作为中心“Netflix选择了这个项目，投巨”乐视网高级副总裁高飞对《中国企业家》说，“期待中国市场也可以通过付费收视足以覆盖成本，但这要寄希望速成长”拢，“不是没法依赖数据，而是不能完全依赖数据，我们选择数据时也一定要结合中国国情”案例5：定制爱情发挥你您的想象力，选择您认为可是的答案文_本刊记者李春晖编辑_王琦宅男们总幻想为自己定制一个女朋友，也许他们的愿望将不日达成。不是借助3D打印机，而是靠大数据时代的婚恋网站。2012“花田”上线花田以免费沟通摒弃了传统婚恋网站的“人工红娘”而业内的龙头老大世纪佳缘(NasdaqATE)“指一条明路”。一年前婚恋网站最爱喊“实名制”。通过对用户身份证或手机号码进行验证，网站可获得用户真实姓名、年龄、性别、地区等身份证数据，对防止诈骗有一定作用。但如今各家都有，这种传统打法就过气了。婚恋网站已将条条框框的硬指标罗列齐全，使人几乎怀疑进入的是淘宝人肉市场当身高体重、年龄、学历等等都一一框定，一看还有2000个姑娘（小伙）符合要求，是时候让理性回归感性了而这感性，又是建立在理性的数据分析之上。花田界面清新简洁，采用类似微博的信息流展示形式首页是异性用户最近更新的图片内心独白和文字传情，展示其生活方式个人品味等软性资料系统会自动推荐那些相对活跃最近有信息流更新的量可供分析的软性数据。“我们可以通过‘内心独白’来挖掘用户的性格特征”网易花田负责人夏天宇说。夏天宇在网易已工作11年，此前他的团队负责网易微博的研发，而他最早的工作是Oracle数据库管理。解码用户性格，实现“软硬兼施”的精准推荐。首先，他们运用切分词方法，从用户的“内心独白”中提取出现频率较高的关键词；再将这些、语义分析，从中挖掘出用户的性格是内向、外向、理想化还是现实派等等。这一技术目前还在测试中，2013年下半年会逐步投入使用。自2012年12月28日向全国开放注册以来，花田注册用户已近254万人户少得甚至吸引不来骗子但网易的技术储备却不容小觑“有道”搜索提供的自然语言处理技术，被用于通过文本挖掘用户性格网易自研。花田团队只有3085后他们在对海量软硬数据进行分析的基础上，总结出一些人物特征，建立出一定数量的人物模型。再