大数据是个大谎言

大数据是个大谎言!场突如其来的“云”袭来，将开源企业不期然推到了IT产业的前端，开源软件已然成为云计算的基础架构。得益于云浪潮，红帽公司2012年财报显示其营收达到11。3亿美元，比2011财年增长25%，成为IT业首家年收入超过10亿美元的开源企业。红帽长期支持开源运动。据Linux基金会最近发布的2011年Linux内核贡献度报告，红帽公司排在第一位。一直以来，红帽支持开源社区运动，并且有自己的开源社区Fedora，进行开发工作，在Linux内核方面贡献多。对开源运动的实际支持成为红帽保持技术实力的“公开秘密”，也是红帽在商业上取得成功的立足之本。中国开源软件推进联盟前主席陆首群告诉《中国电子报》记者：“红帽公司自建并支持Fedora进行开发工作，从开源社区获得源代码软件，再进行企业级的源代码修改、认证、安全设置。是全球第一家实现开源技术产业化、开源产品和服务商业化的开源企业。”Linux虽是红帽的拳头产品，但是更大的意义是在品牌上。IDC高级分析师彭振飞认为：“Linux是红帽最基础、也是用户黏性很强的业务，但不是增长最快的业务。”提供完整的解决方案成为红帽获得大量收入的主要原因。某开源社区知名人士告诉《中国电子报》记者：“操作系统在整个产业链条中占的价值比重很小，比如一个1000万元的项目，涉及操作系统可能只占10万元甚至更少。如果红帽仅做Linux的话，那么它不可能达到10亿美元的年收入。”事实上，红帽提供的是一个完整的解决方案，包含底层操作系统、中层的中间件(JBOSS)、上层的几千个合作伙伴提供的各种应用。这样一个完整的解决方案，成为它拿下整个商业信息化项目的最大优势。红帽中国市场总监董辛乙也坦言，红帽的Linux操作系统品牌如此强大，这使得红帽有更多的机会为大客户服务，并很自然地顺应大客户对系统整体解决方案的需求，由此向整体解决方案厂商转型。与软硬件厂商的良好合作关系是红帽完成整体解决方案商转型的关键。董辛乙告诉记者：“英特尔的芯片和我们的产品配合设计，甲骨文的数据库也与我们的操作系统一起认证，确保整套产品的稳定安全。”云计算平台向开源方向发展2011年，红帽开始发力云计算市场。根据它的战略，它正加速从一家以操作系统和中间件为主打业务的开源厂商向云计算、虚拟化以及存储市场扩张。研发投入也在向云计算、大数据和下一代存储的方向倾斜。红帽已经构建了完整的云计算产品线，包括操作系统、中间件、虚拟化技术、云存储和管理软件。据了解，2006年，红帽收购开源公司JBoss获得中间件技术，2008年收购Qumranet公司获得虚拟化技术，2011年收购Gluster获得云存储软件。“看中云计算市场，是因为Linux突然就变成了云计算的基础架构”，董辛乙表示，“因为国外主要的公有云平台，例如谷歌、亚马逊的云平台，90%以上使用的是Linux操作系统，而且大多数互联网公司的云平台也是基于Linux的”。董辛乙介绍，从去年开始红帽公司主要做云计算。通过亚马逊的E2C服务，用户可以按需购买红帽的操作系统和中间件。这其中，红帽和亚马逊一起做了很多底层工作，将亚马逊的公有云平台做起来。另外，红帽还和日本最大的公有云服务商NTT一起，将公有云做成功。陆首群认为，云计算基础架构平台向开源方向发展已成为共识，当前美国99%的风险投资都是投在开源的云计算技术架构。他指出：“红帽公司是开源云计算技术的推动者，也是云计算时代的主要获利者，它与IBM、英特尔、惠普、思科一起发起的开源虚拟化联盟，推动了开源虚拟化技术的应用。它领导制定的云与云之间的开源互联标准，也已被IBM、VMware等多家知名IT公司所采用。”开源对微软形成挑战云计算是一个合作的生态系统，闭源、耗能的机构平台已经开始落后。陆首群认为，在云计算时代，红帽对微软形成了严峻挑战，“事实上微软落后了”。随着云计算的发展和成功，软件商业模式也开始改变。更多企业购买在线软件服务，而不是购买软件装在自己的服务器上。在桌面windows不再必要的情况下，微软也逐步展现与开源社区交好的姿态。“近年来微软也在将其自创的云计算基础架构向着开放的方向改造。”陆首群说。据悉，微软近期在WindowsAzure云计算系统中加入了两款开源平台，并向3个开源项目贡献了代码，而且都是一些知名的大项目。微软的大转弯，不得不说是目前公有云平台绝大部分基于开源软件搭建这一形势所迫。因此，微软一方面开源了一部分软件，另一方面，也让其他的开源软件搭建在WindowsAzure之上，这样也能够为微软带来利润。普华基础软件总经理赵晓亮认为，“只要云平台体系里有完整的解决方案，满足客户需要，那么选择微软系统还是选择开源系统，并不是那么重要。”这一观点某种程度上反映出了微软与开源厂商合作的效果。云计算时代，开源企业和微软在很多地方站在同一起跑线上。本土开源厂商更是看到了这个机会，并有所行动。例如中标软推出“安全云”操作系统;普华基础软件不仅通过控股企业研发操作系统、数据库、中间件等基础软件，而且自身也在开发整合平台技术、基于开源的虚拟化产品;红旗软件也从原来单一的操设计。他们只对了一半云计算平台的能力只是伪装低效率的应用，这就意味着应用行为和表现已经提高了，但是那些无效的操作会在你云计算提供者的账单里显示出来，这是由于对资源过多的消耗。确保你已经改对了你的应用设计从本地系统到云计算。这包括了用户的经历，数据，和所有编码的效率。2、云计算会忽略筒仓—甚至是建立它们。IT组织经常试图打破数据仓库、流程和服务，这样也许会发现云计算服务(无论是公共的、个人的、或是混合的)可能是一个相反的方向。组织通常在云里创建新的项目。然后，它们变成被纳入本地服务系统的数据仓库、服务和进程。如果你有先进的计划，那么这并不算是一个大问题，但是大多数企业都是在这一问题发生后来解决的。3、云计算不会减少雇员的数量。我经常被告知云计算将会“正常化”(商业说法则为“裁员”)为了维持商业中心系统，人数需要减少。然而，云计算的发展就是系统，而且它在生产过程中需要人们的监控。如果我们最后追求的目标是从内部迁移系统到一个云里，而您去正好关闭了系统，也许你会需要更少的雇员来维持它们。不管怎么说，大方向都是在云计算的平台上建立新的系统，这就需要人员的增加。总而言之，你需要做的会更多。所有的这些都不会放慢或组织云计算的发展，但是适当的警告会让你小心运用云计算。新浪云计算宣布正式加入全球开源云计算项目Openstack，将选择OpenStack作为IaaS平台解决方案。作为OpenStack中国的积极推动者，这在很大程度上将推动OpenStack云开源代码项目的发展。OpenStack4月16日在美国旧金山举办DesignSummit峰会，时间将持续到4月20日。OpenStack的众多支持者将在峰会上讨论云开源代码项目的未来发展，新浪云计算工程师代表受邀出席本次大会并在20日作主题演讲。OpenStack是一个开源的云操作系统，是由网络主机服务商Rackspace和美国宇航局联合推出的一个云计算项目，目的是制定一套开源软件标准，让用户自己搭建灵活的云计算环境。OpenStack目前已发展成为基于OpenStack软件本身展开的自由软件和开放源代码项目，获得业界的广泛支持。新浪研发部总经理符庆明表示，新浪云计算之所以选择OpenStack有这样几个理由：首先，OpenStack是完全用Python编写的唯一开源的IaaS项目。与C/C++或Java为基础的项目比较，Python项目意味着更容易安装，修改，封装和调试。第二，因为它是开源的，在部署或升级过程中有错误发生时，通过阅读源代码，我们就可以迅速找到原因，并修复它。第三，由于有Rackspace的参与，OpenStack实际上是由主机托管/服务提供商行业设计的，因此它非常适用于公有云的大服务器、多租户的工作负载。另外，OpenStack成熟的功能性、hypervisor无关性设计及其可扩展特性等，都让我们非常欣赏。新浪云计算正式加入OpenStack，成为参与这一全球最大的开源云计算服务研发项目的企业与机构之中领先的IaaS平台研发与业务运营的积极实践者，其贡献与意义将不言而喻。OpenStack自研发伊始，一直被视作云计算领域的Linux，其推动开放源代码服务的努力得到了众多公司的支持。目前就有超过100个机构参与了代码库的建设，或在其它方面参与该项目。新浪云计算将与OpenStack一起合力打造一套可以管理和配置各种虚拟化技术的IaaS平台，在开源代码库的建设方面将有着不小的贡献。在最近OpenStackEssex的贡献者统计数据中，新浪在bugfix方面的贡献全球排名第九，在中国公司对bugfix贡献的排名中也是首屈一指。新浪在bugfix方面的贡献全球排名第九而在OpenStack社区的活跃性方面，前三甲分别是其老东家Rackspace、Nebula，以及后来者RedHat。从数据中看出，新浪云计算在带动国内广大云技术研发和使用者沟通交流方面，也正积极推动OpenStack社区发展。OpenStack社区的活跃性排名同时，加入OpenStack，也将为新浪云计算提供更多与全球企业或研发机构交流、合作的机会与渠道，向全球分享中国云计算技术的步伐将更加稳健。这也将极大的鼓舞国内广大云技术研发和使用者，未来以OpenStack为代表的开源云端软件在中国将更加普及，国内更多企业将从中受益美国福布斯杂志最近发表了一篇IrfanKhan的署名文章，“TheBigLieAboutBigData”，Irfan是SAPSybase公司全球CTO，负责SAP公司全球的数据库战略方向。题目很吸引人，甚至可以说有些“耸人听闻”，但是读下来，其中有很多观点倒是和我前一段在“通讯行业云计算峰会”上发表的一些言论相似，我认为“大数据”这个词现在非常火，但是某种程度上不过是过去30-40年来对数据管理和数据处理挑战的理解、认识的新一轮说法。当然，每一轮的说法不一样也并不是完全意义上的重复，循环式上升，毕竟每一轮的硬件、软件、网络、业务的关注点都不同，数据量的确是个硬指标，30年前提“数据仓库”概念时的挑战和现在的挑战不可同日而语，10年之后再看现在的“大数据”也许也会一笑而过，到那时，我们似乎才可以明白，这一个轮回的真正意义。以下是文章的翻译稿，供大家参考：天又一次塌下来了。这一次是“大数据”让IT部门如临大敌。但是就像“世界末日”和“外星人”一样，“大数据”是虚构的，是一个“大谎言”。正如街谈巷议的传闻一样，不管你走到哪里，关于“大数据”的讨论无处不在。在Google搜索这个词组，搜索结果超过13亿条。它甚至在维基百科拥有专门的条目。数据泛滥导致很多人得出结论：企业将不堪重负。这并不是说企业内部的信息量不会增长。相反地，企业内部信息量也难逃增长的命运。因为，大数据一直是个难题。尽管不断有人声称，数据洪流将导致厄运来临，但IT行业却始终能够通过改进计算基础架构，使它们速度更快、容量更大、价格更便宜、体积更小巧，从而让挥之不去的信息“大决战”预言不攻自破。今天，通过使用列式数据库分析架构，组织机构可以不必过度对“大数据”带来的焦虑，相反，还能够让“大数据”更好为企业运营服务。在列式数据库中，用户可以随时调用和分析大数据集，即使对诸如非结构化数据等各种数据类型的大数据集亦是如此。它们不仅随时可用，而且执行速度更快，还能根据工作要求，更方便地扩展，从而为尽可能多的用户服务，涵盖尽可能多的数据。这种做法其实就是挖掘组织机构内外部的“大数据”，并提取有价值的部分供企业使用。它的目的是让组织机构更灵活、更具竞争力，提高组织机构的盈利能力。对于部署一个分析数据仓库而言，最重要的步骤之一就是找到质量合格的数据。从数据净化到采用数据管理总策略——用于确保数据质量的技术已经成熟。获取最优质数据时还要对其进行内部审核。数据延迟：需考虑组织内部数据延迟的三个方面：数据发生时机、事件延续时间、决策所需时间。数据关联：与商业用户合作确定数据的前后关系，并就使用中的多个数据集建立相互联系，同时还需要考虑数据增长率以及重复的来源。自服务：确定高级用户如何在不影响IT或其他资源的情况下，对用于查询的数据实施控制。首席数据官(ChiefDataOfficer)：指定一名高级职员担任首席数据官的职务，使其能够在维持组织治理的同时保证数据的可操作性。数据质量的重要性再怎么强调也不为过。以comScore为例，作为一家为电子商务市场提供分析服务和解决方案的云计算公司，该公司从创立伊始就意识到，网络营销的重点正从访客数量转变为盈利性。comScore的“客户知识平台”(CustomerKnowledgePlatform)针对顾客浏览互联网的行为与偏好提供了全方位的观察视角。该服务追踪所有愿意提供互联网行为以供分析的用户，记录他们在各个网站的冲浪以及购买行为。随着数以百万计的网络用户注册该服务接受监测，comScore收集到了海量数据。事实上，comScore所分析的压缩数据达到40TB以上，每周都会新增接近150GB。令人印象深刻的是，尽管数据量如此庞大，您却无需耗费时间焦急等待查询结果。据comScore工程事业部副总裁RicElert称，由于上述原因，“我们得以更加迅速地挖掘数据，并为客户提供结果。这有助于他们提高营销效率，开发出更多业务。”此外，该公司使用列存储技术，实现了40%的压缩率。comScore表示，若使用传统方法，存储成本会比现在高很多。数据仓库副总裁ScottSmith说道：“由于我们面对的是海量数据，压缩对我们而言至关重要。我们拥有的数据储量如此庞大，是大多数人从未见过的。”西班牙AirtelVodafone公司的列存储数据仓库可根据公司的业务地图进行信息组织。尽管很多不同的部门都使用同样的数据，但AirtelVodafone仍然能够有效保证信息的一致性和完整性。数据仓库将数据转换成知识，通过一个接口，将现实世界中的事实转化为有价值的商业情报。准确分析和预测客户行为的能力是AirtelVodafone公司整体业务战略的关键所在。有了列式数据仓库，用户可根据工作流(而不是按照企业的层级结构)需要获取信息，这提高了员工的工作效率和有效性。换言之，从事市场营销的用户与从事财务工作的用户(举例而言)使用的是相同的信息，只是他们接触数据的角度有所不同，分析目的也各不相同。数据仓库环境包含了市场营销数据库、呼叫系统、客户服务、全球移动通信系统统计数据、开票系统、收账与检索，以及所有的后勤管理信息。如今，AirtelVodafone拥有一个理想的运行环境，能够满足各种需求，从而让存储在各种运行环境中的数据实现快速、低成本的集成。因此，它可以直接从数据仓库平台中调用有关公司活动的详细信息或汇总信息。基于列存储的数据仓库使AirtelVodafone公司赢得了市场份额，成为欧洲电信业中的一方诸侯。当今，分析行业也没有任何借口不使用“大数据”。无论是扩大分析数据仓库、涵盖数以千计的用户，还是分析来自各种奇特来源的各类数据(如来自社交媒体网站的海量非结构化信息)，它们都没有逃脱的借口。不要再躲避了，分析行业再也不能躲在“大数据”这个吓人的怪物身后，因为我们知道，通过使用列式分析基础架构，就能够让“大数据”更好为企业运营服务。我们正处于一个前所未有的信息大爆炸时代，全球数据中心流量年复合怎张率达33%。数据中心网络作为信息的集散地，是时候进行变革了。一场针对电信运营商数据中心的网络变革大幕正在拉开。日前，中国电信展开2012年第一批统谈统签类IP设备集中采购项目，超大数据中心交换机赫然在列。据记者了解，这是国内三大运营商首次大规模招标数据中心交换机。在此之前，运营商数据中心普遍采用的是传统的城域网交换机或园区交换机。然而面对快速发展的数据中心业务和激增的数据流量，传统的交换机却陷入“疲软”状态，无法担负大规模流量转发的重任。“因此，数据中心是时候进行网络变革了。”多位运营商专家向记者表示。2.56T，128个10GE端口事实上，早在两年前，运营商便开始尝试采用数据中心交换机来解决数据中心网络面临的难题。2010年9月，中国电信委托中国电信广东研究院开展下一代数据中心交换机集采测试。当时，《通信产业报》(网)记者对其进行报道，共有六家厂商入围，分别是思科、H3C、瞻博网络(Juniper)、IBM、Force10(现已被戴尔收购)和Arista。在那次集采测试中，中国电信要求数据中心交换机需要具备高转发容量、高端口密度、无阻塞交换架构、业务调度和精细化服务质量控制以及绿色节能等六大特性。据记者了解，入围中国电信数据中心选型测试的5款产品分别为思科的Nexus7000、H3C的S12500、瞻博的EX8200、Force10的一款Z系列交换机以及Arista7500交换机，它们均支持至少3T以上的转发容量，并具备至少128个10GE线速端口。在集采测试结束后，参与测试的工作人员向记者表示，测试结果显示入围产品能够符合中国电信提出的需求。这也为本次数据中心招标工作奠定了基础。本次招标中，中国电信同样给出了技术指标，要求投标的数据中心交换机交换容量不得低于2.56T，同时不少于128个10GE线速端口。“不论是集采测试还是本次招标，中国电信都强调了交换机的交换容量以及端口密度，从而使得数据中心网络能够从容应对大规模数据转发的需求。”同时参与测试和招标的一家厂商人士告诉记者。应对云流量值得注意的是，本次招标工作亦顺应了中国电信建设新一代云计算数据中心的趋势。在去年的天翼云计算战略发布之际，中国电信人士明确表示，将依托遍布全国的数据中心基础设施资源，统一建设部署覆盖全国、业内一流的云计算数据中心。云计算的规模兴起使得数据中心流量倍增。思科《全球云指数》报告现实，未来四年，全球数据中心IP流量将增长四倍，到2015年年底，每年全球数据中心IP流量将达到4.8泽字节。激增的流量要求数据中心交换机具备很高的转发容量以及高端口密度，从而能在最短的时间内完成大规模数据流量的转发需求。同时，思科指出，从2000年至2008年，端对端文件共享成为主要的互联网流量。因此，大部分互联网流量并不通过数据中心，而是直接生产在互联网用户之间。自从2008年以来，主要的互联网流量产生于或结束于数据中心。在可以预见的将来，数据中心流量将继续在互联网流量中占据主要地位，不过云应用、服务和基础设计将导致数据中心流量的特征发生根本性转变。思科预计，到2015年，三分之一的数据中心流量将是云流量。而基于云计算应用的数据中心流量再也不像传统的数据中心，只有简单的汇聚型流量，相对固定的交互流量，而是呈现高度的不定向突发性。H3C的一位专家向记者表示，面对高负荷、大突发、流量模型复杂等数据中心应用场景特点，就需要交换机采用无阻塞交换架构，从而保证在任何流量特征的环境下，交换网提供“无损”交换。而之前城域网交换机主要提供“尽力而为”的交换能力。特别值得一提的是，面对未来数据中心的交换全部统一到IP上的趋势，即交换网络、存储网络和计算网络实现融合，无阻塞交换架构也是必须的选择。不过，来自运营商的一位专家向记者表示：“不同于企业的数据中心，运营商数据中心的网络更多的是担任数据转发的功能，对他们来说，高容量和高密度是首要需求。”竞争格局逐渐形成针对运营商的需求，前文所提及的几大厂商早在几年前就开始研发数据中心交换机，而他们亦是长久以来三大运营商数据中心网络设备的主要提供商。2008年，思科正式推出Nexus7000交换机，一举抢得高端交换机市场制高点。据了解，Nexus7000是思科投入两亿美元，耗时五年，五百多名工程师参与研发而推出的产品。Nexus7000支持10G以太网接口，单机箱最大交换能力15T，最多可插51210G以太网接口。之后，Nexus7000被部署在多家运营商和企业的数据中心中。有意思的是，在思科宣布推出Nexus7000的当天上午，Juniper宣布首次推出交换机产品EX8200，成为企业网市场的“新星”。也正因为是一个新来者，Juniper对思科并没有造成什么竞争压力。后来的事实也表明，Juniper在交换机市场的表现远不如其在路由器市场的表现。预计随着大规模数据中心的兴起，Juniper在电信运营商市场也将占据一定的份额。但国内一家IP厂商的崛起却让思科感到竞争压力的存在，他就是H3C。日前，在H3C第一届技术大会上，H3C产品线副总裁孙德和表示，“八年前H3C刚成立，在Gartner关于企业网的魔力象限曲线中，位居最低的层次——参与者。八年后，H3C已经跃居到领导者象限，和思科并列。”H3C制胜市场的法宝是其2009年推出的S12500系列数据中心交换机。S12500自推出之后，被部署在多家运营商的数据中心中，如西部信息中心以及湖南电信等。数据显示，H3C已经占据国内企业网市场50%以上的份额，抢走了不少思科的地盘。此外，Force10、Arista都在数据中心交换机市场占据一定的份额。去年，Force10被戴尔收购，未来在电信市场的话语权会得到进一步增强。而Arista是要开发出一种价格只有思科系统同类产品1/10的超速网络交换机，随着运营商对下降采购成本的需求，Arista也将在市场占据一席之地。据记者了解，今年中国移动和中国联通亦有招标超大数据中心交换机的计划。2012年，三大运营商将掀起新一轮的云计算数据中心建设热潮。不论是思科和H3C，还是Juniper、Force10和Arista，都将从中获益。如果您是一位数据中心或IT经理，没有什么事要比突发性的状况更让您感到担忧的了。”埃莫森网络能源全球副总裁PeterPanfil说。“我们希望如下这个清单能够有助于专业人员更好地预测这些突发性状况，并准备好适当的技术、解决方案和最佳做法以便应对。”这份清单中包括了几乎所有的会导致数据中心突发性停机的信息，甚至包括数据中心经理们可能不知道的下一次服务器刷新，而且这种会令每一个IT经理都感到