浅析：钱景与挑战并存,如何应对大数据时代

浅析：钱景与挑战并存,如何应对大数据时代？

大数据钱景巨大倘若把2012年比作大数据落地扎根之年，那么2013年其将迎来其萌芽成长，乃至遍地开花结果的一年。多家IT调查机构预测称，大数据市场每年至少40%以上的速度高增，2012年大数据市场规模约为50亿美元，到今年将翻一番。大数据技术商机巨大，钱景十分光明。据不完全统计的数据显示，大数据产业每年将为美国医疗系统带来3000亿美元的增益;为欧洲公共管理部门带来2500亿欧元的净收入;为世界零售业增加30%的纯利润;为全球制造业减少50%的产品研发等成本;而个人地理位置信息的利用，也将为服务商带来超过1000亿美元的收益，为“地球村”用户带来超过7000亿美元的价值。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术的挖掘与运用，是实现“四化”同步发展的重要保证。而大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，具有无穷潜力的新兴产业领域，这是我国实现跨越式发展的宝贵机会。然而如今大数据竞争日益激烈，机会稍纵即逝，如何把控大数据的走势、演变，未雨绸缪运筹帷幄，捷足先登抓住“壁虎的尾巴”，关系一个IT厂商、一个用户单位乃至一个国家的竞争力与前途。技术决定产品的发展，更是决定大数据的命运。作为大数据一项根本技术，Hadoop技术今年市场将达到前所未有的高峰，Hadoop技术将深入地应用到企业的软件架构中，大规模地使用Hadoop是个必然趋势。调查显示，以Hadoop为代表的分布式存储与计算成为最受关注的数据管理新技术，比例达到29.86%;其次是以SAPHANA为代表的内存数据库技术，占到23.30%;云数据库排名第三，比例为16.29%。此外，列式数据库技术、NoSQL也将获得发展。另外其它相关大数据的技术，数据可视化服务、众包模式(CrowdsourcingModel)也将成为应用趋势，RDBMS(关系型数据库管理系统)供应商将东山再起。可以说，大数据产品化、市场化、应用化将日益明显，逐渐成形。大数据与云计算作为一对十分抢眼的“姊妹花”，今年将深度融合。大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式;大数据则为云计算提供了新的商业价值与应用技术。二者将形影不离，完美融合。而作为大数据的硬件基础与支撑，数据管理集成产品--大数据一体机将加快推出与逐步成熟。自云计算和大数据概念被提出后，针对该市场推出的软硬件一体化设备就呼声四起，产品开发不断。在这一两年里，数据仓库一体机、NoSQL一体机和其它一些将多种技术结合的一体化设备将进一步快速发展。IBM的PureSystems、SAP的HANAAppliance、Oracle的Exadata正上演一体机市场的“三国演义”，而浪潮、华为、太极等国产IT商也在全力抢食一体机市场。可以预见的是，今年大数据市场规模将进一步膨胀，一些新的细分市场今年将出现。例如，以数据分析和处理为主的高级数据服务，将出现以数据分析作为服务产品提交的分析即服务(AnalyzeasaService)业务;将多种信息整合管理，创造对大数据统一的访问和分析的组件产品;基于社交网络的社交大数据分析;甚至会出现基于大数据的技能培训、人才教育及教授数据分析课程等市场业务。大数据问题与挑战仍不小不过作为一个新生领域，尽管大数据意味着大机遇，拥有巨大的应用价值，但同时也遭遇工程技术、管理政策、资金投入、人才培养等诸多领域的大挑战。只有解决这些基础性的挑战问题，才能充分利用这个大机遇，让大数据为企业为社会充分发挥的最大价值与贡献。一、当今大数据的运用仍面临多种技术难关的束缚。主要有大数据的去冗降噪技术;大数据的新型表示方法;高效率低成本的大数据存储;大数据的有效融合;非结构化和半结构化数据的高效处理;适合不同行业的大数据挖掘分析工具和开发环境;大幅度降低数据处理、存储和通信能耗的新技术等。这些技术问题目前都难于有效解决与完善。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，而当前技术尚难以用传统的方法描述与度量，处理的复杂度很大。二、全社会开放与共享数据还很难，这让数据质量大打折扣。数据增值的关键在于整合，但自由整合的前提是数据的开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料、生活数据自由地流动起来，准确全面应用起来，以推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。然而战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在当前我国发展应用中不得不面对的困难。三、大数据应用领域仍窄小，应用费用过高，制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型、垄断型企业，其他行业谈大数据价值为时尚早。随着企业内部的资料量愈来愈大，日后大数据将成为IT支出中的主要因素，特别是数据储存所耗费的成本，很可能造成企业负担，甚至望而却步。因此有远见的CIO必须预先做好准备。四、开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。大数据时代，当如何应对?可以说，真正启动大数据在企业和社会的全面应用，面临的不仅仅是技术和工具问题，更重要的是要转变经营思维和组织架构，才能真正地挖掘这座大数据“金矿”。那么在大数据时代，我们要做哪些应对之策，以握战略制胜之点?确定企业的短中期目标和标准大数据的资源极大繁杂丰富，如果企业没有明确的目标，就算没有走入迷途至少会觉得非常迷茫。因此，首先，要确定企业运用大数据的短中期目标，定义企业的价值数据标准，之后再使用那些能够解决特定领域问题的工具。逐步推广，步步为营，不要把理想定得太高，否则失望会愈大。储备好大数据相关技术人才企业运用大数据为营销管理服务之前，技术团队要到位是基础。企业管理团队要能够非常自如地玩转数据。许多人认为社交媒体营销人是个有趣的工作，其实它是个艰苦的活儿。社交化空间非常注重数据、衡量标准和数据可视化等问题。要能熟悉驾驭，首先要确保企业技术人员已经接受过相关技能培训，了解如何最大化利用大数据的作用和潜力为企业营销管理服务。解决碎片化问题企业启动大数据营销管理一个最重要的挑战，是数据的碎片化、零杂化。许多公司组织中，数据都散落在互不连通的数据库中，而且相应的数据技术也都存在于不同部门中，如何将这些孤立错位的数据库打通、互联，并且实现技术共享，才是能够最大化大数据价值的关键。管理者当留意的是，数据策略要成功提升网络营销管理成效，要诀在于无缝对接网络企业管理与营销的每一步骤，从数据收集、到数据挖掘、应用、提取洞悉、报表等。培养内部整合能力要做好大数据的应用管理，其一，要有较强的整合数据的能力，整合与来自企业各种不同的数据源、各种不同结构的数据，如客户关系管理、搜索、移动、社交媒体、网络分析工具、普查数据以及离线数据，这些整合而得的数据是定向更大目标受众的基础;其二，要有研究探索数据背后价值的能力。未来营销管理成功的关键将取决于如何在大数据库中挖掘更丰富的营销价值。像是站内、站外的数据整合、多方平台的数据接轨、结合人口与行为数据去建立优化算法等都是未来的发展重点;其三，探索出来之后给予精确行动的管理指导纲领，同时通过此纲领进行精确快速实时性行动。而从社会、国家领域而言，我国亟须在国家层面对大数据给予高度重视，特别需要从政策制定、资源投入、人才培养等