大话云计算与大数据

1、大话云计算与大数据目前，云计算已经普及并成为IT行业主流技术，其实质是在 计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背 景下被催生出来的一种基础架构和商业模式。 个人用户将文档、照片、 视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需 求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT 资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据 的苹果树。大数据的出现，正在引发全球范围内深刻的技术与商业变 革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模 庞大的数据，用基于统计的

2、方法，有望使语音识别、机器翻译这些技 术领域在大数据时代取得新的进展。”张亚勤说。在搜索引擎和在线 广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领 域在海量的数据中统计分析出人的行为、 习惯等方式，计算机可以更 好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在 内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知 能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统 不断增强的感知能力，与大数据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们，甚至代表我们去工作”。在商业模式上， 张亚勤

3、认为，对商业竞争的参与者来说，大数据意味着激动人心的业 务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例，它们都是商业嗅觉极其敏锐、敢 于投资未来的公司，也因此获得了丰厚的回报。IT产业链分工、主导权也因为大数据产生了巨大影响。 以往，移动运营商和互联网服务 运营商等拥有着大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数 据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方 开发者互利共赢的模式，已取得一定共识。云计算与大数据的关系？首先，云计算是提取大数据的前提。信息社会，数据量在不断

4、增长，技术在不断进步，大部分企业都能 通过大数据获得额外利益。在海量数据的前提下，如果提取、处理和 利用数据的成本超过了数据价值本身， 那么有价值相当于没价值。来 自公有云、私有云以及混合云之上的强大的云计算能力， 对于降低数 据提取过程中的成本不可或缺。其次，云计算是过滤无用信息的“神器”。首次收集的数据中，一般而言，90%属于无用数据，因此需要过滤 出能为企业提供经济利益的可用数据。 在大量无用数据中，重点需过 滤出两大类，一是大量存储着的临时信息，几乎不存在投入必要；二是从公司防火墙外部接入到内部的网络数据， 价值极低。云计算可以 提供按需扩展的计算和存储资源，可用来过滤掉无用数据，其中

5、公有 云是处理防火墙外部网络数据的最佳选择。再次，云计算可高效分析数据。数据分析阶段，可引入公有云和混合云技术，此外，类似 Hadoop 的分布式处理软件平台可用于数据集中处理阶段。当完成数据分析 后，提供分析的原始数据不需要一直保留， 可以使用私有云把分析处 理结果，即可用信息导入公司内部。最后，云计算助力企业管理虚拟化。可用信息最终用来指导决策，通过将软件即服务应用于云平台中，可将可用信息转化到企业现有系统中，帮助企业强化管理模式。上升到我国互联网整体发展层面，虽然我国在互联网服务方面具有 领先的优势，然而，越来越多的企业认识到，与云计算的结合将使大 数据分析变得更简单，未来几年，如能在大

6、数据与云计算结合领域进 行深入探索，将使我们在全球市场更具竞争力，这是非常关键的问题。 云计算能为大数据带来哪些变化呢？首先云计算为大数据提供了可以弹性扩展，相对便宜的存储空间和计 算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据 分析。其次，云计算IT资源庞大，分布较为广泛，是异构系统较多的企业 及时准确处理数据的有力方式，甚至是唯一方式。当然大数据要走向云计算还有赖于数据通信带宽的提高和云资源的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。数据分析集逐步扩大，企业级数据仓库将成为主流，未来还将逐步纳入行业数据， 政府公开数据等多来源数据。 当人们从大数据分析中

7、尝到甜头后， 数据分析集就会逐步扩大。目前大部分的企业所分析的数据量一般以TB为单位，按照目前数据的发展速度，很快将会进入 PB时代。特 别是目前在100500TB和500+TB范围的分析数据集的数量呈 3 倍或4倍的增长。大数据技术与云计算的发展密切相关大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海 量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行 计算框架、NoSQL数据库、实时流数据处理以及智能分析技术如模 式识别、自然语言理解、应用知识库等等。对电信运营商而言，在当 前智能手机、智能设备快速增长、移动互联网流量迅猛增加的情况下， 大数据技术可以为运营商带来新的机会

8、。 大数据在运营商中的应用可 以涵盖多个方面，包括企业管理分析如战略分析、竞争分析，运营分 析如用户分析、业务分析、流量经营分析，网络管理维护优化如网络 信令监测、网络运行质量分析，营销分析如精准营销、个性化推荐等。 大数据逐步“云”化纵观历史，过去的数据中心无论应用层次还是规模大小，都仅仅是 停留在过去有限的基础架构之上，采用的是传统精简指令集计算机和 传统大型机，各个基础架构之间都相互孤立，没有形成一个统一的有 机整体。在过去的数据中心里面，各种资源都没有得到有效充分地利用。而且传统数据中心资源配置和部署大多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上， 缺少自

9、 助服务和自动部署能力，既耗费时间和成本，又严重影响工作效率。而当今越来越流行的云计算、虚拟化和云存储等新 IT模式的出现，又再一次说明了过去那种孤立、缺乏有机整合的数据中心资源并没有 得到有效利用，并不能满足当前多样、高效和海量的业务应用需求。在云计算时代背景下，数据中心需要向集中大规模共享平台推进， 并 且，数据中心要能实现实时动态扩容，实现自助和自动部署服务。从中长期来看，数据中心需要逐渐过渡到“云基础架构为主流企业所 采用，专有架构为关键应用所采用”阶段，并最终实现“强壮的云架 构为所有负载所采用"，无论大型机还是x86都融入到云端，实现软 硬件资源的高度整合。数据中心逐步过渡到“云”，这既包括私有云 又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构 调整，通过云计算对资源进行自动调度和分配， 实现一个自动部署、 自动管理和自动运维的数据中心架构。而公有云则是由服务商建立IT基础架构，并向外部用户提供商业服务，而用户可以在不拥有云 计算资源的条件下通过网络访问这些服务。 与私有云相比，公有云的 所有应用程序、服务和数据都存放在云端，用户数据也并不存