为IoT和大数据项目分配IT资源

1、为 IoT 和大数据项目分配 IT 资源大数据和物联网项目给 IT 基础架构带来了前所未有的压力。Internet of Things(IoT) 和大数据应用已经给网络和存储架构带来了压力，更不用说这还需要 IT 专家使用不 同的技能和工具来管理这些新的部署了。虽然执行起来很有挑战性，但是也有一些为 IT 团队而设的指导方针来帮助他们托管 IoT 和大数据。这得从 审查基础架构中大规模、数据密集型的项目需求开始。更多的处理能力一旦项目进入到具体的实施阶段，IT组织连同它的硬件、软件和服务供应商很可能需要去定义合适的系统 架构和操作系统，每个系统处理器的数量以及系统的数量不管是物理的、虚拟的还是

2、基于云的这 需要一些主动性。大数据项目大部分是基于Windows或者Linux操作系统，架构在业界标准的x86平台服务器上的。但在一 些情况下，也有一些基于大型机或者单一厂商系统架构和操作系统的实用的工具。大多数情况下， IT 团队 会将业界标准的服务器使用scale-out架构做成集群，以支持需要大量计算、内存、网络和存储的负载。IoT 项目也趋向于包含基于单一厂家的后端系统以及大型机。 要最大化可使用的处理能力，同时减少在硬件上的总体投资，需要很好地对系统、集群和其他组件进行配 置。这需要很明白企业的目标以及深入了解所选的大数据工具和 NoSQL 数据库。同样的，对于选择与繁杂 的不同智能

3、手机、平板、汽车和从未如此扩张的其他智能设备进行通信的工具，也需要有一定的了解。错误配置的服务器集群或者其他基础架构的重大错失 （甚至选择了错误的工具）都可能成为项目操作的阻碍 并且导致项目失败。有一些后端数据分析和报告工具在一个大集群系统里面运行，有一些则通过其他小的集群来支持：一些小 集群负责存储分析需要用的原始数据，有一些小集群负责提供将原始数据处理成有用信息的工具，另一些 小集群可能被用来支持将有用的信息转换为适合的格式 （表格、图形或者其他形式），提供给分析师或者数 据科学家。IoT 项目还需要增加响应客户设备，提供需求的信息、指导或帮助的功能。企业需要熟悉这些工具的专家， 以及对如

4、何使用这些工具有很全面的了解。为自己信任的顾问和供应商投入时间，学习对选择的这些工具和方法进行技术支持需要什么。对于内存、存储和网络的关注仅仅增加更多的系统、内存和存储并不总能提高 IoT 和大数据环境的综合性能。不同的方法和工具需要不 一样的系统内存和处理能力。每一种方法和所关联的工具都有自己的限制。建设 IoT 和/或大数据平台的 IT 规划师需要对每一种考虑在 内的工具所需要的资源进行调研，同时需要知道在资源充足的情况下他们会使用哪一种工具。如果企业安装了比所选工具所需更多的内存，那么这仅仅会增加能源消耗和热量。非但不会给整体性能带 来任何帮助，反而会给数据中心能源和冷却系统带来不需要的

5、压力。IoT 和大数据平台另一个参数是存储的性能和容量。就像处理能力和内存容量一样，存储设备的选择、存 储的专用能力和存储的联网方式都能对大数据产品的优化性能有帮助。在 IoT 技术的例子里，响应速度的 快慢将直接影响到客户是否喜欢这个企业（产品）。就和内存和计算组件一样，存储的配置也必须满足所选工具和方法的需求。不要指望简单通过添加更多存 储，选择更快的设备或者升级存储网络来得到效果。即使存储性能增加了，但是也可能被网络瓶颈带来的 影响抵消。有一些大数据工具使用额外的内存能力作为数据存储的一部分，创造了内存里的数据库。这种方法能加速 分析和报告的处理。但这是一种需要权衡的方法，因为如果系统没

6、有被可依赖的电力保护着，一旦失去电 力则数据也会丢失。不要被卷入任何一种存储或者存储网络的炒作中。分析师会指出寄存于内存的数据库或者闪存存储并不会 对所有情况都适合。有一些存储虚拟化软件厂家，例如 DataCore Software 注意到了底层操作系统每一次只能处理一个单一的 I/O 请求。它的方式是通过增加软件来让操作系统能同一时间同步处理多个请求。显而易见的是不充分提供(underprovisioned)或者设计失败的存储系统会给大数据或者IoT系统带来效果的 降低。网络架构对于任何分布式或者集群计算工具来说都是至关重要的。它的容量、延迟和性能可以促进或阻碍 这类技术。和处理器、内存和存储一样，网络架构也需要细心选择。当大数据工具需要一些数据的时候，如果网络没有足够的容量、响应慢或者对于不同类型I/O请求有偏向， 那么性能就会变得很差。同样的事情对处理 IoT 系统里面智能设备发出的小型、突发式的请求处理上却并 非如此。因此要对两种类型的请求进行平衡是一种挑战。对于其他的组件，需要对网络媒介特性进行调研，例如Gigabit以太网或Fibre Channel，在购买网络之前进 行成本/效益分析。我曾经看到过一个项目，其目标是捕获百万级别的小型移动设备信息，并且进行分析这是一个早期的 IoT 项目。这个公司发现