“大数据”的摩尔定律

“大数据”的摩尔定律测试和测量应用中，工程师和科学家们每一天每一秒都可收集到大量的数据。欧洲核子研究中心的大型强子对撞机每运行一秒钟，就可以产生40兆兆字节(1E12)的数据。波音喷气引擎每运行30分钟就可产生10兆兆字节的运行信息。一架四引擎巨型喷气式飞机单程飞越大西洋可生成640兆兆字节的数据，将该数字乘以每天飞行的两万五千多架飞机，您就可以得到一个非常庞大的数据。事实上，一个被称之为“大数据”(BigData)的时代已经来临，人们可能不关心使用什么型号的传感器或者数据采集设备，唯一关心的是如何从这些“大数据”中获取能为他们所用的信息。数据生成量每两年增长一倍这一事实与电子领域的一个著名定律极其相似：摩尔定律。1965年，GordonMoore提出：IC上可容纳的晶体管数目大约每两年便会增加一倍，这种趋势将持续“至少10年”。45年之后，摩尔定律仍在影响着整个信息和电子产业。该定律引发的结果之一是，尖端科技产品的成本越来越低，逐步可以为广大民众所接受，而这些最新的技术更加能够帮助工程师和科学家以前所未有的速度捕捉、分析和存储数据。试想一下,1995年全球制造的总硬盘空间仅为20拍字节(1E15)。现在，Google每天就要处理超过24拍字节的信息。当然，这些数据存储本身的成本也呈指数下降，从1998年的228美元/千兆字节(1E9)下降到2010年的0.06美元/千兆字节。如此变化加上摩尔定律引发的技术进步正在不断地加剧海量数据的出现。然而从如此大量的数据中得出精确且有意义的结论是一个日益严峻的挑战，而“大数据”这个词描述的正是这种现象。海量数据为数据分析、搜索、数据整合、报告生成和系统维护带来了新的挑战，必须解决这一挑战才能跟上数据的指数增长步伐。技术调研公司IDC最近开展了一项关于数字数据的研究，包括测量文件、视频、音乐文件等。该研究预计这些数据每两年增长一倍。根据AdamHadhazy于2010年5月在《生活科学》上发表的文章《全球数据超载，需以泽字节为单位》中写到：仅仅昙011年就产生了1.8泽字节(1E21字节)的数据。要想了解这个数据量的含义，我们假设：如果全球70亿人口加入微博，并连续不断地转发并评论连续一百年，这样产生的数据为1泽字节，然而仅仅2011年生成的数据就几乎是该数据量的两倍。ShawnRogers于2011年9月在《信息管理》上发表的文章《海量数据正在改变商业智能和分析学》中提到：应对海量模拟数据挑战需要一个三层解决方案，包括：传感器或执行器、分布式自动化测试节点，以及IT基础设施或海量数据分析/挖掘。廿君或白辿址Jim节泾it■敕議分析ft囱耳呆第和何i图7应对海量模拟数据挑战三层解决方案：传感器或执行器、分布式自动化测试节点，以及IT基础设施或海量数据分析挖掘从另一个角度来看，小型数据集通常会限制结论和预测的精确度。这就好比一个金矿，你所能知道的不过只是目前所看到的，剩下的金矿都被埋藏在尘土里不得而知，甚至无法估量。倘若要了解整个金矿的价值，就需要继续进行挖掘。数据领域是类似的，首先你要获得足够多的原始数据，然后才是去粗取精，去伪存真，将金矿上的尘土拂去，获得有用的有价值的海量数据有很多个来源。但是，工程师和科学家们最感兴趣的是来自于物理世界的数据。这些数据是捕捉到且经过数字化的模拟数据；因此，它们可以被称为“海量模拟数据”，其来源可以是振动、RF信号、温度、压力、声音、图像、光、磁、电压等测量值。在测试和测量领域，人类每天以高达数泽字节的速率进行数据采集。海量模拟数据问题对于自动化测试和分析系统来说是一个日益严峻的挑战。如果是多个待测设备的情况，则需要许多分布式自动化测试节点(DATN),这些节点往往以并联方式连接到计算机网络。由于DATN是具有软件驱动程序和图像的高效计算机系统，因此基于远程网络的系统管理工具需要自动进行配置、维护和升级°PXI系统具有不断演进的数据运算能力以及数据传输带宽，是一个非常理想的DATN的选择方案。更进一步，各大仪器厂商都在PXI平台上持续投入，为PXI提供了非常丰富的I/O板卡选择。对于一些需要高密度运算的应用，美国NI公司将FPGA以及PXI分布式运算引入到PXI平台，大大强化了每一个DATN节点的运算能力。不断增长的测试和测量数据量迫使跨国公司需要不断为更多的工程师提供数据访问权。这需要可满足多用户访问需求的网络设备和数据管理系统，进而刺激了根据地域来分布数据和访问权的需求。提供分布式数据访问权的一个日益普及的方法是使用云技术。海量模拟数据应用程序对服务器、存储空间和网络等IT设备具有极大的依赖性。此外，管理、组织和分析数据均需要软件。因此，传统IT技术属于用户捕捉数据后整体解决方案的一部分，用于确保动态和静态数据的高效传送、备份以及分析和视觉化。Averna、Virinco、NI和OptimalTest等供应商已提供可帮助管理海量模拟数据解决方案的产品。为了分析和管理来自数百万个文件的数十亿个数据点，工程师和科学家可使用NIDIAdem来挖掘、检查和生成相关测量数据的报告。他们还可以借助DIAdem来连接现有IT解决方案或创建可全局访问的新服务器，以更快速地根据数据做出决策。对于制造业，Averna开发的Proligent和Virinco开发的WATS提供了产品质量、测试设备、流程和操作的可视化和控制解决方案。Qualcomm成功利用了OptimalTest开发的工具来优化器测试流程，该测试流程每个季度可

积累多达4泽字节的数据。（《评估工程》，2011年10月24日），并且将可执行测试数据可视化以帮助工程师确定趋势并积极做出决策。随着高速捕捉海量数据成为