Intel-云创数据立方一体机测试报告

1、1引言1.1编写目的本测试报告为eProc平台基于In tel硬件设备的测试报告，目的在于总结测试阶段 的测试以及分析测试结果，描述cPreo平台基于In tel硬件设备是否达到预期性能效果。1.2测试背景由于数据产生成本急速下降，人类产生的数据量正在呈指数级增长，而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，数据的结构正在日趋复杂。全球在2010年正式进入ZB时代，根据IDC监测，全球数据量大约每 18个月翻一番，意味着人类在最近 18个月产生 的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有 35ZB的数据量，相较于2010年，数据量将增长近 30倍。

2、我们正处于大数据时代的边缘。1.3用户群主要读者：cProc项目组相关人员1.4测试对象性能测试1.5测试工具手工测试1.6参考资料略2测试概要本次测试主要是eProc软件平台基于In tel硬件平台的性能测试。其中测试数据使用广州移动 和江苏移动生产环境的真实数据。主要测试两个性能指标，数据的入库速度和数据的查询速度，并 根据测试结果，总结性能瓶颈所在，为进一步优化平台性能提供数据。3测试环境3.1软硬件环境编号机种IP地址CPU内存硬盘控制台1Jeffers on Pass192.168.0.12680*2pcs8GB1TB软件OS: redhat6.2 cProc控制台2Jeffers

3、on Pass192.168.0.22680*2pcs8GB1TB1Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5pPass.0.32pcss=48GBcs=19TB (3.5)Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p2Pass.0.42pcss=48GBcs=19TB (3.5)Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p3Pass.0.52pcss=48GBcs=19TB (3.5)Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p4Pass.0.62pcss=

4、48GBcs=19TB (3.5)Iron192.1682620*4GB*12pc3TB*1pcs+2TB*7p5Pass.0.72pcss=48GBcs=17TB (3.5)6Grizzly192.1682620*8GB*8pcs1TB*8pcs=8TBOS: redhat6.2 eProcOS: redhat6.2 cProcOS: redhat6.2 cProcOS: redhat6.2 cProcOS: redhat6.2 cProcOS: redhat6.2 cProcOS:Pass.0.82pcs=64GB(2.5)7Grizzly192.1682620*4GB*12pc1TB*8

5、pcs=8TBPass.0.92pcss=48GB(2.5)8Grizzly192.1682620*4GB*12pc1TB*8pcs=8TBPass.0.102pcss=48GB(2.5)表redhat6.2 eProcOS: redhat6.2 cProcOS: redhat6.2 cProc3.2测试方法和工具整个测试过程为手工测试，并手工记录测试过程中的各个机器的性能参数。3.3集群部署情况本次环境共部署十台机器，两台机器做主备控制节点，分别为表一中的控制台1和控制台2。编号1-8的机器为数据节点、索引节点和查询节点，并且在6、7和8上部署了 ZK，在7上部署了webservice 服务

6、。其ip地址依次为192.168.0.1 - 192.168.0.10。由于本次不测单点故障问题， 所以把备用主节点取消，主要用来进行测试数据的传输。4测试内容和执行情况4.1测试条件hdfs各守护进程分配10G内存；索引服务设置 15进程，分配10G内存，索引轮训时间间隔为5s。4.2测试结果测试一测试一：四数据节点、索引节点入库测试机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.2%-5sen d:168.DataGe nerator%2G used0%-5%30M/s-60M/s0.2192.DataNode+l nd30%-4G used,3G数据盘不超过rec

7、v:20M/s-60M168.exClie nt40%cach,39.8G5%，系统盘/s0.7free5%-100%sen d:10M/s-40M/srecv:20M/s-60M192.DataNode+l nd30%-3.5G used,6G数据盘不超过/s168.exClie nt40%cach,52.6G5%，系统盘sen d:10M/s-400.8free5%-100%M/srecv:20M/s-60M192.DataNode+l nd30%-4G used,8G数据盘不超过/s168.exClie nt+ln dex40%cach,33.5G5%，系统盘sen d:10M/s-40

8、0.9Serverfree5%-100%M/srecv:20M/s-60M192.DataNode+I nd30%-4G used,9G数据盘不超过/s168.exClie nt+ln dex40%cach,32.7G5%，系统盘sen d:10M/s-400.10Serverfree5%-100%M/s测试结果：62M/S入库索引速度测试二测试二：八数据节点、索引节点入库测试机器ip地服务类型cpu利用内存使用情况磁盘利用率网络利用率址率192.2%-5sen d:15M/s-40M168.DataGe nerator%2G used0%-5%/s0.2recv:15M/s-40M192.D

9、ataGe nerato r+30%-5G数据盘不超过/s168.DataNode+I nde40%used,32.5G5%，系统盘sen d:40M/s-70M0.3xClie ntcach,9G free5%-100%/srecv:15M/s-40M192.DataGe nerato r+30%-4G used,43G数据盘不超过/s168.DataNode+I nde40%cach,300M5%，系统盘sen d:40M/s-70M0.4xClie ntfree5%-100%/srecv:15M/s-40M192.DataGe nerato r+30%-5G数据盘不超过/s168.Dat

10、aNode+I nde40%used,34.5G5%，系统盘sen d:40M/s-70M0.5xClie ntcach,6G free5%-100%/s192.DataNode+I nde30%-5G数据盘不超过recv:15M/s-50M168.xClie nt40%used,33.6G5%，系统盘/s0.6cach,7G free5%-100%sen d:15M/s-50M/srecv:15M/s-50M192.DataNode+l nde30%-4G used,3G数据盘不超过/s168.xClie nt40%cach,39.8G5%，系统盘sen d:15M/s-50M0.7free

11、5%-100%/s3.5Grecv:15M/s-50M192.DataNode+l nde30%-used,6G数据盘不超过/s168.xClie nt40%cach,52.6G5%，系统盘sen d:15M/s-50M0.8free5%-100%/srecv:15M/s-80M192.DataNode+I nde30%-4G used,8G数据盘不超过/s168.xClie nt+ln dexSe40%cach,33.5G5%，系统盘sen d:15M/s-50M0.9rverfree5%-100%/srecv:15M/s-80M192.DataNode+I nde30%-4G used,9

12、G数据盘不超过/s168.xClie nt+ln dexSe40%cach,32.7G5%，系统盘sen d:15M/s-50M0.10rverfree5%-100%/s测试结果:93.9M/s入库索引速度测试三测试三：四数据节点、索引节点入库、查询测试机器ip地 址服务类型cpu利用率内存使用情况磁盘利用率网络利用率19sen d:2.1DataGe nerator2%-2G used0%-5%30M/S-60M/68.5%s0.219305G used,23G数据盘不超recv:20M/s-2.1DataNode+l ndexClie nt+%-4cach,18G过5%，系统60M/s68

13、.Searcher0%free盘sen d:10M/s-0.75%-100%40M/s19305G used,33G数据盘不超recv:20M/s-2.1DataNode+l ndexClie nt+%-4cach,28G过5%，系统60M/s68.Searcher0%free盘sen d:10M/s-0.85%-100%40M/s19DataNode+I ndexClie nt+306G数据盘不超recv:20M/s-2.1In dexServer+Searcher+%-4used,22.7G过5%，系统60M/s68.WebService+DatalO0%cach,17.4G盘sen d:

14、10M/s-0.9free5%-100%40M/s195.8G数据盘不超recv:20M/s-2.1DataNode+I ndexClie nt+30used,36.5G过5%，系统60M/s68.In dexServer+Searcher%-4cach,3。8G盘sen d:10M/s-0.10%free5%-100%40M/s0测试结果：64M/S入库索引速度查询响应时间0.01s-1s测试四测试四：八数据节点、索引节点入库、查询测试机器服务类型cpu利用内存使用情磁盘利用率网络利用率ip地址率况192.16DataGe nerator2%-2G used0%-5%sen d:15M/s-

15、8.0.5%40M/s219220%数据盘不超recv:15M/s-4.16DataGe nerato 叶DataNod-303.4G used过5%，系统0M/s8.0.e+ln dexClie nt+Searcher%盘 5%-100%sen d:40M/s-370M/s19220%数据盘不超recv:15M/s-4.16DataGe nerato 叶DataNod-303.6G used过5%，系统0M/s8.0.e+ln dexClie nt+Searcher%盘 5%-100%sen d:40M/s-470M/s19220%数据盘不超recv:15M/s-4.16DataGe ner

16、ato 叶DataNod-303.8G used过5%，系统0M/s8.0.e+ln dexClie nt+Searcher%盘 5%-100%sen d:40M/s-570M/s19220%数据盘不超recv:15M/s-5.16DataNode+l ndexClie nt+-303.7G used过5%，系统0M/s8.0.Searcher%盘 5%-100%sen d:15M/s-650M/s19220%数据盘不超recv:15M/s-5.16DataNode+I ndexClie nt+-304.8G used过5%，系统0M/s8.0.Searcher%盘 5%-100%sen d:

17、15M/s-750M/s19220%数据盘不超recv:15M/s-5.16DataNode+I ndexClie nt+-305G used过5%，系统0M/s8.0.Searcher%盘 5%-100%sen d:15M/s-850M/s192DataNode+I ndexClie nt+l20%数据盘不超recv:15M/s-8.16n dexServer+Searcher+W-305G used过5%，系统0M/s8.0.ebService+DatalO%盘 5%-100%sen d:15M/s-950M/s19220%数据盘不超recv:15M/s-8.16DataNode+I nd

18、exClie nt+l-305G used过5%，系统0M/s8.0.n dexServer+Searcher%盘 5%-100%sen d:15M/s-1050M/s测试结果：86M/S入库索引速度 查询相应时间0.01s-1s测试五测试五：四数据节点查询测试机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.168.0.7DataNode+Searcher0%-2%5G used所有磁盘利用率0%-5%192.168.0.8DataNode+Searcher0%-2%3.8G used所有磁盘利用率0%-5%192.168.0.9DataNode+Searcher+We

19、bService+DatalO4%-10%6.5G used所有磁盘利用率0%-5%192.168.0.1DataNode+Searcher0%-2%6G used所有磁盘利用率00%-5%测试结果：查询响应时间0.01s-1s测试六测试八：八数据节点查询测试机器cpu利网络利用ip地服务类型用率内存使用情况磁盘利用率率址192.10%-2所有磁盘利68.0.DataNode+Searcher%4G used用率30%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%4G used用率40%-5%192.10%-2所有磁盘利68.0.DataNode+Search

20、er%3.9G used用率50%-5%192.168.0.6DataNode+Searcher0%-2%3.7G used所有磁盘利 用率0%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%5G used用率70%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%3.8G used用率80%-5%192.1DataNode+Searcher+4%-10所有磁盘利68.0.WebService+DatalO%6.5G used用率90%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%6G used用率

21、100%-5%测试结果:查询响应时间0.01s-1s测试七测试七：单台机器入库索引机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.168.0.2DataGe nerator0%-2%2G used0%-5%sen d:14M/s-27M/s192.168.0.10DataNode+In de xClie nt+ln dexSe rver30%-50%6G used数据盘不超过5%，系统盘5%-100%recv:12M/s-35M/ssen d:1M/s-27M/s测试结果：入库速度19.1M/S测试八测试六：八数据节点纯入库测试（数据上传以后再索引入库）机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率17192.168.0.3DataNode+l ndexCIi ent30%-70%4.2G used所有磁盘利用率0%-5%192.1Data