Hadoop发行版主流厂商对比分析

1、 HADOOP发行版主流厂商对比分析比较项指标Cloudera华为星环说明团队实力PMC人数6510对Hadoop重大改动具有投票权的人员。Committer人数8620有权限修改Hadoop代码的人员。核心平台开发人员18415010社区影响问题修复数16001600持久化定制特性能力有无无能将定制开发的私有Hadoop代码持久固化到Hadoop的基线版本，从而保证现有部署与主流技术的一致兼容，避免被Hadoop开源社区发展所淘汰。贡献开发的Hadoop组件2300产品进化路线图有无无Cloudera有完整的产品孵化机制（实验室、孵化器）、长远的产品路线图。基于对Hadoop技术的深入了解和

2、广泛应用，Cloudera有经验知道现有技术的局限，并有能力开发出新的武器，且积极与社区共享，如Kudu、RecordService等。而其他厂家对Hadoop认识不足，对未来发展无法预见，只能抄袭和拷贝。开放可控核心代码开源是否否保证代码安全可控，防止被厂家技术锁定；用户能对代码进行安全检查和审计，杜绝缺陷以及后门代码。开源软件包二进制兼容是是否保证程序包与开源版本二进制兼容，用户现有代码无需重新编译，用户或第三方可以自主打patch提供补丁修复和功能增强，防止被厂家技术锁定。生态兼容与SAS主流数据分析工具双向认证是否否与Tableu/Qlikview等主流BI工具双向认证是否否与Dell

3、/IBM/HP/Huawei/浪潮等主流服务器双向认证是否（仅与华为服务器认证）否数据安全多服务细粒度安全控制有无无支持HBase、Hive、HDFS等多个组件对于数据基于文件、行、列等细粒度的安全访问控制。平台级统一安全管理方案有无无Cloudera对于Sentry安全管理的深度集成，能在平台级别将所有上层服务组件的访问控制统一管理，保证任何组件的安全访问机制的有效性（不会被其他访问路径绕过）以及一致性（不同组件对于相同数据的安全视图不受访问路径不同的影响）。操作审计有无无Cloudera使用plugin方式对于所有服务组件访问管理路径添加了操作审计功能，能自动记录Hadoop上所有用户行为

4、。而其他厂商无此实力，只能在应用层实现有限的操作审计，极易被真正需要审计的操作所绕过。数据自动系统脱敏有无无在数据输入和读取时，平台内部能自动辨别并进行数据脱敏，保证底层数据存储以及上层数据读取结果的脱敏过程被绕过。（华为只能做到应用层脱敏， 自开发应用不能受到控制。）Kerberos配置向导及集成有无无Kerberos的配置极其繁琐，对于大型系统多用户多业务场景，手工管理Kerberos几乎不可能。Cloudera提供了可视化向导以及自动后端安全配置，方便安全配置以及管理，Hadoop管理人员无需底层Kerberos经验。组件功能自研OLAP数据库有有无有自主开发掌握核心技术的OLAP数据库

5、。自研存储引擎有无无Cloudera有自主开发掌握核心技术的存储引擎组件HDFS以及Kudu等。其他厂商只是拷贝，无核心技术支持。平台级全文检索有部分部分Cloudera能提供跨HBase、HDFS、Hive等存储结构的数据以及元数据全文检索方案。其他厂商只能通过集成第三方技术为某一两个组件提供全文检索，且无法检索元数据。数据溯源有部分无（华为只支持通过其自有ETL工具设计的任务之间的数据溯源。）集群运维无中断自动升级有无无按100节点集群计算，升级通常需要两三天的施工周期，期间集群服务无保障，极大影响在线系统整体可用性。此功能能不中断当前集群的数据和服务，无需客户端程序修改或重启，后台静默完

6、成Hadoop版本升级。多版本快速切换有无无传统集群只能部署一个版本，如果遇到升级后一段时间才发现兼容性等问题，或在当前版本发现严重问题等，需要Hadoop版本回滚或更改将极其困难，且风险很大。多版本部署仅需要重启一次服务的时间，通常在分钟级别，就能实现不同版本的切换，更加保证了集群运行的可靠性。配置智能检测及报警有无无能主动发现配置问题并提供建议。自动化集群规划及参数适配有无无Cloudera能通过集群规模、硬件配置、服务组件等信息，智能适配Hadoop部署，包括服务器角色规划、Hadoop参数、内存使用、并发控制等等，无需用户手工干预。而其他厂家只能有限的基于规则（如平分内存）的配置。主动

7、周期性服务功能性测试有无无Cloudera的金丝雀服务（Canary）能主动地周期性进行服务功能性测试，可以在严重故障发生前发现问题并预警。集群诊断及数据包收集有无无模版化集群节点配置有无无配置版本控制及回滚有无无Hadoop监控指标+100,00030005000Cloudera提供了众多的Hadoop监控指标，且按照集群级、服务级、用户级、节点级以及任务级5级分别收集展现。统一日志管理有无无Cloudera能将集群内所有节点所有服务任意时间段的日志在同一个界面中展现并支持全文搜索，极大方便了分布式多节点关联性故障的调研。将故障调查效率提高9倍，平均排障时间从4.5小时缩短到半小时。自助定制监控图表有无无服务培训主动支持有无无能随时主动进行集群分析和诊断，在客户出现集群故障之前发现潜在配置问题和安全隐患，保证集群平稳运行。全球最佳实践知识库共享有无无重大bug1小时报告有无无对于社区或厂家发现的重大Hadoop缺陷，能在一小时内将通知客户，降低客户集群数据丢失风险，减少被利用漏洞恶意