第一章大数据平台概述

第一章大数据平台概述1.1大数据平台简介大数据时代，各行各业时时刻刻都在产生海量多样的数据，数据正在成为一种生产资料，对于挖掘行业新的经济增长点大有益处，大数据已经成为行业发展新的推动力。在海量数据场景下，传统数据库技术已无法满足其海量存储、高效处理和实时挖掘数据潜在价值的要求，迫切需要一套成熟稳定、高效便捷的大数据基础软件产品。平台采用浪潮云海InsightHD产品，该产品将业界主流的新型大数据处理技术、架构框架、算法模型等内置在产品中，结合多年行业大数据实践经验，研发推出面向海量数据场景的通用型大数据基础软件产品，可以支撑PB级别数据的采集、存储、计算、分析挖掘等处理全过程。1.2大数据平台定位云海InsightHD是浪潮企业级大数据基础软件，集合业界主流的新型大数据处理技术，包含Hadoop生态中的20+主要组件，提供统一的平台化管理运维，实现深度功能增强和性能优化，能够帮助客户轻松应对海量数据的采集、存储、计算、分析挖掘和数据安全等应用场景。第二章功能描述2.1大数据平台架构云海InsightHD包含Hadoop生态中的20+主要组件，提供海量数据的采集、存储、计算、分析挖掘、数据操作、管理监控、和数据安全等能力。SQL敢折分靳臺霧安全觀帰送互批业理分布盅賁萍w度TWMapRwi-ifeHDF5FX氏文件吊统Z-LJirTTSInflightMLhg沁ihNO5QLSQL敢折分靳臺霧安全觀帰送互批业理分布盅賁萍w度TWMapRwi-ifeHDF5FX氏文件吊统Z-LJirTTSInflightMLhg沁ihNO5QLHBa«5Ftioenw5q»pKdft»rtxFluw文科牧察Zoohwpef•多源数据的高效集成云海InsightHD提供多源数据（包含结构化、半结构化和非结构化数据）的集成能力，提供高吞吐、可扩展的数据总线和数据分发功能，支持批量加载、实时加载、数据库加载文件加载等多种加载方式。•异构数据的海量存储云海InsightHD提供基于分布式文件系统和并行架构的大数据存储能力，支持PB级数据规模的高可靠和高可用存储，支持存放多种文件格式，例如关系数据库等结构化数据日志、网页等半结构化数据，以及视频、图片、文档等非结构化数据。•场景丰富的计算框架面向不同业务场景，云海InsightHD提供离线计算、流式计算、内存计算、图计算等丰富的计算框架，支持计算任务流程编排、计划安排，提供标准SQL的数据访问能力。•海量数据的实时分析挖掘云海InsightHD提供涵盖多源数据接入、数据特征提取、算法模型训练、算法模型评估和结果预测等完整机器学习过程的大数据分析功能。支持SVM、朴素贝叶斯、协同过滤、线性回归等算法，预测过程基于内存进行迭代式计算，并且支持分布式计算，具备极强的扩展性，可以应对海量数据分析。•统一的平台化管理监控云海InsightHD提供针对全部20+组件的自动化安装部署,并提供平台级的配置管理、监控告警等统一运维管理能力。•便捷易用的数据操作云海InsightHD提供图形化交互式数据操作工具和客户端,用户可以方便的通过WebUI界面访问数据、定义和提交作业任务、查看组件和任务运行状态、分配数据空间、隔离和共享数据资源等。•立体化的数据安全云海InsightHD提供统一的用户认证、授权体系，完善的数据安全和资源分配机制，实现了数据资源的安全性、可维护性、可用性、可信性。2.2大数据平台组件可提供的大数据组件如下，若有新需求联系管理中心：组件说明SqoopHadoop和结构化数据存储（如关系数据库）之间的数据父换工具Flume分布式流式数据收集工具Kafka咼吞吐的分布式消息系统HDFSHadoop分布式文件系统YARN资源调度、隔离、监控的资源管理框架MapReduce2Hadoop新一代MapReduce计算框架Tez基于Yarn的新一代Hadoop查询处理框架Spark2大规模数据快速处理的通用引擎Storm分布式流计算框架Solr基于Lucene的全文搜索平台HiveHadoop之上的数据仓库，提供类SQL语言进行大数据集或大表的存储、查询和分析HBase分布式非关系型数据库，提供统一的配置管理和数据冋步Pig分布式大数据集的脚本平台Hue可视化Hadoop开发工具，满足与Hadoop集群进彳丁父互式数据处理和分析DataSpace可视化数据空间管理组件，满足多用户间的数据资源隔离与共享ManagerInsightHD大规模集群的可视化安装部署、监控运维及管理工具ZooKeeper咼可靠分布式协调的统一服务Kerberos基于票据的通用用户认证工具Ranger综合安全管理组件NiFi一个易用、强大、可靠的系统，用于处理和分发数据

2.3大数据主要组件部署规划大数据组件子服务部署节点HDFSActiveNamenode10.33.0.52StandbyNameNode10.33.0.51DataNode10.33.0.54-10.33.0.5810.33.0.61-10.33.0.66YarnActiveResourceManager10.33.0.52StandbyResourceManager10.33.0.51NodeManagers10.33.0.54-10.33.0.5810.33.0.61-10.33.0.66MapReduce2Historyserver10.33.0.50MapReduce2Client10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66TezTezClient10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66HiveHiveServer210.33.0.50HiveClient10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66HBaseActiveHBaseMaster10.33.0.51RegionServers10.33.0.54-10.33.0.5810.33.0.61-10.33.0.66PigPigClient10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66SqoopSqoopClient10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66ZooKeeperZooKeeperServer10.33.0.50-10.33.0.53ZooKeeperClient10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66StormDRPCServer10.33.0.68Nimbus10.33.0.68StormUIServer10.33.0.53Supervisors10.33.0.68FlumeFlume10.33.0.50-10.33.0.51KafkaKafkaBroker10.33.0.67-10.33.0.68Spark2Spark2Client10.33.0.50-10.33.0.5810.33.0.61-10.33.0.66DataSpaceDataSpace10.33.0.50NiFiNiFi10.33.0.50SolrSolr10.33.0.67一10.33.0.68第三章用户使用说明3.1账号申请对于有大数据平台需求的用户或者项目可向大数据平台管理员发起申请账号，同时向管理员提供HDFS数据空间大小，待管理员审批通过后回复用户账号与密码，用户使用账号可访问大数据平台集群。3.2平台使用3.2.1使用说明1、首先用户或项目组要了解大数据平台提供的大数据组件，然后明确自己的需求，根据自己业务场景需求确认自己需要的大数据组件，使用平台主要以下步骤：向管理员申请账号（提供账号和密码、数据存储空间大小）。登陆数据管理空间系统下载票据信息。若命令行连接集群需到客户端节点缓冲票据信息。若用代码程序连接集群需要将票据加载到代码里。2、此大数据平台只提供存储、计算资源，若要实现业务功能需要使用者确认完需要的组件后，基于组件开发上层的业务逻辑代码来对接大数据平台，由于大数据也可借助第三方专业应用厂家（ISV厂商）协助帮忙开发应用。3、使用大数据平台技术能力要求：具备hadoop基础知识、linux系统知识具备java、scala、shell、python语言开发能力4、配合《浪潮云海InsightHD用户参考手册（开发者）》手册进行开发，也可参考网络资源上的资料。5、系统分为管理运维系统、用户空间系统管理运维系统：:8080/龟云髯InughrtHD■X-ftffi0MQP30■o1K9t*w龟云髯InughrtHD■X-ftffi0MQP30■o1K9t*wQHEkiin*AHgR&KW&ZwKww»Q-glumQ-FUYM0HQIrti0HQMvkis©KoluC1Han^iiQDau^HCi5Krt口miwofiHDFSH4Ij*H7.7dRPKTCfttSrMperfl3HpHfruMntperQXsnw24.9dcmi^e12/12■£-HEla啊'HBuu-IauwIBHfpan5efWf"SMMltrffibUiEii-^ISdbaNalaiA°IglMC心9HL0虹”囲■和站1,3曲］1用户空间系统：：8090/dataspace3.2.2使用举例经管学院一项目或某一用户要使用HDFS组件，存储资源大小需求为50G操作：1）向管理员申请账号，管理员回复账号为jingguanOI2）用户拿到账号之后登陆数据空间系统：：8090/dataspace,下载属于自己的票据信息。3）下载完毕自己的票据信息后保存。舍称辭日胡*共型轴mjingguanO1_bigdata.tar.gz2019/11/617:57WirtRARarchiue4）用户使用自己的账号登陆客户端节点10.33.0.68，并将压缩包里的keytab文件上传到/home/用户/etc/security/keytabs路径下，并进行缓冲票据操作。[jingguan01|?c：adxhd16keytabs]s;11total40-厂・・『1hbaseh^doop313NOV513:59hb占色自Mie雪百.k^ytab-r1hdfshadeop328Nov513:59hdfsBheadless»kevtab-rw-『■-「--lroothad口op339"口¥61S:S2]inqquanfllbigdata.-r1kafkahadoep3S3NOV513：59kaika."seni!lceYkeytab-r15tormhad口op3B8Now513:59nimbus.service.keytab■「・・『1ambari-q3hadacp3&3NOV513：59smokeuser・h®pdlE£i5・keytab-r1solrsolr378Nov513:593olrrservice.IkEyt^b-r1gp^rkh^doop313Nov513:59£p0『lk.koYtsib-「・・厂一1roothadoop970Nov513:595pnego・seryiee・keytab-r1stormhad口叩333Noh513:59stom・hmmdl启百百・keytab[jinggu^nDLpcEidxhdl^keytabs]spwdf吐匚/生iSCLI厂匚七丫/^总丫七己b占查看票据信息。[jingguan01@cadxhd16keytabs]$klist-ktjingguan01_b[jingguanSl^Ead^idlfik钉t北叮耳klist-ktjingguamOlbigcbta.kQytabKeytabname:file:jingguan01_bigdataAeytabKVNOTimestanpPrincipal111/06/201917:26:Z5]ingguanOl/bigda-ta@BIGDATA111/96/^ly17:26:75]ingguan91/bigdala@E：IGDnA1ll/wz#1917：2ffl:2511nggjane1/bigdata(?0TGDflTA11L/06/2D1017:26:251ingguan91/bigdata^BIGDATA111/06/201317：2&:?5iingguana1/bigdata^BiGDm缓冲票据。[jingguan01@cadxhd16keytabs]$kinit-ktjingguan01_bjingguan01/bigdata@BIGDATA[jinggu占nBl迪匸mdxhd丄E；k©Y‘t^bE]$kinit-ktjinggu^nai—bigdnt^.IkQylzmbj]LnggumnDlFbigMai~t^@RIGDATA查看缓冲信息。[jingguan01@cadxhd16keytabs]$klist[jingguanQH3cadxhd16keytabs]$klistTicketcackle:FILE:丿七币口从rb5uu_lQ24Defaultprincipal:jingguan01/bigdata@BIGDATAValidstartingExpiresServiceprincipal11/06/20191S：B8：1704/28/20251B：08：17krbtgt/BIGDATA^BIGDATArenewuntil01/23/202818:08:17测试。创建目录：[jingguan01@cadxhd16keytabs]$hdfsdfs-mkdir/user/jingguan01