电子竞价导入参数表

1、用户需求书序号仪器设备 名称参考品牌 （需提供三 个品牌）参考型 号（与品 牌对应 的三个 型号）技术指标数量单位1大数据分析 平台*1.基础模块：（1 ）系统采用B/S架构，即浏览器/服务器架构。可通过浏览器直接访问平台；屏蔽复杂的 大数据分析底层技术，提供可视化数据分析用户界面。（2） 提供8个Hadoop生态链产品，包含 HDFS Yarn、Map Reduce Hive、Spark组件；同时 支持原生 Hadoop、cloudera Hadoop、Hortonworks Hadoop ;基于分布式运算，可并行处理 数据。（3）提供4个数据挖掘引擎，包含云分类引擎、云聚类引擎、云关联规则

2、引擎、云智能推荐 引擎。（4）支持用户权限区分，分为系统管理员和普通用户。（5）支持作业调度、作业监控和作业管理等大数据作业任务管理；支持实时监控平台、子节 点运行情况及指标（CPU内存、存储）。（6）支持工作流，包括工作流定义、流程属性配置、流程服务等；通过拖拽组件的形式，无 需编程即可实现数据挖掘流程。（7）支持建模中间结果在线预览，过程数据可视化。（8） 数据源管理支持 3种数据来源数据上传数据， 分别为本地计算机、关系型数据库及 HDFS 其中本地上传文件支持 CSV类型；支持数据分享功能，实现冋平台用户数据功共用。1套（9）支持工作流，包括工作流定义、流程属性配置、流程服务等；通过拖

3、拽组件的形式，无 需编程即可实现数据挖掘流程。（10）支持建模中间结果在线预览，过程数据可视化。（11）支持定时任务设置功能，可创建任务组，定时周期支持秒、分、小时、日、周、月、 年为单位；支持任务之间依赖的功能。（12）支持后续的系统资源扩展，通过增加硬件资源可实现支持实验人数的增加。2. 算法单元：分布式算法包括6大类共37种算法，其中包括数据预处理13种、统计分析6种，分类算法7种、聚类算法4种、回归算法6种、协同过滤1种。分别为：（1） 数据预处理包括：数据去重、记录选择、数据映射、反映射、数据拆分、SQL探索、空 值处理、数据标准化、衍生变量、表合并、表堆叠、哑变量处理、数据离散化。

4、（2）统计分析：行列数目统计、频数统计、全表统计、主成分分析、相关分析、卡方检验。（3） 分类算法包括：逻辑回归、决策树分类、梯度提升树分类（GBDT）、朴素贝叶斯、随机 森林、SVM支持向量机、多层感知机分类器。（4） 聚类算法包括：K-Means算法、二分k均值算法，混合高斯模型（GMM） LDA。（5）回归算法包括：线性回归、广义线性回归、决策树回归、梯度提升树回归、随机森林 回归、保序回归。协同过滤算法包括：ALS （建模、评估、预测）。3. 接口扩展：（1）接口模块基于标准 RESTful设计，用户可以方便，快捷的通过浏览器在线浏览、测试 各个接口。（2） 数据源接口：提供从分布式文

5、件系统 HDFS以及大数据仓库 Hive创建数据源接口调用标 准。（3）工程管理接口：提供新建，修改，删除，查询用户工程的接口调用标准。（4 ）系统组件管理接口：提供新建，修改，删除，查询系统组件的接口调用标准。（5）模型管理接口：提供查询，应用模型进行预测的接口调用标准。 任务调度接口：提供数据源，工程的调度，包括依赖任务，定时任务等的接口调用标准。2大数据开发 实训平台*1. 基础模块：(1) 包含4台Linux虚拟机(裸机)集群。(2) 配置vim文本编辑、SSH远程登录、NTP时间冋步等软件2. Hadoop增强模块：(1) 支持分布式文件系统HDFS具有高度容错性，对硬件性能要求低；

6、能提供高吞吐量的数据访问，适合大规模数据集上的应用；可以实现流的形式访问(streami ng access )文件系统中的数据。(2) 支持分布式计算框架MapReduce可用于大规模数据集的并行运算；支持作业调度和集 群资源管理；数据/代码互定位；系统优化；出错检测和恢复等。(3) 支持集群资源管理 YARN可为上层应用提供统一的资源管理和调度，提高集群利用率，实现资源统一管理和数据共享；负责应用程序提交、与调度器协商资源以启动 ApplicationMaster 、监控ApplicationMaster运行状态并在失败时重新启动它等。(4) 基础Commo平台，主要包括FileSyste

7、m、RPC和串行化库以及配置文件和日志操作等。(5 )含有畜水池抽样 MapReduce实现，包含配套工程源码、测试数据、相关文档等。(6) 含有KMea ns算法Map Reduce实现，包含配套工程源码、测试数据、相关文档等。(7) 含有TF-IDF算法MapReduce实现，包含配套工程源码、测试数据、相关文档等。3. 基于Hadoop的Hive增强模块：(1) 作为数据仓库工具，可以将结构化的数据文件映射为一张数据库表。(2) 提供简单的SQL查询功能，可直接执行相关HiveQL脚本、进行数据导入导出等。(3 )支持大数据集的批处理作业。(4 )含有航空客户价值分析数据预处理模块案例，

8、包含配套工程源码、测试数据、相关文档 等。4. 基于Hadoop的HBase增强模块：(1)基于列的模式，适合于非结构化的数据存储，具有高可靠性、高性能、可伸缩等特点。(2 )可直接执行相关 HBaseShell交互式终端命令、进行数据导入导出、使用Map Reduce与HDFS进行交互。1套（3）含有基于HBase冠字号查询系统的模块案例，包含配套工程源码、测试数据、相关文档 等。5. 基于Hadoop的Pig增强模块：（1）适合于使用 Hadoop和Map/Reduce平台来查询大型半结构化数据集。（2 ）允许对分布式数据集进行类似SQL的查询。（3） 可直接执行相关 Pig Latin脚

9、本、进行大数据分布式文件系统HDFS±的各种数据处理。（4）含有Pig数据处理综合案例，包含配套工程源码、测试数据、相关文档等。6. 基于Hadoop的Spark增强模块：（1）包含大数据快速计算 Spark模块环境，如 Spark Core、Spark SQL、Spark Mllib 。（2） 可直接启动Spark-shell进行操作，也可以和 YARN进行整合，可直接操作HDFS兼容性强。（3）启用内存分布数据集，能够提供交互式查询，还可以优化迭代工作负载。（4）含有基于Spark MLlib的电影推荐系统，包含配套工程源码、测试数据、相关文档等。7. 基于Hadoop的Oozie增强模块:（1）包含 Hadoop Hive、HBase Pig、Spark 等集成环境。（2） 作为管理Hadoop