旅游大数据平台方案

1、旅游研究院大数据挖掘与分析科研平台建设方案背景数据挖掘和大数据分析行业背景和发展趋势移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据IDC 数字宇宙（Digital Universe） 研究报告显示， 2020 年全球新建和复制的信息量已经超过40ZB， 是 2015 年的 12倍 ;而中国的数据量则会在2020 年超过8ZB， 比 2015 年增长 22 倍。 数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区（不含日本）最新关于大数据和分析（BDA）领域的市场研究表明，大数据技术和服务市场规模将会从2012年的 5.48 亿美元增加到201

2、7年的 23.8 亿美元，未来5 年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅 ; 应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、 数据库一体机以及内存计算技术为代表的大数据相关新型技术。最新调研结果显示，提高竞争优势，降低成本

3、以及吸引新的客户是中国用 户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。在传统的数据分析与商业数据挖掘

4、中，人们通常遵循二八原则。也就是任务 20%的用户提供了80%的价值，因此利用优势资源用户对于少数用户的服务。随着互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。并且由于计算技术的发展，对于大数据的分析也成为了可能。旅游行业开展大数据分析及应用的意义旅游行业有行业广、规模大、移动性强的特点，因此更加依赖大数据。当前，旅游业也在“新常态”下迎来了升级的挑战和变革的机遇，新常态对于一般的经济部门是经济速度放慢、人均GD凡曾速减小，很

5、多传统行业在调整结构，但新常态对旅游行业却是速度加快的。旅游大数据的解决之道，在于整合国内多途径的大数据源，形成旅游大数据生态，为国内旅游业提供大数据解决方案，促进旅游业的转型升级。数据挖掘与大数据分析科研平台建设的必要性数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于科研平台具有较高的专业要求。科研平台不仅要提供基础的编程环境，还要提供大数据的运算环境以及用于科学研究的实战大数据案例。这些素材的准备均需完整的科研平台作为支撑。目前，在我国高

6、校的专业设置上与数据挖掘与大数据分析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业的在使用科研平台时的侧重点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的大数据科研平台是非常有必要的。数据挖掘与大数据分析科研平台总体规划科研平台规划科研平台建设的基本原则是科研为主，同时为教学实验提供部分计算资源及安全资源，系统在授权范围内共享科研系统的计算资源，提高教学实验的真实性。项目的总体架构如图1 所示。图 1. 总体架构图系统整体由千兆核心交换机作为核心节点，并以

7、两个千兆接入交换机作为科研与实验环境的交换节点。科研环境由我司开发的商业Hadoop集群为基础，上层集成便于操作的大数据科研应用系统，集成10TB大数据案例集及可拖拽的数据算法和可视化算法。科研平台功能规划本科研平台针对数据挖掘有大数据分析研究内容，兼顾科研与教学的需求，既能满足科研工作中对大数据分析高性能平台要求也具有教学实验平台简单易用的特点。1) 大数据资源规划内置商业级数据资源，按常见科研分类规划数据资源，可以直接用于科学研究，具有数据资源授权管控功能。2) 大数据分析功能规划建设以商业版Hadoop为核心的大数据分析平台，系统提供MapReduce1及 Spark 等大数据挖掘功能。

8、系统具有完整的管理调度功能。3) 硬件资源功能规划系统具有24个Intel Xeon E5 CPU 计算能力，提供超过40TB的存储能力以及 1T 以上的内存，可满足1000 任务共时计算内能，方便扩充。数据挖掘与大数据分析科研平台建设方案大数据科研平台设备架构图 3. 设备架构 主节点和备份主节点主节点负责整个分布式大数据平台的运行。主节点始终在内存中保存整个 文件系统的目录结构，每个目录有哪些文件，每个文件有哪些分块及每个分块保存在哪个计算上，用于处理读写请求。同时，主节点还负责将作业分解成子任务，并将这些子任务分配到各个计算节点上。备份主节点在主节点发生故障时承担主节点的各种任务，使得分

9、布式大数据平台仍然能够正常运行。管理节点管理节点用于管理整个分布式大数据平台，可进行节点安装、配置、服务配置等，提供网页窗口界面提高了系统配置的可见度，而且降低了集群参数设置的复杂度。接口节点终端用户通过接口节点连接和使用分布式大数据平台，提交任务并获得结果，并可以用其他数据分析工具做进一步处理，与外界进行数据交互（如连接关系型数据库）。计算节点分布式大数据平台包含了多个计算节点。计算节点是系统中真正存储数据和做数据运算的节点。每个计算节点周期性地和主节点通信，还时不时和客户端代码以及其他计算节点通信。计算节点还维护一个开放的socket服务器，让客户端代码和其他计算节点通过它可以读写数据，这

10、个服务器还会汇报给主节点。大数据科研平台底层架构大数据科研平台低层架构以我司自主研发的商业版Hadoop为基础架构， 包含和大数据分析、数据挖掘、机器学习等功能模块，并以HDFSZ及Hbase 作为存储基础。图 2. 软件架构分布式持久化数据存储 HDFSHadoop分布式文件系统（HDFS被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDF幅一个高度容错性的系统，适合部署在廉价的机器上。HDFS提供高吞吐量的数据访问，非常适合大 规模数据集上的应用。HDF跋宽了一部分POSIX约束，来实现流式读取文 件

11、系统数据的目的。分布式实时数据库 HBaseHBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的 Google 论文“ Bigtable ：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统（所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于 BigTable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。分布式资源调度管理 YARNYarn是Hadoop2.0的MapR

12、educe框架。YAR附层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资 源的分配。ResourceManager 将各个资源部分（计算、内存、带宽等）精心安排给基础ApplicationMaster还与 ResourceManager 的每节点代理)。 YARN( NodeManager一起分配资源，与NodeManager 一起启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster承担了以前的TaskTracker 的一些角色， ResourceManager 承担了 JobTracker 的角色。交互式SQLI擎Hiv

13、eHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduceg务进行运行。其优点是学习成本低，可以通过类SQL语句快 速实现简单的MapReduc期计，不必开发专门的 MapReduce应用，十分适 合数据仓库的统计分析。内存计算SparkSpark是UC Berkeley AMP实验室所开源的类 Hadoop MapReduce勺通用的 并行计算框架。Spark拥有Hadoop MapReduce所具有的优点；但不同于 MapReduce勺是Job中间输出结果可以保存在内存中，从而不再需要读写

14、 HDFS因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce1。科研平台的功能科研项目管理在科研平台中，科研计算是以计算项目来保存的，包括了计算项目建立、计算项目维护、计算项目设计、计算项目运行和结果可视化等几个环节。从技术角度来说，计算项目中也包括了算法组件、算法流程和数据集，一旦设计完后，就可用于计算，后期还可以调整算法和基于新的数据资源进行计算。计算项目完成后，可以训练出算法模型，在新的计算项目中使用已经训练好的模型进行数据的预测，形成一次训练多次使用的算法实现。平台内置数据集在科研工作中，如何获取到海量高质量大数据资源是最大的难点。目前在互联网等渠道是很难找

15、到科研工作所需的数据源，尤其是经过数据清洗和治理后的高质量数据。数据超市平台利用以下模式，通过外部的资源，为高校的科研工作提供优质数据资源：1） 通过商务合作的模式，直接与数据所有权拥有者进行灵活的商务沟通，获得科研的数据使用授权；2）邀请行业内优质的第三方数据服务提供商入驻数据超市平台；3）通过数据采集的方式，经过数据寻源、采集、治理、清洗后，引入具有公开版权的数据资源；所有引入数据都会经过数据工程师的严格审核，保证数据的清洁和质量，可以直接用于数据计算。如平台内置的专利数据，包括了国内近2000 万各类商业数据，并且不断更新，可以直接用于旅游各方面的科学研究。有别区目前行业提供的数据库，数

16、据超市直接提供了原始的数据，可以打通其他的行业数据，用于深 层次的数据分析和经济预测。科研数据上传科研老师已有的数据可以上传到平台参与数据计算，老师可以在平台上建立数据 表，然后把本地数据文件上传到数据表中。也可以维护外部的JDBC数据源，平台会把外部数据自动抽取到平台中进行计算和预测。集成算法组件为了便于科研老师快速进行科研数据的加工、分析和计算，数据超市平台集成多种通用大数据算法组件，包括回归算法、分类算法、聚类算法、关联规划50 了.算法、推荐算法、预测评估、数据预处理算法、机器学习等。所有的算法无须重新编程，只需要拖拽绘图完成即可进行计算，如下图：算法组件经过配置可以实现强大的自定义计

17、算功能和效果，调整后的模型可以完成老师需要的数据分析和预测。科研平台可视化功能提供20余种可视化展示模式，一键选择，一键切换，可按使用者需求展示大数据之美，根据需要展示对应的纬度，并可以一键生成高质量PN成件，保存到本地后可用于科研报告和论文等。平台数据集清单科研平台为方便用户快速开展科学研究、生成科研数据报告，平台提供了一些通用的数据集，包括各类标准科研数据等。平台也内置了数百款可选数据集，分为多个数据包，总量近 10TB,并且随商务和采集工作推进，仍在不断增加中。定制数据服务.根据科研老师的需求，数据超市平台提供数据采集和商务合作等定制数据 引入模式，数据引入后，可以直接引入数据超市，由老

18、师来进行使用。如老师需要旅游服务评价类数据进行服务情况的分析和预测，可以直接通过数据超市内的数据定制模块提出数据需求，经数据超市平台管理员汇总后，可以通过数据超市平台进行数据的准备，交给老师进行使用。科研平台算法清单平台集成的算法包括72种，全部来自科研网站，经过了商业机构的验证, 引入平台后完成了分布式优化，可以高效执行，详细如下表：算法描算法名算法分1回归算线性回利用线性模型对数值型变量进行拟合利用平方误差最小化准则，进行特征选择，生成 2决策树回回归算叉树，从而对对数值型变量进行拟以回归决策树为基模型，将一定数量的基模型组随机森林回3回归算对数值型变量拟合，并对基模型的预测结果平均为算法

19、的最终结以二叉回归决策树为基函数的加法模型与前向回归算梯度提升回归4,通过对损失函数在当前模型的步结合的算 测值的梯度作为近似残差进行拟合，从而对数值变量预测对目标变量为二值型分类变量，建立参数化逻辑逻辑回归二分5分类算法函数，近似条件概率分布，以谛分布，即 sigmoid实现二值分类。回归分类器与个独立的分类算法逻辑回归多分类 逻辑回归多分类，k logistic6分类对象类别之间不是互onevsall结合的分类模型,斥的logistic回归就是逻辑回归的一般形式，是Softmax 7分类算法Softmax回归多分类分类对象类别是回归模型在多分类问题上的推广，互斥的利用信息增益准则或基尼指数

20、最小化准则，进行特 8分类算法决策树分类征选择，生成二叉树，从而对对目标变量为离散变量的数据进行分类以分类决策树为基模型，将一定数量的基模型组合随机森林分类 分类算法9对离散型的目标变量拟合，并根据基模型的预测结果进行投票，以占多数结果的种类作为算法的最终结果以二叉分类决策树为基函数的加法模型与前向分梯度提升分类树分类算法10 .步结合的算法，通过对损失函数在当前模型的预值的梯度作为近似残差进行拟合，从而对分类型标变量预测11分类算B神经网以感知器为基函数，通过将当前基函数的的输出为下一个感知器的输入，从而实现对离散型分类量的分12分类算贝叶斯分基于贝叶斯定理与特征条件独立假设，对给定数集，学

21、习输入输出的联合概率分布，利用贝叶斯理输出后验概率最大的预测类作为预测结13分类算支持向量机分在感知机的基础上，通过在特征空间上间隔最大核技巧，实现对二类目标变量分14聚类算均值聚将无标记样本根据特征空间中的数据结构，划个不相交的子集15聚类算二均值聚均值聚类的改进版，能克服原算法收敛局部最的缺点，每次选其中一簇分成两簇16聚类算高斯混合模对于符合高斯分布的数据，假设存个高斯型，将数据反复迭代，期望极大化。将样本聚到验概率最大的模型类下17关联规则频繁项集挖掘算法FP-Growt主要分为两个步骤FP-tre构建递归挖FP-tre挖掘出共同出现的频繁物品集协同过滤是在海量数据中挖掘出某部分与目标

22、18推荐算协同过滤算户行为类似的数据，并根据某种指标对其进行序19预测评分类预测及评分类算法中，在已有训练数据训练模型的基础上将未训练的数据代入算法中，预测结果与实际目变量比对评估，检测模型的性能20预测评回归预测及评回归算法中，在已有训练数据训练模型的基础上将未训练的数据代入算法中，预测结果与实际目变量比对评估，检测模型的性能21预测评聚类预测及评聚类算法中，在已有训练数据训练模型的基础上将未训练的数据代入算法中，预测结果与实际数类型比对评估，检测模型的性能22预测评推荐评推荐算法中，在已有训练数据训练模型的基础上将未训练的数据代入算法中，预测结果与物品类比对评估，检测模型的性能23数据预处

23、归一将有量纲的数据转化为无量纲的数据min-max准24数据预处Join两表关类sql joi的功能，将两张表通过一个字段对者多个字段对的相等关系关联合成一张25数据预处类型转换strin类型转换数值类型将不同数据的类型按需要进行转对不同数据集取并Union26数据预处标准化是将数据缩放到一个区间范围内，如正态标准正则27数据预处布，小数定标，逻辑斯谛分布。正则化是利用先知识，对模型增加约束，防止过拟合。.28数据预处缺失值填对数据中某项数值所对应的某些样本缺失，通过种先验假设，根据样本其他已知数据项对缺失值合预测29数据预处拆按照比修拆分样本集如设 0.切分60:4个样本集30数据预处随机采

24、当数据量过大或模型训练批容量有限时，随机采一定比例的样本集31数据预处增加序列在数据表第一列追I列数据库查t9操作查32某限定条件下的样数据预处Select数据库查询操作Select_Distinct数据预处33查询某限定条件下并过滤掉复的样34数据预处Select_Where数据库查询操作，查询指定条件下的样数据库查询操作，查询条彳的交集与并数据预处35Select_And_Or数据库查询操作，查t©结果按某指标排Select_OrderBy36数据预处数据库查询操作，查询某限定段的数37Select_Limit数据预处数据库查询操作，查询包含指定字段的数Select_Like38

25、数据预处数据降维去噪常用方法，对数据的协方差矩阵取39特征工主成分分个最大方差方向作为新的数据方向40特征工Oneho编用户将特征值进行二元编码映射成二元向量，并数值向量进行拼42特征工特征尺度变由于计算需要或根据数据特点将某特征对应数项进行缩放，不改变样本间该数值项的相对大43特征工特征重要性分指根据数据集各项特征在算法模型中对目标变的相对重要程度的分析，从而提出冗余特征，关重要特征，提高算法模型的效率准确44特征工特征离对连续型特征按某方法转换为离散型变分布jieb分词接口，基 SplitWord45Tri文本分树结构实现高的词图扫描，生成句子中汉字所有可能成词情况构成的有向无环图DAG;

26、采用了动态规划查最大概率路，找出基于词频的最大切分组合; 于未登录词，采用了基于汉字成词能力 HM型，彳更用Viterb算46文本分文档主题生成模型LDLDA(Latent Dirichlet allocation ,是一种主题模型它可以将文档集中每篇文档的主题按照概率分的形式给出。同时它是一种无监 督学习算法，在练时不需要手工标注的训练集，需要的仅仅是文集以及指定主题的数即可LD首先DavidM. BleAndrew . NMichael I. Jorda200年提出，目前在文本挖掘领域包括文本主题识别文本分类以及文本相似度计算方面都有应用 47文本分T特将文本文档的集合转换为词频计数的向量

27、 使用散列技巧将一系列词t§映射到其词频的向量48文本分HashingT特HashingTF的过程就是对每一个词作了一次哈并对特征维数取余得到该词的位置，然后按照该词 出现的次数计次。所以就不用像传统方法一样每维护一张词表，运HashingTF就可以方便的到该词所对应向量元素的位置。当然这样做的代就是向量维数会非常大好spark可以支持稀向量，所以计算开销并不大 49 文本分 TF-ID 特 TF-IDterm frequencinverse document frequenc)是一种用于资讯检索与文本挖掘的常加权技术TF-ID是一种统计方法用以评估一词对于一个文件集或一个语料库中的

28、其中一份件的重要程度字词的重要性随着它在文件中现的次数成正比增加，但同时会随着它在语料库出现的频率成反比下降TF-ID加权的各种形式被搜索引擎应用，作为文件与用户查询之间相关度的度量或评级 50 文本分字符串相似一个字符串转换成另外一个字符串的代价，转换代价越高则说明两个字符串的相似度越低 51 文本分停用词过针对文档数据，将包含的特定词汇过滤掉，不计统计数据 52 文本分Word2VecWord2Vec是一种着名词嵌入WordEmbeddin方法，它可以计算每个单词在其给语料库环境下分布式词向量DistributedRepresentatio亦直接被称为词向量)。词向量示可以在一定程度上刻画

29、每个单词的语义。如果的语义相近，它们的词向量在向量空间中也相互近，这使得词语 的向量化建模更加精确，可以改现有方法并提高鲁棒性。词向量已被证明在许多然语言处理问题，如：机器翻译，标注问题，实识别等问题中具有非常重要的 作用Word2Ve有两种模型，其一 CBOW,其思想是通过每词的上下文窗口词词向量来预测中心词的词向量其二Skip-gra,其思想是通过每个中心词来测其上下文窗口词，并根据预测结果来修正中心的词向量。该组件目前只支持后者 53 文本分词频统在对文章进行分词的基础上，按行保序输出对应I(docId对应文章的词，统计指定文I(docId对应文章内(docContent的词频54 文本

30、分文本摘通pageranjf法计算得到的重要性最高的若干子可以当作摘要 55 文本分关键词提全面把握文章的中心思想的基础上，提取出若干代表文章语义内容的词汇或短 56 文本分长句拆根据长句中的标点符号将句子进行分割成多个 57 工具算sq脚用户可以在该组件自定义SQ脚本从而完成数据的转换处理.58统计分单样检单样检验：单样检验one-sample -tes又称单样本均检验，适用于样本均与已总体均u的比较其比较目的是检验样本均所代表的总体均u是否与已知总体均u有别。已知总体均u, 一般为标准值、理论值或大量观察得到的较稳定的指标值检验的前提样本总体服从正态分59统计分配对样本均检配对样本均检验

31、paired t tes又称非独立样本均检验，适用于配对设计计量资料均数比较，其比较目的是检验两相关样本均数所代表未知 总体均数是否有差别60统计分两独立样本均检两独立样检(two-sample t-test)又称成验，它适用于完全随机设计的两样本均数的比较其目的是检验两样本所来自总体的均数是否相等 完全随机设计是将受试对象随机地分配到两组中每组对象分别接受不同的处理，分析比较两组的理效应61统计分方差齐性检由两样本方差推断两总体方差是否相同。有三种差齐性检验的方法可供选择。选Bartlet检验如果我们的数据服从正态分布，那么这种方法将最为适用的。对于正态分布的数据，这种检验极灵敏；而当数据为非正态分布时，使用该方法则容易导致假阳性误判Leven检验当样本数据态或者非正态性 的情况下，选Leven检验鲁性与精度 Bartlet检验好Fligner-Killee检验这是一个非参数的检验方法，完全不依赖于对分的假设62统计分卡方适配度检卡方适配度检验 Chi-