旅游大数据平台规划方案

旅游大数据平台规划优秀方案旅游大数据平台规划优秀方案23/23旅游大数据平台规划优秀方案旅游研究院大数据发掘与解析科研平台建设方案12一.背景1.1数据发掘和大数据解析行业背景和发展趋势搬动互联网、电子商务以及社交媒体的迅速发展使得企业需要面对的数据量成指数增加。依照IDC《数字宇宙》(DigitalUniverse)研究报告显示，2020年全球新建和复制的信息量已经高出40ZB，是2015年的12倍;而中国的数据量则会在2020年高出8ZB，比2015年增加22倍。数据量的飞速增加带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和解析(BDA)领域的市场研究表示，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增加率达到34.1%。该市场涵盖了储藏、服务器、网络、软件以及服务市场。数据量的增加是一种非线性的增加速度。据IDC解析报道，近来一年来，亚太区出现了越来越广泛的大数据和解析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和解析技术，开始了自己的大数据实践之旅;应用途景也在逐渐拓展，从结构化数据的解析，发展到半结构化、非结构化数据的解析，尤其是社交媒体信息解析碰到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新式技术。最新调研结果显示，提升竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最希望的三大回报。当前现有的大数据项目主要集中在业务流程优化以及提升客户满意度方面的应用。IDC发现好多用户希望大数据可以为企业带来业务创新，而且开始使用高级解析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和解析应用的关注度增加明显。未来，地理地址信息解析将会增加迅速，这也会推进用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何依照新的最正的确践需求设计和推行方案。中国和印度在大数据领域的硬件投资则特别明显，更倾向于数据中心相关的基础架构的投资。3在传统的数据解析与商业数据发掘中，人们平时依照二八原则。也就是任务20%的用户供应了80%的价值，所以利用优势资源用户关于少许用户的服务。随着互联网的发展，越来越多的廉价值用户进入到商业系统中，这部分用户成为商业企业竞争的目标。比方电商行业，大量顾客都是传统意义上的廉价值客户，数据表示关于这部分用户价值的发掘可以改变二八原则，甚至可达到价值的几乎平均散布。而且由于计算技术的发展，关于大数据的解析也成为了可能。1.2旅游行业睁开大数据解析及应用的意义旅游行业有行业广、规模大、搬动性强的特点，所以更加依赖大数据。当前，旅游业也在“新常态”下迎来了升级的挑战和改革的时机，新常态关于一般的经济部门是经济速度放慢、人均GDP增速减小，好多传统行业在调整结构，但新常态对旅游行业倒是速度加快的。旅游大数据的解决之道，在于整合国内多路子的大数据源，形成旅游大数据生态，为国内旅游业供应大数据解决方案，促进旅游业的转型升级。1.3数据发掘与大数据解析科研平台建设的必要性数据发掘与大数据解析是以计算机基础为基础，以发掘算法为核心，亲密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据发掘、算法与数据结构、计算机网络、并行计算等多个专业方向，所以该学科关于科研平台拥有较高的专业要求。科研平台不但要供应基础的编程环境，还要供应大数据的运算环境以及用于科学研究的实战大数据案例。这些素材的准备均需完满的科研平台作为支撑。当前，在我国高校的专业设置上与数据发掘与大数据解析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业的在使用科研平台时的重视点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，所以，需要建设一个便利、操作简单、算法全面、可视化的大数据科研平台是特别有必要的。4二.数据发掘与大数据解析科研平台整体规划2.1科研平台规划科研平台建设的基本源则是科研为主，同时为授课实验供应部分计算资源及安全资源，系统在授权范围内共享科研系统的计算资源，提升授课实验的真实性。项目的整体架构如图1所示。大数据科研环境Hadoop集群Hadoop集群可视化计算虚假化实验集群集群21U21U21U21U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U2U10U2U2U2U2U2U2U千兆数据千兆数据交换机交换机核心交换机2U图1.整体架构图5系统整体由千兆核心交换机作为核心节点，并以两个千兆接入交换机作为科研与实验环境的交换节点。科研环境由我司开发的商业Hadoop集群为基础，上层集成便于操作的大数据科研应用系统，集成10TB大数据案例集及可拖拽的数据算法和可视化算法。2.2科研平台功能规划本科研平台针对数据发掘有大数据解析研究内容，兼顾科研与授课的需求，既能满足科研工作中对大数据解析高性能平台要求也拥有授课实验平台简单易用的特点。1）大数据资源规划内置商业级数据资源，按常有科研分类规划数据资源，可以直接用于科学研究，拥有数据资源授权管控功能。2）大数据解析功能规划建设以商业版Hadoop为核心的大数据解析平台，系统供应MapReduce以及Spark等大数据发掘功能。系统拥有完满的管理调换功能。3）硬件资源功能规划系统拥有24个IntelXeonE5CPU计算能力，供应高出40TB的储藏能力以及1T以上的内存，可满足1000任务共时计算内能，方便扩大。6三.数据发掘与大数据解析科研平台建设方案3.1大数据科研平台设备架构高性能交换机高性能交换机高性能交换机主节点备份主节点管理节点接口节点计算节点计算节点接口节点计算节点计算节点计算节点计算节点计算节点计算节点计算节点计算节点机架1机架2机架3图3.设备架构3.1.1主节点和备份主节点主节点负责整个散布式大数据平台的运行。主节点向来在内存中保存整个文件系统的目录结构，每个目录有哪些文件，每个文件有哪些分块及每个分块保存在哪个计算上，用于办理读写央求。同时，主节点还负责将作业分解成子任务，并将这些子任务分配到各个计算节点上。备份主节点在主节点发生故障时担当主节点的各种任务，使得散布式大数据平台依旧可以正常运行。3.1.2管理节点管理节点用于管理整个散布式大数据平台，可进行节点安装、配置、服务配置等，供应网页窗口界面提升了系统配置的可见度，而且降低了集群参数设置的复杂度。73.1.3接口节点终端用户经过接口节点连接和使用散布式大数据平台，提交任务并获得结果，并可以用其他数据解析工具做进一步办理，与外界进行数据交互（如连接关系型数据库）。3.1.4计算节点散布式大数据平台包括了多个计算节点。计算节点是系统中真实储藏数据和做数据运算的节点。每个计算节点周期性地和主节点通信，还不时时和客户端代码以及其他计算节点通信。计算节点还保护一个开放的socket服务器，让客户端代码和其他计算节点经过它可以读写数据，这个服务器还会报告给主节点。3.2大数据科研平台基层架构大数据科研平台低层架构以我司自主研发的商业版Hadoop为基础架构，包含和大数据解析、数据发掘、机器学习等功能模块，并以HDFS以及Hbase作为储藏基础。任务执行调换接口数据交互接口统计建模(Shell)(JDBC,ODBC)(R)批办理交互式SQL引擎机器学习算法库内存计算(MapReduce,Pig)(Hive)(Mahout)(Spark)管理监控

散布式资源调换管理(HonyaES-data)

(YARN)散布式储藏(Sentry)散布式长远化数据储藏散布式实时数据库(HDFS)(Hbase)图2.软件架构83.2.1散布式长远化数据储藏——HDFSHadoop散布式文件系统（HDFS）被设计成适合运行在通用硬件上的散布式文件系统。它和现有的散布式文件系统有好多共同点。但同时，它和其他的散布式文件系统的差别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能供应高吞吐量的数据接见，特别适合大规模数据集上的应用。HDFS放宽了一部分POSIX拘束，来实现流式读取文件系统数据的目的。3.2.2散布式实时数据库——HBaseHBase是一个散布式的、面向列的开源数据库，该技术本源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的散布式储藏系统”。就像Bigtable利用了Google文件系统（所供应的散布式数据储藏相同，HBase在Hadoop之上供应了近似于BigTable的能力。HBase是Apache的Hadoop项目的子项目。HBase不相同于一般的关系数据库，它是一个适合于非结构化数据储藏的数据库。另一个不相同的是HBase基于列的而不是基于行的模式。3.2.3散布式资源调换管理——YARNYarn是Hadoop2.0的MapReduce框架。YARN分层结构的实质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分（计算、内存、带宽等）精心安排给基础NodeManager（YARN的每节点代理）。ResourceManager还与ApplicationMaster一起分配资源，与NodeManager一起启动和督查它们的基础应用程序。在此上下文中，ApplicationMaster担当了以前的TaskTracker的一些角色，ResourceManager担当了JobTracker的角色。3.2.4交互式SQL引擎——HiveHive是基于Hadoop的一个数据库房工具，可以将结构化的数据文件照射为一张数据库表，并供应简单的SQL盘问功能，可以将SQL语句变换为MapReduce任务进行运行。其优点是学习成本低，可以经过类SQL语句迅速实现简单的MapReduce统计，不用开发特地的MapReduce应用，十分适合数据库房的统计解析。93.2.5内存计算——SparkSpark是UCBerkeleyAMP实验室所开源的类HadoopMapReduce的通用的并行计算框架。Spark拥有HadoopMapReduce所拥有的优点；但不相同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，所以Spark能更好地适用于数据发掘与机器学习等需要迭代的MapReduce算法。3.3科研平台的功能3.3.1科研项目管理在科研平台中，科研计算是以计算项目来保存的，包括了计算项目成立、计算项目保护、计算项目设计、计算项目运行和结果可视化等几个环节。从技术角度来说，计算项目中也包括了算法组件、算法流程和数据集，一旦设计完后，即可用于计算，后期还可以调整算法和基于新的数据资源进行计算。计算项目完成后，可以训练出算法模型，在新的计算项目中使用已经训练好的模型进行数据的展望，形成一次训练多次使用的算法实现。3.3.2平台内置数据集在科研工作中，如何获得到海量高质量大数据资源是最大的难点。当前在互联网等渠道是很难找到科研工作所需的数据源，特别是经过数据冲刷和治理后的高质量数据。数据商场平台利用以下模式，经过外面的资源，为高校的科研工作供应优秀数据资源：1）经过商务合作的模式，直接与数据全部权拥有者进行灵便的商务沟通，获得科研的数据使用授权；2）邀请行业内优秀的第三方数据服务供应商入驻数据商场平台；103）经过数据收集的方式，经过数据寻源、收集、治理、冲刷后，引入拥有公开版权的数据资源；全部引入数据都会经过数据工程师的严格审察，保证数据的干净和质量，可以直接用于数据计算。如平台内置的专利数据，包括了国内近2000万各种商业数据，而且不断更新，可以直接用于旅游各方面的科学研究。有别区当前行业供应的数据库，数据商场直接供应了原始的数据，可以打通其他的行业数据，用于深层次的数据解析和经济展望。3.3.3科研数据上传科研老师已有的数据可以上传到平台参加数据计算，老师可以在平台上成立数据表，尔后把当地数据文件上传到数据表中。也可以保护外面的JDBC数据源，平台会把外面数据自动抽取到平台中进行计算和展望。3.3.4集成算法组件为了便于科研老师迅速进行科研数据的加工、解析和计算，数据商场平台集成了50多种通用大数据算法组件，包括回归算法、分类算法、聚类算法、关系规划算法、介绍算法、展望评估、数据预办理算法、机器学习等。全部的算法不用重新编程，只需要拖拽绘图完成即可进行计算，以以下图：11算法组件经过配置可以实现富强的自定义计算功能和收效，调整后的模型可以完成老师需要的数据解析和展望。123.3.5科研平台可视化功能供应20余种可视化显现模式，一键选择，一键切换，可按使用者需求显现大数据之美，依照需要显现对应的纬度，并可以一键生成高质量PNG文件，保存到当地后可用于科研报告和论文等。四.平台数据集清单科研平台为方便用户迅速睁开科学研究、生成科研数据报告，平台供应了一些通用的数据集，包括各种标准科研数据等。平台也内置了数百款可选数据集，分为多个数据包，总量近10TB，而且随商务和收集工作推进，仍在不断增加中。13五.定制数据服务依照科研老师的需求，数据商场平台供应数据收集和商务合作等定制数据引入模式，数据引入后，可以直接引入数据商场，由老师来进执行用。如老师需要旅游服务议论类数据进行服务情况的解析和展望，可以直接经过数据商场内的数据定制模块提出数据需求，经数据商场平台管理员汇总后，可以经过数据商场平台进行数据的准备，交给老师进执行用。六.科研平台算法清单平台集成的算法包括72种，全部来自科研网站，经过了商业机构的考据，引入平台后完成了散布式优化，可以高效执行，详细以下表：序算法分类算法名称算法描述号1回归算法线性回归利用线性模型对数值型变量进行拟合。2回归算法决策树回归利用平方误差最小化准则，进行特点选择，生成二叉树，从而对对数值型变量进行拟合3回归算法随机森林回归以回归决策树为基模型，将必然数量的基模型组合对数值型变量拟合，并对基模型的展望结果平均作为算法的最后结果4回归算法梯度提升回归树以二叉回归决策树为基函数的加法模型与前向分步结合的算法，经过对损失函数在当前模型的预测值的梯度作为近似残差进行拟合，从而对数值型变量展望。5分类算法逻辑回归二分类对目标变量为二值型分类变量，成立参数化逻辑斯谛散布，即sigmoid函数，近似条件概率散布，以实现二值分类。6分类算法逻辑回归多分类逻辑回归多分类,k个独立的logistic回归分类器与onevsall结合的分类模型,分类对象种类之间不是互14斥的7分类算法Softmax回归多分类Softmax回归就是逻辑回归的一般形式,是logistic回归模型在多分类问题上的推行,分类对象种类是互斥的8分类算法决策树分类利用信息增益准则或基尼指数最小化准则，进行特征选择，生成二叉树，从而对对目标变量为失散变量的数据进行分类9分类算法随机森林分类以分类决策树为基模型，将必然数量的基模型组合对失散型的目标变量拟合，并依照基模型的展望结果进行投票，以占多数结果的种类作为算法的最后结果10分类算法梯度提升分类树以二叉分类决策树为基函数的加法模型与前向分步结合的算法，经过对损失函数在当前模型的展望值的梯度作为近似残差进行拟合，从而对分种类目标变量展望。11分类算法BP神经网络以感知器为基函数，经过将当前基函数的的输出作为下一个感知器的输入，从而实现对失散型分类变量的分类12分类算法贝叶斯分类基于贝叶斯定理与特点条件独立假设，对给定数据集，学习输入输出的结合概率散布，利用贝叶斯原理输出后验概率最大的展望类作为展望结果13分类算法支持向量机分类在感知机的基础上，经过在特点空间上间隔最大和核技巧，实现对二类目标变量分类14聚类算法K均值聚类将无标记样本依照特点空间中的数据结构，划入K个不订交的子集中15聚类算法二分K均值聚类K均值聚类的改进版，能战胜原算法收敛局部最小的缺点，每次选其中一簇分成两簇。1516聚类算法高斯混杂模型关于吻合高斯散布的数据，假设存在K个高斯模型，将数据频频迭代，希望极大化。将样本聚到后验概率最大的模型类下。17关系规则算频频项集发掘算法（FP-Growth）主要分为两个步骤：FP-tree成立、递归发掘FP-tree。法发掘出共同出现的频频物品集。18介绍算法共同过滤算法共同过滤是在海量数据中发掘出某部分与目标客户行为近似的数据，并依照某种指标对其进行排序。19展望评估分类展望及评估分类算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，展望结果与实质目标变量比对评估，检测模型的性能。20展望评估回归展望及评估回归算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，展望结果与实质目标变量比对评估，检测模型的性能。21展望评估聚类展望及评估聚类算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，展望结果与实质数据种类比对评估，检测模型的性能。22展望评估介绍评估介绍算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，展望结果与物品类目比对评估，检测模型的性能。23数据预办理归一化将有量纲的数据转变成无量纲的数据，min-max标准化24数据预办理Join-两表关系近似sqljoin的功能，将两张表经过一个字段对或者多个字段对的相等关系关结合成一张表25数据预办理种类变换（string种类变换数值种类）将不相同数据的种类按需要进行变换26数据预办理Union对不相同数据集取并集27数据预办理标准化/正则化标准化是将数据缩放到一个区间范围内，如正态分布，小数定标，逻辑斯谛散布。正则化是利用先验知识，对模型增加拘束，防范过拟合。1628数据预办理缺失值填充对数据中某项数值所对应的某些样本缺失，经过某种先验假设，依照样本其他已知数据项对缺失值拟合展望。29数据预办理拆分依照比率拆分样本集，如设置0.6，切分成60:40两个样本集。30数据预办理随机采样当数据量过大或模型训练批容量有限时，随机采用必然量/比率的样本集。31数据预办理增加序列号在数据表第一列追加ID列。32数据预办理Select数据库盘问操作，盘问某限制条件下的样本33数据预办理Select_Distinct数据库盘问操作，盘问某限制条件下并过滤掉重复的样本34数据预办理Select_Where数据库盘问操作，盘问指定条件下的样本35数据预办理Select_And_Or数据库盘问操作，盘问条件的交集与并集36数据预办理Select_OrderBy数据库盘问操作，盘问结果按某指标排序37数据预办理Select_Limit数据库盘问操作，盘问某限制段的数据38数据预办理Select_Like数据库盘问操作，盘问包括指定字段的数据39特点工程主成分解析数据降维去噪常用方法，对数据的协方差矩阵取前K个最大方差方向作为新的数据方向。40特点工程Onehot编码用户将特点值进行二元编码照射成二元向量，并与数值向量进行拼接42特点工程特点尺度变换由于计算需要或依照数据特点将某特点对应数据项进行缩放，不改变样本间该数值项的相对大小43特点工程特点重要性解析指依照数据集各项特点在算法模型中对目标变量的相对重要程度的解析，从而提出冗余特点，关注重要特点，提升算法模型的效率正确性44特点工程特点失散对连续型特点按某方法变换为失散型变量45文本解析SplitWord散布式jieba分词接口，基于Trie树结构实现高效17的词图扫描，生成句子中汉字全部可能成词情况所构成的有向无环图（DAG)；采用了动向规划查找最大概率路径,找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法46文本解析文档主题生成模型（LDA）LDA(LatentDirichletallocation)，是一种主题模型，它可以将文档集中每篇文档的主题依照概率散布的形式给出。同时它是一种无督查学习算法，在训练时不需要手工注明的训练集，需要的不过是文档集以及指定主题的数量k即可。LDA第一由DavidM.Blei、AndrewY.Ng和MichaelI.Jordan于2003年提出，当前在文本发掘领域包括文本主题鉴别、文本分类以及文实情似度计算方面都有应用。47文本解析TF特点将文本文档的会集变换为词频计数的向量。48文本解析HashingTF特点使用散列技巧将一系列词语照射到其词频的向量，HashingTF的过程就是对每一个词作了一次哈希并对特点维数取余获得该词的地址，尔后依照该词出现的次数计次。所以就不用像传统方法相同每次保护一张词表，运用HashingTF就可以方便的得到该词所对应向量元素的地址。自然这样做的代价就是向量维数会特别大，幸好spark可以支持稀罕向量，所以计算开销其实不大。49文本解析TF-IDF特点TF-IDF（termfrequency–inversedocumentfrequency）是一种用于资讯检索与文本发掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词关于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被找寻引擎应用，作为文件与用户盘问之间相关程度的胸襟或评级。50文本解析字符串相似度一个字符串变换成别的一个字符串的代价，变换的代价越高则说明两个字符串的相似度越低。51文本解析停用词过滤针对文档数据，将包括的特定词汇过滤掉，不计入1852文本解析Word2Vec53文本解析词频统计54文本解析文本大纲55文本解析重点词提取56文本解析长句拆分57工具算法sql脚本58统计解析单样本T检验

统计数据中Word2Vec是一种出名的词嵌入（WordEmbedding）方法，它可以计算每个单词在其给定语料库环境下的散布式词向量（DistributedRepresentation，亦直接被称为词向量）。词向量表示可以在必然程度上刻画每个单词的语义。若是词的语义周边，它们的词向量在向量空间中也互相接近，这使得词语的向量化建模更加精确，可以改进现有方法并提升鲁棒性。词向量已被证明在好多自然语言办理问题，如：机器翻译，注明问题，实体鉴别等问题中拥有特别重要的作用。Word2Vec具有两种模型，其一是CBOW，其思想是经过每个词的上下文窗口词词向量来展望中心词的词向量。其二是Skip-gram，其思想是经过每其中心词来预测其上下文窗口词，并依照展望结果来修正中心词的词向量。该组件当前只支持后者。在对文章进行分词的基础上，按行保序输出对应文章ID列(docId)对应文章的词，统计指定文章ID列(docId)对应文章内容(docContent)的词频。经过pagerank算法计算获得的重要性最高的若干句子可以看作大纲。全面掌握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语依照长句中的标点符号将句子进行切割成多个短句用户可以在该组件自定义的SQL脚本从而完成对数据的变换办理单样本T检验：单样本t检验（one-samplet-test）又称单样本均数t检验，适用于样本均数x与已知整体均数u0的比较，其比较目的是检验样本均数x所代表的整体均数u0可否与已知整体均数u0有差别。已知整体均数u0，一般为标准值、理论值或经大量观察获得的较牢固的指标值。T检验的前提是样本整体遵从正态散布1959统计解析配对样本均数T检验配对样本均数t检验（pairedttest）,又称非独立两样本均数t检验，适用于配对设计计量资料均数的比较，其比较目的是检验两相关样本均数所代表的未知整体均数可否有差别。60统计解析两独立样本均数T检验两独立样本t检验(two-samplet-test),又称成组t检验，它适用于完满随机设计的两样本均数的比较，其目的是检验两样本所来自整体的均数可否相等。完满随机设计是将受试对象随机地分配到两组中，每组对象分别接受不相同的办理，解析比较两组的处理效应。61统计解析方差齐性检验由两样本方差推断两整体方差可否相同。有三种方差齐性检验的方法可供选择。采用Bartlett检验：若是我们的数据遵从正态散布，那么这种方法将是最为适用的。关于正态散布的数据，这种检验极为矫捷；而当数据为非正态散布时，使用该方法规很简单以致假阳性误判。Levene检验：当样本数据偏态也许非正态性的情况下，采用Levene检验鲁棒性与精度比Bartlett检验好。Fligner-Killeen检验：这是一个非参数的检验方法，完满不依赖于对散布的假设。62统计解析卡方适配度检验卡方适配度检验，Chi-SquareGoodnessofF