基于python数据分析技术的数据整理与分析研究

1、基于python数据分析技术的数据整理与分析研究基于python数据分析技术的数据整理与分析讨论2945202104-0157-02Abstract：Inthetimeofdataexplosion，thevalueofdataiswidelyconcerned，andtheterm"bigdata"comesintobeing.Itiscalledbigdatabecausethehugevolumeofdataandthecomplexityofdatatypes.Howtominetheconnotationbehindthedataandhowtoanalyzeda

2、taisbecomingaproblemthatpeopleliketotalkaboutandwidelystudy.Pythonisasimpledataanalysistool.Inthispaper，pythonwillbeusedfordataanalysisandvisualization.Keywords：bigdata;analysis;python1工具介紹1.1Python简介Python是一种计算机程序设计语言。由于它的可读性高，集成方法比较多且全面，上手简洁，便于理解等优势，被计算机领域及非计算机领域数据分析时广为使用。1.2数据分析简介广义上的数据分析是指针对所收集的

3、大规模数据，进行如数据读取，存储，计算，可视化，分析等技术，从数据之中发觉隐含的，对决策有参考意义的信息、价值和趋势。因此，数据分析是一个跨越多学科的计算机科学分支，也是挖掘数据价值的重要手段。2方法及使用库介绍对于数据分析人员来说，熟识python中集成的多种类型的库是极其重要的。数据分析一般分为以下步骤：猎取，保存，读取，计算，可视化，分析。Python中包含大量的集成好的包，使用者可以用简洁的方式调取，使得分析过程更加便捷，并稳定性高。所以了解重点库是数据分析的重要一环。2.1NumpyNumpy是python中用于计算的基础模块，还可以处理大型矩阵。Numpy的数据结构容量能够保存任一

4、类型的数据，所以numpy可以整合各种数据，在性能上比python自身嵌套的列表结构要高许多。所以使用python进行数据分析时科学计算的模块大多会使用numpy库。2.2PandasPandas是python中读取、保存、设置数据结构类型的主要模块。由于pandas的敏捷性，在处理excel中的数据时，可以更加的高效。如读取excel表格，选择性的读取excel表格中的某一列，某一个数据，转换数据类型等。2.3MatplotlibMatplotlib是python中用于可视化的一个模块。为了使数据更加的便于观看，利于使用者、学习者、分析者、更好的理解数据中潜在的含义，数据可视化在数据分析中是

5、必不行少的模块。常见的可视化类型有折线图、柱形图、饼状图、散点图等等。2.4PyechartsPyecharts是一个用于生成Echarts图表的类库。Echarts是百度开源的一个数据可视化JS库。可以生成动态可选择的图片，可视化效果美观，多变。可适合数据分析人员做展示使用。3实证分析3.1数据预备及整理我们对已经猎取的数据文件进行读取，并选择需要分析的数据。以“试验数据1.xls为例。使用pandas读取excel文件：3.2文本数据预备及整理文本数据读取，包括已经解析的关键词，和关键词出现的数量。3.3数据可视化使用matplotlib画折线图展示见图2。通过以上的介绍与展示，可以发觉在数据分析领域，python可以完成大部分的分析工作。当然python的