Python数据分析概述

Python数据分析概述汇报人简介：***科技领域专家，工程师1熟悉Python数据分析的工具安装Python的Anaconda发行版掌握JupyterNotebook常用功能目录认识数据分析234了解大数据的应用场景5广义的数据分析包括狭义数据分析和数据挖掘。狭义的数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程。数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。数据分析的概念数据分析的流程典型的数据分析的流程需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。数据获取：数据是数据分析工作的基础，是指根据需求分析的结果提取，收集数据。数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程。数据分析的流程典型的数据分析的流程主要是客户的基本数据信息进行商业行为分析，首先界定目标客户，根据客户的需求，目标客户的性质，所处行业的特征以及客户的经济状况等基本信息使用统计分析方法和预测验证法，分析目标客户，提高销售效率。其次了解客户的采购过程，根据客户采购类型、采购性质进行分类分析制定不同的营销策略。最后还可以根据已有的客户特征，进行客户特征分析、客户忠诚分析、客户注意力分析、客户营销分析和客户收益分析。了解数据分析应用场景1.客户分析产品分析主要是竞争产品分析，通过对竞争产品的分析制定自身产品策略。价格分析又可以分为成本分析和售价分析，成本分析的目的是降低不必要成本，售价分析的目的是制定符合市场的价格。渠道分析目的是指对产品的销售渠道进行分析，确定最优的渠道配比。广告与促销分析则能够结合客户分析，实现销量的提升，利润的增加。了解数据分析应用场景2.营销分析：囊括了产品分析，价格分析，渠道分析，广告与促销分析这四类分析。以不同社交媒体渠道生成的内容为基础，实现不同社交媒体的用户分析，访问分析，互动分析等。同时，还能为情感和舆情监督提供丰富的资料。用户分析主要根据用户注册信息，登录平台的时间点和平时发表的内容等用户数据，分析用户个人画像和行为特征。访问分析则是通过用户平时访问的内容，分析用户的兴趣爱好，进而分析潜在的商业价值。互动分析根据互相关注对象的行为预测该对象未来的某些行为特征。了解数据分析应用场景3.社交媒体分析新型的病毒防御系统可使用数据分析技术，建立潜在攻击识别分析模型，监测大量网络活动数据和相应的访问行为，识别可能进行入侵的可疑模式，做到未雨绸缪。了解数据分析应用场景4.网络安全通过物联网技术能够收集和分析设备上的数据流，包括连续用电、零部件温度、环境湿度和污染物颗粒等无数潜在特征，建立设备管理模型，从而预测设备故障，合理安排预防性的维护，以确保设备正常作业，降低因设备故障带来的安全风险。了解数据分析应用场景5.设备管理

RPythonMATLAB语言学习难易程度入门难度低入门难度一般入门难度一般使用场景数据分析，数据挖掘，机器学习，数据可视化等。数据分析，机器学习，矩阵运算，科学数据可视化，数字图像处理，web应用，网络爬虫，系统运维等。矩阵计算，数值分析，科学数据可视化，机器学习，符号计算，数字图像处理，数字信号处理，仿真模拟等。第三方支持拥有大量的Packages，能够调用C，C++，Fortran，Java等其他程序语言。拥有大量的第三方库，能够简便地调用C，C++，Fortran，Java等其他程序语言。拥有大量专业的工具箱，在新版本中加入了对C，C++，Java的支持。流行领域工业界≈学术界工业界＞学术界工业界≤学术界软件成本开源免费开源免费商业收费了解数据分析常用工具目前主流的数据分析语言有R，Python，MATLAB三种程序语言。物流是物品从供应地向接收地的实体流动。通过业务系统和GPS定位系统获得数据，对于客户使用数据构建交通状况预测分析模型，有效预测实时路况、物流状况、车流量、客流量和货物吞吐量，进而提前补货，制定库存管理策略。了解数据分析应用场景6.交通物流分析身份信息泄露盗用事件逐年增长，随之而来的是欺诈行为和交易的增多。公安机关，各大金融机构，电信部门可利用用户基本信息，用户交易信息，用户通话短信信息等数据，识别可能发生的潜在欺诈交易，做到提前预防未雨绸缪。了解数据分析应用场景7.欺诈行为检测安装Python的Anaconda发行版掌握JupyterNotebook常用功能目录341熟悉Python数据分析的工具认识数据分析2了解大数据的应用场景5语法简单精练。对于初学者来说，比起其他编程语言，Python更容易上手。有很强大的库。可以只使用Python这一种语言去构建以数据为中心的应用程序。功能强大。Python是一个混合体，丰富的工具集使它介于传统的脚本语言和系统语言之间。Python不仅具备所有脚本语言简单和易用的特点，还提供了编译语言所具有的高级软件工程工具。不仅适用于研究和原型构建，同时也适用于构建生产系统。研究人员和工程技术人员使用同一种编程工具，会给企业带来非常显著的组织效益，并降低企业的运营成本。Python是一门胶水语言。Python程序能够以多种方式轻易地与其他语言的组件“粘接”在一起。了解Python数据分析的优势Python数据分析主要包含以下5个方面优势是一个增强的Pythonshell，目的是提高编写、测试、调试Python代码的速度。主要用于交互式数据并行处理，是分布式计算的基础架构。提供了一个类似于Mathematica的HTML笔记本，一个基于Qt框架的GUI控制台，具有绘图、多行编辑以及语法高亮显示等功能。了解Python数据分析常用类库1．IPython——科学计算标准工具集的组成部分快速高效的多维数组对象ndarray。对数组执行元素级的计算以及直接对数组执行数学运算的函数。读写硬盘上基于数组的数据集的工具。线性代数运算、傅里叶变换，以及随机数生成的功能。将C、C++、Fortran代码集成到Python的工具。了解Python数据分析常用类库2．NumPy(NumericalPython)——

Python科学计算的基础包SciPy主要包含了8个模块，不同的子模块有不同的应用，如插值、积分、优化、图像处理和特殊函数等。egrate数值积分例程和微分方程求解器scipy.linalg扩展了由numpy.linalg提供的线性代数例程和矩阵分解功能scipy.optimize函数优化器（最小化器）以及根查找算法scipy.signal信号处理工具scipy.sparse稀疏矩阵和稀疏线性系统求解器scipy.specialSPECFUN（这是一个实现了许多常用数学函数的Fortran库）的包装器scipy.stats检验连续和离散概率分布、各种统计检验方法，以及更好的描述统计法scipy.weave利用内联C++代码加速数组计算的工具了解Python数据分析常用类库3．SciPy——专门解决科学计算中各种标准问题域的模块的集合提供了一系列能够快速、便捷地处理结构化数据的数据结构和函数。高性能的数组计算功能以及电子表格和关系型数据库（如SQL）灵活的数据处理功能。复杂精细的索引功能，以便便捷地完成重塑、切片和切块、聚合及选取数据子集等操作。了解Python数据分析常用类库4．Pandas——数据分析核心库Python的2D绘图库，非常适合创建出版物上用的图表。操作比较容易，只需几行代码即可生成直方图、功率谱图、条形图、错误图和散点图等图形。提供了pylab的模块，其中包括了NumPy和pyplot中许多常用的函数，方便用户快速进行计算和绘图。交互式的数据绘图环境，绘制的图表也是交互式的。了解Python数据分析常用类库5．Matplotlib——绘制数据图表的Python库简单有效，可以供用户在各种环境下重复使用。封装了一些常用的算法方法。基本模块主要有数据预处理、模型选择、分类、聚类、数据降维和回归6个，在数据量不大的情况下，scikit-learn可以解决大部分问题。了解Python数据分析常用类库6．scikit-learn——数据挖掘和数据分析工具提供高级的代码编辑、交互测试和调试等特性。包含数值计算环境。可用于将调试控制台直接集成到图形用户界面的布局中。模仿MATLAB的“工作空间”，可以很方便地观察和修改数组的值。了解Python数据分析常用类库7．Spyder——交互式Python语言开发环境掌握JupyterNotebook常用功能目录41认识数据分析安装Python的Anaconda发行版3熟悉Python数据分析的工具2了解大数据的应用场景5预装了大量常用Packages。完全开源和免费。额外的加速和优化是收费的，但对于学术用途，可以申请免费的License。对全平台和几乎所有Python版本支持。了解Python的Anaconda发行版Anaconda安装包——“next”——“Iagree”——“AllUsers(requiresadminprivileges)”——选择安装路径——“Install”——“finish”。在Windows系统上安装Anaconda安装流程目录1认识数据分析熟悉Python数据分析的工具2安装Python的Anaconda发行版3掌握JupyterNotebook常用功能4了解大数据的应用场景5掌握JupyterNotebook的基本功能打开并新建一个Notebook打开JupyterNotebook“TextFile”为纯文本型“Folder”为文件夹“Python3”表示Python运行脚本选择”Python3”选项，进入Python脚本编辑界面，Notebook文档由一系列单元（Cell）构成，主要有两种形式的单元。掌握JupyterNotebook的基本功能JupyterNotebook的界面及其构成代码单元。这里是读者编写代码的地方。Markdown单元。在这里对文本进行编辑。编辑模式：用于编辑文本和代码。掌握JupyterNotebook的基本功能编辑界面命令模式：用于执行键盘输入的快捷命令。“Esc”键：进入命令模式“Y”键：切换到代码单元“M”键：切换到Markdown单元“B”键：在本单元的下方增加一单元“H”键：查看所有快捷命令“Shift＋Enter”组合键：运行代码掌握JupyterNotebook的基本功能快捷键Markdown是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式。标题：标题是标明文章和作品等内容的简短语句。一个“#”字符代表一级标题，以此类推。掌握JupyterNotebook的高级功能1．Markdown列表：列表是一种由数据项构成的有限序列，即按照一定的线性顺序排列而成的数据项的集合。对于无序列表，使用星号、加号或者减号作为列表标记对于有序列表，则是使用数字“，”“（一个空格）”。掌握JupyterNotebook的高级功能1．Markdown加粗／斜体：前后有两个星号或下划线表示加粗，前后有3个星号或下划线表示斜体。掌握JupyterNotebook的高级功能1．Markdown表格：代码的第一行表示表头，第二行分隔表头和主体部分，从第三行开始，每一行代表一个表格行；列与列之间用符号“｜”隔开，表格每一行的两边也要有符号“｜”。掌握JupyterNotebook的高级功能1．Markdown数学公式编辑：LaTeX是写科研论文的必备工具，Markdown单元中也可以使用LaTeX来插入数学公式。在文本行中插入数学公式，应在公式前后分别加上一个“$”符号如果要插入一个数学区块，则在公式前后分别加上两个“$$”符号。掌握JupyterNotebook的高级功能1．MarkdownNotebook还有一个强大的特性，就是导出功能。可以将Notebook导出为多种格式，如HTML、Markdown、reST、PDF（通过LaTeX）等格式。导出功能可通过选择“File”→“Downloadas”级联菜单中的命令实现。掌握JupyterNotebook的高级功能2．导出功能目录1认识数据分析熟悉Python数据分析的工具2安装Python的Anaconda发行版3掌握JupyterNotebook常用功能4了解大数据的应用场景5数据体量大：从TB级别，跃升到PB数据多样性：多为非结构型数据，如网络日志、视频、图片、地理位置信息价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒速度快：产生了大量的高速动态数据流，对数据流的实时分析与处理要求不断增加，数据处理的越及时，产生的价值越大。大数据的基本特征用4个V来总结：Volume、Variety、Value和Velocity38大数据基本特征的第五个V：Veracity

数据的不确定性

39概念从大量数据中抽取出（隐含的、有潜在用途的、未知的、人们可以理解的）有价值的信息和模式的过程。这些新发现的规律、模式、信息和概念具有潜在使用价值。数据挖掘：DataMining40科学家们通常需要分析疾病产生的原因，寻找能够消除这些原因的物质，然后合成新药。是一个非常漫长的过程，而且费用非常高。有了大数据，寻找特效药的方法就和过去有所不同了。斯坦福大学医学院发现，原来用于治疗心脏病的某种药物对治疗某种胃病特别有效。这种方法，实际上依靠的并非因果关系，而是一种强关联关系，即A药对B病有效。至于为什么有效，接下来3年的研究工作实际上就是在反过来寻找原因。这种先有结果再反推原因的做法，和过去通过因果关系推导出结果的做法截然相反。无疑，这样的做法会比较快，当然，前提是有足够多的数据支持。数据挖掘背后的大数据思维寻找特效药：41在大数据时代，我们能够得益于一种新的思维方法—从大量的数据中直接找到答案，即使不知道原因。在数据挖掘的思想中，知识的学习是不需要通过具体问题的专业知识建模。这其实是模拟了人的原始学习过程---比如你要预测一个人跑100米要多久时间，可以根据之前了解的他这样体型的人跑100米用的多少时间做一个估计，而不会使用牛顿定律来算。数据挖掘背后的大数据思维专业VS数据——对立与融合42数据挖掘：DataMining一般流程43关联规则分类与预测聚类分析…数据挖掘：DataMining功能44数据挖掘：DataMining

关联规则45几十年来，大型零售商塔吉特收集了海量的数据，记录了每一位经常光顾其各分店的顾客数据。发现女客户会在怀孕四个月左右，大量购买无香味乳液。由此挖掘出25项与怀孕高度相关的商品，制作“怀孕预测”指数。推算出预产期后，就能抢先一步，将孕妇装、婴儿床等折扣券寄给客户。在接下来的几年中会根据婴儿的生长周期定期给这些顾客推送相关产品，使这些客户形成长期的忠诚度。关联规则：零售业的应用46决策树数据挖掘：DataMining

分类与预测47

数据挖掘

分类与预测：金融创新产品设计48数据挖掘：DataMining 时间序列分析49时间序列预测即以时间序列所能反映的社会经济现象的发展过程和规律性，进行引伸外推，预测其发展趋势的方法，简单来说就是从已知事件测定未知事件。时间序列数据的趋势变动可分为以下四点：趋势性、周期性、随机性、综合性预测时一般设法过滤除去不规则变动，突出反映趋势性和周期性变动。数据挖掘：DataMining时间序列分析50数据挖掘：DataMining

聚类分析51数据挖掘：DataMining

社交网络、舆情分析…52社交网络中社区圈子的识别社交网络中人物影响力的计算信息在社交网络上的传播模型虚假信息和机器人账号的识别基于社交网络信息对股市、大选以及传染病的预测社交网络的分析和研究是一个交叉领域的学科通常会利用社会学、心理学甚至是医学上的基本结论和原理作为指导通过人工智能领域中使用的机器学习、图论等算法对社交网络中的群体行为和未来的趋势进行模拟和预测。社交网络的分析——尤其是在线教育中的学生网络发展53大数据带给数据挖掘的…54神经网络在几十年前就有了因为他们需要大量的“训练”对早期研究者来说，想要获得不错效果的最小量训练都远远超过计算能力和能提供的数据的大小团队通过在网络围棋对战平台上最强人类对手，百万级的对弈落子去训练随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹，大数据不断增长的商业影响也在如下时刻表现出来：你搜索飞往哈尔滨的航班，然后便看到网站上出现了当地宾馆的打折信息你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润用算法预测人们购票需求，航空公司以不可预知的方式调整价格智能手机的应用识别到你的位置，因此你收到附近餐厅的服务信息…数据挖掘：DataMining

大数据管理