数据分析应用项目化教程（Python） 课件 项目1 认识数据分析

项目1认识数据分析

任务1.1认识Python与数据分析项目1介绍认识数据、信息、知识、数据分析认识定性和定量数据分析认识Python与数据分析认识数据分析学习路径项目1介绍项目描述：数据分析可以通过计算机工具和数学知识处理数据，并从中发现规律性的信息，以做出具有针对性的决策。项目1介绍数据分析的主要概念和流程，后续项目学习Python在数据分析中的核心内容及数据分析的Python库，把概念和流程转化为Python代码，实现Python数据分析。虽然后续项目不涉及使用机器学习和深度学习进行数据分析，但后续项目是学习机器学习和深度学习进行数据建模、使用模型进行数据分析的基础。项目分析：做数据分析，首先需要认识数据分析相关概念、分类、学习路径、流程、作用，建立数据分析的总体认识。项目目标：1)描述数据、信息、数据分析2)区别定性数据分析和定量数据分析3)列表数据分析技术栈4)描述数据分析流程认识数据、信息和知识数据是指对客观事件进行记录并可以鉴别的符号，它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等。分为模拟数据和数字数据。数据分为结构化数据、非结构化数据、半结构化数据三种类型，分别是：1、结构化数据（关系数据库的行和列）；2、半结构化数据（CSV，日志，XML，JSON、HTML、报表、资源库）；3、非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。信息其实就是被组织起来的数据，是为了特定目的对数据进行处理和建立内在关联，从而让数据具有意义。用信息论的奠基者香农的话说，“信息是用来消除随机性的不确定性的东西”。也就是说，信息是有组织或分类的数据，对接收者有一定价值。数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵。知识是对信息的提炼和概括，它是高度概括的信息。基于图技术的知识图谱可以用来描述各种实体以及它们之间的关系。它是一个庞大的图形网络知识库。在这个网络中，每个节点是一个实体，比如人名、地名、事件、活动，任意两个节点之间的边表示它们之间存在关系。知识图谱的基本组成是“实体–关系–实体”的三元组，它不仅能把与关键词有关的知识系统化地展示给用户，也可以基于知识进行推演。比方说，从〈东方明珠，坐落在，浦东〉和〈浦东，属于，上海〉这两个组合，就能推测得到〈东方明珠，位于，上海〉。随意给出3个数字：68、21、192。这3个数字仅仅是数据。现在给它们加上一些说明，比如：衣服的价格是68元，今天的气温是21摄氏度，小明爸爸的体重是192斤。这些数据有了明确表达的含义，它们就是信息。数据、信息、知识三者密不可分：数据是一组有意义的符号，它是信息的载体，是知识的来源；信息赋予了数据含义，信息消除了不确定性；知识从实践、经验中得到，它由数据记录，从信息中提炼。认识数据分析数据分析是指用适当的方法及工具，从大量的数据中提取有价值的信息，找到数据背后的内在规律，形成有效结论的过程。数据分析是将数据转换为有效信息的过程，现已形成一整套关于数据建模的方法论。模型是指将所研究的系统转换为数学的形式。模型的预测能力不仅取决于建模技术的质量，还取决于数据的质量，因此数据搜集、数据提取、数据准备等预处理工作也成为数据分析的主要组成部分，对数据分析的最终效果有重要的影响。数据分析是“数据驱动业务”的重要手段。高质量的数据和模型还不够，数据分析还需要有各种数据可视化的方法，可以更直观地理解数据中隐含的信息。认识定性和定量数据分析定量分析指待分析的数据有着严格的数值型或类别型结构。定性分析指数据要用自然语言来描述。定量分析往往建立数学模型，并用数学模型针对数据特征、数据关系与数据变化进行分析。定性分析往往依据直觉、经验，运用主观上的判断对数据的性质、特点、发展变化规律进行分析，数据分析的结论可能还包括主观解释。认识Python与数据分析Python是一门开源的、易于使用的编程语言，拥有非常活跃且庞大的社区，提供了数据分析所需的各种算法库，是数据分析的重要工具。可以方便地将数据分析模型与现有的系统进行整合对接。认识Python数据分析学习路径技术栈统计学PythonNumpyPandasMatplotlibSeabornScikit-learnpytorch、tensorflowPaddlePaddle（百度）、MindSpore（华为）、MegEngine（天元）、Jittor（清华）、OneFlow（一流科技）业务认知数据分析的重要性量化IT投资成效，以数据驱动决策通过数据分析验证产品成效通过数据分析洞察用户通过数据分析找到机会点数据分析需求的问题发现以数据分析思维看待问题数据分析思维是使用数据分析技能来解决问题的能力。数据分析思维是要搭建分析思路的框架，数据分析技能是在思路的框架范围内做具体的分析。找到有效问题通过什么方式发现问题问题拆解与归类站在业务角度想问题小结数据、信息、知识、数据分析定性和定量数据分析Python与数据分析数据分析学习路径项目1认识数据分析

任务1.2认识数据分析类别与流程认识探索性和预测性数据分析认识数据分析流程认识探索性数据分析探索性数据分析是用来分析和调查数据集，并总结其主要特征，通常采用数据可视化和汇总统计方法。探索性数据分析的主要目的是什么？识别明显的错误、理解数据中的模式、检测异常值或异常事件、找到变量之间的有趣关系。尝试各种方法来探索发现数据中可能存在的关系等，从而帮助我们后期更好地进行特征工程和建立模型，为预测性数据分析做准备，是进行数据分析时重要的一步。探索性数据分析一般步骤有哪些？1) 问题/需求导向2) 数据的基本情况。包括但不限于：数据量、数据特征、数据类型数据分布情况等。3) 数据的基本处理。对于数据的处理方式根据你的问题需要进行选择，主要有缺失值处理、重复值处理、异常值处理、数据转换和格式化处理、汇总统计。4) 数据可视化。认识预测性数据分析什么是预测性数据分析？基于过去的数据对未来结果进行预测，是专注于预测并理解未来可能发生的情况，大多是基于概率的，即预测事件在未来发生的概率，或者事件在大概率上会如何发生。预测性数据分析的主要目的是什么？是试图预测可能的未来结果并提供这些结果发生的可能性，使企业能够采取更主动、更加数据驱动的方法来