Python文件和数据格式化数据处理

Python文件和数据格式化数据处理汇报人：XX2024-01-11Python文件操作基础数据格式化基础Python数据处理方法文件与数据格式化应用实例数据清洗与预处理数据可视化与报告生成Python文件操作基础01使用`open()`函数打开文件，需要指定文件路径和打开模式。使用`close()`方法关闭文件，释放资源。文件打开与关闭关闭文件打开文件读取模式以只读方式打开文件，使用`read()`方法读取文件内容。写入模式以写入方式打开文件，使用`write()`方法向文件中写入内容。追加模式以追加方式打开文件，使用`write()`方法向文件末尾追加内容。文件读写模式从根目录开始的完整路径。绝对路径相对于当前执行脚本的路径。相对路径使用`os.path.join()`函数拼接路径。路径拼接文件路径处理123使用`FileNotFoundError`异常处理文件不存在的情况。文件不存在异常使用`IOError`异常处理文件读写过程中的错误。文件读写异常使用`OSError`异常处理文件关闭过程中的错误。文件关闭异常文件异常处理数据格式化基础02数据类型Python中的基本数据类型包括整数、浮点数、复数、布尔值、字符串、列表、元组、字典和集合等。类型转换Python提供了多种内置函数来实现不同类型之间的转换，如`int()`,`float()`,`str()`等。数据类型与转换旧式字符串格式化01使用`%`操作符进行字符串格式化，例如`"Hello,%s!"%name`。str.format()方法02使用`{}`占位符和`str.format()`方法进行字符串格式化，例如`"Hello,{}!".format(name)`。f-string格式化03Python3.6及以上版本支持f-string格式化，可以在字符串前加上`f`或`F`，然后在字符串中使用`{}`占位符，例如`f"Hello,{name}!"`。字符串格式化整数格式化可以使用`format()`方法或f-string格式化来指定整数的显示格式，例如`"{:0>5d}".format(num)`或`f"{num:0>5d}"`表示将整数num格式化为宽度为5的零填充字符串。浮点数格式化可以使用`format()`方法或f-string格式化来指定浮点数的显示格式，例如`"{:.2f}".format(num)`或`f"{num:.2f}"`表示将浮点数num格式化为保留两位小数的字符串。数值格式化Python中处理日期和时间的标准库是datetime，它提供了date、time、datetime等类来表示日期和时间。日期和时间对象可以使用datetime对象的`strftime()`方法将日期和时间格式化为字符串，例如`now=datetime.datetime.now();print(now.strftime("%Y-%m-%d%H:%M:%S"))`表示将当前时间格式化为"年-月-日时:分:秒"的字符串形式。日期和时间格式化日期和时间格式化Python数据处理方法03列表推导式的语法形式为[expressionforiteminiterable]，其中expression是要添加到列表中的表达式，item是迭代对象中的元素，iterable是一个可迭代对象。列表推导式还支持添加条件语句，语法形式为[expressionforiteminiterableifcondition]，其中condition是一个条件表达式，只有满足条件的元素才会被添加到列表中。列表推导式字典推导式{key:valueforkey,valueiniterable}，其中key和value是要添加到字典中的键值对，iterable是一个可迭代对象，它返回的元素需要是键值对。字典推导式的语法形式为{key:valueforkey,valueiniterableifcondition}，其中condition是一个条件表达式，只有满足条件的键值对才会被添加到字典中。字典推导式还支持添加条件语句，语法形式为集合推导式是一种简洁的构造集合的方法，它可以在一行代码中生成一个集合。集合推导式的语法形式为：{expressionforiteminiterable}，其中expression是要添加到集合中的表达式，item是迭代对象中的元素，iterable是一个可迭代对象。集合推导式会自动去重，因此生成的集合中不会包含重复的元素。集合推导式生成器表达式是一种类似于列表推导式的构造生成器的方法，它可以在一行代码中生成一个生成器。生成器表达式的语法形式为：(expressionforiteminiterable)，其中expression是要添加到生成器中的表达式，item是迭代对象中的元素，iterable是一个可迭代对象。生成器表达式与列表推导式的区别在于，生成器表达式是惰性计算的，只有在需要时才会生成数据，因此可以节省内存空间。生成器表达式文件与数据格式化应用实例04使用Python内置函数`open()`打开文本文件，指定文件名和打开模式（如读取模式"r"）。打开文件使用文件对象的`read()`方法读取文件内容，可以指定读取的字节数或字符数。读取内容使用字符串格式化操作符`%`或`format()`函数将读取的内容格式化为指定的格式，并输出到控制台或写入到另一个文件中。格式化输出读取文本文件并格式化在Python中，可以使用csv模块来读取和处理CSV文件。导入csv模块使用`open()`函数打开CSV文件，并指定文件名和打开模式（如读取模式"r"）。打开CSV文件使用csv模块的`reader()`函数创建一个csv.reader对象，该对象可以迭代CSV文件的每一行。创建csv.reader对象使用for循环迭代csv.reader对象，处理每一行的数据。可以使用Python的数据类型（如列表和字典）来存储和处理数据。读取并处理数据读取CSV文件并进行数据处理导入json模块在Python中，可以使用json模块来生成和写入JSON格式的数据。将数据转换为JSON格式使用json模块的`dumps()`函数将数据转换为JSON格式的字符串。写入文件使用`open()`函数打开文件，并指定文件名和打开模式（如写入模式"w"）。然后，使用文件对象的`write()`方法将JSON格式的字符串写入到文件中。创建数据使用Python的数据类型（如列表和字典）创建要写入的数据。写入JSON格式数据到文件定义函数定义一个函数，接受要格式化的数据作为参数。处理数据在函数内部，根据需要对数据进行处理。可以使用Python的数据类型（如列表和字典）来存储和处理数据。返回格式化后的数据将处理后的数据格式化为指定的格式，并将其作为函数的返回值返回。可以在函数中使用字符串格式化操作符`%`或`format()`函数来进行格式化操作。自定义数据格式化函数数据清洗与预处理05通过Pandas库中的isnull()或isna()函数识别数据中的缺失值。缺失值识别缺失值填充缺失值插值使用fillna()函数对缺失值进行填充，可以选择填充固定值、均值、中位数等。使用interpolate()函数对缺失值进行插值处理，根据已有数据推测缺失值。030201缺失值处理异常值处理异常值识别通过描述性统计、箱线图等方法识别数据中的异常值。异常值处理对于异常值，可以选择删除、替换为正常值、或者使用模型进行预测等方法进行处理。VS通过dtypes属性查看数据框中每列的数据类型。数据类型转换使用astype()函数将数据转换为所需的数据类型，如将字符串转换为数值型等。数据类型查看数据类型转换特征提取从原始数据中提取出有意义的特征，如文本数据中的关键词、图像数据中的边缘特征等。特征转换对提取的特征进行转换，如使用独热编码处理类别特征、使用多项式扩展增加特征的非线性等。特征选择从众多特征中选择出对模型训练有重要影响的特征，以提高模型的性能和效率。特征工程基础数据可视化与报告生成06Matplotlib是一个Python2D绘图库，可以生成各种静态、动态、交互式的图表。Matplotlib概述基本绘图函数图表样式设置多子图绘制介绍plot()、scatter()、bar()等常用绘图函数，以及设置线条颜色、线型、数据标签等的方法。讲解如何设置图表的标题、坐标轴标签、图例、网格线等样式。介绍subplot()、subplots()等函数，实现在一个窗口中绘制多个子图。Matplotlib库简介及基本用法复杂图表绘制讲解pairplot()、heatmap()、clustermap()等函数，用于绘制复杂的图表。分布数据可视化介绍distplot()、kdeplot()、jointplot()等函数，用于展示连续变量的分布和关系。类别数据可视化讲解barplot()、countplot()、boxplot()等函数，用于展示类别数据的分布和统计特征。Seaborn概述Seaborn是基于Matplotlib的数据可视化库，提供更高级的绘图接口和更丰富的图表样式。数据集加载与预处理介绍如何加载Seaborn内置的数据集，以及进行必要的预处理。Seaborn库简介及基本用法Pandas是一个Python数据处理库，提供了强大的数据结构和数据分析工具。Pandas概述介绍如何读取各种格式的数据文件，并进行必要的预处理。数据读取与预处理讲解describe()、groupby()等函数，用于对数据进行统计和描述性分析。数据统计与描述介绍Pandas内置的绘图函数，如plot()、hist()、boxplot()等，用于快速绘制各种图表。数据可视化