Python文件和数据格式化全面掌握

汇报人：XX2024-01-11Python文件和数据格式化全面掌握目录文件基本操作与读写数据类型与格式化输出文件内容格式化处理数据清洗与整理技巧实战案例：Python在数据处理中的应用01文件基本操作与读写使用`open()`函数打开文件，指定文件名和打开模式（如读取模式"r"、写入模式"w"、追加模式"a"等）。打开文件使用`close()`方法关闭文件，释放资源。关闭文件打开与关闭文件使用`read()`方法一次性读取整个文件内容。读取整个文件逐行读取读取指定字符使用`readlines()`方法或循环遍历文件对象逐行读取。使用`read(size)`方法读取指定数量的字符。030201读取文件内容写入文件内容写入字符串使用`write()`方法将字符串写入文件。写入多行使用`writelines()`方法将字符串列表写入文件，实现多行写入。123使用`os.getcwd()`获取当前工作目录路径。获取当前路径使用`os.path.join()`将目录和文件名拼接成完整路径。拼接路径使用`os.path.split()`将完整路径分割为目录和文件名。分割路径文件路径处理02数据类型与格式化输出数字类型包括整数（int）、浮点数（float）、复数（complex）等。字符串类型由零个或多个字符组成的有序字符序列，用单引号、双引号或三引号表示。列表类型可以包含任意类型的对象，是有序的集合，可以随时添加和删除其中的元素。元组类型与列表类似，但元组的元素不能修改。字典类型由键和值组成的数据项构成的集合，是无序的。集合类型不包含重复元素的无序集合。Python基本数据类型格式化输出方法010203使用`%`操作符进行格式化输出：通过在字符串中插入格式占位符，然后使用`%`操作符将值填充到占位符中。使用`str.format()`方法进行格式化输出：通过调用字符串的`format()`方法，并在其中使用花括号`{}`作为占位符，然后将值填充到占位符中。使用f-string进行格式化输出：在Python3.6及更高版本中，可以使用f-string（格式化字符串字面值）进行格式化输出。通过在字符串前加上`f`或`F`，然后在字符串中使用花括号`{}`作为占位符，并将变量或表达式放在占位符中。%%表示百分号本身。%x或%X表示十六进制数，用于将整数转换为十六进制字符串。%f表示浮点数，用于将浮点数转换为字符串。%s表示字符串，用于将对象转换为字符串。%d表示十进制整数，用于将整数转换为字符串。字符串格式化操作符格式化输出示例使用%操作符进行格式化输出示例```pythonname="Alice"格式化输出示例age=25print("Mynameis%sandI'm%dyearsold."%(name,age))格式化输出示例格式化输出示例```使用`str.format()`方法进行格式化输出示例```pythonname="Bob"格式化输出示例VSage=30print("Mynameis{}andI'm{}yearsold.".format(name,age))格式化输出示例```使用f-string进行格式化输出示例格式化输出示例```pythonname="Charlie"格式化输出示例格式化输出示例01age=3502print(f"Mynameis{name}andI'm{age}yearsold.")```0303文件内容格式化处理读取特定格式文件内容使用Python内置函数`open()`打开文本文件，通过指定文件名和模式（如读取模式"r"）进行读取，使用`read()`或`readlines()`方法读取文件内容。读取CSV文件使用Python标准库中的`csv`模块，通过创建`csv.reader`对象来读取CSV文件内容，按行或按列进行数据处理。读取JSON文件使用Python标准库中的`json`模块，通过`json.load()`函数读取JSON文件内容，将JSON数据转换为Python对象（如列表或字典）进行处理。读取文本文件写入文本文件使用Python内置函数`open()`打开或创建文本文件，通过指定文件名和模式（如写入模式"w"）进行写入，使用`write()`方法将数据写入文件。写入CSV文件使用Python标准库中的`csv`模块，通过创建`csv.writer`对象来将数据按CSV格式写入文件，可以设置列名、分隔符等参数。写入JSON文件使用Python标准库中的`json`模块，通过`json.dump()`函数将数据转换为JSON格式并写入文件，可以设置缩进、排序等参数。将数据按指定格式写入文件使用Python标准库中的`os`模块，通过`os.walk()`或`os.listdir()`函数遍历指定目录下的所有文件，获取文件名列表。遍历目录根据文件名、扩展名或其他条件对文件进行过滤，选择需要处理的文件。文件过滤对选定的多个文件执行相同的读写操作，如批量读取数据、批量写入数据等。批量读写批量处理多个文件调整缩进和空格根据代码规范或排版要求，调整代码行的缩进和空格，使代码结构更清晰易读。代码高亮显示将代码中的关键字、变量名、字符串等不同类型的文本设置为不同的颜色或样式，提高代码的可读性。删除空白行和注释通过正则表达式匹配空白行和注释行，将其从文件内容中删除，优化文件排版。文件内容排版优化04数据清洗与整理技巧识别缺失值通过Pandas库中的isnull()和notnull()函数识别数据中的缺失值。删除缺失值使用dropna()函数删除含有缺失值的行或列。填充缺失值使用fillna()函数对缺失值进行填充，可以指定填充的值或使用均值、中位数等统计量进行填充。缺失值处理利用箱线图（BoxPlot）识别数据中的异常值，箱线图通过四分位数（Q1、Q2、Q3）和IQR（内四分位距）来确定异常值的范围。箱线图识别异常值通过计算数据的Z-Score（标准分数），将Z-Score大于3或小于-3的数据视为异常值。Z-Score识别异常值对于识别出的异常值，可以选择删除、替换为特定值或使用插值等方法进行处理。处理异常值异常值识别与处理数据类型查看使用dtypes属性查看DataFrame中各列的数据类型。数据类型转换使用astype()函数将数据转换为指定类型，如int、float、str等。日期类型转换使用to_datetime()函数将日期字符串转换为Pandas的datetime类型，方便进行日期相关的操作。数据类型转换数据排序与分组使用sort_values()函数对数据进行排序，可以指定排序的列和排序方式（升序或降序）。数据排序使用groupby()函数对数据进行分组，可以按照一个或多个列进行分组，并对分组后的数据进行聚合操作，如求和、均值、计数等。数据分组05实战案例：Python在数据处理中的应用读取CSV文件使用Python内置的csv模块，可以轻松读取CSV文件中的数据。通过指定文件路径和分隔符，可以将CSV文件中的数据读取为Python中的数据结构，如列表或字典。数据清洗和处理读取数据后，可以使用Python中的数据处理技巧，如列表推导式、字典操作和Pandas库等，对数据进行清洗、转换和计算。例如，可以筛选特定条件的数据、转换数据类型、计算数据的统计指标等。数据可视化处理后的数据可以使用Matplotlib、Seaborn等可视化库进行可视化展示，帮助更好地理解和分析数据。案例一：从CSV文件中读取并处理数据案例二使用Pandas提供的to_excel()方法，可以将DataFrame对象保存为Excel文件。可以设置文件的保存路径、工作表名称、索引是否保存等参数。保存为Excel文件使用Python中的数据库连接库（如pymysql、psycopg2等）连接到相应的数据库，并执行查询语句获取数据。连接数据库将查询结果转换为Pandas的DataFrame对象，以便进行后续的数据处理和分析。数据转换案例三：批量修改图片文件名并按规则排序修改文件名根据特定的命名规则，使用Python的字符串操作和正则表达式等功能，可以批量修改图片文件的文件名。例如，可以按照日期、编号等规则对文件名进行排序和重命名。遍历图片文件使用Python的os模块，可以遍历指定目录下的所有图片文件，并获取它们的文件名和路径。文件排序修改文件名后，可以使用Python的sorted()函数对文件进行排序，以便更好地管理和查看图片文件。定义函数根据特定的文本格式要求，可以自定义一个函数来实现特定格式的文本输出。例如，可以定义一个函