Python文件和数据格式化专题讲座

Python文件和数据格式化专题讲座汇报人：XX2024-01-12Python文件基本操作数据格式化基础文件与数据格式化应用Python高级文件操作数据格式化进阶案例实战：Python文件和数据格式化应用Python文件基本操作01使用`open()`函数打开文件，需要指定文件路径和打开模式。打开文件使用`close()`方法关闭文件，释放资源。关闭文件文件打开与关闭写入模式以写入方式打开文件，使用`write()`方法向文件中写入内容。如果文件不存在，则创建新文件；如果文件已存在，则覆盖原有内容。读取模式以只读方式打开文件，使用`read()`方法读取文件内容。追加模式以追加方式打开文件，使用`write()`方法向文件中追加内容。如果文件不存在，则创建新文件；如果文件已存在，则在文件末尾追加内容。文件读写模式

文件指针操作获取当前位置使用`tell()`方法获取文件指针当前位置。移动指针使用`seek()`方法移动文件指针到指定位置。重置指针使用`seek(0)`方法将文件指针重置到文件开头。当尝试打开不存在的文件时，会抛出`FileNotFoundError`异常。文件不存在异常文件读写异常文件关闭异常当在读写文件过程中发生错误时，会抛出`IOError`异常。当尝试关闭未打开的文件或已关闭的文件时，会抛出`ValueError`异常。030201文件异常处理为了处理这些异常，可以使用try...except语句块来捕获并处理异常。例如文件异常处理·```python文件异常处理tryfile=open("example.txt","r")文件异常处理content=file.read()文件异常处理print(content)exceptFileNotFoundErrorprint("Filenotfound.")文件异常处理exceptIOErrorprint("AnI/Oerroroccurred.")文件异常处理finallyfile.close()文件异常处理0102文件异常处理在上面的代码中，我们尝试打开并读取一个名为"example.txt"的文件。如果文件不存在，则会抛出`FileNotFoundError`异常；如果在读写过程中发生错误，则会抛出`IOError`异常。我们使用`try...except`语句块来捕获这些异常，并在控制台上输出相应的错误信息。最后，我们使用`finally`语句块来确保文件被正确关闭，无论是否发生异常。```数据格式化基础02浮点型（float）表示浮点数，即带有小数点的数字。列表（list）由零个或多个元素组成的有序序列，元素之间用逗号分隔，整个列表由方括号包围。字典（dict）由键值对组成的数据结构，键和值之间用冒号分隔，每对键值对之间用逗号分隔，整个字典由大括号包围。整型（int）表示整数，可以进行数学运算。字符串（str）由零个或多个字符组成的有序字符序列。元组（tuple）与列表类似，但元组的元素不能修改。010203040506数据类型与转换使用format()方法调用字符串的format()方法，并在其中使用花括号{}包围变量或表达式。使用%操作符使用%操作符将变量或表达式的值插入到字符串中，需要配合特定的格式化符号使用。使用f-string在字符串前加上字母f或F，然后在字符串中使用花括号{}包围变量或表达式。格式化字符串01lower()将字符串中的所有大写字母转换为小写字母。02upper()将字符串中的所有小写字母转换为大写字母。03capitalize()将字符串的第一个字符转换为大写字母，其他字符转换为小写字母。04title()将字符串中每个单词的首字母转换为大写字母，其他字符转换为小写字母。05strip()删除字符串开头和结尾的空白字符（包括空格、制表符和换行符）。06replace()将字符串中的某个子串替换为另一个子串。字符串方法将字符转换为字节的过程称为编码。在Python中，可以使用encode()方法将字符串编码为字节序列。编码将字节转换为字符的过程称为解码。在Python中，可以使用decode()方法将字节序列解码为字符串。解码ASCII、UTF-8、GBK等。其中，UTF-8是一种广泛使用的编码方式，可以表示任何Unicode字符集中的字符。常见编码方式编码与解码文件与数据格式化应用03使用Python内置函数`open()`打开文本文件，通过指定文件名和模式（读取模式、写入模式、追加模式等）来进行文件的读取操作。读取文本文件使用`open()`函数以写入或追加模式打开文件，通过`write()`方法向文件中写入内容。写入文本文件读取文件内容后，可以使用字符串处理方法或正则表达式对文本内容进行清洗、分割、替换等操作。文本文件内容处理文本文件处理123使用Python标准库中的`csv`模块，通过创建`csv.reader`对象来读取CSV文件内容，每行数据被解析为一个列表。读取CSV文件使用`csv.writer`对象将数据写入CSV文件，可以通过指定文件名和模式来创建或覆盖文件。写入CSV文件读取CSV文件后，可以使用Python列表和字典等数据结构对数据进行处理和分析。CSV文件数据处理CSV文件处理读取JSON文件01使用Python标准库中的`json`模块，通过`json.load()`函数从JSON文件中读取数据，并将其解析为Python对象（如列表或字典）。写入JSON文件02使用`json.dump()`函数将Python对象转换为JSON格式字符串，并写入到指定的JSON文件中。JSON数据处理03读取JSON数据后，可以使用Python中提供的数据结构和方法对数据进行操作和处理。JSON文件处理使用Python标准库中的`xml.etree.ElementTree`模块来解析XML文件，通过创建`ElementTree`对象并调用`parse()`方法来加载XML文件。读取XML文件使用`ElementTree`对象的`write()`方法将XML数据写入到指定的文件中，可以通过设置参数来指定输出格式和编码方式等。写入XML文件通过遍历XML树结构或使用XPath等方式来提取和处理XML数据中的信息。XML数据处理XML文件处理Python高级文件操作04绝对路径与相对路径解释绝对路径和相对路径的概念，并展示如何在Python中使用`os`模块进行路径操作。路径拼接与分解使用`os.path.join()`函数拼接路径，使用`os.path.split()`和`os.path.splitext()`函数分解路径。路径规范化使用`os.path.normpath()`函数消除路径中的冗余部分，使路径更加简洁明了。文件路径操作使用`shutil`模块中的`copy()`或`copy2()`函数复制文件，同时保留文件的元数据。文件复制使用`shutil`模块中的`move()`函数移动文件，相当于重命名加删除原文件。文件移动使用`os.rename()`函数重命名文件。文件重命名文件复制、移动和重命名使用`os.walk()`函数遍历目录及其子目录，获取所有文件和子目录的信息。遍历目录结合`os.walk()`函数和字符串匹配方法，搜索特定名称或类型的文件。搜索特定文件使用列表推导式和条件语句过滤出符合条件的文件，例如按文件大小、修改时间等条件过滤。文件过滤文件搜索与遍历03文件差异处理对于存在差异的文件，可以使用`difflib`模块进行差异比较和处理，例如输出差异部分或自动合并差异。01文件比较使用`filecmp`模块比较两个文件的内容是否相同，可以逐行比较或整个文件比较。02文件合并使用文件读写操作将多个文件的内容合并到一个新文件中，可以按照指定的顺序合并或追加内容。文件比较与合并数据格式化进阶05文本替换与分割利用正则表达式进行文本替换、分割等操作，实现数据的快速处理。复杂模式匹配掌握正则表达式的高级用法，如贪婪与非贪婪匹配、前瞻与后顾断言等，以应对更复杂的文本处理需求。匹配文本模式使用正则表达式匹配文本中的特定模式，如电话号码、邮箱地址等。正则表达式应用模板语法将数据源与模板进行结合，生成格式化的输出文本，如HTML、XML等。数据渲染自定义模板根据需要创建自定义模板，实现特定格式的数据输出。学习模板引擎的语法规则，如变量替换、条件语句、循环语句等。模板引擎使用数据转换函数编写函数实现不同数据格式之间的转换，如JSON与XML之间的互转。数据清洗与处理对数据进行清洗、筛选、排序等操作，以满足特定格式要求。自定义数据格式定义自己的数据格式规范，编写相应的解析和生成函数。自定义数据格式转换避免过度复杂的正则表达式，使用非捕获组、减少回溯等方式提高性能。正则表达式优化选择性能较高的模板引擎，减少不必要的渲染操作，提高数据格式化效率。模板引擎性能采用合适的数据结构和算法，减少数据转换过程中的性能损耗。数据处理效率在处理敏感数据时，注意数据的安全性和隐私保护；同时，关注不同数据格式之间的兼容性和转换准确性。注意事项性能优化与注意事项案例实战：Python文件和数据格式化应用06使用Python的os模块，遍历指定目录下的所有文件，并按照一定的规则对文件名进行修改，如添加前缀、后缀或替换特定字符等。根据实际需求，将文件名格式化为特定的样式，如日期时间、序列号等，以便于管理和查找。案例一：批量修改文件名文件名格式化批量重命名文件使用Python的正则表达式模块re，对日志文件进行解析，提取出关键信息，如时间戳、错误等级、错误信息等。日志文件解析对解析出的日志信息进行统计和分析，如统计错误数量、计算错误率、绘制错误趋势图等，以便于及时发现和解决问题。日志信息统计案例二：提取日志文件关键信息数据库连接与查询使用Python的数据库连接库（如pymysql、psycopg2等），连接到数据库并执行查询语句，获取需要导出的数据。数据格式转换将查询结果转换为CSV格式，可以使用Python的csv模块或pandas库来实现。同时，需要注意数据的编码和格式问题，确保导出