Python文件和数据格式化核心知识详解

汇报人：XX2024-01-10Python文件和数据格式化核心知识详解目录Python文件操作基础数据格式化之字符串处理数据格式化之JSON处理目录数据格式化之XML处理数据格式化之CSV处理数据格式化之Excel处理01Python文件操作基础关闭文件使用`close()`方法关闭文件，释放资源。上下文管理器使用`with`语句可以自动管理文件的打开和关闭，无需手动调用`close()`方法。打开文件使用`open()`函数打开文件，需要指定文件路径和打开模式。文件打开与关闭二进制模式以二进制方式打开文件，用于处理二进制数据。读取模式以只读方式打开文件，使用`read()`方法读取文件内容。写入模式以写入方式打开文件，使用`write()`方法向文件中写入内容。如果文件不存在，则创建新文件；如果文件已存在，则覆盖原有内容。追加模式以追加方式打开文件，使用`write()`方法向文件中追加内容。如果文件不存在，则创建新文件；如果文件已存在，则在文件末尾追加内容。文件读写模式定位读写使用`tell()`方法获取当前文件指针的位置，使用`seek()`方法将文件指针移动到指定位置。逐行读取使用`readlines()`方法一次性读取所有行并返回列表，或使用`for`循环逐行读取。文件指针指向当前读写位置的标记，可以使用`seek()`方法移动文件指针。文件指针与定位当尝试打开不存在的文件时，会抛出`FileNotFoundError`异常。文件不存在异常在读写过程中可能出现`IOError`异常，例如磁盘空间不足、文件被占用等。文件读写异常在关闭文件时可能出现`OSError`异常，例如文件已被其他程序删除或移动。文件关闭异常使用`try...except...finally`语句块进行异常处理，确保在发生异常时能够正确地关闭文件并释放资源。异常处理文件异常处理02数据格式化之字符串处理ASCII编码使用7位二进制数表示一个字符，总共可以表示128个字符。UTF-8编码可变长编码，使用1~4个字节表示一个字符，兼容ASCII编码，广泛应用于网页和文本文件。Unicode编码统一码，使用16位二进制数表示一个字符，可以表示全球所有语言文字。编码和解码方法在Python中，可以使用`encode()`方法将字符串编码为字节串，使用`decode()`方法将字节串解码为字符串。字符串编码与解码%格式化01使用`%`操作符和格式化字符串进行字符串格式化，例如`"Hello,%s!"%name`。str.format()方法02使用`{}`占位符和`format()`方法进行字符串格式化，例如`"Hello,{}!".format(name)`。f-string格式化03在Python3.6及以上版本中，可以使用f-string进行字符串格式化，例如`name="Alice";f"Hello,{name}!"`。字符串格式化方法字符串大小写转换使用`lower()`、`upper()`、`capitalize()`等方法进行大小写转换。字符串分割使用`split()`方法将字符串按照指定分隔符分割成列表。字符串替换使用`replace()`方法替换字符串中的指定子串。字符串连接使用`+`操作符连接两个字符串。字符串切片使用切片语法获取字符串的子串，例如`s[start:end]`。字符串常用操作正则表达式是一种用于匹配字符串模式的强大工具，可以用于搜索、替换、验证等操作。正则表达式简介re模块正则表达式语法正则表达式常用操作Python标准库中的re模块提供了正则表达式的相关功能。包括普通字符、元字符、特殊字符等，用于定义匹配规则。包括匹配、搜索、替换、分割等，例如`re.match()`、`re.search()`、`re.sub()`、`re.split()`等方法。正则表达式应用03数据格式化之JSON处理123JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，易于阅读和编写。JSON采用键值对的形式表示数据，数据结构清晰明了。JSON支持的数据类型包括：数字、字符串、布尔值、数组、对象、null。JSON数据结构概述Python中JSON模块使用使用`json.dumps()`方法可以将Python对象转换为JSON字符串。使用`json.dump()`和`json.load()`方法可以读写JSON文件。Python内置的`json`模块提供了对JSON数据的支持。使用`json.loads()`方法可以将JSON字符串转换为Python对象。JSON数据编码与解码编码：将Python对象转换为JSON字符串的过程称为编码。在编码过程中，需要注意Python对象与JSON数据类型的对应关系。解码：将JSON字符串转换为Python对象的过程称为解码。在解码过程中，需要注意JSON数据的格式是否正确。01使用在线校验工具或本地校验库对JSON数据进行格式校验。02校验内容包括：数据类型是否正确、键值对是否完整、是否存在语法错误等。03对于不符合规范的JSON数据，需要进行相应的处理，如修复格式错误、补充缺失的键值对等。04在实际应用中，为了保证数据的正确性和一致性，对JSON数据进行格式校验是非常必要的。JSON数据格式校验04数据格式化之XML处理XML是一种标记语言，用于描述和传输数据。标记语言XML数据由元素构成，每个元素由开始标签、内容和结束标签组成。元素与标签元素可以包含属性，提供关于元素的额外信息。属性XML支持命名空间，用于区分不同来源的元素和属性。命名空间XML数据结构概述03使用方法导入相应模块，使用解析方法将XML文档转换为对象模型，然后进行遍历和操作。01xml.etree.ElementTreePython标准库中的模块，用于解析和创建XML文档。02lxml第三方库，提供更强大和灵活的XML处理能力。Python中XML模块使用编码将Python对象转换为XML格式的过程称为编码。可以使用ElementTree或lxml模块中的方法将Python对象编码为XML字符串或文件。解码将XML格式的数据转换为Python对象的过程称为解码。可以使用相应的模块和方法将XML字符串或文件解码为Python对象，如ElementTree中的parse()方法。XML数据编码与解码XML数据格式校验使用文档类型定义（DTD）来验证XML文档的合法性。DTD定义了文档的结构和元素类型。XMLSchema验证使用XMLSchema定义（XSD）来验证XML文档的合法性。XSD提供了更强大和灵活的验证能力，支持数据类型、元素顺序和可选性等。验证方法在Python中，可以使用xml.dom.minidom或lxml等模块来进行XML文档的验证。首先加载DTD或XSD文件，然后使用验证方法对XML文档进行验证。DTD验证05数据格式化之CSV处理数据组织形式：CSV文件由任意数量的记录组成，记录之间以某种换行符分隔；每条记录由字段组成，字段之间的分隔符是其他字符或字符串。通用性：CSV是一种通用的、相对简单的文件格式，被广大用户、商业和科学应用接受。CSV（Comma-SeparatedValues）格式：一种简单的文件格式，用于存储表格数据，如电子表格或数据库。CSV数据结构概述csv模块概述：Python标准库中的csv模块提供了读写CSV文件的功能。csv.writer()函数：用于写入CSV文件，创建一个writer对象，调用writerow()方法写入一行数据。csv.DictReader()和csv.DictWriter()函数：以字典的形式读写CSV文件，方便处理带有表头的CSV数据。csv.reader()函数：用于读取CSV文件，返回一个reader对象，可以遍历文件的每一行。Python中CSV模块使用使用csv.reader()函数打开CSV文件并读取数据，通过遍历reader对象获取文件中的每一行数据。读取CSV文件使用csv.writer()函数创建一个writer对象，调用writerow()方法写入一行数据，通过循环可以写入多行数据。写入CSV文件以追加模式打开CSV文件，创建writer对象并写入数据，实现向已有CSV文件中追加数据的功能。追加写入CSV文件CSV数据读写操作数据清洗在读取CSV数据时，可能需要对数据进行清洗和处理，例如去除空白字符、转换数据类型等。数据转换将CSV数据转换为其他格式，如JSON、XML等，以便在不同系统之间进行数据交换和共享。数据筛选和排序根据需要筛选和排序CSV数据，提取出感兴趣的部分进行进一步分析和处理。CSV数据格式转换06数据格式化之Excel处理Excel数据结构概述工作簿（Workbook）一个Excel文件就是一个工作簿，可以包含多个工作表。工作表（Worksheet）工作簿内的一个表格，用于存储和处理数据。单元格（Cell）工作表的基本组成单元，用于存储数据，如数字、文本、公式等。行（Row）与列（Column）单元格按行和列组织，行用数字表示，列用字母表示。用于读写Excel2010xlsx/xlsm/xltx/xltm文件的库。openpyxl用于读写Excel97-2003xls文件的库。xlrd/xlwt提供Excel读写功能，支持多种格式，同时提供强大的数据处理能力。pandasPython中Excel模块使用读取Excel文件使用相应模块的函数打开Excel文件，并获取工作簿对象。选择工作表通过工作簿对象选择需要操作的工作表。读取单元格数据通过行号和列号或单元格名称读取单元格中的