Python文件和数据格式化技巧与实践

Python文件和数据格式化技巧与实践汇报人：XX2024-01-12文件基本操作与读写数据格式化之字符串操作数据格式化之列表、元组和字典操作数据格式化之JSON处理数据格式化之XML处理数据格式化之CSV处理数据格式化之Excel处理文件基本操作与读写01使用`open()`函数打开文件，可以指定文件名、打开模式（如读取、写入、追加等）和编码方式。打开文件关闭文件上下文管理使用`close()`方法关闭文件，释放资源。使用`with`语句可以自动管理文件的打开和关闭，确保文件在使用完毕后被正确关闭。030201打开与关闭文件03指定读取内容使用`read(size)`方法指定读取的字节数，或使用`readline()`方法读取一行内容。01读取整个文件使用`read()`方法一次性读取整个文件内容。02逐行读取使用`readlines()`方法或循环遍历文件对象逐行读取文件内容。读取文件内容写入整个字符串使用`write()`方法将字符串写入文件。写入多行内容使用`writelines()`方法将字符串列表写入文件，每个字符串代表一行内容。追加内容在打开文件时使用追加模式（`'a'`），可以将内容追加到文件末尾，而不是覆盖原有内容。写入文件内容030201使用`os.getcwd()`方法获取当前工作目录的路径。获取当前工作目录使用`os.path.join()`方法拼接路径，可以自动处理不同操作系统的路径分隔符。拼接路径使用`os.path.abspath()`方法获取文件的绝对路径。获取文件绝对路径使用`os.path.split()`方法分割路径，返回路径和文件名组成的元组。分割路径文件路径处理数据格式化之字符串操作02字符串拼接与分割字符串拼接使用`+`运算符或`join()`方法将多个字符串连接成一个字符串。例如，通过`str1+str2`或`''.join([str1,str2])`实现字符串拼接。字符串分割使用`split()`方法将字符串按照指定分隔符拆分成多个子串。例如，通过`'string.split(separator)'`将字符串按照`separator`分割成列表。字符串替换使用`replace()`方法将字符串中的某个子串替换为另一个子串。例如，通过`'string.replace(old,new)'`将`string`中的`old`子串替换为`new`子串。字符串查找使用`find()`或`index()`方法在字符串中查找子串的位置。例如，通过`'string.find(substring)'`或`'string.index(substring)'`查找`substring`在`string`中的位置。字符串替换与查找使用`%`运算符进行字符串格式化。例如，`'Hello,%s!'%name`将`name`的值插入到字符串中。旧式格式化使用`format()`方法或f-string进行字符串格式化。例如，`'Hello,{name}!'.format(name=name)`或`f'Hello,{name}!'`。新式格式化字符串格式化编码与解码问题处理解码：将字节序列转换回原始字符串。例如，使用`decode()`方法将UTF-8格式的字节序列解码为字符串：`'bytes.decode('utf-8')'`。编码：将字符串转换为字节序列，以便在网络上传输或保存到文件中。例如，使用`encode()`方法将字符串编码为UTF-8格式：`'string.encode('utf-8')'`。在处理编码与解码问题时，需要注意选择合适的字符集（如UTF-8、GBK等），以避免出现乱码或数据丢失等问题。同时，对于涉及文件读写或网络通信等场景，还需要考虑数据的传输格式和协议要求。数据格式化之列表、元组和字典操作03列表创建使用方括号`[]`或`list()`函数创建列表，如`my_list=[1,2,3]`或`my_list=list((1,2,3))`。列表修改通过索引直接修改元素，如`my_list[0]=0`将列表第一个元素修改为0。列表遍历使用`for`循环遍历列表元素，如`foriteminmy_list:print(item)`。列表创建、修改和遍历元组修改元组是不可变序列，不能直接修改元素。但可以通过切片或转换成列表进行修改后，再转回元组。元组遍历使用`for`循环遍历元组元素，如`foriteminmy_tuple:print(item)`。元组创建使用圆括号`()`或`tuple()`函数创建元组，如`my_tuple=(1,2,3)`或`my_tuple=tuple([1,2,3])`。元组创建、修改和遍历字典创建、修改和遍历使用大括号`{}`或`dict()`函数创建字典，如`my_dict={'a':1,'b':2}`或`my_dict=dict(a=1,b=2)`。字典修改通过键直接修改值，如`my_dict['a']=0`将键为'a'的值修改为0。字典遍历使用`for`循环遍历字典的键或值，如`forkeyinmy_dict:print(key)`或`forvalueinmy_dict.values():print(value)`。字典创建使用内置函数实现不同类型数据之间的转换，如`list()`、`tuple()`和`dict()`函数可将其他类型数据转换为列表、元组和字典。数据类型转换对于列表和元组，可使用`sorted()`函数进行排序，返回新的已排序的列表或元组；对于字典，可使用`sorted()`函数对键或值进行排序，返回排序后的键或值的列表。数据排序数据类型转换与排序数据格式化之JSON处理04JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，易于阅读和编写。JSON采用键值对的方式来组织数据，数据格式包括对象、数组、字符串、数字、布尔值和null。JSON具有跨平台、跨语言的特点，被广泛应用于Web开发和API接口数据传输。010203JSON数据格式简介将Python对象转换为JSON格式030201使用Python内置的`json`模块，通过`json.dumps()`方法将Python对象转换为JSON格式的字符串。示例：`importjson;data={'name':'John','age':30};json_str=json.dumps(data)`可以使用`indent`参数指定缩进空格数，使输出的JSON字符串更易于阅读。将JSON格式转换为Python对象使用Python内置的`json`模块，通过`json.loads()`方法将JSON格式的字符串转换为Python对象。02示例：`importjson;json_str='{"name":"John","age":30}';data=json.loads(json_str)`03转换后的Python对象类型与JSON数据格式相对应，如字典、列表、字符串、数字、布尔值和None。01使用Python的`json`模块解析JSON数据，并通过键或索引提取所需信息。示例：`importjson;json_str='{"name":"John","age":30,"city":"NewYork"}';data=json.loads(json_str);print(data['name'])`可以使用循环遍历JSON对象或数组，处理更复杂的数据结构。JSON数据解析与提取数据格式化之XML处理05标记语言XML是一种标记语言，用于描述和传输数据。可扩展性XML标签自定义，可根据需求扩展数据描述方式。结构化数据XML使数据具有结构化，便于在不同系统之间进行数据交换。XML数据格式简介使用ElementTree解析XML文件导入ElementTree模块importxml.etree.ElementTreeasET。解析XML文件使用`ET.parse()`方法解析XML文件，返回ElementTree对象。获取根节点通过`getroot()`方法获取XML文件的根节点。遍历节点使用`for`循环遍历节点及其子节点，获取所需数据。通过pip安装`lxml`库，`pipinstalllxml`。安装lxml库fromlxmlimportetree。导入lxml模块使用`etree.parse()`方法解析XML文件，返回Element对象。解析XML文件利用XPath语法查询XML数据，如`root.xpath('//tagName')`。XPath查询使用lxml库解析XML文件生成XML文件并写入数据创建Element对象使用`ET.Element()`方法创建根节点和子节点。构建XML树结构将创建的节点按照层级关系进行组合，形成完整的XML树结构。添加节点属性通过`attrib`字典添加节点属性，如`element.attrib={'key':'value'}`。写入XML文件使用`ET.ElementTree()`方法将XML树结构转换为ElementTree对象，并通过`write()`方法写入XML文件。数据格式化之CSV处理06CSV（Comma-SeparatedValues）即逗号分隔值，是一种简单的文件格式，用于存储表格数据，如电子表格或数据库。CSV文件由任意数量的记录组成，记录之间以某种换行符分隔；每条记录由字段组成，字段之间的分隔符是其他字符或字符串，最常见的是逗号或制表符。CSV是一种通用的、相对简单的文件格式，被广大用户、商业和科学应用接受。CSV数据格式简介导入csv模块importcsv创建CSV文件读取器使用`csv.reader()`函数创建CSV文件读取器，将打开的文件对象作为参数传入。逐行读取CSV文件内容使用`for`循环遍历CSV文件读取器对象，每次循环读取一行数据，每行数据是一个列表，列表中的每个元素对应CSV文件中的一个字段。打开CSV文件使用`open()`函数打开CSV文件，并指定模式为'r'（只读模式）。使用csv模块读取CSV文件内容导入csv模块：importcsv打开CSV文件：使用open()函数打开CSV文件，并指定模式为'w'（写入模式），如果文件不存在则创建该文件。创建CSV文件写入器：使用csv.writer()函数创建CSV文件写入器，将打开的文件对象作为参数传入。写入数据到CSV文件：使用writerow()方法写入一行数据，该方法接受一个列表作为参数，列表中的每个元素对应CSV文件中的一个字段；使用writerows()方法写入多行数据，该方法接受一个包含多个列表的列表作为参数，每个列表对应CSV文件中的一行数据。使用csv模块写入CSV文件内容筛选数据读取CSV文件内容后，可以使用Python的条件语句和循环语句对数据进行筛选，例如筛选出年龄大于30岁的记录。排序数据对筛选后的数据可以使用Python的内置排序函数`sorted()`进行排序，例如按照年龄从小到大排序。排序时可以指定排序的字段和排序方式（升序或降序）。CSV文件内容筛选与排序数据格式化之Excel处理07Excel文件的基本结构包括工作簿（Workbook）、工作表（Worksheet）和单元格（Cell），其中单元格是数据存储的基本单位。工作簿、工作表和单元格Excel单元格中可存储的数据类型包括文本、数值、日期、时间等。数据类型Excel提供了丰富的公式和函数，用于数据处理、计算和分析。公式与函数Excel数据格式简介ABCD使用openpyxl库读取Excel文件内容安装openpyxl库使用pip命令安装openpyxl库，如`pipinstallopenpyxl`。读取工作表通过工作簿对象的`active`属性或`worksheet`方法获取工作表对象。读取工作簿使用`openpyxl.load_workbook()`函数读取Excel文件，返回工作簿对象。读取单元格数据使用工作表对象的`cell()`方法或通过单元格坐标访问单元格，获取单元格中的数据。使用`openpyxl.Workbook()`函数创建一个新的工作簿对象。创建工作簿创建工作表写入数据保存文件通过工作簿对象的`active`属性或`create_sheet()`方法创建新的工作表。使用工作表对象的`cell()`方法或通过单元格坐标访问单元格，并使用赋值操作