《数据挖掘与机器学习》 课件2.2.1 数据读取与写入

处理农产品基本信息数据农产品信息可视化分析——NumPy、pandas与Matplotlib库任务描述水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生产方式，有助于推动农业的可持续发展。处理农产品基本信息数据本任务先了解水稻信息数据的情况，根据数据检测的内容可知数据存在缺失值、重复值、异常值的情况，并对数据中的缺失值、重复值、异常值进行处理，增强后续数据分析的效果。对数据进行仔细的处理和清洗，确保数据的质量可靠，为后续的数据分析和决策提供更可信的基础，也展现了劳动精神的价值和应用。任务要求读取农产品基本信息数据。检测数据缺失值的情况，并进行缺失值处理。检测数据异常值的情况，并进行异常值处理。检测数据重复值的情况，并进行重复值处理。处理农产品基本信息数据数据读取与写入pandas数据结构pandas数据处理数据读取与写入处理农产品基本信息数据pandas是一个常用的Python数据处理库，支持多种文件格式的读取和写入。通过引入pandas库，可以使用read_csv()函数读取CSV文件、read_excel()函数读取Excel文件等。同时，pandas也提供了to_csv()方法将数据写入CSV文件、to_excel()方法将数据写入Excel文件等。这些函数、方法的使用使数据的读取和写入变得简单方便。读写文本文件CSV文件读取处理农产品基本信息数据如果文本文件是字符分隔文件，那么可以使用读取CSV文件的函数进行读取。pandas提供了read_csv函数读取CSV文件。read_csv函数的基本使用格式如下。pandas.read_csv(filepath_or_buffer,sep=<no_default>,header='infer',names=<no_default>,index_col=None,dtype=None,engine=None,skiprows=None,nrows=None,……)读写文本文件处理农产品基本信息数据pandas提供了read_table函数读取文本文件。read_table函数的基本使用格式如下。pandas.read_table(filepath_or_buffer,sep=<no_default>,header='infer',names=<no_default>,index_col=None,dtype=None,engine=None,skiprows=None,nrows=None,……)读写文本文件处理农产品基本信息数据read_table函数与read_csv函数的参数说明如下。filepath_or_buffer接收str。表示文件路径。无默认值sep接收str。表示分隔符。read_csv函数默认为“,”，read_table函数默认为制表符“Tab”header接收int或列表形式的int。表示将某行数据作为列名。默认为infernames接收array。表示列名。无默认值index_col接收int、sequence或False。表示索引列的位置，取值为sequence则代表多重索引。默认为None参数名称参数说明读写文本文件处理农产品基本信息数据read_table函数与read_csv函数的参数说明如下。dtype接收字典形式的列名或类型名称。表示写入的数据类型（列名为key，数据格式为values）。默认为Noneengine接收c语言或python语言。表示要使用的数据解析引擎。默认为Nonenrows接收int。要读取的文件行数。默认为Noneskiprows接收list或int或callable。表示读取数据时跳过开头的行数。默认为None参数名称参数说明读写文本文件CSV文件写入处理农产品基本信息数据文本文件的存储和读取类似，对于结构化数据，可以通过pandas库中的to_csv()方法实现以csv文件格式存储。DataFrame.to_csv(path_or_buf=None,sep=',',na_rep='',float_format=None,columns=None,header=True,index=True,index_label=None,mode='w',encoding=None,compression='infer',quoting=None,quotechar='"',line_terminator=None,chunksize=None,date_format=None,doublequote=True,escapechar=None,decimal='.',errors='strict',storage_options=None)读写文本文件处理农产品基本信息数据to_csv()方法参数如下表所示。参数名称参数说明path_or_buf接收str。表示文件路径。默认为Nonesep接收str。表示分隔符。默认为“,”na_rep接收str。表示缺失值。默认为“”columns接收list。表示写出的列名。默认为None读写文本文件处理农产品基本信息数据to_csv()方法参数如下表所示。header接收bool或列表形式的str。表示是否将列名写出。默认为Trueindex接收bool。表示是否将行名（索引）写出。默认为Trueindex_label接收sequence或str或false。表示索引名。默认为Nonemode接收特定str。表示数据写入模式。默认为wencoding接收特定str。表示存储文件的编码格式。默认为None参数名称参数说明读写Excel文件Excel文件读取处理农产品基本信息数据pandas库提供了read_excel函数读取“xls”“xlsx”两种Excel文件，其基本使用格式如下。pandas.read_excel(io,sheet_name=0,header=0,names=None,index_col=None,usecols=None,squeeze=False,dtype=None,engine=None,converters=None,true_values=None,false_values=None,skiprows=None,nrows=None,na_values=None,keep_default_na=True,na_filter=True,verbose=False,parse_dates=False,date_parser=None,thousands=None,comment=None,skipfooter=0,convert_float=True,mangle_dupe_cols=True,storage_options=None)读写Excel文件处理农产品基本信息数据read_excel函数的常用参数及其说明如表所示。参数名称参数说明io接收str。表示文件路径。无默认值sheet_name接收str、int、list或None。表示Excel表内数据的分表位置。默认为0header接收int或列表形式的int。表示将某行数据作为列名。如果传递整数列表，那么行位置将合并为MultiIndex。如果没有表头，那么使用None。默认为0读写Excel文件处理农产品基本信息数据参数名称参数说明names接收array。表示要使用的列名列表。默认为Noneindex_col接收int或列表形式的int。表示将列索引用作dataframe的行索引。默认为Nonedtype接收dict。表示写入的数据类型（列名为key，数据格式为values）。默认为Noneskiprows接收list、int或callable。表示读取数据开头跳过的行数。默认为Noneread_excel函数的常用参数及其说明如表所示。读写Excel文件Excel文件写入处理农产品基本信息数据将数据存储至Excel文件，可以使用to_excel()方法，其基本使用格式如下。DataFrame.to_excel(excel_writer,sheet_name='Sheet1',na_rep='',float_format=None,columns=None,header=True,index=True,index_label=None,startrow=0,startcol=0,engine=None,merge_cells=True,encoding=None,inf_rep='inf',verbose=True,freeze_panes=None,storage_options=None)读写Excel文件to_excel()方法的常用参数及其说明如下表。excel_writer接收str。表示文件路径。无默认值sheet_name接收str。表示Excel文件中工作簿的名称。默认为Sheet1na_rep接收str。表示缺失值。默认为“”columns接收列表形式的str或sequence。表示写出的列名。默认为None参数名称参数说明处理农产品基本信息数据读写Excel文件to_excel()方法的常用参数及其说明如下表。header接收bool或列表形式的str。表示是否将列名写出。默认为Trueindex接收bool。表示是否将行名（索引）写出。默认为Trueindex_label接收sequence或str。表示索引名。默认为Noneencoding接收特定str。表示存储文件的编码格式。默认为None参数名称参数说明处理农产品基本信息数据数据读取与写入处理农产品基本信息数据就业是最基本的民生，根据应届生招聘数据，可以全面地了解当前就业市场的形势和趋势，为应届毕业生提供更准确的就业指导和职业规划建议，深入实施就业优先战略。岗位公司性质行业地区学历要求工资/元产品经理民营公司|少于50人通信/电信/网络设备成都-高新区本科15000无线产品经理（光谷）民营公司|150-500人仪器仪表/工业自动化西安-高新技