《数据采集技术》课件-批量采集图片数据

批量采集图片数据Contents知识目标技能目标素养目标掌握open()、write()和close()函数的使用提高批量采集图片数据能力培养良好的信息素养和道德意识图片与文本的区别文本图片通常是二进制数据图片与文本的区别图片是文件的一种表现形式文本在传输的时候通过字符编码将字符转换为二进制数据进行传输。文件以字符作为基础文本文件通常情况下比文本更大，文件传输需要更长的时间和更大的带宽。采集图片数据，最关键的点在于找到这个文件的地址。批量采集图片数据分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码批量采集图片数据获取网站源代码批量采集图片数据获取网站源代码urlheadersparams要访问的网页的URL包含HTTP请求头，用于模拟浏览器请求用于传递请求参数批量采集图片数据获取网站源代码获取目标网站的源代码response批量采集图片数据获取网站源代码防止出现乱码批量采集图片数据获取网站源代码http响应内容的字符串形式分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码批量采集图片数据打开开发者工具，查看页面结构右键检查批量采集图片数据打开开发者工具，查看页面结构url地址是图片地址吗批量采集图片数据提取图片的url批量采集图片数据提取图片的url网页的源代码批量采集图片数据提取图片的url可以从几种解析技术中选择一种来解析图片urlparse_page函数批量采集图片数据提取图片的url将字符串转变成为HTML文档按照xpath路径表达式提取img标签的data-imgurl属性批量采集图片数据提取图片的url页面中所有图片的URL地址批量采集图片数据提取图片的url返回值批量采集图片数据请求图片字节数据批量采集图片数据请求图片字节数据表示图片地址批量采集图片数据请求图片字节数据获取响应内容responseresponse.content没有经过任何解码的bytes类型批量采集图片数据请求图片字节数据response.content没有经过任何解码的bytes类型返回值批量采集图片数据请求图片字节数据response.contentresponse.text没有经过任何解码的bytes类型将response.content进行解码的字符串分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码把字节数据写入到本地文件批量采集图片数据保存图片open()write()close()保存文件open()函数用于打开一个文件，并返回文件对象批量采集图片数据保存图片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)文件名模式常用的模式：w打开一个文件只用于写入文件已存在则打开文件，并从开头开始编辑原有内容会被删除文件不存在创建新文件批量采集图片数据保存图片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打开一个文件只用于写入b二进制模式（wb：以二进制格式打开一个文件只用于写入）a打开一个文件用于追加文件指针将会放在文件的结尾批量采集图片数据保存图片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打开一个文件只用于写入b二进制模式（wb：以二进制格式打开一个文件只用于写入）a打开一个文件用于追加r以只读方式打开文件文件的指针将会放在文件的开头批量采集图片数据保存图片fileObject.write(str)fileObject.write(bytes)write()用于向文件中写入数据写入字符串写入字节流（保存图片）批量采集图片数据保存图片fileObject.write(str)fileObject.write(bytes)write()用于向文件中写入数据写入字符串写入字节流（保存图片）批量采集图片数据保存图片fileObject.close()close()用于关闭一个已打开的文件关闭后的文件不能再进行读写操作需要注意使用open()函数打开文件后，一定要调用close()关闭文件对象。批量采集图片数据保存图片批量采集图片数据保存图片批量采集图片数据保存图片批量采集图片数据保存图片批量采集图片数据保存图片刚获取到的图片的字节数据批量采集图片数据保存图片要保存成的图片名称以二进制格式打开一个文件只用于写