《Python程序设计》课件-项目八 获取豆瓣读书Top250网站信息 使用Beautiful Soup4解析豆瓣读书Top250网站数据

Python程序设计与应用使用BeautifulSoup4解析豆瓣读书Top250网站数据书名作者出版社出版时间价格评分评价人数评论房晓东主讲教师使用BeautifulSoup4解析豆瓣读书Top250网站数据使用网页解析器从网页中解析提取出所需数据使用BeautifulSoup4解析豆瓣读书Top250网站数据Python学习目标解析网页技术解析工具的性能比较Beautiful

Soup4库bs4库中对象的种类Python学习目标使用bs4解析网页数据的一般流程常用的查找方法select()方法使用bs4解析豆瓣读书Top250网页数据解析网页技术技术正则表达式XPathBeautifulSoupJSONPath解析网页技术文本正则表达式是基于文本的特征来匹配或查找指定数据，它可以处理任何格式的字符串文档。解析网页技术正则表达式HTML/XML

XPath和BeautifulSoup是基于HTML/XML文档的层次结构来确定到达指定节点的路径，适合处理层级比较明显的数据。解析网页技术正则表达式XPathBeautifulSoupJSON解析网页技术JSONPathJSONPath专门用于JSON文档的数据解析。解析网页技术json模块BeautifulSoupPythonre模块lxml模块支持正则表达式支持XPath语法JSONPath语法BeautifulSoup4解析工具的性能比较正则表达式XPathBeautifulSoup使用BeautifulSoup4解析豆瓣读书Top250网站数据实际开发中应该如何选择呢？解析工具的性能比较根据具体情况选择合适的技术爬取工具速度使用难度安装难度re最快困难无(内置)lxml快简单一般beautifulsoup4慢最简单简单Beautiful

Soup4库Beautiful

Soup4库（也称BeautifulSoup或bs4）是一个用于解析和处理HTML、XML页面并提取数据的第三方库。建立的Web页面一般比较复杂Beautiful

Soup4库缺点根据HTML和XML语法建立解析树，进而高效解析其中的内容，为用户提供需要的数据优势包含大量用于页面格式的元素直接解析非常复杂bs4库中对象的种类对象归纳bs4库中对象的种类TagNavigableStringBeautifulSoupbs4库将复杂的HTML文档转换成树形结构。CommentHTML中的标签标签中的文本对象特殊的NavigableString对象，如果HTML标签中有注释，则可过滤注释符号并保留注释文本整个HTML文本对象，可作为Tag对象使用bs4解析网页数据的一般流程通过BeautifulSoup对象的操作方法根据DOM树进行各种节点的搜索。如可按照按节点名称、节点属性值、节点文本进行搜索。利用DOM树结构标签的特性，进行节点信息提取。搜索节点节点信息提取使用bs4解析网页数据的一般流程流程根据HTML或者文件创建BeautifulSoup对象。创建BeautifulSoup对象常用的查找方法查找方法find_all()find()常用的查找方法搜索出所有满足要求的节点搜索出第一个满足要求的节点，只要获得了一个节点，就可以访问节点名称、属性和文本语法格式：常用的查找方法参数说明：name：表示要查找的标签名。attrs：表示标签的属性约束，采用josn格式。recursive：表示递归。text：表示查找文本，**kwargs：表示其他键值参数。select()方法select()方法标签名查类名查找id查找select()方法子标签查找组合查找select()方法属性查找使用bs4解析豆瓣读书Top250网页数据课程小结解析网页技术解析工具的性能比较Beautiful

Soup4库bs4库中对象的种类使用bs4解析网页数据的一般流程常用的查找方法select()方法使用bs4解析豆瓣读书T