网络空间安全概论 实验7网络爬虫 贝壳租房爬虫及可视化

中国矿业大学计算机学院2018级本科生课程报告课程名称信息内容安全报告题目贝壳租房爬虫及可视化报告时间2021.7.6姓名徐子涵学号08182737任课教师曹天杰2020-2021(二)《信息内容安全》课程报告评分表序号毕业要求课程教学目标考查方式与考查点占比得分12.3目标1:掌握信息内容安全的基本概念、分类、原理和相关技术，能够根据课程基本知识对信息内容安全领域出现的问题进行归类、分析、并有初步分析和解决问题的能力。通过课堂讲授和课堂研讨掌握信息内容安全概念和理论知识。40%3.2目标2：掌握信息内容安全处理相关的理论、技术以及健全的评价体系，能够根据具体问题分析算法、设计算法、实现算法并能综合评价算法。24.3目标3：掌握信息内容安全的基础知识，针对具体问题和要求选择正确的技术路线，通过在实验环境中进行仿真实验并能根据算法特点进行攻击测试和综合性能评价，得到具有参考价值的结论。课程报告；实现有关信息内容安全的一个软件系统。分析和对比各项技术，选择相应的技术进行算法设计并在实验环境中进行仿真实验和性能评价，得到有效结论。60%总分100%评阅人：2021年7月10日报告摘要近年来，随着城镇化进程的加快，房价节节攀升，购房压力相应增大，租房成为满足居民居住需要的主要途径。互联网的发展给房屋租赁市场提供了新的交易途径，同时也带来了新的挑战。如何在较短的时间内，有效地获取租房用户所需的精准信息变得越来越重要。本文设计贝壳租房信息的爬取工具，实现对网站下租房关键信息的爬取，过滤并存储租房房源信息，建立租房房源信息数据源，用Pyecharts实现数据的可视化。关键词：租房数据;网络爬虫;Pyecharts;

报告正文1前言随着城镇化进程的高速发展，国内房价高涨。为了解决住房问题，越来越多的人选择租房方式满足他们住房需求，租房人群年龄结构呈年轻化趋势，以80后、90后为代表的租房人群，传统的租房体验已经无法满足他们需求。随着互联网的发展，他们向网络平台迁移的意愿更强，给房屋租赁市场提供了新的交易途径。基于网络平台思维可以打破房源信息不对称，用户线上选房、线下看房，线上交易，再到租后和退租再租，整个完整流程可以很好地服务消费者，从而大幅度改善用户体验。国内的房屋租赁发布平台，为租房用户提供了便捷。各房屋租赁信息网站通过关键字搜索配合条件筛选的方式为租房用户提供房源搜索功能。面对当前房源信息资源的迅猛增长，传统依赖于人工检索信息的方式效率十分低下，已经不能满足年轻消费者的精准匹配的需求。因此，本文以安居客租房网为例，设计一个基于Python的租房数据爬取工具，用户提供位置、租金或房型等精准需求，从租房信息网站垂直搜索相关的数据并按规则的结构化存储，并对其进行可视化分析。2python爬虫设计2.1爬取对象的确定贝壳网是国内主要房产租售服务平台之一，本文实现的爬虫将以“贝壳租房”为爬取目标，对指定目标房屋租房信息网站进行自动爬取，过滤并抽取所需租房信息，最终将爬取到的数据以xlsx文件存储在本地项目根目录下，并将可视化分析以网页形式展示。2.2功能设计（1）导入相关包：（2）请求头设置（3）设置要获取的目标信息（4）数据爬虫反爬虫设计：间隔时间2-5秒：设置多个请求头：设计爬虫2.3数据处理（1）计算各区域房源数量：（2）计算各区域房源平均价（3）计算户型数量（4）统计不同面积区间占比2.4数据存储为了方便用户简洁、直观的查看爬取数据，本文爬取的数据以存储为excel格式。C方便用户使用Excel等通用软件直观的查看和分析数据。本文在贝壳租房平台上，爬取徐州地区相关区域的租房房源信息，爬取结果中的部分数据如下图所示：3可视化分析3.1Pyecharts模块可视化或称视觉化，其基本含义是将科学计算中产生的大量非直观的、抽象的或者不可见的数据，借助计算机图形学和图像处理等技术，用几何图形和色彩、纹理、透明度、对比度及动画技术等手段，以图形图像信息的形式，直观、形象地表达出来，并进行交互处理。1987年2月美国国家科学基金会的一个研究报告提出科学计算可视化(visualizationinscientificcomputing)问题。并将可视化定义为利用计算机图形学和图像处理技术，将数据转换为直观的图像和表格进行展示以及交互处理的理论、方法和技术。换言之，可视化技术是一种计算方法，它将符号描述转变成几何描述，从而使研究者能够观察到所期望的仿真和计算结果;可视化技术提供了将不可见转化为可见的方法和途径，使得科学发现的过程变得生动，促进研究者对未知事物的领悟。可视化分析技术是建立在可视化与分析过程的基础上的，以深入刻画数据特征和人类感知模式的能力为基础，可加强数据挖掘分析的能力和效果。可视化分析的方法主要有图数据可视化、文本可视化、高维数据可视化、地理时空信息以及可视化分析过程。Echarts是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而Python是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts诞生了。3.2可视化实现（1）统计各