大数据基础 单元5 单元测试（答案）

大数据基础大数据基础单元5测试答案第页单元5数据采集与预处理单元测试单元5单元5测试答案12345DACBB678910DCBAC二、填空题1． 深度优先遍历、广度优先遍历2． fillna、dropna3． df['price']>1004． left_on、right_on5． 'html.parser'三、简答题1．解答：网络数据采集，通常也被称为网络爬虫或网页抓取，是一种从互联网上自动收集信息的程序或脚本。以下是网络数据采集的基本流程：（1）发送请求：使用HTTP请求库向目标网页发送请求，获取网页内容。（2）接收响应：接收服务器返回的响应内容，通常是HTML、JSON或XML格式。（3）解析内容：使用解析工具（如HTML解析器）从响应内容中提取所需的数据。（4）数据处理：对提取的数据进行清洗和格式化，去除无用信息，保留有用数据。（5）存储数据：将清洗后的数据存储到数据库或文件系统中，如MySQL、MongoDB、CSV文件等。2．解答：BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。select方法是BeautifulSoup提供的一个强大的工具，它允许你使用CSS选择器来查找页面上的元素。以下是使用select方法查找元素的几种常见方式：（1）查找具有特定标签名的元素，如找到所有的段落（<p>标签），soup.select('p')（2）查找具有特定类名的元素，如找到所有具有类名class-name的元素，soup.select('.class-name')（3）查找特定ID的元素，如找到ID为element-id的元素，soup.select('#element-id')（4）查找具有特定属性的元素，如找到所有具有属性data-attr的元素，soup.select('[data-attr]')（5）使用更复杂的选择器，select方法支持更复杂的CSS选择器，例如后代选择器、子选择器等。例如，找到所有在div标签内的第一个p标签，soup.select('div>p:first-of-type')3．解答：未经预处理的数据可能存在多种问题，这些问题可能影响数据分析的质量和结果的准确性。常见的问题有：不完整性、不一致性、重复数据、错误和异常值、数据类型问题、数据范围问题、数据分布不均、时间序列数据问题、缺乏标准化、隐私和安全性问题、数据过时、数据量过大或过小、数据的可解释性差、数据的可访问性问题等。为了解决这些问题，通常需要进行数据预处理，包括数据清洗、数据转换、数据规范化、缺失值处理、异常值处理、数据集成、数据选择和数据离散化等步骤。预处理可以提高数据质量，确保分析结果的可靠性和有效性。4．解答：数据预处理是数据分析和机器学习中的关键步骤，目的是将原始数据转换成适合分析的格式。以下是一些常用的数据预处理方法：（1）缺失值处理：填充缺失值：使用均值、中位数、众数或预测模型来填充缺失数据。删除缺失值：如果缺失数据较多，可以选择删除含有缺失值的记录或特征。（2）异常值检测与处理：识别异常值：使用统计方法（如箱型图、标准差、Z-分数等）来识别异常值。处理异常值：对异常值进行修正或删除。（3）数据清洗：去除噪声：使用滤波器或平滑技术去除数据中的随机噪声。纠正错误：修正数据录入错误或不一致的数据。（4）数据转换：归一化/标准化：将数据缩放到一个小的、指定的范围（如0到1）或转换为具有零均值和单位方差的分布。对数转换：对偏态分布的数据进行对数转换以减少偏度。数据离散化：将连续特征转换为离散类别，例如通过分箱（binning）或分段。数据类型转换：确保数据字段具有正确的数据类型，例如将字符串转换为日期或数值类型。（5）数据集成：合并来自不同来源的数据集，解决数据源之间的不一致性。这些方法可以单独使用，也可以组合使用，以适应不同的数据集和分析需求。数据预处理的目标是提高数据质量，使其更适合进行有效的分析和建模。5．解答：数据归约技术可以用于获取数据集的归约表示，规约后数据规模减小很多，但仍能够较好地保持原数据的完整性。在归约后的数据集上开展数据应用将更有效，能够较好地保障数据应用效果的一致性。数据规约一般有如下两种策略：（1）维度规约我们拿到的数据可能包含数以百计的属性，其中的大部分属性与当前的数据任务不相关，完全可以进行精简以提升计算效率。维度归约通过删除不相关的属性，来减少数据量，并保证信息的损失最小。维度规约通常可以根据业务需求来确定处理方法，如果基于业务的用户或商品特征，需要较多