常州大学《数据采集与清洗》2021-2022学年期末试卷

装订线装订线PAGE2第1页，共3页常州大学

《数据采集与清洗》2021-2022学年期末试卷院(系)_______班级_______学号_______姓名_______题号一二三总分得分一、单选题（本大题共20个小题，每小题2分，共40分．在每小题给出的四个选项中，只有一项是符合题目要求的．）1、以下哪个库常用于处理爬虫中的验证码识别？（）A.tesseractB.opencvC.numpyD.scipy2、网络爬虫的法律风险不包括（）A.侵犯知识产权B.违反网站规定C.传播病毒D.以上都是3、以下哪个不是爬虫中处理网页编码的方法？（）A.自动检测B.指定编码C.忽略编码D.转换编码4、以下哪个不是爬虫中处理数据格式转换的方法？（）A.自定义函数B.使用库函数C.手动转换D.不转换5、网络爬虫如何处理网页中的动态生成内容（如通过Ajax加载）？（）A.分析请求B.使用浏览器模拟C.寻找接口D.以上都是6、在爬虫中，以下哪个库常用于处理数据排序？（）A.sortedB.numpy.sortC.pandas.sort_valuesD.以上都是7、以下哪个不是爬虫中数据提取的方法？（）A.正则表达式B.XPathC.CSS选择器D.随机生成8、以下哪个不是爬虫中处理分页的方法？（）A.分析页面链接B.模拟点击分页按钮C.固定每页数量D.随机获取分页9、以下哪个不是爬虫中处理数据重复的方法？（）A.去重算法B.数据库去重C.缓存去重D.保留重复10、网络爬虫如何处理网站的验证码变化？（）A.及时更新识别策略B.放弃抓取C.人工处理D.以上都是11、网络爬虫在抓取网页时，通常首先需要分析的是：A.HTML代码B.CSS样式C.JavaScript脚本D.网页的URL12、以下哪个不是爬虫中处理数据存储的优化方式？（）A.批量写入B.压缩存储C.索引优化D.减少存储13、在爬虫中，处理网页编码的常见库是（）A.chardetB.codecsC.encodingsD.utf-814、在爬虫中，处理数据的脱敏通常是为了（）A.保护隐私B.提高效率C.节省空间D.便于处理15、以下哪个不是爬虫中处理数据异常值的方法？（）A.剔除B.修正C.保留D.以上都是16、当遇到需要登录才能访问的页面时，爬虫可以通过以下哪种方式获取数据？（）A.模拟登录B.跳过该页面C.暴力破解D.以上都不是17、以下哪个不是爬虫框架？（）A.ScrapyB.PySpiderC.DjangoD.Crawley18、在爬虫中，处理robots.txt文件的目的是（）A.了解网站的爬取规则B.获取网站地图C.查找隐藏页面D.提高爬取效率19、网络爬虫在遇到重定向时，通常会（）A.跟随重定向B.忽略重定向C.报错D.以上都有可能20、以下哪个是爬虫中常见的存储数据库？（）A.MySQLB.MongoDBC.RedisD.以上都是二、简答题（本大题共4个小题，共40分)1、（本题10分）解释网络爬虫如何处理网页中的智能推荐相关元素。2、（本题10分）简述网络爬虫如何处理网页中的智能情感分析相关元素。3、（本题10分）简述网络爬虫如何处理网页中的大数据量页面。4、（本题10分）简述网络爬虫如何处理网页中的用户收藏和点赞数据。三、编程题（本大题共2个小题，共20分)1、（本题10分）创