《数据采集技术》课件-多线程爬虫

多线程爬虫Contents知识目标掌握基本的多线程爬虫技术技能目标提高数据采集和处理能力素养目标培养良好的信息素养和道德意识多线程爬虫是一种利用多个线程同时进行网络数据抓取的技术。多线程网络爬虫传统的单线程爬虫爬取网页的过程是按照顺序逐个进行的。先请求一个网页再请求下一个网页等待响应返回多线程爬虫同时处理多个网页请求。多线程网络爬虫充分利用计算机的多核处理能力加快数据抓取速度将多线程技术运用在采集网页信息和解析网页内容上。多线程爬虫多线程爬虫流程如下：1.首先有一个网址列表，是要爬取数据的网页列表。2.同时启动多个线程抓取网页内容，一般启动固定数量的线程。3.将抓取到的网页源码存储在一个列表里。4.同时使用多个线程对网页源码表里的网页内容进行解析。5.将解析之后的数据存储起来。多线程爬虫queue类是Python标准库中的线程安全的队列实现，提供了一个适用于多线程编程的先进先出的数据结构—队列。tailhead使用queue模块实现多线程爬虫queue模块是Python内置的标准模块可以直接通过importqueue引用，在Queue模块中提供了三种同步的、线程安全的队列，分别是：Queue(先进先出队列)LifoQueue(后进先出队列)PriorityQueue(优先级队列)LifoQueue和PriorityQueue都是Queue的子类。这些队列的唯一区别是元素取出的顺序不同。使用queue模块实现多线程爬虫表示一个基本的FIFO（FirstInFirstOut）队列，即先进先出。queue.Queue（maxsize=0）是个整数，规定了队列的长度maxsize一旦达到上限，再添加数据会导致阻塞，直到队列中的数据被消费掉。Queue类如果maxsize小于或者等于0队列大小没有限制maxsize的默认值为0。使用Queue的示例示例：fromqueueimportQueuequeue_obj=Queue()foriinrange(4):queue_obj.put(i)whilenotqueue_obj.empty():print(queue_obj.get())运行结果：0123LifoQueue类后进先出队列(LastinFirstOut)queue.LifoQueue（maxsize=0）maxsize参数的含义与Queue类相同。使用LifoQueue的示例示例：fromqueueimportLifoQueuelifo_queue=LifoQueue()foriinrange(4):lifo_queue.put(i)whilenotlifo_queue.empty():print(lifo_queue.get())运行结果：

3210使用queue模块实现多线程爬虫表示优先级队列，按级别顺序取出元素，优先级队列中的元素一般采取元组（优先级别，数据）的形式来存储。queue.PriorityQueue（maxsize=0）其中，maxsize参数的含义与前两个类相同。PriorityQueue类使用PriorityQueue的示例示例：fromqueueimportPriorityQueueclassJob(object):def__init__(self,level,description):self.level=levelself.description=descriptionreturndef__lt__(self,other):returnself.level<other.levelpriority_queue=PriorityQueue()priority_queue.put(Job(5,'中'))priority_queue.put(Job(10,'低'))priority_queue.put(Job(1,'急'))whilenotpriority_queue.empty():next_job=priority_queue.get()print('开始工作：',next_job.description)运行结果：开始工作：急开始工作：中开始工作：低Queue模块Queue(先进先出队列)LifoQueue(后进先出队列)PriorityQueue(优先级队列)Queue模块定义了2个异常类：Empty当从空队列中取数据时，可抛出此异常。Full当向一个满队列中存数据时，可抛出此异常。Queue模块Queue类提供了数据存储和管理的常用方法方法说明empty()如果队列为空，返回True，否则返回False。full()如果队列已满则返回True，否则返回False。get()从队头获取并删除第一个元素。put()在队尾添加一个元素。get_nowait()立即取出一个元素，不等待，相当于get(False)。put_nowait()立即放入一个元素，不等待，相当于put(item,False)。join()阻塞当前线程，直到队列里的所有元素都已被处理。本讲小结分析了多线程爬虫的整个流程1结合实际示例介绍了Python中实现多线程的queue模块的基本使用2课后作业使用单线程、多线程、技术获取段子网：