第1讲：爬虫Python趣学概述

趣学Python爬虫我与爬虫有个约会本课目录INDEX什么是爬虫？爬虫的数据延伸合理使用爬虫爬虫的分类爬虫的业务场景关于反爬的说明爬虫的基本原理Show一个小案例什么是爬虫？爬虫是一种大批量获取数据的方法通俗易懂的说-爬虫就是一个“机器/程序”，这台“机器”根据目标/关键字模拟人的行为去各个网站/页面提取数据，然后把数据拉回来。这是个信息爆炸的时代，也是个数据封锁的时代，各大网站和应用（你懂的那些）他们会根据你的上网行为，用算法推荐你能看到哪些信息，但是这些信息真的是我们想看的吗？我们怎么掌握主动权？批量爬取图片 批量爬取关健文字 批量爬取视频批量爬取购物网站价格 批量爬取某商品评论批量爬取某地房价…………爬虫能做什么？

我的数据我做主爬虫的数据延伸爬虫课一向的重点是在爬这个层面上，那么本讲与大家探讨一下数据层的东西举个简单的例子业务需求：老板让我爬取某个商品在全国各个省份的平均价格？STEP1

如何去爬？STEP2

如何让数据有价值？锁定有效关键字锁定关键信息源（网站）爬取方式数据预处理（可用）原始数据与公司数据比对比对后的结论无序数据结构化数据作为参考比对（分析）结论（辅助决策）合理使用爬虫关于爬虫使用倡议爬虫的破坏力：过度使用爬虫轻则导致服务器下线，重则可以导致网站彻底宕机；通过爬虫获取的敏感数据、个人数据、版权数据进行销售属于严重违法，且爬虫工程师连带责任；爬虫的合法性：在法律允许的范围内进行注意使用中的法律风险（以爬虫名义实施黑客行为）爬虫的非正常使用如同黑客行为。且行且珍惜！出问题的从不是爬虫，

是背后的“我们”，善用爬虫让他成为价值工具，

不要让他成为作案工具爬虫的分类通用爬虫：抓取互联网整个页面数据，通常是搜索引擎使用，保证各个网站在搜索引擎上有一定的露出。聚焦爬虫：聚焦爬虫是通用爬虫的升级版本，抓取特定的内容，或者说基于某个关键字或规则抓取内容。增量爬虫：基于聚焦爬虫的规则，

检测是否有新的数据更新，如果有则进行抓取。爬虫的业务场景畅销书排行分析验证码破解用户拓展关系分析模拟登陆系统文件下载助手开发音乐网站批量下载城市旅游数据分析购物网站数据挖掘分析电商信息数据分析论坛发帖、问答推广、效果回访爬取微信公众号，进行数据分析头条自动发文章，赚点广告费新闻数据分析个人信息检索系统特定信息收集系统自动填写调查问卷爬虫分析热度排行爬虫进行股票分析爬取网站定向数据视频网站视频批量下载购物网站比价系统文章批量下载飞机票比价系统招聘公司爬取招聘信息爬取房产网站做房产分析财务报表下载排行分析不看不知道一看吓一跳总有一款适合你数据出处：/爬虫的业务场景为现有应用提供数据数据作为分析基础个人便利目的关于反爬的说明爬虫和网站之间一直就在一个对立面上，是一个明刀明枪的对抗。网站知道爬虫有什么爬取方法，那么网站会采取更新的反爬机制，有了机制爬虫会再次升级自己，直到能绕过去这个机制。这是一个永不休止的“斗争”所以说，爬虫就是网站的一个逆向工程举一个例子，

好比战争中交战的双方，一方加密自己的作战指令，另一方想方设法破解对方的加密信息。关于反爬机制通过相应的安全机制、策略或者用通俗的说法叫门槛限制机器（爬虫、非人）直接获取数据关于反反爬机制爬虫制定相关的策略破解/穿透/绕过去网站的反爬机制，反反爬机制的核心就是让你的爬虫更像人robots.txt

协议Robots协议是一个防君子不防小人的协议，

规定本网站哪些数据可以被爬取，哪些不可以爬取，这不是一个技术手段，而是一个声明，但是具有法律效应。

https:///robots.txt

大家可以尝试一下知乎的robots协议爬虫的基本原理爬虫其实就是WEB（网站）的逆向工程浏览器输入

网址（）回车（向服务器发起请求）服务器接到请求返回代码（前端代码）浏览器接收代码浏览器解析代码展示出页面发起请求返回代码浏览器解析网站服务器静态模式爬虫的基本原理爬虫其实就是WEB（网站）的逆向工程JS加载内容动态模式浏览器输入

网址（）回车（向服务器发起请求）服务器接到请求返回部分前端和Javascript代码Javascript再次发起请求加载页面的实际内容实际上能看到这个页面，

除了用户录入回车一次请求，那么页面还向服务器发送了一次请求，

又一次加载了具体内容，比如课程列表等。用户请求得到基础页面和js代码js代码Show一个小案例我想随时查看中国任