python学习之python爬虫原理

1、前言简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前;一、爬虫是什么?如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序;从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地，进而提取自己需要的数据，存放起来使用;二、爬虫的基本流程：用户获取网络数据的方式：方式

2、1：浏览器提交请求-下载网页代码-解析成页面方式2：模拟浏览器发送请求(获取网页代码)-提取有用的数据-存放于数据库或文件中爬虫要做的就是方式2;1、发起请求使用http库向目标站点发起请求，即发送一个RequestRequest包含：请求头、请求体等Request模块缺陷：不能执行JS 和CSS 代码2、获取响应内容如果服务器能正常响应，则会得到一个ResponseResponse包含：html，json，图片，视频等3、解析内容解析html数据：正则表达式(RE模块)，第三方解析库如Beautifulsoup，pyquery等解析json数据：json模块解析二进制数据:以wb的方式写入文

3、件4、保存数据数据库(MySQL，Mongdb、Redis)文件三、http协议 请求与响应Request：用户将自己的信息通过浏览器(socket client)发送给服务器(socketserver)Response：服务器接收请求，分析用户发来的请求信息，然后返回数据(返回的数据中可能包含其他链接，如：图片，js，css等)ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。四、 request1、请求方式：常见的请求方式：GET / POST2、请求的URLurl全球统一资源定位符，用来定义互

4、联网上一个唯一的资源 例如：一张图片、一个文件、一段视频都可以用url唯一确定url编码/s?wd=图片图片会被编码(看示例代码)网页的加载过程是：加载一个网页，通常都是先加载document文档，在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求3、请求头User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host;cookies：cookie用来保存登录信息注意： 一般做爬虫都会加上请求头请求头需要注意的参数：(1)Referrer：访问源至哪里来(一些大型网站，会通过Referrer 做防盗链策略;所有爬虫也要注意模

5、拟)(2)User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)(3)cookie：请求头注意携带4、请求体请求体如果是get方式，请求体没有内容 (get请求的请求体放在 url后面参数中，直接能看到)如果是post方式，请求体是format dataps：1、登录窗口，文件上传等，信息都会被附加到请求体内2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post五、 响应Response1、响应状态码200：代表成功301：代表跳转404：文件不存在403：无权限访问502：服务器错误2、respone header响应头需要注意的

6、参数：(1)Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把cookie保存下来(2)Content-Location：服务端响应头中包含Location返回浏览器之后，浏览器就会重新访问另一个页面3、preview就是网页源代码JSO数据如网页html，图片二进制数据等六、总结1、总结爬虫流程：爬取-解析-存储2、爬虫所需工具：请求库：requests,selenium(可以驱动浏览器解析渲染CSS和JS，但有性能劣势(有用没用的网页都会加载);)解析库：正则，beautifulsoup，pyquery存储库：文件，MySQL，Mongodb，Redi

7、s感谢您的阅读，以上就是对python爬虫原理的一些介绍源 /代码湾 编辑 / AI时间1. 原地交换两个数字Python 提供了一个直观的在一行代码中赋值与交换（变量值）的方法，请参见下面的示例：x,y=10,20print(x,y)x,y= y,xprint(x,y)#1 (10, 20)#2 (20, 10)赋值的右侧形成了一个新的元组，左侧立即解析（unpack）那个（未被引用的）元组到变量和 。一旦赋值完成，新的元组变成了未被引用状态并且被标记为可被垃圾回收，最终也完成了变量的交换。2. 链状比较操作符比较操作符的聚合是另一个有时很方便的技巧：n=10result=1 n n=9pr

8、int(result)#False3. 使用三元操作符来进行条件赋值三元操作符是 if-else 语句也就是条件操作符的一个快捷方式：表达式为真的返回值if表达式else表达式为假的返回值这里给出几个你可以用来使代码紧凑简洁的例子。下面的语句是说“如果 y 是9，给 x 赋值10，不然赋值为20”。如果需要的话我们也可以延长这条操作链。x =10if(y =9)else20同样地，我们可以对类做这种操作：x = (classAify =1elseclassB)(param1, param2)在上面的例子里 classA 与 classB 是两个类，其中一个类的构造函数会被调用。下面是另一个多个

9、条件表达式链接起来用以计算最小值的例子：defsmall(a,b,c):returnaifa= banda= celse(bifb= aandb10elsem*4forminrange(50)#= 0, 1, 16, 81, 256, 625, 1296, 2401, 4096, 6561, 10000, 121, 144, 169, 196, 225, 256, 289, 324, 361, 400, 441, 484, 529, 576, 625, 676, 729, 784, 841, 900, 961, 1024, 1089, 1156, 1225, 1296, 1369, 1444,

10、 1521, 1600, 1681, 1764, 1849, 1936, 2025, 2116, 2209, 2304, 24014. 多行字符串基本的方式是使用源于 C 语言的反斜杠：multiStr= “select*frommulti_rowwhere row_id 5”print(multiStr)#select*frommulti_rowwhererow_id 5另一个技巧是使用三引号：multiStr= “”select*frommulti_rowwhere row_id 5”print(multiStr)#select*frommulti_row#whererow_id 5上面方

11、法共有的问题是缺少合适的缩进，如果我们尝试缩进会在字符串中插入空格。所以最后的解决方案是将字符串分为多行并且将整个字符串包含在括号中：multiStr= (“select*frommulti_row ”“whererow_id 5”“orderbyage”)print(multiStr)#select*frommulti_rowwhererow_id 1236. 打印引入模块的文件路径如果你想知道引用到代码中模块的绝对路径，可以使用下面的技巧：importthreadingimportsocketprint(threading)print(socket)#1-#2-7. 交互环境下的 “_”

12、操作符这是一个我们大多数人不知道的有用特性，在 Python 控制台，不论何时我们测试一个表达式或者调用一个方法，结果都会分配给一个临时变量： _（一个下划线）。 2 13 _3 print_3“_” 是上一个执行的表达式的输出。8. 字典/集合推导与我们使用的列表推导相似，我们也可以使用字典/集合推导，它们使用起来简单且有效，下面是一个例子：testDict= i: i *iforiinxrange(10)testSet= i *2foriinxrange(10)print(testSet)print(testDict)#set(0,2,4,6,8,10,12,14,16,18)#0:0,1

13、:1,2:4,3:9,4:16,5:25,6:36,7:49,8:64,9:81注：两个语句中只有一个 的不同，另，在 Python3 中运行上述代码时，将改为。9. 调试脚本我们可以在模块的帮助下在 Python 脚本中设置断点，下面是一个例子：importpdbpdb.set_trace()我们可以在脚本中任何位置指定并且在那里设置一个断点，相当简便。10. 开启文件分享Python 允许运行一个 HTTP 服务器来从根路径共享文件，下面是开启服务器的命令：#Python 2python -m SimpleHTTPServer#Python 3python3 -m http.server上

14、面的命令会在默认端口也就是 8000 开启一个服务器，你可以将一个自定义的端口号以最后一个参数的方式传递到上面的命令中。11. 检查 Python 中的对象我们可以通过调用 dir() 方法来检查 Python 中的对象，下面是一个简单的例子：test= 1,3,5,7print(dir(test)_add_, _class_, _contains_, _delattr_, _delitem_, _delslice_, _doc_, _eq_, _format_, _ge_, _getattribute_, _getitem_, _getslice_, _gt_, _hash_, _iadd_

15、, _imul_, _init_, _iter_, _le_, _len_, _lt_, _mul_, _ne_, _new_, _reduce_, _reduce_ex_, _repr_, _reversed_, _rmul_, _setattr_, _setitem_, _setslice_, _sizeof_, _str_, _subclasshook_, append, count, extend, index, insert, pop, remove, reverse, sort12. 简化 if 语句我们可以使用下面的方式来验证多个值：ifmin1,3,5,7:而不是：ifm=1o

16、rm=3orm=5orm=7:或者，对于 in 操作符我们也可以使用 1,3,5,7 而不是 1,3,5,7，因为 set 中取元素是 O(1) 操作。13. 一行代码计算任何数的阶乘Python 2.x.result= (lambdak: reduce(int._mul_,range(1,k1),1)(3)print(result)#-6Python 3.x.importfunctoolsresult= (lambdak: functools.reduce(int._mul_,range(1,k1),1)(3)print(result)#-614. 找到列表中出现最频繁的数test= 1,2

17、,3,4,2,2,3,1,4,4,4print(max(set(test),key=test.count)#- 415. 重置递归限制Python 限制递归次数到 1000，我们可以重置这个值：importsysx=1001print(sys.getrecursionlimit()sys.setrecursionlimit(x)print(sys.getrecursionlimit()#1- 1000#2- 1001请只在必要的时候采用上面的技巧。16. 检查一个对象的内存使用在 Python 2.7 中，一个 32 比特的整数占用 24 字节，在 Python 3.5 中利用 28 字节。为

18、确定内存使用，我们可以调用 getsizeof 方法：在 Python 2.7 中importsysx=1print(sys.getsizeof(x)#- 24在 Python 3.5 中importsysx=1print(sys.getsizeof(x)#- 2817. 使用 _slots_ 来减少内存开支你是否注意到你的 Python 应用占用许多资源特别是内存？有一个技巧是使用 _slots_ 类变量来在一定程度上减少内存开支。import sysclassFileSystem(object):def_init_(self,files,folders,devices):self.file

19、s= filesself.folders= foldersself.devices= devicesprint(sys.getsizeof(FileSystem)classFileSystem1(object):_slots_=files,folders,devicesdef_init_(self,files,folders,devices):self.files= filesself.folders= foldersself.devices= devicesprint(sys.getsizeof(FileSystem1)#In Python 3.5#1- 1016#2- 888很明显，你可以

20、从结果中看到确实有内存使用上的节省，但是你只应该在一个类的内存开销不必要得大时才使用 _slots_。只在对应用进行性能分析后才使用它，不然地话，你只是使得代码难以改变而没有真正的益处。【译者注：在我的 win10 python2.7 中上面的结果是：#InPython2.7win10#1- 896#2- 1016所以，这种比较方式是不那么让人信服的，使用 _slots_ 主要是用以限定对象的属性信息，另外，当生成对象很多时花销可能会小一些，具体可以参见 python 官方文档:The slots declaration takes a sequence of instance variables and reserves just enough space in each instance to hold a value for each variable. Space is saved because dict is not created for each instance.】18. 使用 lambda 来模仿输出