怎么用python写爬虫

第页怎么用python写爬虫Django是由Python开发的一个免费的开源网站框架，可以用于快速搭建高性能，优雅的网站!以下是我为你整理的怎么用〔python〕写爬虫

1.Django是python语言写的一个网络框架包，所以你得知道一些Python基础知识。

2.其次你最好有一些做网站的经验，懂一些网页HTML,CSS,JavaScript的知识。

没有经验也没有关系，慢慢来就好了，你一定可以学会，Django很简单!

Django特点

强大的数据库功能

用python的类继承，几行代码就可以拥有一个丰富，动态的数据库操作接口(API)，如果必须要你也能执行SQL语句

自带的强大的后台功能

几行简单的代码就让你的网站拥有一个强大的后台，轻松〔管理〕你的内容!

优雅的网址

用正则匹配网址，传递到对应函数，随意定义，如你所想!

模板系统

强大，易扩大的模板系统，〔制定〕简易，代码，样式分开制定，更容易管理。

缓存系统

与memcached或其它的缓存系统联用，更出色的表现，更快的加载速度。

国际化

完全支持多语言应用，同意你定义翻译的字符，轻松翻译成不同国家的语言。

函数式〔编程〕同意变量指向函数，直接对变量的调用和调用这个函数是一样的效果;

接收参数是函数的函数，同时也称高阶函数。

例子：利用add(x,y,f)函数，计算：x,y的平方根之和：

importmath

defadd(x,y,f):

returnf(x)+f(y)

add(9,25,math.sqrt)

END

map()高阶函数

1

a)、map()函数：接收一个f函数以及一个list，并且通过f函数依次作用在list的每一个元素上返回一个新的list。

b)、使用：map(function,list)

c)、例子：

假设用户输入的英文名字不规范，没有按照首字母大写，后续字母小写的规则，请利用map()函数，把一个list(包涵假设干不规范的英文名字)变成一个包涵规范英文名字的list：

输入：[adam,LISA,barT]

输出：[Adam,Lisa,Bart]

defformat_name(l):

returnl[0:1].upper()+l[1:].lower()

printmap(format_name,[adam,LISA,barT])

reduce()高阶函数

a)、reduce()函数：同意接收一个函数f和一个list;而reduce()传入的函数f必须接收两个参数。reduce对list中的每一个元素反复调用函数f并返回结果，然后将结果作为新的参数传入函数f.

b)、调用：reduce(function,list)

c)、例子：Python内置了求和函数sum()，但没有求积的函数，请利用recude()来求积：

输入：[2,4,5,7,12]

输出：2*4*5*7*12的结果

defprod(x,y):

returnx*y

printreduce(prod,[2,4,5,7,12])

END

filter()高阶函数

1

a)、filter()：接收一个函数f和list。函数f对list中的每一个元素进行过滤，返回trueorfalse，filter()函数依据推断结果自动过滤不符合条件的元素，返回符合条件的元素组成新的list。

b)、调用：filter(function,list)

c)、例子：请利用filter()过滤出1~100中平方根是整数的数，即结果应该是：

[1,4,9,16,25,36,49,64,81,100]

importmath

defis_sqr(l):

s=math.sqrt(l)

returnint(s)==s

printfilter(is_sqr,range(1,101))

print函数

我们在使用print()函数的时候如果在参数前面加上r,那么后面字符串里的内容就原封不动地打印出来啦。

print(r\n)

\n

print(\n\)

SyntaxError:EOLwhilescanningstringliteral

print(\n\)

print(\n\\)

\

你知道为什么输入print(\n\)报错;而输入print(\n\\)可以正常运行吗?因为后面得接些转义字符。

如果我们想让每个单词单独输出一行怎么办呢?虽然是一种方法，但是让代码很难看。

在print()里，用将要输出显示的内容包起来，引号里的换行符就可以打印出来啦，方便直观。

当然前面加上r也是有同样效果的，下次看到不要惊奇。

python里的变量是区分大小写的，前面我们已经介绍过来，再来通过布尔值来验证一下。

true

Traceback(mostrecentcalllast):

File,line1,in

true

NameError:nametrueisnotdefined

True

True

导入Numpy模块

importNumpyasnp

先输入数组

a=np.arange(10)

a

array([0,1,2,3,4,5,6,7,8,9])

进行切片

a[5]#用整数作为下标可以获得数组中的某个元素

a[3:5]#用切片作为下标可以获得数组的一部分元素，注意包括首位，但不包涵尾部

array([3,4])

a[:5]#切片中省略开始下标，表示从a[0]开始到a[5]结束，但不包涵a[5]

array([0,1,2,3,4])

a[:-1]#下标可以是负数，数组倒数第一位为-1，a[:-1]表示从第一位一直取到-1的位置，但不包括-1位的数据

array([0,1,2,3,4,5,6,7,8])

a[2:4]=100,101#可以通过数组下标赋值来改变数组中数据

a

array([0,1,100,101,4,5,6,7,8,9])

a[1:-1:2]#从数组下标1取到-1位置，且步长为2，且不包涵-1位置数据

array([1,101,5,7])

a[::-1]#省略切片的开始下标和结束下标，步长为-1，表示整个数组头尾颠倒

array([9,8,7,6,5,4,101,100,1,0])

a[5:1:-2]#起始