正则表达式进行网页解析Python语言程序设计课件讲解

Python语言程序设计主讲老师：施莉莉【正则表达式进行网页解析】案例【正则表达式进行网页解析】1234567importre

f=open('web.txt','r')

web=f.read()

urls=re.findall('https://.*?"',web)

f.close()

forurlinurls:

print(url)123456789101112<divclass="top-nav-websiteapp"><ahref="/w/app?channel=top-nav"class="lnk">下载某某网站客户端</a><divid="top-nav-appintro"class="more-items"><pclass="appintro-title">某某网站</p><pclass="slogan">我们的部落格</p><divclass="download"><aref="/redirect?download=iOS">iPhone</a><span>•</span><ahref="/redirect?download=Ad">Android</a></div></div></div>web.txt第1行，导入re模块，re模块使Python语言拥有全部的正则表达式功能。第2行，调用文件的open方法，打开web.txt。第3行，将web.txt中的文本内容读取出来，赋值给web变量。getUrls.py279<ahref="/w/app?channel=top-nav"class="lnk">下载某某网站客户端</a><aref="/redirect?download=iOS">iPhone</a><ahref="/redirect?download=Ad">Android</a>

web.txt4urls=re.findall('https://.*?"',web)第4行，re模块提供

Perl风格的正则表达式模式。利用findall函数获取字符串web中所有匹配的字符串。匹配格式为：https://.*?"。getUrls.pyhttps://开头表示以https://为前缀文本。点(.)匹配任意除换行符“\n”外的字符。星号(*)表示匹配前一个字符0次或无限次。星号(*)后跟问号(？)表示非贪婪匹配，即尽可能少的匹配，如*？重复任意次，但尽可能少重复。三个符号组合(.*?)表示匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。案例【正则表达式进行网页解析】【例如】a.*?b匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab和ab。案例【正则表达式进行网页解析】非贪婪匹配案例【正则表达式进行网页解析】279<ahref="/w/app?channel=top-nav"class="lnk">下载某某网站客户端</a><aref="/redirect?download=iOS">iPhone</a><ahref="/redirect?download=Ad">Android</a>

web.txt4urls=re.findall('https://.*?"',web)getUrls.pyhttps://.*?"表示以http://开始，以双引号(“)结束的字符串，而且要求匹配重复最少的。上例中首先匹配到/w/app?channel=top-nav"，所以不再匹配/w/app?channel=top-nav"clas