本文实例讲述了Python HTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:
简介
先简略介绍一下。实际上,HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:
(1)handle_startendtag 处理开始标签和结束标签(即单标签)
(2)handle_starttag 处理开始标签,比如<xx>
(3)handle_endtag 处理结束标签,比如</xx>
(4)handle_charref 处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref 处理一些特殊字符,以&开头的,比如
(6)handle_data 处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment 处理注释
(8)handle_decl 处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi 处理形如<"font-size: medium">实例
OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。
from html.parser import HTMLParser from urllib import request class MyHTMLParser(HTMLParser): # 创建HTML解析类 def __init__(self): HTMLParser.__init__(self) self.gifs_urls = [] # 创建列表,保存gif self.jpgs_urls = [] # 创建列表,保存jpg # 重写HTMLParser中的内置方法 def handle_starttag(self, tags, attrs): # 处理起始标记 if tags == 'img': # 处理图片 for attr in attrs: for t in attr: if 'gif' in t and 'https' in t: self.gifs_urls.append(t) # 添加到gif列表 elif 'jpg' in t and 'https' in t: self.jpgs_urls.append(t) # 添加到jpg列表 else: pass # 自定义的方法 def get_gifs(self): # 返回gif列表 return self.gifs_urls def get_jpgs(self): # 返回jpg列表 return self.jpgs_urls # 自定义的方法,获取页面 def getHTML(self,url): req=request.Request(url,method='GET') html=request.urlopen(req,timeout=30) return html.read() # 自定义的方法,批量下载图片 def downImgs(self,img_urls,n=10,path='Image/'): count=1 for url in img_urls: request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) count=count+1 if count == n + 1: print('共下载%d张图片' %(n)) return if __name__ == '__main__': Url = 'http://tieba.baidu.com/p/2256306796' HtmlParser=MyHTMLParser() Html=HtmlParser.getHTML(Url) # print(Html) HtmlParser.feed(str(Html)) #开始解析HTML,自动调用HTMLParser中的内置方法 HtmlParser.downImgs(HtmlParser.get_jpgs())
更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 班得瑞原装进口《第五张新世纪专辑:迷雾森林+EP》1CD[APE/CUE分轨][334.2MB]
- 田震.1997-顺其自然(日版)【红星生产社】【WAV+CUE】
- 小虫.1996-想得太美【滚石】【WAV+CUE】
- 谢采妘.2016-邓丽君名曲专辑【丰荣】【WAV+CUE】
- 张含韵.2007-一人一梦【天中文化】【WAV+CUE】
- 蟑螂乐队.1999-帮个忙【福茂】【WAV+CUE】
- 张宇.2001-替身【EMI百代】【WAV+CUE】
- 班得瑞原装进口《第六张新世纪专辑:日光海岸》1CD[APE/CUE分轨][339.5MB]
- 班得瑞原装进口《第七张新世纪专辑:梦花园》1CD[APE/CUE分轨][331.4MB]
- 班得瑞原装进口《第八张新世纪专辑:琉璃湖畔》1CD[APE/CUE分轨][286.4MB]
- 魏如萱.2011-在哪里(EP)【添翼创越】【WAV+CUE】
- 群星.1981-新金曲奖·青年创作园地12合辑(喜玛拉雅复刻版)【歌林】【WAV+CUE】
- 麦洁文.1989-新曲与精丫新艺宝】【WAV+CUE】
- SNH48《薄荷糖 (Mint Candy)》[320K/MP3][33.72MB]
- SNH48《薄荷糖 (Mint Candy)》[FLAC/分轨][78.59MB]