黑松山资源网 Design By www.paidiu.com
抓取豆瓣电影TOP100
一、分析豆瓣top页面,构建程序结构
1.首先打开网页http://movie.douban.com/top250"htmlcode">
http://movie.douban.com/top250"title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
如图,因为有一些英文名等描述,通过正则抓取有些干扰,可能还需要后续过滤。根据以上信息,此程序主要分以下3个步骤:
二、构建url地址池
- 抓取top100电影名称
- 依次打印输出
依次写出代码
1.构建url地址池。代码如下:
import urllib2 import re # ----------确定url地址池------------ pre_url = 'http://movie.douban.com/top250"htmlcode"># ------------抓取top100电影名称---------- top_content = [] top_tag = re.compile(r'<span class="title">(.+"htmlcode">top_num = 1 for item in top_content: print 'Top' + str(top_num) + ' ' + item top_num += 1三、整理代码
我还是python新手,还没有太多的pythonic思想,也没有代码优化技巧,只能说是整理。
其次,个人习惯,在简单的代码里面我还是喜欢少用函数,尽量不隐藏代码的逻辑。
以下代码请参考,并欢迎提意见,希望得到大家的意见,谢谢!
整理后的代码如下:# coding=utf-8 ''' 本代码为自动抓取豆瓣top100电影代码 @pre_url url地址前缀,在这里为http://movie.douban.com/top250"title">(.+"title">(.+"htmlcode">import urllib.request import re import time #获取输入的帖子单页html def getHtml2(url2): html2=urllib.request.urlopen(url2).read().decode('utf-8') return html2 #抽取图片相关列表,并下载图片 def gettopic(html2): reg2=r'http://www.douban.com/group/topic/\d+' topiclist=re.findall(reg2,html2) x=0 #限制下载的图片数 for topicurl in topiclist: x+=1 return topicurl #下载图片到本地 def download(topic_page): reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg' imglist=re.findall(reg3,topic_page) i=1 download_img=None for imgurl in imglist: #取图片ID为文件名 img_numlist=re.findall(r'p\d{7}',imgurl) for img_num in img_numlist: download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num) time.sleep(1) i+=1 print(imgurl) return download_img #调用函数 page_end=int(input('请输入结束时的页码:')) num_end=page_end*25 num=0 page_num=1 while num<=num_end: html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num) topicurl=gettopic(html2) topic_page=getHtml2(topicurl) download_img=download(topic_page) num=page_num*25 page_num+=1 else: print('采集完成!')黑松山资源网 Design By www.paidiu.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
黑松山资源网 Design By www.paidiu.com
暂无评论...
更新日志
2024年10月09日
2024年10月09日
- 徐璨宾《井底的蚯蚓》[320K/MP3][78.77MB]
- 碧蓝航线国庆金秋版本重磅上线 新玩法3D宿舍系统闪亮登场
- 自在西游自在服即将在10月1日开启 入驻即享豪礼满满
- 炉石传说最强术士卡组是哪个 术士最强天梯卡组推荐一览
- 炉石传说最强萨尔卡组是哪个 萨尔最强天梯卡组推荐一览
- 炉石传说最强潜行者卡组是哪个 潜行者最强天梯卡组推荐一览
- 银霞.1983-《爱迷惑我·我住小楼中》台湾复刻版[WAV+CUE]
- [雨果唱片]粤曲名家-《再折长亭柳》[WAV+CUE]
- 刘德华1998-你是我的女人[香港第二版][WAV]
- 压迫感谁最强?外媒评选恐怖游戏最佳女反派
- 还没正式发售:《寂静岭2:重制版》Steam玩家峰值近9000人
- 别搞政确了!超95%国外玩家反对强制包容性
- 《暗喻幻想:ReFantazio》试玩:ATLUS的自我挑战?
- 《憧憬成为魔法少女》第二季 反转魔法少女题材再掀热潮
- 海信AI电视E7N正式发布,引领AI画质新标杆