黑松山资源网 Design By www.paidiu.com
本文实例讲述了Python多线程下载文件的方法。分享给大家供大家参考。具体实现方法如下:
import httplib import urllib2 import time from threading import Thread from Queue import Queue from time import sleep proxy = 'your proxy'; opener = urllib2.build_opener( urllib2.ProxyHandler({'http':proxy}) ) urllib2.install_opener( opener ) ids = {}; for i in range(1,110): try: listUrl = "http://www.someweb.net/sort/list_8_%d.shtml" % (i); print listUrl; page = urllib2.urlopen(listUrl).read(); speUrl = "http://www.someweb.net/soft/"; speUrlLen = len(speUrl); idx = page.find(speUrl,0); while idx!=-1: dotIdx = page.find(".",idx + speUrlLen); if dotIdx != -1: id = page[idx + speUrlLen:dotIdx]; ids[id] = 1; idx = page.find("http://www.someweb.net/soft/",idx + speUrlLen); except: pass; q = Queue() NUM = 5 failedId = []; def do_somthing_using(id): try: url = "http://www.someweb.net/download.php" % (id); h2 = httplib.HTTPConnection("your proxy", "you port"); h2.request("HEAD", url); resp = h2.getresponse(); header = resp.getheaders(); location = header[3][1]; sContent = urllib2.urlopen(location).read(); savePath = "C:\\someweb\\%s.rar" % (id); file=open(savePath,'wb'); file.write(sContent); file.close(); print savePath + " saved"; except: pass; def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done() for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() for id in ids: q.put(id) q.join()
希望本文所述对大家的Python程序设计有所帮助。
黑松山资源网 Design By www.paidiu.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
黑松山资源网 Design By www.paidiu.com
暂无评论...
更新日志
2024年10月09日
2024年10月09日
- 谢金晶.2017-放心【豪记】【WAV+CUE】
- 炉石传说最强死亡骑士卡组是什么 死亡骑士最强天梯卡组推荐一览
- 炉石传说最强德鲁伊卡组是哪个 德鲁伊最强天梯卡组推荐一览
- 炉石传说最强战士卡组是哪个 战士最强天梯卡组推荐一览
- LexVandyke《HistoriadeunAmor情陷地中海》[WAV+CUE]
- TheBestPopClassics《LIGHTRHYTHMSOUND2》[WAV+CUE]
- TheLatinSoundofLexVandyke-ConciertodeAranjuez拉丁情人2012[SACD-ISO]
- 《怪物猎人世界》史低¥44,《耻辱终极版》仅需¥12
- 杉果秋促最后一天!海量3A大作击穿Steam史低
- 【果娘聊天室】国庆假期就这么水灵灵地结束啦!
- 《死或生》恋爱游戏新角色:来自大雷温柔公主的喂食
- 《寂静岭2》原制作人盛赞《寂静岭2:重制版》:新玩家能玩 我超高兴
- 艾什莉体模家今日份的COS:《鸣潮》守岸人 雪白香肩清纯而诱惑
- 微信积分商城进入方法,微信积分商城介绍
- 希诺宁进不进常驻说明,希诺宁角色分析