前面已经介绍过如何创建scrapy的项目,和对项目中的文件功能的基本介绍。
这次,就来谈谈使用的基本流程:
(1)首先第一点,打开终端,找到自己想要把scrapy工程创建的路径。这里,我是建立在桌面上的。打开终端,输入:
cd Desktop
就进入了桌面文件存储位置。
(2)创建scrapy工程。终端输入:scrapy startproject image
终端输入:cd image
继续输入:scrapy genspider imageSpider pic.netbian.com
(3)在pycharm中打开刚才桌面的文件,进入settings.py
设置爬虫规则。可以将规则直接注释掉,或者改为False
。
(4) 回到爬虫文件。
更改start_url
,将爬虫默认的第一个网址更改为需要爬取的网站网址即可。
(5)下面就可以爬取数据了,这里选择了下载图片。
爬取完数据之后,要在存储数据的items.py
文件中传输给管道
接下来在爬虫文件中引入管道模型。
from ..items import ImageItem
在爬虫文件中的parse函数中使用在items.py文件中创建的数据模型。
item = ImageItem()
注意点:
有时候在终端输出的时候,如果返回内容是scrapy.selector
,如果对象类型是scrapy.selector
,那么这个对象可以被继续迭代,也可以用xpath继续寻找里面的内容。
如果终端遇到这个问题:
# ValueError:Missing scheme in request url:h
那么就需要使用extract()
将xpath对象转化成列表对象。而列表对象,可以继续被迭代,但是不可以使用xpath
来寻找里面的对象。
在下载之前还需要在settings.py文件中,对图片下载的路径和存储位置进行设置。
下面附代码如下。仅有爬虫文件的代码:
# -*- coding: utf-8 -*- import scrapy from ..items import ImageItem class ImagespiderSpider(scrapy.Spider): name = 'imageSpider' allowed_domains = ['pic.netbian.com'] start_urls = ['http://pic.netbian.com/4kmeinv/'] def parse(self, response): img_list = response.xpath('//ul[@class="clearfix"]/li/a/img/@src') # 找到了很多src属性值,现在进行遍历,分别使用每一个 for img in img_list: # 使用在items.py中创建的数据模型item item = ImageItem() print('--------------------') img = img.extract() # 拼接图片的url,得到完整的下载地址 src = 'http://pic.netbian.com' +img # 将得到的数据放入到模型中 # 因为是下载地址,所以要用列表包起来,否则会报错。 item['src'] = [src] yield item next_url = response.xpath('//div[@class="page"]/a[text()="下一页"]/@href').extract() print('*****************************************************************') if len(next_url)!=0: url = 'http://pic.netbian.com'+next_url[0] # 将url传给scrapy.Request 得到的结果继续用self.parse进行处理 yield scrapy.Request(url=url,callback=self.parse)
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
- 《丁当 20首重量级歌曲 Fu Good 下一站天后 2CD》[WAV/分轨][650MB]
- 歌莉雅.2012-My.Voice.Story【环星】【FLAC分轨】
- 群星.1993-一曲成名·青春无悔【飞碟】【WAV+CUE】
- 刘德华.2000-爱无知(金装版)【NEWMELODY】【WAV+CUE】
- 许巍《时光漫步》1CD[FLAC/分轨][804.3MB]
- 群星《2024第一季度百度歌曲排行抖音榜top100》1CD[FLAC/分轨][2.3GB]
- 张柏芝《全新经验》[FLAC/分轨][450MB]
- 唐朝.2008-浪漫骑士【音乐家】【WAV+CUE】
- 张芸京.2016-失败的高歌【泡耳音乐】【WAV+CUE】
- 群星.1991-音乐工厂1·皇后大道东【音乐工厂】【WAV+CUE】
- 群星.1992-音乐工厂2·首都【音乐工厂】【WAV+CUE】
- 群星.1994-音乐工厂3·儿童乐园【音乐工厂】【WAV+CUE】
- 胡鸿钧.2021-ex:CHANGE【星梦娱乐】【WAV+CUE】
- 班得瑞原装进口《第一张新世纪专辑:仙境》1CD[APE/CUE分轨][292.3MB]
- 伍佰《摇滚教父 伍佰黄金精选 2CD》[WAV+CUE][990MB]