黑松山资源网 Design By www.paidiu.com
本文实例讲述了Python实现爬虫抓取与读写、追加到excel文件操作。分享给大家供大家参考,具体如下:
爬取糗事百科热门
安装 读写excel 依赖 pip install xlwt
安装 追加excel文件内容 依赖
pip install xlutils
安装
lxml
Python示例:
import csv import requests from lxml import etree import time import xlwt import os from xlutils.copy import copy import xlrd data_infos_list = [] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'} # f = open('C:\\Users\\Administrator\\Desktop\\qiubaibook.csv', 'a+', newline='', encoding='utf-8') # writer = csv.writer(f) # writer.writerow(('author', 'sex', 'rank', 'content', 'great', 'comment', 'time')) filename = 'C:\\Users\\Administrator\\Desktop\\qiubaibook.xls' def get_info(url): res = requests.get(url, headers=headers) selector = etree.HTML(res.text) # print(res.text) htmls = selector.xpath('//div[contains(@class,"article block untagged mb15")]') # // *[ @ id = "qiushi_tag_120024357"] / a[1] / div / span 内容 # //*[@id="qiushi_tag_120024357"]/div[2]/span[1]/i 好笑 # //*[@id="c-120024357"]/i 评论 # //*[@id="qiushi_tag_120024357"]/div[1]/a[2]/h2 作者 # //*[@id="qiushi_tag_120024357"]/div[1]/div 等级 # // womenIcon manIcon 性别 for html in htmls: author = html.xpath('div[1]/a[2]/h2/text()') if len(author) == 0: author = html.xpath('div[1]/span[2]/h2/text()') rank = html.xpath('div[1]/div/text()') sex = html.xpath('div[1]/div/@class') if len(sex) == 0: sex = '未知' elif 'manIcon' in sex[0]: sex = '男' elif 'womenIcon' in sex[0]: sex = '女' if len(rank) == 0: rank = '-1' contents = html.xpath('a[1]/div/span/text()') great = html.xpath('div[2]/span[1]/i/text()') # //*[@id="qiushi_tag_112746244"]/div[3]/span[1]/i if len(great) == 0: great = html.xpath('div[3]/span[1]/i/text()') comment = html.xpath('div[2]/span[2]/a/i/text()') # //*[@id="c-112746244"]/i if len(comment) == 0: comment = html.xpath('div[3]/span[2]/a/i/text()') # classes = html.xpath('a[1]/@class') # writer.writerow((author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(), # comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))) data_infos = [author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(), comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))] data_infos_list.append(data_infos) def write_data(sheet, row): for data_infos in data_infos_list: j = 0 for data in data_infos: sheet.write(row, j, data) j += 1 row += 1 if __name__ == '__main__': urls = ['https://www.qiushibaike.com/8hr/page/{}/'.format(num) for num in range(1, 14)] for url in urls: print(url) get_info(url) time.sleep(2) # 如果文件存在,则追加。如果文件不存在,则新建 if os.path.exists(filename): # 打开excel rb = xlrd.open_workbook(filename, formatting_info=True) # formatting_info=True 保留原有字体颜色等样式 # 用 xlrd 提供的方法获得现在已有的行数 rn = rb.sheets()[0].nrows # 复制excel wb = copy(rb) # 从复制的excel文件中得到第一个sheet sheet = wb.get_sheet(0) # 向sheet中写入文件 write_data(sheet, rn) # 删除原先的文件 os.remove(filename) # 保存 wb.save(filename) else: header = ['author', 'sex', 'rank', 'content', 'great', 'comment', 'time'] book = xlwt.Workbook(encoding='utf-8') sheet = book.add_sheet('糗百') # 向 excel 中写入表头 for h in range(len(header)): sheet.write(0, h, header[h]) # 向sheet中写入内容 write_data(sheet, 1) book.save(filename)
更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
黑松山资源网 Design By www.paidiu.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
黑松山资源网 Design By www.paidiu.com
暂无评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
2024年10月08日
2024年10月08日
- 《丁当 20首重量级歌曲 Fu Good 下一站天后 2CD》[WAV/分轨][650MB]
- 歌莉雅.2012-My.Voice.Story【环星】【FLAC分轨】
- 群星.1993-一曲成名·青春无悔【飞碟】【WAV+CUE】
- 刘德华.2000-爱无知(金装版)【NEWMELODY】【WAV+CUE】
- 许巍《时光漫步》1CD[FLAC/分轨][804.3MB]
- 群星《2024第一季度百度歌曲排行抖音榜top100》1CD[FLAC/分轨][2.3GB]
- 张柏芝《全新经验》[FLAC/分轨][450MB]
- 唐朝.2008-浪漫骑士【音乐家】【WAV+CUE】
- 张芸京.2016-失败的高歌【泡耳音乐】【WAV+CUE】
- 群星.1991-音乐工厂1·皇后大道东【音乐工厂】【WAV+CUE】
- 群星.1992-音乐工厂2·首都【音乐工厂】【WAV+CUE】
- 群星.1994-音乐工厂3·儿童乐园【音乐工厂】【WAV+CUE】
- 胡鸿钧.2021-ex:CHANGE【星梦娱乐】【WAV+CUE】
- 班得瑞原装进口《第一张新世纪专辑:仙境》1CD[APE/CUE分轨][292.3MB]
- 伍佰《摇滚教父 伍佰黄金精选 2CD》[WAV+CUE][990MB]