黑松山资源网 Design By www.paidiu.com
看网络小说一般会攒上一波,然后导入Kindle里面去看,但是攒的多了,机械的Ctrl+C和Ctrl+V实在是OUT,所以就出现了此文。
其实Python我也是小白,用它的目的主要是它强大文本处理能力和网络支持,以及许多好用的库,不需要自己造轮子。而且真心比C方便啊(真是用了才知道)
分析要获取的网页
我要获取的主要是3个东西:
- 文章的标题。<div id="title">正文 第一章 北灵院</div>
- 文章正文内容。<div id="content" style="line-height: 150%; color: rgb(0, 0, 0);">
- 下一章的URL。<a href="11455541.html" rel="external nofollow" >下一页</a>
还有就是注意网页的编码,这个网页的编码是GBK,但在实际运行过程中,我用GBK会出现网页解码错误:
UnicodeDecodeError: ‘gbk' codec can't decode bytes in position 2-3: illegal multibyte sequence
所以换用了gb18030,问题就解决了,因为一般修仙网络小说中,会出现各种王霸之气的文字,你们懂得,所以需要更加牛逼文字库,你们感受一下博大精深的字符编码。
源代码
我就知道,大家要这个,哈哈哈。
主函数
#主函数 if __name__ == '__main__': global numChapter global NOVERL NOVERL = '大主宰.txt' #NOVERL = '择天记.txt' NOVERL = '武动乾坤.txt' if(NOVERL == '大主宰.txt'): textStartURL = 'http://www.bxwx8.org/b/62/62724/11455540.html';#大主宰第一章的URL textStartURL = 'http://www.bxwx8.org/b/62/62724/28019405.html';#第一千两百三十七章 鬼大师 else: textStartURL = 'http://www.bxwx8.org/b/98/98289/17069215.html';#择天记第一章URL textStartURL = 'http://www.bxwx8.org/b/98/98289/28088874.html';#择天记第七十八章 合剑术 textStartURL = 'http://www.bxwx8.org/b/35/35282/5839471.html';#武动乾坤第一章 #textStartURL = 'http://www.bxwx8.org/b/35/35282/7620539.html';#武动乾坤 nextURL = textStartURL; isEnd = False f = open(NOVERL, 'w', encoding='utf-8') f.close() numChapter = 0; while(not isEnd): nextURL,isEnd = findNextTextURL(nextURL) print('end of capture!') print('获取到 ' + str(numChapter) + ' 章')
获取内容和下一章URL
#找到 下一章节的URL #获取小说内容 def findNextTextURL(url): global numChapter global NOVERL #如果nextURL == endURL 则返回false if(NOVERL == '大主宰.txt'): endURL = 'http://www.bxwx8.org/b/62/62724/index.html'#大主宰 headURL = 'http://www.bxwx8.org/b/62/62724/'#大主宰 else: endURL = 'http://www.bxwx8.org/b/98/98289/index.html'#择天记 headURL = 'http://www.bxwx8.org/b/98/98289/'#择天记 endURL = 'http://www.bxwx8.org/b/35/35282/index.html'#武动乾坤 headURL = 'http://www.bxwx8.org/b/35/35282/'#武动乾坤 isEnd = False resp = urllib.request.urlopen(url) #处理的字符的确是gbk的,但是其中夹杂的部分特殊字符, #是gbk编码中所没有的如果有些特殊字符是GB18030中有的,但是是gbk中没有的。 #则用gbk去解码,去所不支持的字符,也比如会出错。 #所以,此种情况,可以尝试用和当前编码(gbk)所兼容的但所包含字符更多的编码(gb18030)去解码,或许就可以了。 #allHtml = resp.read().decode('gbk')# allHtml = resp.read().decode('gb18030')# textSoup = BeautifulSoup(allHtml) #章节名 strChapter = textSoup.find(id='title').getText().split(r'【')[0] strChapter = strChapter.split(r'(')[0] strChapter = strChapter.replace('正文 ','') + '\n' numChapter = numChapter + 1 strID = '#' + str(numChapter) + '-' strChapter = strID + strChapter strChapter = strChapter + '\n------------------------------\n' + url + '\n------------------------------\n' #小说正文 strNovel = textSoup.find(id='content').getText() strNovel = strNovel.replace(' ','\n') #除去正文中多余的第XXX章 strMatch = r"第[\u4e00-\u9fa5]+章" list2replace = re.findall(strMatch, strNovel) if list2replace: str2replace = list2replace[0] strNovel = strNovel.replace(str2replace, '') #合并章节和正文 strNovel = strChapter + strNovel + '\n------------------------------\n------------------------------\n' #写到txt文件中 write2TXT(strNovel) #获取下一个章节的URL nextURL = re.findall(r'var next_page = "[\w]+.html"', allHtml)[0] nextURL = nextURL.replace(r'"', '') nextURL = nextURL.replace(r'var next_page = ', '') nextURL = headURL + nextURL print(numChapter)#章节数 print(strChapter)#章节名字 print((nextURL))#下一章URL if(endURL == nextURL): isEnd = True return nextURL,isEnd
写入TXT
#写到文本文件中 def write2TXT(txt): global NOVERL f = open(NOVERL, 'a', encoding='utf-8') f.write(txt + '\n\n') f.close()
结束语
三个说明:
- txt文本的编排肯定不好,而且在Kindle里面无法自动分章,多看阅读可以,原生系统就GG了,所以下一步可以用epubBuilder这款软件进行二次编排,输出mobi导入你的Kindle。
- 本程序只是针对这个网站而已,但是如果网站换了,细节性代码就得重新写了。不过大框架还可以用。
- 网络小说毒害有志青年,一入网文深是海,从此节操是路人,诸君且行且珍惜!
总结
以上就是本文关于Python下载网络小说实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
黑松山资源网 Design By www.paidiu.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
黑松山资源网 Design By www.paidiu.com
暂无评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
2024年10月08日
2024年10月08日
- 郭子.2001-原来你什么都不想要创作集丫滚石】【WAV+CUE】
- 《使命召唤:黑色行动6》新预告公布!10月25日发售
- Atlus《暗喻幻想》媒体评分汇总:高分好评如潮!
- 2024金摇杆奖提名揭晓 《黑神话》角逐最佳视觉设计!
- 群星《新说唱2024 第3期 (上)》[320K/MP3][32.76MB]
- 群星《新说唱2024 第3期 (上)》[FLAC/分轨][95.38MB]
- 群星《新说唱2024 第3期 (下)》[320K/MP3][31.36MB]
- 幻兽帕鲁手游什么时候正式上线 最新消息一览
- 西普大陆BOSS位置盘点 解锁天启纪元玩法
- 西普大陆精灵进阶培养攻略 精灵养成指南
- dnf手游法控法系职业哪个强 dnf手游法控法系职业强度排行
- 魔兽世界血藤护目镜图纸在哪买 wlk血藤护目镜图纸购买位置介绍
- 魔兽世界无畏远征军声望军需官在哪 wlk无畏远征军声望军需官坐标位置
- 逼迫中国选手弃权事件持续发酵 玩家抵制万代模型
- B社老员工在《星空》开发期间离职 他终于说出原因