python网页爬虫漫画案例_利用python3爬虫爬取漫画岛-非人哉漫画

2023-11-26 07:50

本文主要是介绍python网页爬虫漫画案例_利用python3爬虫爬取漫画岛-非人哉漫画,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近学了一点点python爬虫的知识,面向百度编程爬了一本小说之后感觉有点不满足,于是突发奇想尝试爬一本漫画下来看看。

一、效果展示

网页截图:

1769790-20190815170011944-253150129.png

其次是爬取下来的效果:

1769790-20190815170912825-848219667.png

每一回的文件夹里面是这样的: (因为网站图片的问题...所以就成了这个鬼样子)

1769790-20190815170958989-2042220500.png

二、分析原理

1、准备:需要vscode或者其他能够编译运行python的软件,推荐python版本3.X ,否则有可能出现编译问题。

下载所需模块:win+R 进入命令行, 输入 pip install <模块名> 即可下载。例如:

pip install beautifulsoup4

2、原理: 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

三、实际操作(代码附在最后)

1、引入模块 (这里不再详述)

1769790-20190815191645326-1910802392.png

2、模拟浏览器访问网页

1769790-20190815191920402-232642095.png

(1)、 这里我们打开漫画的目录页,如下: url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ,此链接就是目录页链接。

1769790-20190815192144415-2081526072.png

(2)、按F12打开此网页的源码(谷歌浏览器),选中上方NetWork,Ctrl+R刷新。

1769790-20190815193118846-1527490915.png

(3)、找到加载网页的源码文件,点击Headers,如下图: Status Code表示网页返回的代码,值为200时表示访问成功。

1769790-20190815193345137-667380574.png

(4)、headers中的参数为下面红框User-Agent。

response = requests.get(url=url, headers=headers) #模拟访问网页

print(response) #此处应输出

print(response.text) #输出网页源码

两个输出分别输出:

1769790-20190815194525261-1888829037.png 输出返回200表示访问成功。

1769790-20190815194440827-1325790306.png(节选)

(5)、将html代码存入 data 中,xpath定位每一章链接。点击上方Element,点击:

1769790-20190815210400516-637096814.png

将鼠标移至目录处:

1769790-20190815210450941-1155136798.png

右边代码区域出现每一章链接:

1769790-20190815210248133-1639770304.png

data =etree.HTML(response.text)#tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')

tp = data.xpath('//*[@class="yesReader"]/@href')zhang_list = tp #tp为链接列表

输出zhang_list,结果如下:

1769790-20190815195620447-2088650887.png

(6)、获取图片链接(获取方式同上一步)

点进第一章,同上一步,寻找到图片链接:

1769790-20190815210847208-1074894486.png

1 i=1

2 for next_zhang inzhang_list: # 在章节列表中循环3 i=i+1

4 j=05 hui_url = r_url+next_zhang6 name1 = "第"+str(i)+"回"

7 file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) # 创建文件夹8 if notos.path.exists(file):9 os.makedirs(file)10 print('创建文件夹:', file)11 response = requests.get(url=hui_url, headers=headers) # 模拟访问每一章链接12 data =etree.HTML(response.text)13 #tp = data.xpath('//div[@class="no-pic"]//img/@src')

14 tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') # 定位15 ye_list = tp

(7)、下载图片

1 for k in ye_list: #在每一章的图片链接列表中循环

2 download_url =tp[j]3 print(download_url)4 j=j+1

5 file_name="第"+str(j)+"页"

6 response = requests.get(url=download_url) #模拟访问图片链接

7 with open(file+file_name+".jpg","wb") as f:8 f.write(response.content)

五、代码

1 '''

2 用于爬取非人哉漫画3 目标网址:http://www.manhuadao.cn/4 开始时间:2019/8/14 20:01:265 完成时间:2019/8/15 11:04:566 作者:kong_gu7 '''

8 importrequests9 importjson10 importtime11 importos12 from lxml importetree13 from bs4 importBeautifulSoup14

15

16 defmain():17 keyword="非人哉"

18 file = 'E:/{}'.format(keyword)19 if notos.path.exists(file):20 os.mkdir(file)21 print('创建文件夹:',file)22 r_url="http://www.manhuadao.cn/"

23 url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"

24 headers = { #模拟浏览器访问网页

25 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36'}26 response = requests.get(url=url, headers=headers)27 #print(response.text) # 输出网页源码

28 data =etree.HTML(response.text)29 #tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')

30 tp = data.xpath('//*[@class="yesReader"]/@href')31 zhang_list =tp32 i=1

33 for next_zhang inzhang_list:34 i=i+1

35 j=036 hui_url = r_url+next_zhang37 name1 = "第"+str(i)+"回"

38 file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) #这里需要自己设置路径

39 if notos.path.exists(file):40 os.makedirs(file)41 print('创建文件夹:', file)42 response = requests.get(url=hui_url, headers=headers)43 data =etree.HTML(response.text)44 #tp = data.xpath('//div[@class="no-pic"]//img/@src')

45 tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')46 ye_list =tp47 for k inye_list:48 download_url =tp[j]49 print(download_url)50 j=j+1

51 file_name="第"+str(j)+"页"

52 response = requests.get(url=download_url)53 with open(file+file_name+".jpg","wb") as f:54 f.write(response.content)55

56

57 if __name__ == '__main__':58 main()

第一次写博客,如果有写的不对的地方,请大佬指正,谢谢!_(:з」∠)_

这篇关于python网页爬虫漫画案例_利用python3爬虫爬取漫画岛-非人哉漫画的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/425347

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.