Python爬虫实战(四) Python鬼灭漫画爬取+简单JS分析

2023-12-05 05:08

本文主要是介绍Python爬虫实战(四) Python鬼灭漫画爬取+简单JS分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本次爬取仅供学习,无任何商业用途
在这里插入图片描述

猪油骨,拿来卤~今天,来分享一下python图片爬取+简单JS分析

爬取网址:漫画地址
(这个网站只更新到188话,实际上已经有200多话了)

目录

      • 一、获取所有章节URL地址
      • 二、解析图片地址,进行简单JS解密
      • 三、翻页分析
      • 全部代码

一、获取所有章节URL地址

打开网址后,使用Chrome抓包,发现所有章节的数据如下所示:
在这里插入图片描述

def get_html(url):r=requests.get(url,headers=header)r.encoding='gbk'if r.status_code==200:return r.textexcept:print('网络连接异常')def get_total_chapter():data=json.loads(get_html(url))chapter_total=data['Comics'][3]['Chapters']for item in chapter_total:yield item.get('Url')

二、解析图片地址,进行简单JS解密

点击进入第一话后,分析网页源码,发现图片保存在a标签下的img中,但是需要爬取的src是用javascript写的!这个时候直接用lxml库去解析是拿不到图片的。
在这里插入图片描述
这里,我们先分析图片链接的组成,用正则把提取出来即可。

src='"+m201304d+"newkuku/2016/02/15/鬼灭之刃][第1话/JOJO_001513.jpg'

其中,m201304是加密的部分,这个网站比较简单,直接找到js4.js文件,即可发现m201304对应的是http://v2.kukudm.com/,除此之外还有三个加密码,我们可以构建成列表,用if判断是否含如下加密码,再用replace替换即可。
在这里插入图片描述

三、翻页分析

在这里插入图片描述
在这里插入图片描述
分析URL可知,第一话共54页,通过改变末尾的/number.html即可实现翻页

全部代码

所有图片都放在桌面的comic文件夹

import requests
import json
import os
import re
import time
os.chdir('C:/Users/dell/Desktop/comic')
url='https://api.soman.com/soman.ashx?action=getsomancomicdetail&comicname=%E9%AC%BC%E7%81%AD%E4%B9%8B%E5%88%83&source=kuku%E5%8A%A8%E6%BC%AB'
header={'user-agent':"Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10"}def get_html(url):r=requests.get(url,headers=header,timeout=10)r.encoding='gbk'if r.status_code==200:return r.textelse:print('网络连接异常')def get_total_chapter():data=json.loads(get_html(url))chapter_total=data['Comics'][3]['Chapters']for item in chapter_total:yield item.get('Url')def save_items(url,count):r=requests.get(url,headers=header,timeout=5)with open('./第{}话/'.format(count)+str(int(time.time()))+'.jpg','wb') as f:f.write(r.content)def get_all_img():  #得到每话总图片数src_list=["m200911d","m201001d","m201304d","k0910k"]count=0for chapter in get_total_chapter():try:count+=1os.makedirs('./第{}话'.format(count))pat='共(.*?)页'total_page=re.search(pat,get_html(chapter)).group(1)for page in range(1,int(total_page)+1):pat1='<IMG SRC=(.*)></a>'src=re.search(pat1,get_html(chapter)).group(1)for item in src_list:if item in src_list:src=src.replace("+"+item+"+",'http://v2.kukudm.com/').replace('"','')            save_items(eval(src),count)print('第{}话第{}页爬取完成'.format(count,page))now_page=re.search('.*/(.*)\.htm',chapter).group(1)chapter=chapter.replace(str(now_page)+'.htm',str(page+1)+'.htm')except:print('未爬取到数据')
if __name__=='__main__':get_all_img()

最终爬取的漫画如下(这里仅作示例,只爬取了前10话的内容):
在这里插入图片描述
在这里插入图片描述
10话大概爬取了25分钟左右,算下来,爬完188话,也要7个多小时…后续可以用多进程方法加速一下爬取速度。

这篇关于Python爬虫实战(四) Python鬼灭漫画爬取+简单JS分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/456269

相关文章

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句

利用Python打造一个Excel记账模板

《利用Python打造一个Excel记账模板》这篇文章主要为大家详细介绍了如何使用Python打造一个超实用的Excel记账模板,可以帮助大家高效管理财务,迈向财富自由之路,感兴趣的小伙伴快跟随小编一... 目录设置预算百分比超支标红预警记账模板功能介绍基础记账预算管理可视化分析摸鱼时间理财法碎片时间利用财

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

使用Python和Pyecharts创建交互式地图

《使用Python和Pyecharts创建交互式地图》在数据可视化领域,创建交互式地图是一种强大的方式,可以使受众能够以引人入胜且信息丰富的方式探索地理数据,下面我们看看如何使用Python和Pyec... 目录简介Pyecharts 简介创建上海地图代码说明运行结果总结简介在数据可视化领域,创建交互式地

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

python获取网页表格的多种方法汇总

《python获取网页表格的多种方法汇总》我们在网页上看到很多的表格,如果要获取里面的数据或者转化成其他格式,就需要将表格获取下来并进行整理,在Python中,获取网页表格的方法有多种,下面就跟随小编... 目录1. 使用Pandas的read_html2. 使用BeautifulSoup和pandas3.

Python装饰器之类装饰器详解

《Python装饰器之类装饰器详解》本文将详细介绍Python中类装饰器的概念、使用方法以及应用场景,并通过一个综合详细的例子展示如何使用类装饰器,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. 引言2. 装饰器的基本概念2.1. 函数装饰器复习2.2 类装饰器的定义和使用3. 类装饰