本文主要是介绍趁网站还在！用python把次元岛COS小姐姐图集批量下载~，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
嗨喽，大家好呀~这里是爱看美女的茜茜呐
开发环境:
-
Python 3.10
-
Pycharm
模块使用:
-
requests >>> 数据请求模块
-
re >>> 匹配提取数据
-
os >>> 自动创建文件夹
如何安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
👇 👇 👇 更多精彩机密、教程，尽在下方，赶紧点击了解吧~
python源码、视频教程、插件安装教程、资料我都准备好了，直接在文末名片自取就可
爬虫基本实现流程: 从单个数据/单页数据开始分析 -> 多个/多页的数据采集
一. 数据来源分析
-
明确需求: 明确采集网站以及数据内容
-
网址: http://ciyuandao.com/photo/show/132425
-
数据: 图片链接 / 标题
-
-
抓包分析: 通过浏览器开发者工具分析数据对应位置
-
打开开发者工具: F12 / 右键点击检查选择network (网络)
-
刷新网页: 让网页数据内容重新加载一遍
-
点击Img, 查看图片链接数据 (单张图片链接)
图片链接: http://img.ciyuandao.com//works/article/d581b9a921343dc7db308ace1432b468.jpg?x-oss-process=image/auto-orient,1/resize,m_lfit,w_1440/quality,q_100
-
是否存在数据包: 包含了所有图片链接?
通过关键字去搜索对应数据包位置
关键字: 图片链接中一段内容
- http://ciyuandao.com/photo/show/132425
-
二. 代码实现步骤
-
发送请求 -> 模拟浏览器对于url地址发送请求
模拟浏览器: 请求头
请求网址: http://ciyuandao.com/photo/show/132425
请求方法: get
-
获取数据 -> 获取服务器返回响应数据 (整个网页的数据)
开发者: 响应 response
-
解析数据 -> 提取我们需要内容: 标题 / 图片链接
-
保存数据 -> 获取图片内容, 保存本地文件夹
代码展示
导入模块
# 导入数据请求模块 第三方模块
import requests
# 导入正则表达式模块 内置模块
import re
# 导入文件操作模块 内置模块
import os
模拟浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
多页采集
'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
for page in range(2, 6):print(f'=========正在采集第{page}页的数据内容=========')
请求网址
link = f'http://ciyuandao.com/photo/list/0-5-{page}'
发送请求
link_data = requests.get(url=link, headers=headers).text
提取图集ID
img_id_list = re.findall('<a href="/photo/show/(\d+)" class="tits grey">', link_data)
for循环遍历, 提取列表中ID
for img_id in img_id_list:
“”"
- 发送请求 -> 模拟浏览器对于url地址发送请求
“”"
请求网址
url = f'http://ciyuandao.com/photo/show/{img_id}'
发送请求
response = requests.get(url=url, headers=headers)
“”"
- 获取数据 -> 获取服务器返回响应数据 (整个网页的数据)
“”"
html_data = response.text
“”"
-
解析数据 -> 提取我们需要内容: 标题 / 图片链接
-
正则表达式 re
re.findall(‘数据’, ‘数据源’) -> 找到所有你想要的数据
从什么地方, 去找什么数据
从 html_data (网页数据) 中 去找这部分
(.<em>?) - 次元岛</em> 其中(.?)返回出来
-
“”"
标题
'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''title = re.findall('<title>(.*?) - 次元岛</title>', html_data)[0]
替换特殊字符
new_title = re.sub(r'[\\/:*?"<>|]', '', title)
图片链接
img_list = re.findall('<a href="javascript:;"><img src="(.*?)"></a>', html_data)
根据图集标题, 自动创建文件夹
filename = f'img\\{title}\\'
判断文件夹是否存在
if not os.path.exists(filename):
自动创建文件夹
os.makedirs(filename)print(title)
定义变量
num = 1
for循环遍历, 提取列表里面所有元素
for img in img_list:
“”"
- 保存数据 -> 获取图片内容, 保存本地文件夹
“”"
对于图片链接发送请求, 获取图片内容
img_content = requests.get(url=img, headers=headers).content
保存数据 -> 取名 (默认图片保存和代码放在一起)
with open(filename + new_title + str(num) + '.jpg', mode='wb') as f:
写入数据内容
'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''f.write(img_content)num += 1print(img)
图片展示
尾语
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉，有学习到一点知识~
躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。
最后，宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇
这篇关于趁网站还在！用python把次元岛COS小姐姐图集批量下载~的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
