Python零基础入门二十二之抓取妹子图

2024-01-17 21:10

本文主要是介绍Python零基础入门二十二之抓取妹子图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这篇博客主要是讲解从煎蛋网抓取妹子图。也算是对之前所学的爬虫的隐藏和代理的一个综合训练。
我们要想抓取一个网页的指定内容,我们首先需要踩点,所谓的踩点就是发现网页之间存在的联系、规律等等,以便实现我们的高效抓取。
首先我们对煎蛋网进行踩点.我们要实现的功能是抓取煎蛋网上10页中的所有图片,因此我们首先要找到页的地址,在去找到页中图片的地址。

这里写图片描述

这里写图片描述

我们通过对煎蛋网页面中页和图片进行检查,很容易便发现了页的地址与图片的地址,并且通过切换不同的页,找到了页与页之间的规律。

这里写图片描述

这里写图片描述

不同页之间只是页码号不同,其余均相同。踩好点之后我们便开始代码的编写。我们进行模块化编程,使用函数进行编写。

import urllib.request
import os#用于获得煎蛋网页面的函数
def url_open(url):req=urllib.request.Request(url)#添加header信息req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')response=urllib.request.urlopen(req)html=response.read()return html#用于从煎蛋网的网页中获得页面的地址的函数
def get_page(url):#将网页解码为Python能够处理的Unicode编码html=url_open(url).decode('utf-8')a=html.find('current-comment-page')+23b=html.find(']',a)print(html[a:b])return html[a:b]#用于从煎蛋网的页面中找到图片地址的函数
def find_imgs(url):html=url_open(url).decode('utf-8')img_addrs=[]#find函数若找不到要找到的字符串则会返回-1a=html.find('img src=')while a!=-1:#给定.jpg的寻找范围,注意不要太大b=html.find('.jpg',a,a+100)#如果顺利找到.jpg,说明找到了完整的图片的地址,则进行保存if b!=-1:#对图片进行保存时要格外注意,因为现在使用了泛解析,有的地址不会#明确给出http的协议名,有的地址有会给出http,#这对于我们的抓取带来了一定的麻烦,因此我们要分两种情况进行讨论#这样才不会出现地址错误的异常if 'http' not in html[a+9:b+4]:img_addrs.append('http:'+html[a+9:b+4])else:img_addrs.append(html[a+9:b+4])else:#如果找不到.jpg,则应将b+9,因为下一次循环是从这一次结束开始的#如果不进行这个操作,则b=-1,则无法进行下一次寻找,之所以加9#是因为img src="正好是9个字节b=a+9#继续进行下一次寻找,只有一个参数,表示从这个点开始下一次寻找a=html.find('img src=',b)return img_addrs
#用于保存图片的函数
def save_imgs(folder,img_addrs):for each in img_addrs:#[-1]表示从右边数第一个参数filename=each.split('/')[-1]f=open(filename,'wb')img=url_open(each)f.write(img)
def download_mm(folder='OOXX',pages=10):#在当前的文件夹(python.exe所在的文件)下创建新的文件夹os.mkdir(folder)#将目录切换到该文件夹os.chdir(folder)url="http://jandan.net/ooxx/"#这里的地址是一层套着一层#页面的地址在网页中抓取#而页面中的图片在在页面的地址下抓取#注意层层递进的关系page_num=int(get_page(url))for i in range(pages):#使用循环获取10页的内容page_num-=i#获取每一页的地址page_url=url+'page-'+str(page_num)+'#comments'#在每一页中找到图片img_addrs=find_imgs(page_url)#保存图片save_imgs(folder,img_addrs)
if __name__=='__main__':download_mm()

上述代码中已经有了很详细的解释,我被这个程序卡了一天多的bug,主要原因在于在获得图片的地址时对于http协议头部的处理,一开始都加,结果是有的地址出现了双http,而如果不加上http,则缺少http又不能访问,所以在爬取的时候一定要仔细认真。

最后将抓取的资源放上:

这里写图片描述

这也是第一个正式的爬虫,还是有点小激动,接下来还是继续加油!

这篇关于Python零基础入门二十二之抓取妹子图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/617229

相关文章

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict:处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见,

使用Python绘制可爱的招财猫

《使用Python绘制可爱的招财猫》招财猫,也被称为“幸运猫”,是一种象征财富和好运的吉祥物,经常出现在亚洲文化的商店、餐厅和家庭中,今天,我将带你用Python和matplotlib库从零开始绘制一... 目录1. 为什么选择用 python 绘制?2. 绘图的基本概念3. 实现代码解析3.1 设置绘图画

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》:本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分(获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并)、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小

python实现自动登录12306自动抢票功能

《python实现自动登录12306自动抢票功能》随着互联网技术的发展,越来越多的人选择通过网络平台购票,特别是在中国,12306作为官方火车票预订平台,承担了巨大的访问量,对于热门线路或者节假日出行... 目录一、遇到的问题?二、改进三、进阶–展望总结一、遇到的问题?1.url-正确的表头:就是首先ur

基于Python实现PDF动画翻页效果的阅读器

《基于Python实现PDF动画翻页效果的阅读器》在这篇博客中,我们将深入分析一个基于wxPython实现的PDF阅读器程序,该程序支持加载PDF文件并显示页面内容,同时支持页面切换动画效果,文中有详... 目录全部代码代码结构初始化 UI 界面加载 PDF 文件显示 PDF 页面页面切换动画运行效果总结主