Python瀑布流爬虫-爬取360美女图片+爬取百度美女图片(嘿嘿~)

2023-10-12 19:10

本文主要是介绍Python瀑布流爬虫-爬取360美女图片+爬取百度美女图片(嘿嘿~),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天编写脚本的目的是什么?看美女,看美女,看美女(重要的事情说三遍),不过看美女可以缓解疲劳,在这个浮躁的社会里我希望沉淀下自己的灵魂。嘿嘿~                                                                          

                                               

 

Python瀑布流爬虫

1、爬虫认识

2、Python与爬虫

3、关于爬取图片的设想

4、瀑布流爬虫的分析

实战:快速爬取360网站图片

实战:快速爬取百度图片瀑布流爬虫实现,批量下载图片!

1、爬虫认识

爬虫(spider:网络蜘蛛):是一个用脚本代替浏览器请求服务器获取服务器资源的程序。

我们知道什么是爬虫了,无非就是模拟浏览器去请求服务器,那什么是瀑布流爬虫呢?为啥这个名字这么吊?它又有什么前尘往事呢,让我们走进科学~不~走进它深入探究下……

                                                                                                                                                       -----Smile Mr

什么是瀑布流?

我们数据比较多的时候,为了更好用户体验节省服务器资源,我们进行渐进式的加载。

顾名思义,瀑布流肯定数据量很大,然后进行用户体验非常好的渐进式加载,让我们一直下拉就会有不同的数据展示,来来来,让我们通过图来走两步~

                         

没错,同志们,就是这味道,一下拉就会有神奇的事情发生,实在是太棒了~

2、Python与爬虫

上面的种种举例大家都可能在脑海中有一定的印象了,什么是瀑布流,不过,关键的时候还需要实操下,对不,想要看瀑布流网页效果的,请单击: 我 自行体验下,36D的非一般的感觉。

下面的例子按照:https://image.baidu.com/这个例子来做的,其实效果都是一样滴,不过百度的美女实在太暴力了,鄙人受不鸟,所以用唯美替代了,毕竟生活中我也是一个小清新呢~

                                                                                 

    结构分析

            

 

抓包分析

             

              

访问抓包数据

            

经过上面的紧张略微带刺激的分析,嘿嘿(流鼻血~),我发现,下面几个规律:

1.  图片来源js的渲染

2.  使用的ajax技术

3.  返回json数据

4.  每次下拉都会请求一个url地址

5.  每次请求的url地址具体的参数都有一定的规律

讲到这里老铁们,都差不多了解了,我们只需要拿到具体的 json数据(响应体),然后进行转换提取就欧了~真是so easy~

废话不多说,老规矩,直接上代码, 我们开始尝试编写代码,先介绍下我自己的环境啊哈~

Pycharm 编译器 2018.2.3版本

Python3.7.2 

requests(这是网络请求包,需要下载  :pip install requests)

实战:爬取360图片,将图片保存在本地

import  requests,time
from urllib import request
url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'
headers= {'Referer': 'http://image.so.com/z?ch=beauty','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
}
str_data = '''ch: beauty
sn: 120
listtype: new
temp: 1
'''
send_data = {}
for data in str_data.splitlines():line_data = data.split(': ')if len(line_data) == 2:key,value = line_dataif key and value:send_data[key] = value
response = requests.get(url,headers=headers,params=send_data)json_data = response.json()['list']for index,src in enumerate(json_data):image_url = src['qhimg_url']try:image_name = './image/'+image_url[-8:]request.urlretrieve(url=image_url,filename=image_name)except Exception as e:print(e)else:print('{} is download'.format(image_name))

运行效果如下:

  

实战:百度图片下载

import time
import requests
from urllib import request
url = 'http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%94%AF%E7%BE%8E&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%94%AF%E7%BE%8E&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&selected_tags=&pn=30&rn=30&gsm=1e&1545019467831='
headers = {
'Referer': 'http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=%E5%94%AF%E7%BE%8E',
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
}data_str = '''
tn: resultjson_com
ipn: rj
ct: 201326592
is:
fp: result
queryWord: 唯美
cl: 2
lm: -1
ie: utf-8
oe: utf-8
adpicid:
st:
z:
ic:
hd:
latest:
copyright:
word: 唯美
s:
se:
tab:
width:
height:
face:
istype:
qc:
nc: 1
fr:
expermode:
selected_tags:
pn: 30
rn: 60
gsm: 1e
1545019467831:
'''
send_data = {}
for line in data_str.splitlines():line_data = line.split(': ')if len(line_data) == 2:key,value = line_dataif key and value:send_data[key] = value
response = requests.get(url= url,headers = headers,params=send_data)
content = response.json()['data']
print(content)
num = 1for index,src in enumerate(content):img_url = src.get('middleURL')if img_url:name = './image/iamge_%s_%s.png'%('唯美',index)try:request.urlretrieve(url = img_url,filename=name)except Exception as e:print(e)else:print('%s is down'%name)time.sleep(2)

 接下来我们进行简单的封装:

from urllib import request
import requests,os,time
def get_image(keywords,num):url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E9%AC%BC%E5%88%80&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word=%E9%AC%BC%E5%88%80&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=150&rn=30&gsm=96&1545877953682='headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36','Host': 'image.baidu.com','Referer': 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1545877913556_R&pv=&ic=&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&hs=2&word=%E9%AC%BC%E5%88%80',}data = '''tn: resultjson_comipn: rjct: 201326592is:fp: resultqueryWord: 鬼刀cl: 2lm: -1ie: utf-8oe: utf-8adpicid:st: -1z:ic:hd:latest:copyright:word: 鬼刀s:se:tab:width:height:face: 0istype: 2qc:nc: 1fr:expermode:force:pn: 30rn: 30gsm: 961545877953682:'''sendData = {}send_data = data.splitlines()try:for i in send_data:data_list = i.split(': ')if len(data_list) == 2:key,value = data_listif key and value:sendData[key] = valueexcept Exception as e:print(e)sendData['word'] = sendData['queryWord'] = keywordssendData['rn'] = str(30*num)response = requests.get(url=url,headers=headers,params=sendData)content = response.json()['data']for index,src in enumerate(content):# index =str(index).zfill(2)image_url = src.get('middleURL')if os.path.exists('image')passelse:os.mkdir('image')if image_url and os.path.exists('image'):name = './image/image_%s_%s.png'%(index,keywords)try:request.urlretrieve(url=image_url,filename=name)except Exception as e:print(e)else:print('%s is download'%name)time.sleep(1)
# print(content)
if __name__ == '__main__':keywords = input('请输入你要的内容:')num = int(input('请输入你想要的数量:'))get_image(keywords,num)

运行结果如下:

时间有限,该下班了,我就写到这里,封装的并不是很完美,但是我需要下班,放飞下自我喽~

生命诚可贵,爱情价更高,若为自由故,两个皆可抛

                                                                                                                                           -----Smile Mr

 

 

 

这篇关于Python瀑布流爬虫-爬取360美女图片+爬取百度美女图片(嘿嘿~)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/197867

相关文章

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中,很多工作都需要与数据打交

使用Python实现在Word中添加或删除超链接

《使用Python实现在Word中添加或删除超链接》在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能,本文将为大家介绍一下Python如何实现在Word中添加或... 在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能。通过添加超

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

利用Python编写一个简单的聊天机器人

《利用Python编写一个简单的聊天机器人》这篇文章主要为大家详细介绍了如何利用Python编写一个简单的聊天机器人,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 使用 python 编写一个简单的聊天机器人可以从最基础的逻辑开始,然后逐步加入更复杂的功能。这里我们将先实现一个简单的

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”,帮你按时关掉电脑,而且全程不需要你多做

Python实现高效地读写大型文件

《Python实现高效地读写大型文件》Python如何读写的是大型文件,有没有什么方法来提高效率呢,这篇文章就来和大家聊聊如何在Python中高效地读写大型文件,需要的可以了解下... 目录一、逐行读取大型文件二、分块读取大型文件三、使用 mmap 模块进行内存映射文件操作(适用于大文件)四、使用 pand

python实现pdf转word和excel的示例代码

《python实现pdf转word和excel的示例代码》本文主要介绍了python实现pdf转word和excel的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录一、引言二、python编程1,PDF转Word2,PDF转Excel三、前端页面效果展示总结一