百度图片下载脚本

2024-03-19 22:08
文章标签 百度 脚本 图片下载

本文主要是介绍百度图片下载脚本,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    最近爬虫炒的越来越火,我也想加入其中一探究竟,闲来无聊,手动修改了一个在百度网爬取图片的脚本.

    一.代码详细讲解介绍:

    1.头文件介绍

    

import itertools
import urllib
import requests
import os
import re
import sys

    在脚本中用到了不少库,理所当然的库有request和urllib,正则表达式库re同样是是免不了的,os和sys则是对文件之类的一些操作了,知道你们都懂.

    Python的内建模块itertools提供的是用于操作迭代对象的函数.具体使用方式可以百度.

    2.建立字典

str_table = {'_z2C$q': ':',
    '_z&e3B': '.',
    'AzdH3F': '/'
}char_table = {'w': 'a',
    'k': 'b',
    'v': 'c',
    '1': 'd',
    'j': 'e',
    'u': 'f',
    '2': 'g',
    'i': 'h',
    't': 'i',
    '3': 'j',
    'h': 'k',
    's': 'l',
    '4': 'm',
    'g': 'n',
    '5': 'o',
    'r': 'p',
    'q': 'q',
    '6': 'r',
    'f': 's',
    'p': 't',
    '7': 'u',
    'e': 'v',
    'o': 'w',
    '8': '1',
    'd': '2',
    'n': '3',
    '9': '4',
    'c': '5',
    'm': '6',
    '0': '7',
    'b': '8',
    'l': '9',
    'a': '0'
}

    str的translate方法要用单个字符的十进制unicode编码作为key,而value中的数字会被当做十进制unicode编码转换成字符,

    其实最简单的也可以使用字符串作为value


    废话不多说,直接上代码:解码图片URL

def decode(url):# 先替换字符串
    for key, value in str_table.items():url = url.replace(key, value)# 再替换剩下的字符
    return url.translate(char_table)

生成网址列表函数:

def buildUrls(word):word = urllib.quote(word)url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
    urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60))return urls

免不了使用正则表达式,解析图片URL

re_url = re.compile(r'"objURL":"(.*?)"')

好难介绍,还不如直接上代码哈

def resolveImgUrl(html):imgUrls = [decode(x) for x in re_url.findall(html)]return imgUrlsdef downImg(imgUrl, dirpath, imgName):filename = os.path.join(dirpath, imgName)try:res = requests.get(imgUrl, timeout=15)if str(res.status_code)[0] == "4":print(str(res.status_code), ":", imgUrl)return False
    except Exception as e:print("抛出异常:", imgUrl)print(e)return False
    with open(filename, "wb") as f:f.write(res.content)return True


def mkDir(dirName):dirpath = os.path.join(sys.path[0], dirName)if not os.path.exists(dirpath):os.mkdir(dirpath)return dirpath

    在上面的程序读懂之后,然后我们可以进入正题了

if __name__ == '__main__':print("欢迎使用百度图片下载脚本!\n目前仅支持单个关键词。")print("下载结果保存在脚本目录下的results文件夹中。")print("=" * 50)word = raw_input("请输入你要下载的图片关键词:\n")#word ="csdn"
    # dirpath = mkDir("results")
    dirpath = mkDir(word)urls = buildUrls(word)index = 0
    for url in urls:print("正在请求:", url)html = requests.get(url, timeout=10).content.decode('utf-8')imgUrls = resolveImgUrl(html)if len(imgUrls) == 0:  # 没有图片则结束
            break
        for url in imgUrls:if downImg(url, dirpath, str(index) + ".jpg"):index += 1
                # print("已下载"+str(index)+",图片地址为:"+url)
                print('已下载第' + str(index) + '张图片,图片地址:' + str(url))# print("已下载 %s " % index)

运行便会出现下面的情形

这样,我们就可以下载百度图片了,开不开心,次不下刺激,下次使用多线程跑代码,让爬取的速度更加快速.

这篇关于百度图片下载脚本的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/827377

相关文章

通过Python脚本批量复制并规范命名视频文件

《通过Python脚本批量复制并规范命名视频文件》本文介绍了如何通过Python脚本批量复制并规范命名视频文件,实现自动补齐数字编号、保留原始文件、智能识别有效文件等功能,听过代码示例介绍的非常详细,... 目录一、问题场景:杂乱的视频文件名二、完整解决方案三、关键技术解析1. 智能路径处理2. 精准文件名

web网络安全之跨站脚本攻击(XSS)详解

《web网络安全之跨站脚本攻击(XSS)详解》:本文主要介绍web网络安全之跨站脚本攻击(XSS)的相关资料,跨站脚本攻击XSS是一种常见的Web安全漏洞,攻击者通过注入恶意脚本诱使用户执行,可能... 目录前言XSS 的类型1. 存储型 XSS(Stored XSS)示例:危害:2. 反射型 XSS(Re

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用:为什么需要这种转换技术解析:代码实现详解核心代码展示改进点说明实战演练:从Excel到

Python脚本实现图片文件批量命名

《Python脚本实现图片文件批量命名》这篇文章主要为大家详细介绍了一个用python第三方库pillow写的批量处理图片命名的脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言源码批量处理图片尺寸脚本源码GUI界面源码打包成.exe可执行文件前言本文介绍一个用python第三方库pi

shell脚本自动删除30天以前的文件(最新推荐)

《shell脚本自动删除30天以前的文件(最新推荐)》该文章介绍了如何使用Shell脚本自动删除指定目录下30天以前的文件,并通过crontab设置定时任务,此外,还提供了如何使用Shell脚本删除E... 目录shell脚本自动删除30天以前的文件linux按照日期定时删除elasticsearch索引s

10个Python自动化办公的脚本分享

《10个Python自动化办公的脚本分享》在日常办公中,我们常常会被繁琐、重复的任务占据大量时间,本文为大家分享了10个实用的Python自动化办公案例及源码,希望对大家有所帮助... 目录1. 批量处理 Excel 文件2. 自动发送邮件3. 批量重命名文件4. 数据清洗5. 生成 PPT6. 自动化测试

使用Java实现一个解析CURL脚本小工具

《使用Java实现一个解析CURL脚本小工具》文章介绍了如何使用Java实现一个解析CURL脚本的工具,该工具可以将CURL脚本中的Header解析为KVMap结构,获取URL路径、请求类型,解析UR... 目录使用示例实现原理具体实现CurlParserUtilCurlEntityICurlHandler

10个Python Excel自动化脚本分享

《10个PythonExcel自动化脚本分享》在数据处理和分析的过程中,Excel文件是我们日常工作中常见的格式,本文将分享10个实用的Excel自动化脚本,希望可以帮助大家更轻松地掌握这些技能... 目录1. Excel单元格批量填充2. 设置行高与列宽3. 根据条件删除行4. 创建新的Excel工作表5

Linux中shell解析脚本的通配符、元字符、转义符说明

《Linux中shell解析脚本的通配符、元字符、转义符说明》:本文主要介绍shell通配符、元字符、转义符以及shell解析脚本的过程,通配符用于路径扩展,元字符用于多命令分割,转义符用于将特殊... 目录一、linux shell通配符(wildcard)二、shell元字符(特殊字符 Meta)三、s

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用