Python大显身手:轻松爬取百万张超清壁纸

2024-03-26 12:36

本文主要是介绍Python大显身手:轻松爬取百万张超清壁纸,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

安装:


pip install mechanicalsoup wget

完整实例:


#By Python_Fucker On 25/03/2024
from mechanicalsoup import StatefulBrowser
import re
import wget 
import osdef validateTitle(title):rstr = r"[\/\\\:\*\?\"\<\>\|]"  # '/ \ : * ? " < > |'new_title = re.sub(rstr, "_", title)  # 替换为下划线return new_title
def fuck_image(num):for i in range(1,num):#最多可以设置838页print(f"正在爬取第{i}页....")pram=""if i>1:pram=f"index_{i}.htm"browser = StatefulBrowser()if not os.path.exists("图片/"):os.mkdir("图片/")browser.open("http://www.netbian.com/1920x1080/"+pram)page = browser.get_current_page()links_info = [(a.attrs.get('href'), a.attrs.get('title')) for a in page.select('li a') if 'href' in a.attrs and 'title' in a.attrs]relevant_links = [(link, title) for link, title in links_info if '/desk/' in link]image_ids = [int(re.findall(r'\d+', link)[0]) for link, _ in relevant_links]for id, title in zip(image_ids, [title for _, title in relevant_links]):print(f"图片: {title}",f"\n下载链接:http://www.netbian.com/down.php?type=1&id={id}\n***\n")wget.download("http://www.netbian.com/down.php?type=1&id="+str(id),f"图片/{validateTitle(title)}.jpg")#下载if __name__ == '__main__':
#开始下载fuck_image(10)#设置下载页数,最高838

输出:

帽子 兽耳 动漫壁纸 更新时间:2024-03-10
下载链接:http://www.netbian.com/down.php?type=1&id=33336
***100% [..........................................................................] 1427129 / 1427129图片: 森林里的早晨 太阳 春天风景壁纸 更新时间:2024-03-09
下载链接:http://www.netbian.com/down.php?type=1&id=33335
***100% [..........................................................................] 2088366 / 2088366图片: 崩坏星穹铁道 流萤 彩虹 桌面壁纸 更新时间:2024-03-09
下载链接:http://www.netbian.com/down.php?type=1&id=33334
***100% [..........................................................................] 1267329 / 1267329图片: 王者荣耀 朵莉亚破晓壁纸 更新时间:2024-03-09
下载链接:http://www.netbian.com/down.php?type=1&id=33333
***100% [..........................................................................] 1502391 / 1502391图片: ins金克丝壁纸  更新时间:2024-03-08
下载链接:http://www.netbian.com/down.php?type=1&id=33329
***100% [............................................................................] 884812 / 884812图片: 可爱粉色长发女 孩 蓝色眼睛 动漫高清壁纸 更新时间:2024-03-08
下载链接:http://www.netbian.com/down.php?type=1&id=33328
***100% [..........................................................................] 1022907 / 1022907图片: 赵露思 健身美女桌面壁纸 更新时间:2024-03-08
下载链接:http://www.netbian.com/down.php?type=1&id=33332
***100% [............................................................................] 905004 / 905004图片: 健身美女赵露思 壁纸 更新时间:2024-03-08
下载链接:http://www.netbian.com/down.php?type=1&id=33330
***100% [............................................................................] 612394 / 612394图片: 健身美女赵露思 高清电脑壁纸 更新时间:2024-03-08
下载链接:http://www.netbian.com/down.php?type=1&id=33331
***100% [............................................................................] 717735 / 717735图片: 日落金山壁纸高 清 更新时间:2024-03-06
下载链接:http://www.netbian.com/down.php?type=1&id=33303
***100% [..........................................................................] 1551531 / 1551531

这篇关于Python大显身手:轻松爬取百万张超清壁纸的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848530

相关文章

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

Python 字符串占位

在Python中,可以使用字符串的格式化方法来实现字符串的占位。常见的方法有百分号操作符 % 以及 str.format() 方法 百分号操作符 % name = "张三"age = 20message = "我叫%s,今年%d岁。" % (name, age)print(message) # 我叫张三,今年20岁。 str.format() 方法 name = "张三"age

一道经典Python程序样例带你飞速掌握Python的字典和列表

Python中的列表(list)和字典(dict)是两种常用的数据结构,它们在数据组织和存储方面有很大的不同。 列表(List) 列表是Python中的一种有序集合,可以随时添加和删除其中的元素。列表中的元素可以是任何数据类型,包括数字、字符串、其他列表等。列表使用方括号[]表示,元素之间用逗号,分隔。 定义和使用 # 定义一个列表 fruits = ['apple', 'banana

Python应用开发——30天学习Streamlit Python包进行APP的构建(9)

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此,在许多 "只需绘制此图 "的情况下,该命令更易于使用,但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格,请尝试使用 st.altair_chart 指定所需的图表。 Function signa

python实现最简单循环神经网络(RNNs)

Recurrent Neural Networks(RNNs) 的模型: 上图中红色部分是输入向量。文本、单词、数据都是输入,在网络里都以向量的形式进行表示。 绿色部分是隐藏向量。是加工处理过程。 蓝色部分是输出向量。 python代码表示如下: rnn = RNN()y = rnn.step(x) # x为输入向量,y为输出向量 RNNs神经网络由神经元组成, python

python 喷泉码

因为要完成毕业设计,毕业设计做的是数据分发与传输的东西。在网络中数据容易丢失,所以我用fountain code做所发送数据包的数据恢复。fountain code属于有限域编码的一部分,有很广泛的应用。 我们日常生活中使用的二维码,就用到foutain code做数据恢复。你遮住二维码的四分之一,用手机的相机也照样能识别。你遮住的四分之一就相当于丢失的数据包。 为了实现并理解foutain

python 点滴学

1 python 里面tuple是无法改变的 tuple = (1,),计算tuple里面只有一个元素,也要加上逗号 2  1 毕业论文改 2 leetcode第一题做出来

Python爬虫-贝壳新房

前言 本文是该专栏的第32篇,后面会持续分享python爬虫干货知识,记得关注。 本文以某房网为例,如下图所示,采集对应城市的新房房源数据。具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。接下来,跟着笔者直接往下看正文详细内容。(附带完整代码) 正文 地址:aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v 目标:采集对应城市的

python 在pycharm下能导入外面的模块,到terminal下就不能导入

项目结构如下,在ic2ctw.py 中导入util,在pycharm下不报错,但是到terminal下运行报错  File "deal_data/ic2ctw.py", line 3, in <module>     import util 解决方案: 暂时方案:在终端下:export PYTHONPATH=/Users/fujingling/PycharmProjects/PSENe

将一维机械振动信号构造为训练集和测试集(Python)

从如下链接中下载轴承数据集。 https://www.sciencedirect.com/science/article/pii/S2352340918314124 import numpy as npimport scipy.io as sioimport matplotlib.pyplot as pltimport statistics as statsimport pandas