python爬虫多线程实战：爬取美桌1080p壁纸图片

Python，可以帮忙抢票，可以爬虫东西，关于Python爬虫怎么做？今天教大家一个案例，python爬虫多线程实战：爬取美桌1080p壁纸图片

1 技术点分析

• 爬虫requests
• 多线程threading
• 文件io读写操作
• xpath 提取ur
• 正则

2 实战

2.1 分析url

搞清楚各个url 的关联
win4000.com/wallpaper_205_0_10_1.html

URL中与分类的关系：

wallpaper : 桌面壁纸

205 ：壁纸分类对应大陆明星

10 ：图片尺寸对应1920*1080

分析到这一部，我们知道 ，如果要需要其他类型的壁纸，只需要更改网站分类代码就可以了。

2.2 谷歌 charme ，通过右键检查

chrame 浏览器右键提示

按图顺序，依次找到对应的html标签。

通过查看，我们发现 中间展示 的图片是由一个ul 标签包裹的 多个Li

我们所要跳转的链接 就在 Li 标签中， 这时就需要使用xpath进行数据的提取。

到此，我们第一层url 的分析就完成了。可以写出以下代码段。


此时通过xpath 获到当前页面中的 ul 中所有li 标签了。

那单个明星的跳转链接只需要再次xpath 进行提取就Ok了。

完成到这里你的代码运行结果应该如下：是两个列表list。

2.3 准备下载图片

到这，完成第一步，你已经成功获到 每个明星的跳转链接 ：

url: win4000.com/wallpaper_detail_153895.html

再次进行url 的分析：

初步分析

通过上图的分析，可以找到这张图，是我们要 1080规格的。但很可惜，一共9张，现在只能找到一张图片的url。

选其中两张图片地址对比：

pic1.win4000.com/wallpaper/2018-12-26/5c22eb195abe8.jpg

pic1.win4000.com/wallpaper/2018-12-26/5c22eb1c722dc.jpg

好像就是后面文件名不同。如果一张张取是不是很麻烦？

不信你自己去试一下。点再分析一下页面，有个 【查看原图】 选项，点一下试试呢？

点击上图出，点完发现了url的变化。

再看看有没有惊喜的地方 ：

上图为url分析。

通过上图的分析 ，我们发现原来这个big页面有我们想要的所有 1080P的图片，而且，全是用ul 包裹，放到单个Li 标签中 。那简单了，用之前的办法 再提取一次，就出来了。代码如下：


到这里，我们第一步就完成了一页24个明星图片的地址url的爬取。第二步，完成了单个明星的1080图片地址url的爬取。下一步，我们把图片保存到本地就顺利结束。

2.4 图片保存

按需求，要单独到一个文件夹内。那我们就需要在本地路径内 创建对应的文件夹。此处使用 star_img_name 列表中的值。需要使用到i/o读写操作。

顺利完成

最后

如果有想学习爬虫的小伙伴，这里给大家分享一份Python爬虫学习资料和公开课，里面的内容都是适合零基础小白的笔记和资料，超多实战案例，不懂编程也能听懂、看懂。需要的话扫描下方二维码免费获得，让我们一起学习！

微信扫描下方CSDN官方认证二维码即可领取

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python学习软件

工欲善其事，必先利其器。学习Python常用的开发软件都在这里了！

三、Python入门学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

四、Python练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

五、Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。这份资料也包含在内的哈~

六、Python面试资料

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。


需要的小伙伴可自行微信扫描下方CSDN官方认证二维码免费领取！！