Python爬虫--爬取糗事百科段子

本文主要是介绍Python爬虫--爬取糗事百科段子，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

爬取糗事百科段子：

段子在 <div class="content"> 里面的 <span> 标签里面

不过这里有个坑，div 标签跟 span 标签 之间有很多空行

普通 .*? 是匹配不了的，需要使用模式修饰符 S

S 的意思 让 .(点) 匹配，包括换行符

---

我们来爬文字的段子

先看看他的 url 有什么规律，

https://www.qiushibaike.com/text/page/1/

第一页就是 1 ，第 2 页就是 2

代码跟之前几乎一样，只是正则不同，应该不需要怎么介绍了

代码：

import urllib.request
import re
import timeheaders = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36")opener = urllib.request.build_opener()opener.addheaders = [headers]urllib.request.install_opener(opener)  # 安装为全局for i in range(1,5):this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'resut = re.compile(path,re.S).findall(data)for j in resut:print(j)time.sleep(0.5)

运行效果就这样

如果怕请求出错的话，

可以使用 try except 方法来捕获异常

这篇关于Python爬虫--爬取糗事百科段子的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---