Python_爬虫_多线程入门_一蓑烟雨任平生

2023-10-28 08:30

本文主要是介绍Python_爬虫_多线程入门_一蓑烟雨任平生,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、基础知识
  • 二、Demo代码
  • 总结


前言

使用这篇Dome的代码可以入门多线程


一、基础知识

1.python多线程 生产者与消费者模式官方文档:17.1. threading — 基于线程的并行点这里
两个案例参考:用Python多线程实现生产者消费者模式点这里
python-多线程3-生产者消费者点这里

2.@property 装饰器既要保护类的封装特性,又要让开发者可以使用“对象.属性”的方式操作操作类属性,除了使用 property() 函数,Python 还提供了 @property 装饰器。
通过 @property 装饰器,可以直接通过方法名来访问方法,不需要在方法名后添加一对“()”小括号。
参考:点这里

3.@staticmethod 静态方法@staticmethod 静态方法只是名义上归属类管理,但是不能使用类变量和实例变量,是类的工具包 放在函数前(该函数不传入self或者cls),所以不能访问类属性和实例属性。
参考:Python进阶-----静态方法(@staticmethod)点这里
Python staticmethod() 函数点这里

4.Queue 队列queue 模块实现多生产者,多消费者队列。当信息必须安全的在多线程之间交换时,它在线程编程中是特别有用的。
此模块中的 Queue 类实现了所有锁定需求的语义。Queue.put(item, block=True, timeout=None) 将 item 放入队列。如果可选参数 block 是 true 并且 timeout 是 None (默认),则在必要时阻塞至有空闲插槽可用。如果 timeout 是个正数,将最多阻塞 timeout 秒,如果在这段时间没有可用的空闲插槽,将引发 Full 异常。
反之 (block 是 false),如果空闲插槽立即可用,则把 item 放入队列,否则引发 Full 异常 ( 在这种情况下,timeout 将被忽略)。
参考:17.7. queue — 一个同步的队列类点这里 还是推荐和尝试去阅读官方文档,慢慢理解和实践!

二、Demo代码

# BillWang 博闻 采集
# 微信:15838129129
# -*- coding: UTF-8 -*-
import requests
import os, random, re
from lxml import etree
import threading
from queue import Queueclass Httprequest(object):ua_list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36Chrome 17.0','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0Firefox 4.0.1','Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1','Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50','Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',]@property  # 把方法变成属性的装饰器def random_headers(self):return {'User-Agent': random.choice(self.ua_list)}# 生产者模式
class Procuder(threading.Thread, Httprequest):def __init__(self, page_queue, img_queue, *args, **kwargs):super(Procuder, self).__init__(*args, **kwargs)self.url = "http://www.billwang.net/html/blogs/"self.page_queue = page_queueself.img_queue = img_queuedef run(self):while True:if self.page_queue.empty():breakurl = self.page_queue.get()self.get_list(url)def get_list(self, url):print(f">>> 正在爬取列表页 {url}")html = requests.get(url, headers=self.random_headers, timeout=5).content.decode('utf-8')req = etree.HTML(html)hrefs = req.xpath('//div[@class="txtbox"]/a/@href')for href in hrefs:href = f'{self.url.split("/html")[0]}{href}'self.get_content(href)def get_content(self, url):print(f">>> 正在爬取详情页 {url}")html = requests.get(url, headers=self.random_headers, timeout=5).content.decode('utf-8')req = etree.HTML(html)title = req.xpath('//div[@class="detail-con"]/h1[@class="title"]/text()')[0]h1 = self.validate_title(title)content = req.xpath('//div[@class="content"]//text()')content = self.deal_content(content)content_req = req.xpath('//div[@class="content"]')[0]imgs = content_req.xpath('*//img/@src')data = (h1, content, imgs)print(data)self.img_queue.put(data)@staticmethoddef validate_title(title):pattern = r"[\/\\\:\*\?\"\<\>\|]"new_title = re.sub(pattern, "_", title)  # 替换为下划线return new_title@staticmethod  # @staticmethod 静态方法只是名义上归属类管理,但是不能使用类变量和实例变量,是类的工具包放在函数前(该函数不传入self或者cls),所以不能访问类属性和实例属性def deal_content(content):content.remove('\n        ')content.remove('        ')content = ' '.join(content)content = content.replace('免责声明:本站目的在于分享更多信息,不代表本站的观点和立场,版权归原作者所有。若有侵权或异议请联系我们删除。', '')return content# 消费者模式
class Consumer(threading.Thread, Httprequest):def __init__(self, page_queue, img_queue, *args, **kwargs):super(Consumer, self).__init__(*args, **kwargs)self.page_queue = page_queueself.img_queue = img_queueself.path = f'billw/'def save_content(self, h1, content, path):os.makedirs(self.path, exist_ok=True)  # 创建文件夹print(f">>> 开始保存 {h1}文本内容")text = '%s%s%s' % (h1, '\n', content)with open(f'{path}{h1}.txt', 'w', encoding='utf-8') as f:f.write(text)print(">>> 保存成功!")def save_imgs(self, imgs, path):i = 1for img in imgs:img_url = imgimg_name = f'{i}{os.path.splitext(img)[-1]}'img_path = f'{path}{img_name}'self.save_img(img_url, img_name, img_path)i = i + 1def save_img(self, img_url, img_name, img_path):print(f">>> 开始保存 {img_name} 图片")r = requests.get(img_url, headers=self.random_headers, timeout=5)with open(img_path, 'wb') as f:f.write(r.content)print(f">>> 保存 {img_name} 图片成功")def run(self):while True:if self.page_queue.empty() and self.img_queue.empty():breakdata = self.img_queue.get()h1 = data[0]content = data[1]imgs = data[2]path = f'billw/{h1}/'os.makedirs(path, exist_ok=True)  # 创建文件夹self.save_content(h1, content, path)self.save_imgs(imgs, path)def main():page_queue = Queue(100)img_queue = Queue(10000)for i in range(1, 21):url = "http://www.billwang.net/html/blogs/%d/" % iprint(f'>>> 正在爬取 第{i}页 列表页,链接:{url} ...')page_queue.put(url)for x in range(2):t = Procuder(page_queue, img_queue)t.start()for x in range(8):t = Consumer(page_queue, img_queue)t.start()if __name__ == "__main__":main()

总结

这里进行自己学习多线程的开始
在这里插入图片描述

这篇关于Python_爬虫_多线程入门_一蓑烟雨任平生的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/291983

相关文章

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文