python基础-线程创建、线程池、进\线程异步回调(add_done_callback)、进\线程数据共享、ftp线程池

2024-08-31 22:38
文章标签 python 基础 线程 创建 异步 数据共享 ftp 回调 add done callback

本文主要是介绍python基础-线程创建、线程池、进\线程异步回调(add_done_callback)、进\线程数据共享、ftp线程池，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

      • 线程创建
      • 线程进程pid
      • 线程进程数据共享
      • 线程ftp
      • 线程池
      • 线程池ftp
      • 线程的一些其他方法
      • 异步-回调函数
        • ProcessPoolExecutor方式
        • ThreadPoolExecutor方式

线程创建

进程只是用来把资源集中到一起（进程只是一个资源单位，或者说资源集合），而线程才是cpu上的执行单位。
每个进程有一个地址空间，而且默认就有一个控制线程
线程就是一条流水线工作的过程，一条流水线必须属于一个车间，一个车间的工作过程是一个进程

多线程（即多个控制线程）的概念是，在一个进程中存在多个控制线程，多个控制线程共享该进程的地址空间，相当于一个车间内有多条流水线，都共用一个车间的资源

我们之前了解过进程的2种创建方式
下面的代码是2种创建线程的方式

from threading import Thread
from multiprocessing import Process
import time,osdef task():print('%s is running' %os.getpid())time.sleep(2)print('%s is done' %os.getpid())class Mythread(Thread):def __init__(self,name):super().__init__()self.name=namedef run(self):print('%s is running' % os.getpid())time.sleep(5)print('%s is done' % os.getpid())if __name__ == '__main__':t=Thread(target=task)# t=Mythread('xxxxx')t.start()print('主')

输出如下：

E:\python\python_sdk\python.exe "E:/python/py_pro/1 开启线程的两种方式.py"
10336 is running
主
10336 is doneProcess finished with exit code 0

线程进程pid

part1:在主进程下开启多个线程,每个线程都跟主进程的pid一样

from threading import Thread
from multiprocessing import Process
import time,osdef task():print('partent：%s self：%s' %(os.getppid(),os.getpid()))time.sleep(5)if __name__ == '__main__':t=Thread(target=task,)# t=Process(target=task,)t.start()print('主',os.getppid(),os.getpid())

输出如下：

partent：9052 self：10120
主 9052 10120

开多个进程,每个进程都有不同的pid

from threading import Thread
from multiprocessing import Process
import time,osdef task():print('partent：%s self：%s' %(os.getppid(),os.getpid()))time.sleep(5)if __name__ == '__main__':t=Process(target=task,)t.start()print('主',os.getppid(),os.getpid())

输出如下：

主 9052 2668
partent：2668 self：8744

线程进程数据共享

进程之间数据不共享，但是进程之间可以通过ipc进行数据通讯

from threading import Thread
from multiprocessing import Process
import time,osn=100
def task():global nn=0if __name__ == '__main__':t=Process(target=task,)t.start()t.join()print('主',n)

输出如下：

主 100

线程之间内存空间共享

from threading import Thread
import time,osn=100
def task():global nn=0if __name__ == '__main__':t=Thread(target=task,)t.start()t.join()print('主',n)

输出如下：

主 0

线程ftp

服务端：

import multiprocessing
import threadingimport socket
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.bind(('127.0.0.1',8081))
s.listen(5)def action(conn):while True:data=conn.recv(1024)print(data)conn.send(data.upper())if __name__ == '__main__':while True:conn,addr=s.accept()p=threading.Thread(target=action,args=(conn,))p.start()

客户端：

from socket import *client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8081))while True:msg=input('>>: ').strip()if not msg:continueclient.send(msg.encode('utf-8'))msg=client.recv(1024)print(msg.decode('utf-8'))

线程池

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
from threading import current_thread
import time,random
def task(n):print('%s is running' %current_thread().getName())time.sleep(random.randint(1,3))return n**2if __name__ == '__main__':t=ThreadPoolExecutor(3) #默认是cpu的核数*5objs=[]for i in range(5):obj=t.submit(task,i)objs.append(obj)t.shutdown(wait=True)for obj in objs:print(obj.result())print('主',current_thread().getName())

输出如下：

E:\python\python_sdk\python.exe "E:/python/py_pro/4 线程池.py"
ThreadPoolExecutor-0_0 is running
ThreadPoolExecutor-0_1 is running
ThreadPoolExecutor-0_2 is runningThreadPoolExecutor-0_0 is runningThreadPoolExecutor-0_1 is running0
1
4
9
16
主 MainThread

线程池ftp

服务端：

from socket import *
from concurrent.futures import ThreadPoolExecutor
import osserver=socket(AF_INET,SOCK_STREAM)
server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
server.bind(('127.0.0.1',8080))
server.listen(5)def talk(conn,client_addr):print('进程pid: %s' %os.getpid())while True:try:msg=conn.recv(1024)if not msg:breakconn.send(msg.upper())except Exception:breakif __name__ == '__main__':p=ThreadPoolExecutor(5)while True:conn,client_addr=server.accept()p.submit(talk,conn,client_addr)

客户端：

from socket import *client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8081))while True:msg=input('>>: ').strip()if not msg:continueclient.send(msg.encode('utf-8'))msg=client.recv(1024)print(msg.decode('utf-8'))

线程的一些其他方法

from threading import Thread,current_thread,enumerate,active_count
import time,osdef task():print('%s is running' %current_thread().getName())time.sleep(5)print('%s is done' %current_thread().getName())if __name__ == '__main__':t=Thread(target=task,name='xxxx')t.start()print(t.name)#查看当前活着的线程print(enumerate()[0].getName())print(active_count())print('主',current_thread().getName())print()

输出如下：

E:\python\python_sdk\python.exe "E:/python/py_pro/3 线程对象的其他属性或方法.py"
xxxx is running
xxxx
MainThread
2
主 MainThreadxxxx is done

异步-回调函数

ProcessPoolExecutor方式

我们之前总结的异步返回结果没有用到调用函数，接下来的是利用了回调函数

#pip install requests
import requests
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
from threading import current_thread
import time,os
def get(url):print('%s GET %s' %(os.getpid(),url))response=requests.get(url)time.sleep(3)if response.status_code == 200:return {'url':url,'text':response.text}def parse(obj):res=obj.result()print('[%s] <%s> (%s)' % (os.getpid(), res['url'],len(res['text'])))if __name__ == '__main__':urls = ['https://www.python.org','https://www.baidu.com','https://www.jd.com','https://www.tmall.com',]t=ProcessPoolExecutor(2)for url in urls:t.submit(get,url).add_done_callback(parse)t.shutdown(wait=True)print('主',os.getpid())

代码思路是：
t=ProcessPoolExecutor(2)开一个进程池，然后去并发下载网络数据，下载完毕后，
在主进程中add_done_callback去解析
这里由于主进程、子进程不是同一个进程空间，所以在解析数据时候，在主进程
输出如下：

E:\python\python_sdk\python.exe "E:/python/py_pro/5 补充异步的概念.py"
5628 GET https://www.python.org
4816 GET https://www.baidu.com4816 GET https://www.jd.com
[3204] <https://www.baidu.com> (2443)[3204] <https://www.python.org> (48856)
5628 GET https://www.tmall.com[3204] <https://www.jd.com> (124541)[3204] <https://www.tmall.com> (212080)
主 3204Process finished with exit code 0
ThreadPoolExecutor方式
import requests
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
from threading import current_thread
import time
import os
def get(url):print('%s GET %s,%s' %(current_thread().getName(),os.getpid(),url))response=requests.get(url)time.sleep(3)if response.status_code == 200:return {'url':url,'text':response.text}def parse(obj):res=obj.result()print('[%s] <%s> (%s)' % (current_thread().getName(), res['url'],len(res['text'])))if __name__ == '__main__':urls = ['https://www.python.org','https://www.baidu.com','https://www.jd.com','https://www.tmall.com',]t=ThreadPoolExecutor(2)for url in urls:t.submit(get,url).add_done_callback(parse)t.shutdown(wait=True)print('主',current_thread().getName(),os.getpid())

代码思路是：
t=ThreadPoolExecutor(2)开一个线程池，然后去并发下载网络数据，下载完毕后，
在主线程程中add_done_callback去解析
这里由于主线程、子线程是同一个进程空间，所以在解析数据时候，可能主线程、子线程都会解析
输出如下：

E:\python\python_sdk\python.exe "E:/python/py_pro/5 补充异步的概念.py"
ThreadPoolExecutor-0_0 GET 12956,https://www.python.org
ThreadPoolExecutor-0_1 GET 12956,https://www.baidu.com[ThreadPoolExecutor-0_1] <https://www.baidu.com> (2443)
ThreadPoolExecutor-0_1 GET 12956,https://www.jd.com[ThreadPoolExecutor-0_0] <https://www.python.org> (48856)
ThreadPoolExecutor-0_0 GET 12956,https://www.tmall.com[ThreadPoolExecutor-0_1] <https://www.jd.com> (124541)[ThreadPoolExecutor-0_0] <https://www.tmall.com> (212079)
主 MainThread 12956Process finished with exit code 0

这篇关于python基础-线程创建、线程池、进\线程异步回调(add_done_callback)、进\线程数据共享、ftp线程池的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1125193。

相关文章

python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
在cscode中通过maven创建java项目

在cscode中通过maven创建java项目

在cscode中创建java项目 可以通过博客完成maven的导入 建立maven项目 使用快捷键 Ctrl + Shift + P 建立一个 Maven 项目 1 Ctrl + Shift + P 打开输入框2 输入 "> java create"3 选择 maven4 选择 No Archetype5 输入 域名6 输入项目名称7 建立一个文件目录存放项目，文件名一般为项目名8 确定
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
Java 创建图形用户界面（GUI）入门指南（Swing库 JFrame 类）概述

Java 创建图形用户界面（GUI）入门指南（Swing库 JFrame 类）概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包，是 JAVA 基础类的一部分，基于 Java AWT 构建，提供了一系列轻量级、可定制的图形用户界面（GUI）组件。 与 AWT 相比，Swing 提供了许多比 AWT 更好的屏幕显示元素，更加灵活和可定制，具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多
阅读更多...
nudepy，一个有趣的 Python 库！

nudepy，一个有趣的 Python 库！

更多资料获取 📚 个人网站：ipengtao.com 大家好，今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址：https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中，检测图像中的不适当内容（例如裸露图像）是一个重要的任务。nudepy 是一个基于 Python 的库，专门用于检测图像中的不适当内容。该
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...
AI基础 L9 Local Search II 局部搜索

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态，生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案，则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时，算法停止。 — Choose k successors randomly, biased towards good ones — Close
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2