用Python做自动工作汇报的脚本,实现每天摸鱼

2023-10-07 06:40

本文主要是介绍用Python做自动工作汇报的脚本,实现每天摸鱼,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

嗨嗨朋友们,晚上好。

请添加图片描述

之前经常会有python脚本来进行数据处理、数据传输和模型训练。随着数据量和数据复杂性的增加,运行脚本可能需要一些时间。在等待数据处理完成时可以同时做一些其他工作。

为了达到这个目的,编写了一组用于解决这个问题的Python脚本。使用这些脚本向手机发送流程更新、可视化和完成通知。当偶尔拥有这些自由的时刻,你可以享受而不是担心模型的进度。

请添加图片描述
第一个问题是,需要知道什么?这取决于你正在做的工作。对于笔者来说主要有有三个可能会占用时间的处理任务:

  • 模型训练
  • 数据处理和/或传输
  • 金融模型

我们需要对于每一种情况具体分析。

请添加图片描述

对文章有问题,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=QdqPL4KW 这里还有学习资料与免费课程领取

模型训练

更新每n个epoch,必须包括关键指标。例如,训练和验证集的损失和准确性。接着完成通知,包括:

训练期间关键指标的可视化(同样,训练和验证集的损失和准确性)

其他不太重要但仍然有用的信息,如本地模型目录、训练时间、模型架构等

预测输出,对于文本生成来说输出生成的文本(或它的一个样本);对于图像生成

来说,输出结果是一个(希望)很酷的可视化

以训练一个神经网络来重现给定的艺术风格为例。我们需要重点从模型中生成的图像,损失和精度图,当前的训练时间,和一个模型的名称。

import notifySTART= datetime.now()  # this line would be placed before modeltraining beginsMODELNAME="SynthwaveGAN"  # giving us ourmodel nameNOTIFY=100  # so we send an update notification every100 epochs# for each epoch e,we would include the following codeif e % notify_epoch ==0and e !=0:# here we createthe email body messagetxt = (f"{MODELNAME} update as of "f"{datetime.now().strftime( %H:%M:%S )}.")# we build theMIME message object with notify.messagemsg = notify.message(subject= Synthwave GAN ,text=txt,img=[f ../visuals/{MODELNAME}/epoch_{e}_loss.png ,f ../visuals/{MODELNAME}/epoch_{e}_iter_{i}.png ])  # note that weattach two images here, the loss plot and#    ...a generated image output from our modelnotify.send(msg)  # we then send the message

每隔100个epoch,就会发送一封包含上述所有内容的电子邮件。以下是其中一封邮件:

请添加图片描述

数据处理和传输

这点不是很有趣,但在时间消耗方面,它排第一名。

以使用Python将批量数据上传到SQLServer为例(对于没有BULK INSERT的人)。在上传脚本的最后,会有一个简单的消息通知上传完成。

import osimport notifyfrom data importSql  # seehttps://jamescalam.github.io/pysqlplus/lib/data/sql.htmldt =Sql( database123 ,  server001 )  # setup theconnection to SQL Serverfor i, file inenumerate(os.listdir( ../data/new )):dt.push_raw(f ../data/new/{file} )  # push a file to SQL Server# once the upload is complete, send a notification# first we create the messagemsg = notify.message(subject= SQL Data Upload ,text=f Data upload complete, {i} filesuploaded. ,)# send the messagenotify.send(msg)

如果偶尔抛出错误,还可以添加一个try-except语句来捕获错误,并将其添加到一个列表中,以包含在更新和/或完成电子邮件中。

金融模型

金融建模中运行的所有东西实际上都非常快,所以此处只能提供一个示例。

以现金流动模型工具 为例。现实中,这个过程只需要10-20秒,但现在假设你是华尔街炙手可热的定量分析师,正在处理几百万笔贷款。在这封电子邮件中,可能想要包含一个高级概要分析的投资组合。可以随机选择一些贷款,并在给定的时间段内可视化关键值——给定一个小样本来交叉检验模型的性能。

end = datetime.datetime.now()  # get the ending datetime# get the total runtime in hours:minutes:secondshours,rem =divmod((end - start).seconds, 3600)mins,secs =divmod(rem, 60)runtime= {:02d}:{:02d}:{:02d} .format(hours, mins,secs)# now built our messagenotify.msg(subject="Cashflow Model Completion",text=(f {len(model.output)} loansprocessed. f Total runtime:{runtime} ),img=[../vis/loan01_amortisation.png ,../vis/loan07_amortisation.png ,../vis/loan01_profit_and_loss.png ,../vis/loan07_profit_and_loss.png ])notify.send(msg)  # and send it

代码

上面的所有功能节选自一个名为notify.py的脚本。在示例代码中将使用Outlook。这里需要两个Python库,email和smtplib:

  • email :用于管理电子邮件消息。有了这个库就可以设置电子邮件消息本身,包括主题、正文和附件。
  • smtplib :处理SMTP连接。简单邮件传输协议(SMTP)是大多数电子邮件系统使用的协议,允许邮件通过互联网发送

MIME

消息本身是使用来自email模块的MIMEMultipart对象构建的。还需要使用三个MIME子类,并将它们附加到MIMEMultipart对象上:

  • mimetext:这将包含电子邮件“有效负载”,即电子邮件正文中的文本。
  • mimeimage :这是用于在电子邮件中包含图像。
  • mimeapplication:用于MIME消息应用程序对象。也就是文件附件。

除了这些子类之外,还有其他参数,比如MimeMultipart中的Subject值。所有这些加在一起就形成了下面的结构。

把它们都放在一起会发生什么:

请添加图片描述

import osfrom email.mime.text importMIMETextfrom email.mime.image importMIMEImagefrom email.mime.application importMIMEApplicationfrom email.mime.multipart importMIMEMultipartdefmessage(subject="PythonNotification", text="", img=None, attachment=None):# build messagecontentsmsg =MIMEMultipart()msg[ Subject ] = subject  # add in thesubjectmsg.attach(MIMEText(text))  # add text contents# check if wehave anything given in the img parameterif img isnotNone:# if we do, wewant to iterate through the images, so let s check that# what we haveis actually a listiftype(img) isnot list:img = [img]  # if it isn t alist, make it one# now iteratethrough our listfor one_img in img:img_data =open(one_img,  rb ).read()  # read the imagebinary data# attach theimage data to MIMEMultipart using MIMEImage, we add# the givenfilename use os.basenamemsg.attach(MIMEImage(img_data, name=os.path.basename(one_img)))# we do the samefor attachments as we did for imagesif attachment isnotNone:iftype(attachment) isnot list:attachment = [attachment]  # if it isn t a list, make it onefor one_attachment in attachment:withopen(one_attachment, rb ) as f:# read in theattachment using MIMEApplicationfile =MIMEApplication(f.read(),name=os.path.basename(one_attachment))# here we editthe attached file metadatafile[ Content-Disposition ] =f attachment; filename="{os.path.basename(one_attachment)}" msg.attach(file)  # finally, addthe attachment to our message objectreturn msg

这个脚本相当简单。在顶部,有导入(这是以前介绍过的MIME部分)以及Python的os库。

接下来定义一个名为message的函数。这允许使用不同的参数调用函数并轻松地构建一个电子邮件消息对象。例如,可以这样写一封带有多张图片和附件的邮件:

email_msg= message(text="Model processing complete,please see attached data.",img=[ accuracy.png ,  loss.png ],attachments=[ data_in.csv ,  data_out.csv ]
)

首先,初始化MIMEMultipart对象,并将其分配给msg;然后,使用“subject”键设置电子邮件主题。attach方法向MIMEMultipart对象添加不同的MIME子类。你可以使用MIMEText子类添加电子邮件正文。

对于图像img和attachment附件,可以什么都不传递,只传递一个文件路径,或者传递一组文件路径。我们通过首先检查参数是否为None来处理它,如果参数为None,则传递;否则,检查给定的数据类型,不是一个list,就创建一个,这就使得可以用下面的for循环来遍历项。

接着,使用MIMEImage和MIMEApplication子类分别附加图像和文件。使用os.basename从给定的文件路径中获取文件名,附件名包括该文件名。

SMTP

现在已经构建好电子邮件消息对象,下一步就是发送它。这就是smtplib模块发挥作用的地方。代码同样非常简单,只有一处例外。

由于直接处理不同的电子邮件供应商和他们各自的服务器,需要不同的SMTP地址。在谷歌中输入“outlook smtp”。不需要单击页面,你就可以得到服务器地址smtp-mail.outlook.com和端口号587。

当使用smtplib.SMTP初始化SMTP对象时,这两种方法都需要用。SMTP -接近开始的send函数:

import smtplibimport socketdefsend(server= smtp-mail.outlook.com , port= 587 , msg):# contain followingin try-except in case of momentary network errorstry:# initialiseconnection to email server, the default is Outlooksmtp = smtplib.SMTP(server, port)# this is the Extended Hello  command, essentially greeting our SMTP or ESMTP serversmtp.ehlo()# this is the Start Transport Layer Security  command, tells the server we will# becommunicating with TLS encryptionsmtp.starttls()# read email andpassword from filewithopen( ../data/email.txt ,  r ) as fp:email = fp.read()withopen( ../data/password.txt ,  r ) as fp:pwd = fp.read()# login tooutlook serversmtp.login(email, pwd)# sendnotification to selfsmtp.sendmail(email, email, msg.as_string())# disconnectfrom the serversmtp.quit()except socket.gaierror:print("Network connection error, email notsent.")

smtp.ehlo()和smtp.starttls()都是SMTP命令。ehlo(扩展Hello)本质上是向服务器打招呼。starttls通知服务器,将使用加密传输级别安全(TLS)连接进行通信。

在此之后,只需从文件中读取电子邮件和密码,分别存储在email和pwd中。然后,使用smtp.login登录到SMTP服务器。登录并使用smtp.sendmail发送电子邮件。

笔者总是给自己发送通知,但在自动报告的情况下,可能希望将电子邮件发送到其他地方。为此,我会更改destination_address: smtp.sendmail(email、destination_address、 msg.as_string)。

最后,终止会话并关闭与smtp.quit的连接。

将所有这些都放在try-except语句中。在瞬间网络连接丢失的情况下,将无法连接到服务器。导致socket.gaierror。使用try-except语句可以防止程序在网络连接失败的情况下崩溃。

笔者将其用于ML模型培训更新和数据传输完成。如果邮件没有被发送,那也没有关系。这种简单、被动地处理连接丢失是合适的。

现在已经写了代码的两部分,我们就可以发送电子邮件了:
 # builda message object
msg = message(text="See attached!", img= important.png ,attachment= data.csv )send(msg)  #send the email (defaults to Outlook)

这是所有的电子邮件通知和/或使用Python的自动化的全过程。感谢email和smptlib库,设置过程变得非常容易。

请添加图片描述
还有一点请注意,公共电子邮件提供程序服务器地址和TLS端口。

对于任何耗费大量时间的处理或训练任务,进度更新和完成通知通常才是真正的解放。Python,让工作更美好!

好啦,今天的分享到这里就结束了 ~

对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦

觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/

请添加图片描述

这篇关于用Python做自动工作汇报的脚本,实现每天摸鱼的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/156715

相关文章

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾