[Go] 并发imap收信

2024-03-17 19:58
文章标签 go 并发 imap 收信

本文主要是介绍[Go] 并发imap收信,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

并发数太大会直接死,这里有时候需要多试几次

package mainimport ("flag""fmt""io/ioutil""log""math""os""sync""github.com/emersion/go-imap""github.com/emersion/go-imap/client"
)var (server, email, password stringworkernum               intimapClient              *client.ClientmailDirs                []stringmailSumNums             uint32pagesize                int = 50start                   intstop                    int
)type Pool struct {workerNum introad      chan *Carwg        sync.WaitGroup
}//初始化这个对象
func NewPool(wn int) *Pool {return &Pool{workerNum: wn, road: make(chan *Car)}
}//往channel添加具体任务
func (p *Pool) AddCar(f *Car) {p.road <- f
}//goroutine去工作
func (p *Pool) work(workId int) {for f := range p.road {log.Println("workId:", workId, "start")f.do()log.Println("workId:", workId, "done")}p.wg.Done()
}//创建goroutine等着接工作
func (p *Pool) Run() {for i := 0; i < p.workerNum; i++ {go p.work(i)p.wg.Add(1)}p.wg.Wait()
}func (p *Pool) colse() {close(p.road)
}var pool = NewPool(5)func main() {go handleMail()pool.Run()
}
func handleMail() {//获取命令行参数flag.StringVar(&server, "server", "", "imap服务地址(包含端口)")flag.StringVar(&email, "email", "", "邮箱名")flag.StringVar(&password, "password", "", "密码")flag.Parse()if flag.NFlag() < 3 {flag.PrintDefaults()os.Exit(1)}if server == "" || email == "" || password == "" {log.Fatal("服务器地址,用户名,密码,参数错误")}//连接imap服务imapClient, err := client.Dial(server)if err != nil {log.Fatal(err)}//登陆if err := imapClient.Login(email, password); err != nil {log.Fatal(err)}//创建邮件夹目录
    os.Mkdir(email, os.ModePerm)mailboxes := make(chan *imap.MailboxInfo, 20)go func() {imapClient.List("", "*", mailboxes)}()//列取邮件夹for m := range mailboxes {mailDirs = append(mailDirs, m.Name)}//循环邮件夹,创建邮件夹目录for _, mailDir := range mailDirs {//选中每个邮件夹mbox, err := imapClient.Select(mailDir, false)if err != nil {log.Fatal(err)}mailDirNums := mbox.Messageslog.Printf("%s : %d", mailDir, mailDirNums)fileDir := fmt.Sprintf("%s/%s", email, mailDir)//创建邮件夹目录
        os.Mkdir(fileDir, os.ModePerm)mailSumNums += mailDirNums}log.Printf("总邮件数 : %d", mailSumNums)//循环邮件夹,读取每个邮件夹中的邮件for _, mailDir := range mailDirs {//选中每个邮件夹mbox, err := imapClient.Select(mailDir, false)if err != nil {log.Fatal(err)}if mbox.Messages == 0{continue}//循环该邮件夹中的邮件pagecount := int(math.Ceil(float64(mbox.Messages) / float64(pagesize)))for i := 1; i <= pagecount; i++ {if i == 1 {start = 1} else {start = (i-1)*pagesize + 1}stop = i * pagesizeif stop > int(mbox.Messages) {stop = int(mbox.Messages)}car := Car{start:      start,stop:       stop,mailDir:    mailDir,imapClient: imapClient,}pool.AddCar(&car)}}pool.colse()
}/*具体做的事通过这个来传递*/
type Car struct {start, stop intmailDir     stringimapClient  *client.Client
}//具体做事
func (c *Car) do() error {seqset := new(imap.SeqSet)seqset.AddRange(uint32(c.start), uint32(c.stop))section := &imap.BodySectionName{}items := []imap.FetchItem{section.FetchItem()}messages := make(chan *imap.Message, pagesize)go func() {c.imapClient.Fetch(seqset, items, messages)}()for msg := range messages {mailFile := fmt.Sprintf("%s/%s/%d.eml", email, c.mailDir, msg.SeqNum)r := msg.GetBody(section)if r != nil {body, _ := ioutil.ReadAll(r)f, _ := os.OpenFile(mailFile, os.O_RDWR|os.O_CREATE, 0766)f.Write(body)f.Close()log.Printf("%s :第 %d ", c.mailDir, msg.SeqNum)}}return nil
}

 

这篇关于[Go] 并发imap收信的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/819990

相关文章

高并发环境中保持幂等性

在高并发环境中保持幂等性是一项重要的挑战。幂等性指的是无论操作执行多少次,其效果都是相同的。确保操作的幂等性可以避免重复执行带来的副作用。以下是一些保持幂等性的常用方法: 唯一标识符: 请求唯一标识:在每次请求中引入唯一标识符(如 UUID 或者生成的唯一 ID),在处理请求时,系统可以检查这个标识符是否已经处理过,如果是,则忽略重复请求。幂等键(Idempotency Key):客户端在每次

Go Playground 在线编程环境

For all examples in this and the next chapter, we will use Go Playground. Go Playground represents a web service that can run programs written in Go. It can be opened in a web browser using the follow

go基础知识归纳总结

无缓冲的 channel 和有缓冲的 channel 的区别? 在 Go 语言中,channel 是用来在 goroutines 之间传递数据的主要机制。它们有两种类型:无缓冲的 channel 和有缓冲的 channel。 无缓冲的 channel 行为:无缓冲的 channel 是一种同步的通信方式,发送和接收必须同时发生。如果一个 goroutine 试图通过无缓冲 channel

如何确定 Go 语言中 HTTP 连接池的最佳参数?

确定 Go 语言中 HTTP 连接池的最佳参数可以通过以下几种方式: 一、分析应用场景和需求 并发请求量: 确定应用程序在特定时间段内可能同时发起的 HTTP 请求数量。如果并发请求量很高,需要设置较大的连接池参数以满足需求。例如,对于一个高并发的 Web 服务,可能同时有数百个请求在处理,此时需要较大的连接池大小。可以通过压力测试工具模拟高并发场景,观察系统在不同并发请求下的性能表现,从而

Java并发编程之——BlockingQueue(队列)

一、什么是BlockingQueue BlockingQueue即阻塞队列,从阻塞这个词可以看出,在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种: 1. 当队列满了的时候进行入队列操作2. 当队列空了的时候进行出队列操作123 因此,当一个线程试图对一个已经满了的队列进行入队列操作时,它将会被阻塞,除非有另一个线程做了出队列操作;同样,当一个线程试图对一个空

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(

java线程深度解析(五)——并发模型(生产者-消费者)

http://blog.csdn.net/Daybreak1209/article/details/51378055 三、生产者-消费者模式     在经典的多线程模式中,生产者-消费者为多线程间协作提供了良好的解决方案。基本原理是两类线程,即若干个生产者和若干个消费者,生产者负责提交用户请求任务(到内存缓冲区),消费者线程负责处理任务(从内存缓冲区中取任务进行处理),两类线程之

java线程深度解析(四)——并发模型(Master-Worker)

http://blog.csdn.net/daybreak1209/article/details/51372929 二、Master-worker ——分而治之      Master-worker常用的并行模式之一,核心思想是由两个进程协作工作,master负责接收和分配任务,worker负责处理任务,并把处理结果返回给Master进程,由Master进行汇总,返回给客

深入解析秒杀业务中的核心问题 —— 从并发控制到事务管理

深入解析秒杀业务中的核心问题 —— 从并发控制到事务管理 秒杀系统是应对高并发、高压力下的典型业务场景,涉及到并发控制、库存管理、事务管理等多个关键技术点。本文将深入剖析秒杀商品业务中常见的几个核心问题,包括 AOP 事务管理、同步锁机制、乐观锁、CAS 操作,以及用户限购策略。通过这些技术的结合,确保秒杀系统在高并发场景下的稳定性和一致性。 1. AOP 代理对象与事务管理 在秒杀商品

PostgreSQL中的多版本并发控制(MVCC)深入解析

引言 PostgreSQL作为一款强大的开源关系数据库管理系统,以其高性能、高可靠性和丰富的功能特性而广受欢迎。在并发控制方面,PostgreSQL采用了多版本并发控制(MVCC)机制,该机制为数据库提供了高效的数据访问和更新能力,同时保证了数据的一致性和隔离性。本文将深入解析PostgreSQL中的MVCC功能,探讨其工作原理、使用场景,并通过具体SQL示例来展示其在实际应用中的表现。 一、