本文主要是介绍golang如何大量修改mysql表里的属性?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
今天在公司遇到的问题是,修改source=3的表中的guid属性,总共涉及的数据有400w条,开发的语言是golang,一开始使用的方式是Channel,属于go语言的并发特有的方式。
Channel是Go中一个核心类型,相当于管道,用于同步时接受和发送数据。
所以方式一就是使用Channel来控制协程,每一个协程用来先update数据,然后使用Channel限制并发数,从而来加快update的速度,但是速度没有那么快,比较消耗时间。400w数据大概需要2~3个小时才能够update结束,所以是比较消耗时间的。
第二种方式采用的通过导出sql语句到txt文件,然后再到数据库进行导入sql文件的方式,时间相对较快,在数据库中修改10w条数据只需要1m左右,但是存在的一个问题就是生成sql脚本写到txt的时候太慢了,400w条数据,写一个文件10到20w的时候很快,但是当写到txt文件的数据超过30w时,速度开始变慢,所以使用1个txt文件写完400w数据是不大科学的,最后采用了分批的方式,每50w个sql语句写到一个txt文件中,总共写8个txt文件,导出txt文件大概花了30分钟左右,速度还算快,导出sql脚本到txt文件的时候,注意一定要使用缓冲字节流写文件,速度会快一些。
这篇关于golang如何大量修改mysql表里的属性?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!