本文主要是介绍关于线程中的pandas计算速度问题tqdm,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
问题来源:Youtube2016数据处理
下面简化后复现
RuntimeError: cannot join thread before it is started
上面错误暂时不管。避免了。
从500多的bit/s的速度到下面的结果,现在速度还在降低
最后的速度可能会到40多,我想知道这是为啥子
最后用时估计会在一个小时
不用线程发现速度也是很慢,那么就是程序写的不行了。毕竟才10来万的数据
我看看怎么改。
这个问题先记着:点击日志中用户信息及最近点击item构成的多行数据去最近的item行数
考虑到用户画像数据的实时更新性,即每次都去最近的数据,将每次的log日志按时间排序后直接concat到user_data后面
然后去重,保留最后一个user_id
然后是用户的点击记录,user,item ,time
果然当
这篇关于关于线程中的pandas计算速度问题tqdm的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!