最近在做一些工程部署和传统算法的工作，遇到写坑，写些解决办法记录一下： 很多时候我们会面临在一台机器上进行编译和打包，在另外一台机器或者集群上进行部署，而机器与机器之间的gpu设备是不同型号的情况，这个时候做深度学习推理的时候会出现初始化加载很慢的情况，或者有二次加载的情况，这篇小博文就是讲如何解决的． 由于CUDA的JIT Compile(即时编译)机制，是为了应对未来没发布的gpu硬件