本文主要是介绍Ascend多卡训练报错davinci_model : load task fail, return ret xxx，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在Ascend上进行多机/多卡训练时，经常会遇到这种报错：
报这种错误的原因是该卡在最大等待时长内，没有收到其他卡的同步消息。
而没有收到其他卡的同步消息，有很多种可能：
- 其他卡挂了；
- 其他卡还在执行编译，且编译时间略长，超出了该卡的最大等待时长；
对于第一种情况，需要检查是否存在某张卡有问题无法正常使用的情况，可能是硬件问题，也可能是软件问题，可以通过查看每张卡的plog得知进一步的信息：
$ cd /root/ascend/log/plog
$ vi plog-xxx.log
复制而对于第二种情况，我们可以设置延长每张卡的最大等待时长：
$ export HCCL_CONNECT_TIMEOUT=600
复制这里设置成了600秒(默认为300秒)，可以根据自己需要设置不同的时长。
这篇关于Ascend多卡训练报错davinci_model : load task fail, return ret xxx的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
