本文主要是介绍秋叶Lora训练器遇到NaN detected,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
根据我在网络上的搜索,排除了图片尺寸不到位(需要1024*1024)、arb没开等等情况。最后发现,是需要在保存格式上,不要选fp16,而是选择bf16.
然后就可以运行了!
这篇关于秋叶Lora训练器遇到NaN detected的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!
本文主要是介绍秋叶Lora训练器遇到NaN detected,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
根据我在网络上的搜索,排除了图片尺寸不到位(需要1024*1024)、arb没开等等情况。最后发现,是需要在保存格式上,不要选fp16,而是选择bf16.
然后就可以运行了!
这篇关于秋叶Lora训练器遇到NaN detected的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!
http://www.chinasem.cn/article/247067。
23002807@qq.com