时间：2024-09-15 22:01:12
关于loss不收敛的一些建议-loss问题汇总（不收敛、震荡、nan）
是否找到合适的loss函数：在深度学习里面，不同的loss针对的任务是有不同的，有些loss函数比较通用例如L1/L2等，而如perceptual loss则比较适合在图像恢复/生成领域的任务上。当loss出现问题的适合，想一想，是不是loss设置的有问题，别人在此领域的任务的方法是否也使用和你一样的loss。batch size是否合适：batch size的问题一般是较大会有比较好的效果，一是更快收敛，二是可以躲过一些局部最优点。但是也不是一味地增加batch size就好，太大的batch size 容易陷入sharp minima，泛化性不好。较小的batch size，类别较多时，可能会使得网络有明显的震荡。batch size增大，处理相同的数据量速度加快；随着batch size增大，达到相同精度的epoch数量变多；因此基于上述两种情况，batch size要调试到合适的数值；过大的batchsize会让网络收敛到不好的局部最优点；过小的batchsize训练速度慢，训练不收敛；具体的batch size需要根据训练集数据内容和数量进行调试。
《loss不收敛怎么办》不代表本网站观点，如有侵权请联系我们删除