|
- 深度学习的loss一般收敛到多少? - 知乎
看题主的意思,应该是想问,如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话,当这个指标下降到多少时才能说明模型达到了一个较好的性能,也就是将loss作为一个evaluation metrics。 但是就像知乎er们经常说的黑话一样,先问是不是,再问是什么。所以这个问题有一个前提,就是
- 如何分析kaiming新提出的dispersive loss,对扩散模型和aigc会带来什么影响? - 知乎
Dispersive Loss 的目的: 是最大化表示的 分散性。 当不进行 \ell_2 归一化时,特征向量的 范数(长度) 是被允许自由变化的。 如果模型为了最小化 Dispersive Loss,它会倾向于让特征向量的范数变得非常大。
- 强化学习中actor_loss和critic_loss收敛问题? - 知乎
在正常的训练过程中,actor_loss和critic_loss的减小趋势表明模型在不断学习和优化。 若在训练过程中发现actor_loss持续增大,这可能意味着Actor未能有效学习到优化策略,或者Critic的反馈不够准确,导致Actor的更新方向出现偏差。
- 深度学习的多个loss如何平衡? - 知乎
多个loss引入 pareto优化理论,基本都可以涨点的。 例子: Multi-Task Learning as Multi-Objective Optimization 可以写一个通用的class用来优化一个多loss的损失函数,套进任何方法里都基本会涨点。反正我们在自己的研究中直接用是可以涨的。
- 深度学习中有什么能重建高频部分的loss函数? - 知乎
L1-Smooth Loss: 虽然你提到Smooth L1在高频重建上效果不佳,但值得注意的是,Smooth L1是L1和L2的一种折衷,它在误差较小时表现类似于L2,在误差较大时表现类似于L1。
- 损失函数|交叉熵损失函数 - 知乎
对所有样本的loss求平均: 我们发现,MSE能够判断出来 模型2 优于 模型1,那为什么不采样这种损失函数呢?
- 大模型优化利器:RLHF之PPO、DPO
最终,我们可以得出 DPO 的 loss 如下所示: 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT,在训练的时候不再需要同时跑 4 个模型(Actor Model 、Reward Mode、Critic Model 和 Reference Model),而是只用跑 Actor 和 Reference 2 个模型。
- 究竟什么是损失函数 loss function? - 知乎
如何设计loss函数? Loss函数和你任务的评价准则越相关,二者越接近越好。 如果你任务的评价准则是F1-score(不可导),但一直在使用CrossEntropy Loss来迭代模型,二者之间虽然相关性很高但仍存在非线性。 如何在Pytorch中使用loss函数?
|
|
|