|
- 深度学习的loss一般收敛到多少？ - 知乎
这个链接是回归问题的loss，本回答说一下分类问题的。 交叉熵 公式这里就不放了（手机打字不方便），可以看出，其实loss就是log(Pi)的平均值，Pi指的是预测ground truth的概率。所以，如果你希望预测概率超过0 5就好，那么loss就训练到log(0 5)。
- 深度学习中loss和accuracy的关系? - 知乎
loss 的具体形式取决于机器学习任务的类型。例如，在回归问题中，常用的 loss 函数包括平方损失、绝对损失和对数损失；在分类问题中，常用的 loss 函数包括交叉熵损失和 Hinge 损失。 accuracy 是指模型的准确率，即模型预测结果与真实结果的匹配度。
- 大模型优化利器：RLHF之PPO、DPO - 知乎
最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor Model 、Reward Mode、Critic Model 和 Reference Model），而是只用跑 Actor 和 Reference 2 个模型。
- 大模型sft为什么第二个epoch的时候loss会突然下降？ - 知乎
这样看来我们估计的这个loss还算不错。 那么我们看题目下某些回答中sft损失降到了多少呢，直接给降到了0 1左右，这已经显著地低于理论下界了。 就说明训练数据的多样性小于语言固有的随机性，要么数据太少，要么模式太简单，导致llm很轻松地把它全都背了
- 损失函数｜交叉熵损失函数 - 知乎
Deng [4]在2019年提出了ArcFace Loss，并在论文里说了Softmax Loss的两个缺点：1、随着分类数目的增大，分类层的线性变化矩阵参数也随着增大；2、对于封闭集分类问题，学习到的特征是可分离的，但对于开放集人脸识别问题，所学特征却没有足够的区分性。
- 深度学习的多个loss如何平衡？ - 知乎
loss = a * loss1 + b * loss2 + c * loss3 怎么设置 a，b，c？ 我和几个朋友讨论过，大家经验是 loss 的尺度一般不太影响性能，除非本来主 loss 是 loss1，但是因为 b，c 设置太大了导致其他 loss 变成了主 loss 实践上有几个调整方法：
- 究竟什么是损失函数 loss function? - 知乎
loss函数是什么？Loss函数是衡量模型预测值与真实值之间差距的度量标准，也是优化算法的目标函数。模型本身能够train到哪一种程度，跟Loss函数息息相关，选择合适的Loss函数可以让模型train的更好，错误使用loss函数有可能让模型什么都学不会。 Loss函数如何分类？
- 什么是「过拟合」，如何判断，常见的原因是什么？ - 知乎
和欠拟合有什么区别？有哪些解决办法？问题将作为 「知识库」栏目 的一部分，你的创作将有机会被收录在相关话题的百科简介中，同时你也可以将其他符合百科规范…
|
|
|