1. 对数损失函数 其中, 是真实标签, 是模型的输出(即得分),而 是通过 Sigmoid 函数映射得到的预测概率。 由损失函数 对 求导: 最终得到负梯度为: 2. 指数损失函数 其中, 是真实标...
梯度消失(Vanishing Gradient)是在训练深度神经网络时出现的一个常见问题。其表现是当反向传播算法计算梯度时,如果网络中某些层的梯度在传播过程中不断变小,最终导致更新的参数非常小,甚至无...
std::condition_variable 是 C++11 标准引入的,用于实现线程间的同步,用于线程实现带有条件的去竞争锁的问题。 当我们使用互斥锁时,多个线程只要发现锁空闲,就会去抢锁,争夺执...