一亩三分地KL 散度是一种衡量两个概率分布之间差异的度量。它描述了一个概率分布相对于另一个概率分布的 信息损失。在信息论中，KL散度也被称为相对熵。 假设：、 为随机变量 的两个概率分布，在离散和连续随机变量的情形下，KL 散度计...
高斯分布（Gaussian distribution），也叫正态分布，是数据分析和统计学中最常见的一种概率分布。它得名于德国数学家卡尔·高斯，因其呈现一个对称的“钟形”曲线，因此也被称为“钟形曲线”或“钟形分布”。 1....
在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制，本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Bahdanau Attention Luo...
PGN 网络可用于文本生成，文本生成任务是从序列到序列的模型，马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时，基本思路是什么样的呢？ 输入一串文本到编码器，提取句子的语义表示向量 由解...
池化层（Pooling Layer）是卷积神经网络（CNN）中的一种层结构，主要用于对特征图进行降采样，以减小数据的空间尺寸，降低模型的计算量和参数数量，从而在一定程度上防止过拟合。池化层的主要作用包括： 常见的池化操作...
卷积核（Convolution Kernel）是卷积神经网络（CNN）中的核心组件之一，通常用于图像处理和深度学习模型中。它是一个小的矩阵，用于对输入图像进行卷积操作，从而提取图像中的特征。卷积核通过在图像上滑动并执行逐...
自然语言是用来表达含义的系统，词是其基本单元。在计算机处理中，我们需要把自然语言中的词进行数值化，才能够让计算机识别处理。 最简单的将词进行词嵌入的方法是：one hot 编码。根据词的数量 N，构建一个全 0 的向量，...
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差加以规范化。 处于稳定状态下的神经网络，其参数和数据均值为 ...
神经网络模型一般都是靠随机梯度下降算法进行训练和参数更新。网络的收敛效果很大程度上受到网络参数初值的影响。不合理的网络参数初始化，可能会导致 “梯度消失” 或者 “梯度爆炸”...
传统的梯度下降优化算法中，可能会碰到以下情况： 碰到平缓区域，梯度值较小，参数优化变慢 碰到 “鞍点” ，梯度为 0，参数无法优化 碰到局部最小值 对于这些问题, 出现了一些对梯度下降算法的优化方...
冀公网安备13050302001966号
最新评论