KL 散度是一种衡量两个概率分布之间差异的度量。它描述了一个概率分布相对于另一个概率分布的 信息损失。在信息论中,KL散度也被称为相对熵。 假设:、 为随机变量 的两个概率分布,在离散和连续随机变量的情形下,KL 散度计...
高斯分布(Gaussian distribution),也叫正态分布,是数据分析和统计学中最常见的一种概率分布。它得名于德国数学家卡尔·高斯,因其呈现一个对称的“钟形”曲线,因此也被称为“钟形曲线”或“钟形分布”。 1....
在词袋模型中,由于并不考虑词序,会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如: 根据语料构建词表为:[“我”, “...
在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制,本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Bahdanau Attention Luo...
PGN 网络可用于文本生成,文本生成任务是从序列到序列的模型,马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时,基本思路是什么样的呢? 输入一串文本到编码器,提取句子的语义表示向量 由解...
池化层(Pooling Layer)是卷积神经网络(CNN)中的一种层结构,主要用于对特征图进行降采样,以减小数据的空间尺寸,降低模型的计算量和参数数量,从而在一定程度上防止过拟合。池化层的主要作用包括: 常见的池化操作...
卷积核(Convolution Kernel)是卷积神经网络(CNN)中的核心组件之一,通常用于图像处理和深度学习模型中。它是一个小的矩阵,用于对输入图像进行卷积操作,从而提取图像中的特征。卷积核通过在图像上滑动并执行逐...