定点小数是一种用固定位数表示小数部分的数值表示方法。在定点小数中,小数点的位置是固定的,不像浮点数那样可以在数字中的不同位置浮动。 1. 存储原理 使用定点数存储小数,我们首先得先...
1. KL 散度 KL 散度又叫相对熵(relative entropy)、信息散度(information divergence),指的是两个概率分布间差异的非对称性度量。 设 ...
高斯混合模型(Gaussian Mixture Model, GMM)通过多个高斯分布的加权来描述一个随机变量的概率分布,它的公式表示如下: K 表示高斯分布的数量 wi 表示将多...
在词袋模型中,由于并不考虑词序,会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如: 根据语料构建词表为:[R...
TextCNN 网络是使用卷积神经网络来解决 NLP 任务的一种网络模型,它利用了了多分支的卷积核来对文本进行特征提取,所以也可以叫多分支的卷积神经网络。 在做图像处理时,我们一般...
在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制,本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Ba...
PGN 网络可用于文本生成,文本生成任务是从序列到序列的模型,马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时,基本思路是什么样的呢? 输入一串文...
jieba 和 textrank4zh 两个工具很方便实现关键词提取,textrank4zh 还能够进行关键句子抽取实现抽取式文本摘要。 jieba 和 textrank4zh 工...
池化层 (Pooling) 降低维度, 缩减模型大小,提高计算速度. 另外一个作用可以缓解卷积层对位置的敏感性. 池化层主要有两种: 最大池化 平均池化 1. 池化层计算 最大池化...
在计算机视觉领域, 往往我们输入的图像都很大,使用全连接网络的话,计算的代价较高. 另外图像也很难保留原有的特征,导致图像处理的准确率不高. 卷积神经网络(Convolutiona...
实现的步骤如下: 构建词典 构建数据对象 构建文本生成模型 编写训练函数 编写预测函数 1. 构建词典 我们在进行文本生成任务之前,首先就要构建词典,通过词典实现将词到索引的映射,...
自然语言是用来表达含义的系统,词是其基本单元。在计算机处理中,我们需要把自然语言中的词进行数值化,才能够让计算机识别处理。 最简单的将词进行词嵌入的方法是:one hot 编码。根...
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是,将参数初始化为服从高斯分布或均匀分布的较小随机整数,同时对参数方差加以规范化。 处于稳...
神经网络模型一般都是靠随机梯度下降算法进行训练和参数更新。网络的收敛效果很大程度上受到网络参数初值的影响。不合理的网络参数初始化,可能会导致 “梯度消失” ...
自动混合精度(AMP)
2024-06-07阅读(1161)
XGBoost(Extreme Gradient Boosting)
2023-03-29阅读(1497)
XLNet
2022-10-16阅读(1128)
因子分解机(Factorization Machine)
2022-09-29阅读(1039)
霍夫曼编码算法(Huffman Coding)
2022-09-22阅读(1330)
克鲁斯卡尔算法(Kruskal)
2022-09-21阅读(1008)
普利姆算法(Prim)
2022-09-21阅读(925)
迪杰斯特拉算法(Dijkstra)
2022-09-20阅读(977)
图遍历算法(DFS、BFS)
2022-09-20阅读(890)
潜在语义分析(Latent Semantic Analysis)
2022-06-28阅读(817)