机器学习

机器学习 Ernie
孟宝亮2022-03-17949076
Github：https://github.com/PaddlePaddle/ERNIE 1. ERNIE 1.0 ERNIE 1.0：https://arxiv.org/pdf/...
机器学习 NER 标签体系
孟宝亮2022-03-021049090
序列标注任务指的把原始序列元素逐一标注并生成新标签序列的任务叫做序列标注任务。以中文命名实体识别任务为例，主要的标签体系有： BIO 标签体系 BIEO 标签体系 BIESO 标签...
机器学习 KL 散度和 Jencent 不等式
孟宝亮2022-02-26819064
1. KL 散度 KL 散度又叫相对熵（relative entropy）、信息散度（information divergence），指的是两个概率分布间差异的非对称性度量。设 ...
机器学习高斯混合模型（GMM）
孟宝亮2022-02-261013053
高斯混合模型（Gaussian Mixture Model, GMM）通过多个高斯分布的加权来描述一个随机变量的概率分布，它的公式表示如下： K 表示高斯分布的数量 wi 表示将多...
机器学习 N 元模型（N-Gram）
孟宝亮2022-02-24100408
在词袋模型中，由于并不考虑词序，会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如：根据语料构建词表为：[R...
机器学习 TextCNN 网络
孟宝亮2022-02-22693018
TextCNN 网络是使用卷积神经网络来解决 NLP 任务的一种网络模型，它利用了了多分支的卷积核来对文本进行特征提取，所以也可以叫多分支的卷积神经网络。在做图像处理时，我们一般...
机器学习 Bahdanau Attention And Luong Attention
孟宝亮2022-02-18629068
在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制，本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Ba...
机器学习文本预处理方法汇总
孟宝亮2022-02-13790054
我们在做文本预处理工作时，经常需要使用正则表达式。例如：判断是否是中文、是否是标点符号、是否是空行等等，我们将这些常用的用法记录下来，方便下次使用。 1. 判断是否中文程序输出结...
机器学习 PGN 网络 (Pointer-Generator Networks)
孟宝亮2022-02-13603061
PGN 网络可用于文本生成，文本生成任务是从序列到序列的模型，马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时，基本思路是什么样的呢？输入一串文...
机器学习句子相似性计算
孟宝亮2022-02-12691046
句子的相似性可以使用下面的一些方法来计算：杰卡德相似度余弦相似度 TextRank 相似度 1. 杰卡德相似度杰卡德相似度需要计算两个句子的交并集，然而这里没有说明使用什么粒...
机器学习基于 jieba 和 textrank4zh 提取关键词
孟宝亮2022-02-12699049
jieba 和 textrank4zh 两个工具很方便实现关键词提取，textrank4zh 还能够进行关键句子抽取实现抽取式文本摘要。 jieba 和 textrank4zh 工...
机器学习 PyTorch 池化层
孟宝亮2022-02-1180509
池化层 (Pooling) 降低维度, 缩减模型大小，提高计算速度. 另外一个作用可以缓解卷积层对位置的敏感性. 池化层主要有两种: 最大池化平均池化 1. 池化层计算最大池化...
机器学习图像卷积计算（Conv2D）
孟宝亮2022-02-11910094
在计算机视觉领域, 往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高. 另外图像也很难保留原有的特征，导致图像处理的准确率不高. 卷积神经网络（Convolutiona...
机器学习基于 RNN 循环网络实现文本生成
孟宝亮2022-02-10611055
实现的步骤如下：构建词典构建数据对象构建文本生成模型编写训练函数编写预测函数 1. 构建词典我们在进行文本生成任务之前，首先就要构建词典，通过词典实现将词到索引的映射，...
机器学习 one hot 编码
孟宝亮2022-02-08646089
自然语言是用来表达含义的系统，词是其基本单元。在计算机处理中，我们需要把自然语言中的词进行数值化，才能够让计算机识别处理。最简单的将词进行词嵌入的方法是：one hot 编码。根...
机器学习 PyTorch 初始化 API
孟宝亮2022-02-05544088
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差加以规范化。处于稳...
机器学习 Xavier 初始化
孟宝亮2022-02-05750075
神经网络模型一般都是靠随机梯度下降算法进行训练和参数更新。网络的收敛效果很大程度上受到网络参数初值的影响。不合理的网络参数初始化，可能会导致 “梯度消失” ...
机器学习 Momentum、AdaGrad、RMSProp、Adam
孟宝亮2022-02-05681014
传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到 “鞍点” ，梯度为 0，参数无法优化碰到局部最小值对于这些...
机器学习 PyTorch 模型保存和加载
孟宝亮2022-01-31660093
神经网络的训练有时需要几天、几周、甚至几个月，为了在每次使用模型时避免高代价的重复训练，我们就需要将模型序列化到磁盘中，使用的时候反序列化到内存中。 PyTorch 提供了两种保存...
机器学习 Transformer 词嵌入+位置编码
孟宝亮2022-01-29676084
Transformer 是谷歌在 2017 年的论文《Attention Is All you Need》中提出的一种新架构，它在多项 NLP 任务上效果很不错，训练速度也比 R...

1 … 7 8 9 … 12

机器学习

机器学习 Ernie

机器学习 NER 标签体系

机器学习 KL 散度和 Jencent 不等式

机器学习 高斯混合模型（GMM）

机器学习 N 元模型（N-Gram）

机器学习 TextCNN 网络

机器学习 Bahdanau Attention And Luong Attention

机器学习 文本预处理方法汇总

机器学习 PGN 网络 (Pointer-Generator Networks)

机器学习 句子相似性计算

机器学习 基于 jieba 和 textrank4zh 提取关键词

机器学习 PyTorch 池化层

机器学习 图像卷积计算（Conv2D）

机器学习 基于 RNN 循环网络实现文本生成

机器学习 one hot 编码

机器学习 PyTorch 初始化 API

机器学习 Xavier 初始化

机器学习 Momentum、AdaGrad、RMSProp、Adam

机器学习 PyTorch 模型保存和加载

机器学习 Transformer 词嵌入+位置编码

置顶推荐