孟宝亮的文章

有着15年的开发和教学经验，专注于分享 Python、机器学习、深度学习、大模型、以及 Linux C/C++ 等方面的技术课程！

机器学习 NER 标签体系
孟宝亮2022-03-02153601
序列标注任务指的把原始序列元素逐一标注并生成新标签序列的任务叫做序列标注任务。以中文命名实体识别任务为例，主要的标签体系有： BIO 标签体系 BIEO 标签体系 BIESO 标签体系 1. BIO 标签体系 BIO 标...
机器学习 KL 散度（Kullback-Leibler Divergence）
孟宝亮2022-02-26127703
KL 散度是一种衡量两个概率分布之间差异的度量。它描述了一个概率分布相对于另一个概率分布的信息损失。在信息论中，KL散度也被称为相对熵。假设：、为随机变量的两个概率分布，在离散和连续随机变量的情形下，KL 散度计...
机器学习高斯分布（Gaussian Distribution）
孟宝亮2022-02-25164603
高斯分布（Gaussian distribution），也叫正态分布，是数据分析和统计学中最常见的一种概率分布。它得名于德国数学家卡尔·高斯，因其呈现一个对称的“钟形”曲线，因此也被称为“钟形曲线”或“钟形分布”。 1....
机器学习 N 元模型（N-Gram）
孟宝亮2022-02-24136900
在词袋模型中，由于并不考虑词序，会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如：根据语料构建词表为：[“我”, “...
机器学习 Bahdanau Attention And Luong Attention
孟宝亮2022-02-1896802
在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制，本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Bahdanau Attention Luo...
PYTHON 工具函数
孟宝亮2022-02-16132701
在进行文本预处理工作时，自己写了一些工具函数，主要如下：程序耗时统计任务并行计算未完待续 1. 程序耗时统计 2. 任务并行计算将数据集分块也可以使用 numpy 的 array_split 来完成，例如: np...
机器学习文本预处理方法汇总
孟宝亮2022-02-13111600
我们在做文本预处理工作时，经常需要使用正则表达式。例如：判断是否是中文、是否是标点符号、是否是空行等等，我们将这些常用的用法记录下来，方便下次使用。 1. 判断是否中文程序输出结果： 2. 连续空格处理程序输出结果：...
机器学习 PGN 网络 (Pointer-Generator Networks)
孟宝亮2022-02-1396803
PGN 网络可用于文本生成，文本生成任务是从序列到序列的模型，马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时，基本思路是什么样的呢？输入一串文本到编码器，提取句子的语义表示向量由解...
机器学习句子相似性计算
孟宝亮2022-02-12108601
句子的相似性可以使用下面的一些方法来计算：杰卡德相似度余弦相似度 TextRank 相似度 1. 杰卡德相似度杰卡德相似度需要计算两个句子的交并集，然而这里没有说明使用什么粒度来计算。所以我们可以基于词粒度来计算，...
机器学习池化（Pooling）的作用和计算
孟宝亮2022-02-11123104
池化层（Pooling Layer）是卷积神经网络（CNN）中的一种层结构，主要用于对特征图进行降采样，以减小数据的空间尺寸，降低模型的计算量和参数数量，从而在一定程度上防止过拟合。池化层的主要作用包括：常见的池化操作...
机器学习卷积核（Convolution Kernel）
孟宝亮2022-02-11173804
卷积核（Convolution Kernel）是卷积神经网络（CNN）中的核心组件之一，通常用于图像处理和深度学习模型中。它是一个小的矩阵，用于对输入图像进行卷积操作，从而提取图像中的特征。卷积核通过在图像上滑动并执行逐...
机器学习 one hot 编码
孟宝亮2022-02-08103303
自然语言是用来表达含义的系统，词是其基本单元。在计算机处理中，我们需要把自然语言中的词进行数值化，才能够让计算机识别处理。最简单的将词进行词嵌入的方法是：one hot 编码。根据词的数量 N，构建一个全 0 的向量，...
机器学习 PyTorch 初始化 API
孟宝亮2022-02-0581002
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差加以规范化。处于稳定状态下的神经网络，其参数和数据均值为 ...
机器学习 Xavier 初始化
孟宝亮2022-02-05109301
神经网络模型一般都是靠随机梯度下降算法进行训练和参数更新。网络的收敛效果很大程度上受到网络参数初值的影响。不合理的网络参数初始化，可能会导致 “梯度消失” 或者 “梯度爆炸”...
机器学习 Momentum、AdaGrad、RMSProp、Adam
孟宝亮2022-02-0596202
传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到 “鞍点” ，梯度为 0，参数无法优化碰到局部最小值对于这些问题, 出现了一些对梯度下降算法的优化方...

1 … 24 25 26 … 39

孟宝亮的文章

机器学习 NER 标签体系

机器学习 KL 散度（Kullback-Leibler Divergence）

机器学习 高斯分布（Gaussian Distribution）

机器学习 N 元模型（N-Gram）

机器学习 Bahdanau Attention And Luong Attention

PYTHON 工具函数

机器学习 文本预处理方法汇总

机器学习 PGN 网络 (Pointer-Generator Networks)

机器学习 句子相似性计算

机器学习 池化（Pooling）的作用和计算

机器学习 卷积核（Convolution Kernel）

机器学习 one hot 编码

机器学习 PyTorch 初始化 API

机器学习 Xavier 初始化

机器学习 Momentum、AdaGrad、RMSProp、Adam

孟宝亮 的文章

孟宝亮的文章