孟宝亮 的文章

我的文章one hot 编码

自然语言是用来表达含义的系统，词是其基本单元。在计算机处理中，我们需要把自然语言中的词进行数值化，才能够让计算机识别处理。 最简单的将词进行词嵌入的方法是：one hot 编码。根据词的数量 N，构建...

我的文章PyTorch 初始化 API

网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差加以规范化。 处于稳定状态下的神经网络，...

我的文章高斯分布（Gaussian Distribution）

高斯分布（Gaussian distribution），也叫正态分布，是数据分析和统计学中最常见的一种概率分布。它得名于德国数学家卡尔·高斯，因其呈现一个对称的“钟形”曲线，因此也被称为“钟形曲线”或...

我的文章N 元模型（N-Gram）

在词袋模型中，由于并不考虑词序，会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如： 根据语料构建词表为：[“我”...

我的文章Bahdanau Attention And Luong Attention

在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制，本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Bahdanau Att...

我的文章工具函数

在进行文本预处理工作时，自己写了一些工具函数，主要如下： 程序耗时统计 任务并行计算 未完待续 1. 程序耗时统计 2. 任务并行计算 将数据集分块也可以使用 numpy 的 array_split ...

我的文章文本预处理方法汇总

我们在做文本预处理工作时，经常需要使用正则表达式。例如：判断是否是中文、是否是标点符号、是否是空行等等，我们将这些常用的用法记录下来，方便下次使用。 1. 判断是否中文 程序输出结果： 2. 连续空格...

我的文章梯度裁剪（Gradient Clipping）

梯度裁剪是一种有效的防止梯度爆炸的技术，特别是在训练深度神经网络和循环神经网络时。它通过限制梯度的大小，使训练过程更加稳定。虽然有时可能会影响收敛速度，但它对于防止训练失败是非常有用的。 1. 梯度爆...

我的文章Ernie

Github：https://github.com/PaddlePaddle/ERNIE 1. ERNIE 1.0 ERNIE 1.0：https://arxiv.org/pdf/1904.09223...

我的文章NER 标签体系

序列标注任务指的把原始序列元素逐一标注并生成新标签序列的任务叫做序列标注任务。以中文命名实体识别任务为例，主要的标签体系有： BIO 标签体系 BIEO 标签体系 BIESO 标签体系 1. BIO ...

我的文章KL 散度（Kullback-Leibler Divergence）

KL 散度是一种衡量两个概率分布之间差异的度量。它描述了一个概率分布相对于另一个概率分布的 信息损失。在信息论中，KL散度也被称为相对熵。 假设：、 为随机变量 的两个概率分布，在离散和连续随机变量的...

我的文章Ubuntu 22.04 安装 dify 1.0.1 开发平台

1. 安装 docker https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository 2. 安装 dify ...

我的文章Electron Hello World

1. 配置环境 首先从链接 https://nodejs.org/zh-cn/download 下载 node.js 22.14.0（LTS），安装之后进行如下配置： 在 “user...

我的文章SVC 和 SVR 使用方法

我的文章BiLSTM 情感分析（1）

数据集：中文酒店评论分类语料.csv 1. 数据处理 2. 模型训练评估