我的文章

我的文章PGN 网络 (Pointer-Generator Networks)

PGN 网络可用于文本生成，文本生成任务是从序列到序列的模型，马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时，基本思路是什么样的呢？ 输入一串文本到编码器，提取句子...

我的文章文本预处理方法汇总

我们在做文本预处理工作时，经常需要使用正则表达式。例如：判断是否是中文、是否是标点符号、是否是空行等等，我们将这些常用的用法记录下来，方便下次使用。 1. 判断是否中文 程序输出结果： 2. 连续空格...

我的文章工具函数

在进行文本预处理工作时，自己写了一些工具函数，主要如下： 程序耗时统计 任务并行计算 未完待续 1. 程序耗时统计 2. 任务并行计算 将数据集分块也可以使用 numpy 的 array_split ...

我的文章Bahdanau Attention And Luong Attention

在带有注意力机制的 Encoder-Decoder 模型中存在很多注意力机制，本篇文章根据原始论文对 Bahdanau 注意力计算方法和 Luong 注意力计算方法进行总结。 Bahdanau Att...

我的文章N 元模型（N-Gram）

在词袋模型中，由于并不考虑词序，会导致 “我爱你” 和 “你爱我” 这两个文本的向量表示相同。比如： 根据语料构建词表为：[“我”...

我的文章高斯分布（Gaussian Distribution）

高斯分布（Gaussian distribution），也叫正态分布，是数据分析和统计学中最常见的一种概率分布。它得名于德国数学家卡尔·高斯，因其呈现一个对称的“钟形”曲线，因此也被称为“钟形曲线”或...

我的文章KL 散度（Kullback-Leibler Divergence）

KL 散度是一种衡量两个概率分布之间差异的度量。它描述了一个概率分布相对于另一个概率分布的 信息损失。在信息论中，KL散度也被称为相对熵。 假设：、 为随机变量 的两个概率分布，在离散和连续随机变量的...

我的文章NER 标签体系

序列标注任务指的把原始序列元素逐一标注并生成新标签序列的任务叫做序列标注任务。以中文命名实体识别任务为例，主要的标签体系有： BIO 标签体系 BIEO 标签体系 BIESO 标签体系 1. BIO ...

我的文章Ernie

Github：https://github.com/PaddlePaddle/ERNIE 1. ERNIE 1.0 ERNIE 1.0：https://arxiv.org/pdf/1904.09223...

我的文章梯度裁剪（Gradient Clipping）

梯度裁剪是一种有效的防止梯度爆炸的技术，特别是在训练深度神经网络和循环神经网络时。它通过限制梯度的大小，使训练过程更加稳定。虽然有时可能会影响收敛速度，但它对于防止训练失败是非常有用的。 1. 梯度爆...

我的文章Docker Hello World

Docker 是一个开源的应用容器引擎，使用 Docker 可以将我们的应用程序和其依赖环境打包到一起进行移植、发布，我们就不需要在一台新的机器上为应用程序去安装、配置所需的依赖包、环境变量等。Doc...

我的文章保存 Docker 容器的更改

当对 Docker 容器执行 stop 时，我们在容器内所做的一些更改就会丢失。我们可以使用以下几种来保存对容器的一些更改: 使用 docker cp 命令，该命令比较适合将个别的一些更改的文件的手动...

我的文章BiLSTM 情感分析（1）

数据集：中文酒店评论分类语料.csv 1. 数据处理 2. 模型训练评估

我的文章SVC 和 SVR 使用方法

我的文章Electron Hello World

1. 配置环境 首先从链接 https://nodejs.org/zh-cn/download 下载 node.js 22.14.0（LTS），安装之后进行如下配置： 在 “user...