我的文章

我的文章 Dropout 正则化
孟宝亮2025-07-28150102
在训深层练神经网络时，由于模型参数较多，在数据量不足的情况下，很容易过拟合。Dropout 就是在神经网络中一种缓解过拟合的方法。我们知道，缓解过拟合的方式就...
我的文章深度残差网络（Residue Network）
孟宝亮2025-07-28105704
我们都知道增加网络的宽度和深度可以很好提高网络的性能，深的网络一般都比浅的的网络效果好。比如，一个深的网络 A 和一个浅的网络 B，那 A 的性能至少都能跟 B...
我的文章 PyTorch 中 GRU 和 LSTM 循环网络层
孟宝亮2025-07-28111600
在 NLP 任务中主要处理带有序列关系的文本数据，这就需要了解循环（递归）神经网络。下图是一个简单的循环神经网络：网络中包含一个神经元，但是它具有不同的时间步...
我的文章 Batch 文本长度不同（pad_sequence）
孟宝亮2025-07-28103302
1. pad_sequence pad_sequence 函数通过填充的方式，将同一个 batch 中的 sequences 通过默认填充 0 的方式，变成最长...
我的文章 BCELoss、CrossEntropyLoss
孟宝亮2025-07-28107400
PyTorch 提供了两种损失函数的使用方法：函数形式、模块形式，函数形式的损失函数定义在 torch.nn.functional 库中，使用时传入神经网络的预...
我的文章回归评估方法
孟宝亮2025-07-28115100
下面整理常见的用于回归损失函数： MAE 平均绝对误差 MSE 均方误差 R-Square R方损失函数 Huber 损失函数 Log-Cosh 损失函数 RM...
我的文章 Transformer 词嵌入+位置编码
孟宝亮2025-07-28125303
Transformer 是谷歌在 2017 年的论文《Attention Is All you Need》中提出的一种新架构，它在多项 NLP 任务上效果很不...
我的文章 PyTorch 模型保存和加载
孟宝亮2025-07-28101601
神经网络的训练有时需要几天、几周、甚至几个月，为了在每次使用模型时避免高代价的重复训练，我们就需要将模型序列化到磁盘中，使用的时候反序列化到内存中。 PyTor...
我的文章 Momentum、AdaGrad、RMSProp、Adam
孟宝亮2025-07-28107002
传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到 “鞍点” ，梯度为 0，参数无法优化碰到...
我的文章 C/C++ 编写 Python 扩展-调用C函数（1）
孟宝亮2025-07-2897700
在 Python 中使用 ctypes 模块可以很轻松定义 C 类型的变量，以及调用 C/C++ 函数. 1. 基础类型变量程序输出结果： 2. 指针类型变量...
我的文章 C/C++ 编写 Python 扩展-返回值（2）
孟宝亮2025-07-28194004
我们简单介绍下，C/C++ 编写的扩展函数，导入到 Python 中使用。步骤如下：编写使用 Python/C API 编写 C/C++ 函数编写 setu...
我的文章 C/C++ 编写 Python 扩展-传递参数（3）
孟宝亮2025-07-28116904
https://docs.python.org/3.8/c-api/ 导出函数： setup.py 文件： Python 调用文件：程序运行结果：
我的文章 Xavier 初始化
孟宝亮2025-07-28114901
神经网络模型一般都是靠随机梯度下降算法进行训练和参数更新。网络的收敛效果很大程度上受到网络参数初值的影响。不合理的网络参数初始化，可能会导致 “梯度...
我的文章 PyTorch 初始化 API
孟宝亮2025-07-2886302
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差...
我的文章 one hot 编码
孟宝亮2025-07-28109403
自然语言是用来表达含义的系统，词是其基本单元。在计算机处理中，我们需要把自然语言中的词进行数值化，才能够让计算机识别处理。最简单的将词进行词嵌入的方法是：on...