一亩三分地

机器学习 Momentum、AdaGrad、RMSProp、Adam
孟宝亮2022-02-05683014
传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到 “鞍点” ，梯度为 0，参数无法优化碰到局部最小值对于这些...
Python C/C++ 编写 Python 扩展-传递参数（3）
孟宝亮2022-02-04672040
https://docs.python.org/3.8/c-api/ 导出函数： setup.py 文件： Python 调用文件：程序运行结果：
Python C/C++ 编写 Python 扩展-返回值（2）
孟宝亮2022-02-011453062
我们简单介绍下，C/C++ 编写的扩展函数，导入到 Python 中使用。步骤如下：编写使用 Python/C API 编写 C/C++ 函数编写 setup.py 文件编译...
Python C/C++ 编写 Python 扩展-调用C函数（1）
孟宝亮2022-01-31621095
在 Python 中使用 ctypes 模块可以很轻松定义 C 类型的变量，以及调用 C/C++ 函数. 1. 基础类型变量程序输出结果： 2. 指针类型变量程序输出结果： 3...
机器学习 PyTorch 模型保存和加载
孟宝亮2022-01-31661093
神经网络的训练有时需要几天、几周、甚至几个月，为了在每次使用模型时避免高代价的重复训练，我们就需要将模型序列化到磁盘中，使用的时候反序列化到内存中。 PyTorch 提供了两种保存...
机器学习 Transformer 词嵌入+位置编码
孟宝亮2022-01-29679084
Transformer 是谷歌在 2017 年的论文《Attention Is All you Need》中提出的一种新架构，它在多项 NLP 任务上效果很不错，训练速度也比 R...
机器学习回归评估方法
孟宝亮2022-01-29721046
下面整理常见的用于回归损失函数： MAE 平均绝对误差 MSE 均方误差 R-Square R方损失函数 Huber 损失函数 Log-Cosh 损失函数 RMSLE 均方根对数误...
机器学习 BCELoss、CrossEntropyLoss
孟宝亮2022-01-29643073
PyTorch 提供了两种损失函数的使用方法：函数形式、模块形式，函数形式的损失函数定义在 torch.nn.functional 库中，使用时传入神经网络的预测值和目标值来计算损...
机器学习 Batch 文本长度不同（pad_sequence）
孟宝亮2022-01-28637034
1. pad_sequence pad_sequence 函数通过填充的方式，将同一个 batch 中的 sequences 通过默认填充 0 的方式，变成最长 sequence ...
机器学习 PyTorch 中 GRU 和 LSTM 循环网络层
孟宝亮2022-01-2762500
在 NLP 任务中主要处理带有序列关系的文本数据，这就需要了解循环（递归）神经网络。下图是一个简单的循环神经网络：网络中包含一个神经元，但是它具有不同的时间步，能够提取出句子的顺...
机器学习深度残差网络（Residue Network）
孟宝亮2022-01-27638045
我们都知道增加网络的宽度和深度可以很好提高网络的性能，深的网络一般都比浅的的网络效果好。比如，一个深的网络 A 和一个浅的网络 B，那 A 的性能至少都能跟 B一样，为什么呢？ h...
机器学习批量归一化（Batch Normalization）
孟宝亮2022-01-27727054
我们知道网络开始训练之后，每一层网络的参数都会发生变化。又由于每一层网络的输入是上一层网络的输出，上一层网络参数的变化，就导致当前层的输入分布发生变化，这个问题我们称之为 Inte...
机器学习 Dropout 正则化
孟宝亮2022-01-271054061
在训深层练神经网络时，由于模型参数较多，在数据量不足的情况下，很容易过拟合。Dropout 就是在神经网络中一种缓解过拟合的方法。我们知道，缓解过拟合的方式就是降低模型的复杂度，...
机器学习 PyTorch 构建词表
孟宝亮2022-01-27702076
在解决 NLP 任务之前, 首先就要构建自己的词表。词表的作用就是给定语料，将文本中的以字为单位、或者以词为单位转换为整数序号，该序号可用于在词嵌入的 lookup table 中...
机器学习 PyTorch 中 Linear 和 Embedding 网络层
孟宝亮2022-01-2671101
当我们使用 PyTorch 构建神经网络时，经常使用到一些内置的网络层。本篇文章主要介绍下列层的使用：线性层（Linear）词嵌入层（Embedding）循环网络层（RNN、...
机器学习 Beam Search 算法
孟宝亮2022-01-25752016
我们经常需要预测一个句子，预测时第 2 个词依赖于前 1 个词，预测第 3 个词时依赖于前面的 2 个词，当预测第 n 个词时依赖于前 n-1 个词，我们需要找到一个这样的词的序列...
机器学习神经网络 BP 算法
孟宝亮2022-01-24594031
BP （Back Propagation）算法也叫做误差反向传播算法，它用于求解模型的参数梯度，从而使用梯度下降法来更新网络参数。它的基本工作流程如下：通过正向传播得到误差，所谓...
机器学习 PyTorch DataLoader 使用
孟宝亮2022-01-23914069
在 PyTorch 中，使用 torch.utils.data.DataLoader 类可以实现批量的数据集加载，在我们训练模型中非常常用，其功能也确实比较强度大。由于其参数比较多...
Linux C/C++C++ default 关键字
孟宝亮2022-01-22739054
在 C++11 标准中引入的 default 关键字，主要用于在类的声明中显式指定编译器生成默认的特殊成员函数实现。这些特殊成员函数包括： 1. 默认构造 https://en.c...
Linux C/C++C++ 函数对象
孟宝亮2022-01-22585060
函数对象有时也叫仿函数，其本质是一个类对象，由于重载函数调用符号，其可以像普通函一样使用。 1. 函数调用符号重载语法 2. 函数对象相对于普通函数的优点 C++中使用函数对象作为...

1 … 12 13 14 … 21

机器学习 Momentum、AdaGrad、RMSProp、Adam

Python C/C++ 编写 Python 扩展-传递参数（3）

Python C/C++ 编写 Python 扩展-返回值（2）

Python C/C++ 编写 Python 扩展-调用C函数（1）

机器学习 PyTorch 模型保存和加载

机器学习 Transformer 词嵌入+位置编码

机器学习 回归评估方法

机器学习 BCELoss、CrossEntropyLoss

机器学习 Batch 文本长度不同（pad_sequence）

机器学习 PyTorch 中 GRU 和 LSTM 循环网络层

机器学习 深度残差网络（Residue Network）

机器学习 批量归一化（Batch Normalization）

机器学习 Dropout 正则化

机器学习 PyTorch 构建词表

机器学习 PyTorch 中 Linear 和 Embedding 网络层

机器学习 Beam Search 算法

机器学习 神经网络 BP 算法

机器学习 PyTorch DataLoader 使用

Linux C/C++C++ default 关键字

Linux C/C++C++ 函数对象

孟宝亮

网站统计

置顶推荐

热门排行

我的课程