一亩三分地

机器学习 PaddleNLP 数据增强函数
孟宝亮2022-06-0965602
PaddleNLP 库提供了非常简便的文本数据增强实现，主要包括： WordSubstitute 词替换 WordDelete 词删除 WordSwap 词交换 WordInser...
机器学习 R-BERT
孟宝亮2022-06-0989408
模型架构来自论文：https://arxiv.org/pdf/1905.08284.pdf，文章内容主要来自对这篇 Paper 的学习，感谢作者。Relation Classifi...
Python Neo4j 构建关系图谱
孟宝亮2022-06-091004096
数据来源：http://www.openkg.cn/dataset/personrelationgraph，该数据集仅仅用来做学习之用。构建的过程主要包括两步：将数据按照关系存储...
Linux C/C++C++ new 用法
孟宝亮2022-06-0718800
1. 基本用法 2. new 重载 2.1 全局重载 2.2 成员重载 3. placement new 在 C++ 中，”placement new” 允...
Python Neo4j 图数据库编程
孟宝亮2022-06-05691036
py2neo 库提供了简便操作 Neo4j 数据库的接口。下面主要是对于结点、标签、属性、关系等操作的一些例子。 1. 结点操作结点操作主要包括添加、删除、查询结点。添加新的结点...
Python Neo4j 图数据库使用
孟宝亮2022-06-0566204
我们在使用 Neo4j 图数据库时，经常会接触到结点、关系、属性、标签等概念。结点是描述对象的实体，类似于面向对象中一个实例化出来的对象。对象内部的实际数据我们用属性来描述。我们...
机器学习 Transformers 解码方法
孟宝亮2022-06-031065060
在使用自回归模型做生成任务时，例如使用 GPT2 做生成任务，需要解码预测结果。会接触到以下几种解码方法： Greedy Search Beam Search Top-K Samp...
机器学习基于 GPT2 实现生成小说任务 – 训练预测
孟宝亮2022-06-03689094
下面的是具体的训练代码和小说生成代码。 1. 训练代码训练过程会输出一个 epoch 的总损失，以及每个 epoch 结束时使用的学习率。注意，下面代码运行时，不可以将 main...
机器学习基于 GPT2 实现生成小说任务 – 数据处理
孟宝亮2022-05-31790095
前面使用 GPT2 实现生成对联任务，这两天想用 GPT2 实现小说生成。这两个任务看似都是文本生成任务，但还是不同的。对联任务生成的内容很短小，生成小说则内容很长。从实现过程来看...
机器学习 PyTorch Ignite Concepts
孟宝亮2022-05-3066401
Ignite 是一个可以帮助我们在 PyTorch 中训练和评估神经网络的高级库。简单来讲，使用该训练库可以让我们的训练代码更加简洁，灵活。工具的安装命令如下： Ignite 中主...
机器学习 Learning Rate Scheduler（二）
孟宝亮2022-05-28730071
书接上回，上篇文章介绍了 7 种学习率的调整策略，PyTorch 1.11 版本中共有 14 种，本篇文章接着介绍剩下的 7 种学习率调整策略。 lr_scheduler.Cosi...
机器学习 Learning Rate Scheduler（一）
孟宝亮2022-05-2899104
torch.optim.lr_scheduler 提供了动态调整学习率的方法。在使用的时， Learning Rate Scheduler 一般在优化器的更新参数之后调用。另外，我...
Linux C/C++C++ 函数的动态绑定
孟宝亮2022-05-2836900
函数调用绑定（Function Call Binding）指的是将一个函数调用与相应的函数定义（实现）关联起来的过程。 1. 函数绑定对于 C++ 程序而言，将函数查找、关联的过...
机器学习权重衰减（Weight Decay）
孟宝亮2022-05-281930013
当看到 weight decay 时，从字面意思指的是权重参数衰减，会觉得其和 L2 正则化是等价，因为 L2 正则化也能够达到权重衰减的作用，其实概念是不同的。L2 一般作为正则...
机器学习 Adam 优化器原理
孟宝亮2022-05-261170062
AdaGrad、RMSProp 针对学习率进行了优化，不同的参数分量在更新时能够使用各自更适合的学习率。Momentum 则是对梯度进行了优化，可以避免碰到鞍点、局部最小值时参数无...
机器学习 AdaGrad 和 RMSProp 优化器原理
孟宝亮2022-05-26805077
我们在使用梯度下降法时应该发现了不同参数分量在更新时使用相同的学习率。注意：不同分量使用的梯度可能是不同的。例如：我们现在有参数向量，它有 3 个分量，使用梯度下降法更新参数时都使...
机器学习 SGD 优化器原理
孟宝亮2022-05-26810027
我们先回顾下梯度下降法参数更新的公式：从公式，可以很清楚的看到，参数能否学习就看学习率 LR 和梯度 G 了。如果某一点的梯度是 0 的话，那么参数就无法更新。什么时候会出现梯度...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 训练预测
孟宝亮2022-05-25741042
我们接下来编写训练函数、评估函数、预测函数。 1. 训练函数由于我们希望批次输入训练数据，在使用 RNN、GRU、LSTM 时，可以使用 pad_sequence、packed_...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 模型构建
孟宝亮2022-05-2585300
模型构建主要包括了 CRF 层的实现，以及 BiLSTM 层的实现。其中 CRF 层相对复杂一些，主要有两个较难的难点：一、要计算所有路径的损失，二、要根据发射矩阵回溯最优路径。 ...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 数据处理
孟宝亮2022-05-2567507
数据处理主要是加在语料、构建词典、以及将数据集转换为索引表示。我们这里会删除句子长度超过 505 的句子。由于构建词典时，是根据训练集数据构建的，所以在对测试集进行编码时，可能会出...

1 … 8 9 10 … 21

机器学习 PaddleNLP 数据增强函数

机器学习 R-BERT

Python Neo4j 构建关系图谱

Linux C/C++C++ new 用法

Python Neo4j 图数据库编程

Python Neo4j 图数据库使用

机器学习 Transformers 解码方法

机器学习 基于 GPT2 实现生成小说任务 – 训练预测

机器学习 基于 GPT2 实现生成小说任务 – 数据处理

机器学习 PyTorch Ignite Concepts

机器学习 Learning Rate Scheduler（二）

机器学习 Learning Rate Scheduler（一）

Linux C/C++C++ 函数的动态绑定

机器学习 权重衰减（Weight Decay）

机器学习 Adam 优化器原理

机器学习 AdaGrad 和 RMSProp 优化器原理

机器学习 SGD 优化器原理

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 训练预测

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 模型构建

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 数据处理

孟宝亮

网站统计

置顶推荐

热门排行

我的课程