PaddleNLP 库提供了非常简便的文本数据增强实现，主要包括： WordSubstitute 词替换 WordDelete 词删除 WordSwap 词交换 WordInsert 词插入 并且 WordSubstit...
数据来源：http://www.openkg.cn/dataset/personrelationgraph，该数据集仅仅用来做学习之用。构建的过程主要包括两步： 将数据按照关系存储到 neo4j 数据库中； 输入名字可视...
py2neo 库提供了简便操作 Neo4j 数据库的接口。下面主要是对于结点、标签、属性、关系等操作的一些例子。 1. 结点操作 结点操作主要包括添加、删除、查询结点。添加新的结点可以使用 create、merge 两个...
我们在使用 Neo4j 图数据库时，经常会接触到结点、关系、属性、标签等概念。结点是描述对象的实体，类似于面向对象中一个实例化出来的对象。对象内部的实际数据我们用属性来描述。 我们都知道对象是有类型的，类型可以用标签来描...
下面的是具体的训练代码和小说生成代码。 1. 训练代码 训练过程会输出一个 epoch 的总损失，以及每个 epoch 结束时使用的学习率。注意，下面代码运行时，不可以将 main 函数中的代码放到单独的 train 函...
前面使用 GPT2 实现生成对联任务，这两天想用 GPT2 实现小说生成。这两个任务看似都是文本生成任务，但还是不同的。对联任务生成的内容很短小，生成小说则内容很长。从实现过程来看，虽然 GPT 可以生成长文本的内容，但...
Ignite 是一个可以帮助我们在 PyTorch 中训练和评估神经网络的高级库。简单来讲，使用该训练库可以让我们的训练代码更加简洁，灵活。工具的安装命令如下： Ignite 中主要有以下 4 个重要概念： Engine...
书接上回，上篇文章介绍了 7 种学习率的调整策略，PyTorch 1.11 版本中共有 14 种，本篇文章接着介绍剩下的 7 种学习率调整策略。 lr_scheduler.CosineAnnealingLR lr_sch...
torch.optim.lr_scheduler 提供了动态调整学习率的方法。在使用的时， Learning Rate Scheduler 一般在优化器的更新参数之后调用。另外，我们也可以在程序中使用多个 schedul...
函数调用绑定（Function Call Binding）指的是将一个函数调用与相应的函数定义（实现）关联起来的过程。 1. 函数绑定 对于 C++ 程序而言，将函数查找、关联的过程放在编译期完成，在运行时，避免这部分工...
当看到 weight decay 时，从字面意思指的是权重参数衰减，会觉得其和 L2 正则化是等价，因为 L2 正则化也能够达到权重衰减的作用，其实概念是不同的。L2 一般作为正则化项是添加到损失函数中，作为损失计算的一...
AdaGrad、RMSProp 针对学习率进行了优化，不同的参数分量在更新时能够使用各自更适合的学习率。Momentum 则是对梯度进行了优化，可以避免碰到鞍点、局部最小值时参数无法更新的情况。 我们经常把 Adam 理...
我们在使用梯度下降法时应该发现了不同参数分量在更新时使用相同的学习率。注意：不同分量使用的梯度可能是不同的。例如：我们现在有参数向量，它有 3 个分量，使用梯度下降法更新参数时都使用相同的学习率 lr。 AdaGrad ...
冀公网安备13050302001966号