PGN 网络可用于文本生成,文本生成任务是从序列到序列的模型,马上就想到了 Seq2Seq 架构的模型。当我们要实现一个文本摘要的文本生成任务时,基本思路是什么样的呢? 输入一串文...
jieba 和 textrank4zh 两个工具很方便实现关键词提取,textrank4zh 还能够进行关键句子抽取实现抽取式文本摘要。 jieba 和 textrank4zh 工...
池化层 (Pooling) 降低维度, 缩减模型大小,提高计算速度. 另外一个作用可以缓解卷积层对位置的敏感性. 池化层主要有两种: 最大池化 平均池化 1. 池化层计算 最大池化...
在计算机视觉领域, 往往我们输入的图像都很大,使用全连接网络的话,计算的代价较高. 另外图像也很难保留原有的特征,导致图像处理的准确率不高. 卷积神经网络(Convolutiona...
实现的步骤如下: 构建词典 构建数据对象 构建文本生成模型 编写训练函数 编写预测函数 1. 构建词典 我们在进行文本生成任务之前,首先就要构建词典,通过词典实现将词到索引的映射,...
自然语言是用来表达含义的系统,词是其基本单元。在计算机处理中,我们需要把自然语言中的词进行数值化,才能够让计算机识别处理。 最简单的将词进行词嵌入的方法是:one hot 编码。根...
网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是,将参数初始化为服从高斯分布或均匀分布的较小随机整数,同时对参数方差加以规范化。 处于稳...
传统的梯度下降优化算法中,可能会碰到以下情况: 碰到平缓区域,梯度值较小,参数优化变慢 碰到 “鞍点” ,梯度为 0,参数无法优化 碰到局部最小值 对于这些...
https://docs.python.org/3.8/c-api/ 导出函数: setup.py 文件: Python 调用文件: 程序运行结果:
我们简单介绍下,C/C++ 编写的扩展函数,导入到 Python 中使用。步骤如下: 编写使用 Python/C API 编写 C/C++ 函数 编写 setup.py 文件 编译...
在 Python 中使用 ctypes 模块可以很轻松定义 C 类型的变量,以及调用 C/C++ 函数. 1. 基础类型变量 程序输出结果: 2. 指针类型变量 程序输出结果: 3...
神经网络的训练有时需要几天、几周、甚至几个月,为了在每次使用模型时避免高代价的重复训练,我们就需要将模型序列化到磁盘中,使用的时候反序列化到内存中。 PyTorch 提供了两种保存...
Transformer 是谷歌在 2017 年的论文 《Attention Is All you Need》中提出的一种新架构,它在多项 NLP 任务上效果很不错,训练速度也比 R...
PyTorch 提供了两种损失函数的使用方法:函数形式、模块形式,函数形式的损失函数定义在 torch.nn.functional 库中,使用时传入神经网络的预测值和目标值来计算损...
1. pad_sequence pad_sequence 函数通过填充的方式,将同一个 batch 中的 sequences 通过默认填充 0 的方式,变成最长 sequence ...
在 NLP 任务中主要处理带有序列关系的文本数据,这就需要了解循环(递归)神经网络。下图是一个简单的循环神经网络: 网络中包含一个神经元,但是它具有不同的时间步,能够提取出句子的顺...