一亩三分地时序卷积网络（TCN）是一种用于处理时序数据的神经网络架构。它在许多任务（如时间序列预测、自然语言处理等）中被认为是替代循环神经网络（RNN）的一个强大模型。 Paper：https://arxiv.org/pdf/18...
在文本处理中，Conv1D 可以处理序列数据。假设我们有一段文本序列，首先会通过词嵌入将每个单词转换成固定维度的向量，然后使用 Conv1D 对这些向量进行卷积操作，以捕获不同大小的上下文窗口中的特征。 1. 计算过程 ...
PaddleNLP 中封装了一些 Encoder，可以帮助我们 sequence 中的多 token 向量转换为 sequence vector，主要方法有： BoWEncoder CNNEncoder GRUEncod...
PaddleNLP 提供多个开源的预训练词向量模型，使用非常便捷。接下来结合官方给出的详细文档总结下主要的内容。 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/...
我们通常用模型包含的参数量和计算量来衡量一个模型的复杂度。参数量指的是模型学习参数数量，它决定了模型的大小，以及内存资源的占用，当然，在训练过程中，模型的实际内存使用量并不仅仅由参数量来决定 模型的计算量指的是浮点数运算...
Longformer（Long Document Transformer）是由 Allen Institute for AI（AI2）在 2020 年提出的一种 Transformer 变体，旨在高效处理长文本。它的设计...
PyTorch 算子是 PyTorch 框架的核心组成部分，用于构建神经网络模型、执行计算任务以及进行张量操作。它们提供了丰富的功能、高效的性能和灵活的开发方式，是深度学习开发中不可或缺的工具。 什么是 PyTorch ...
叶子张量是 PyTorch 计算图中的一个重要概念，叶子张量指的就是我们的模型参数，而模型参数一般都是我们自己创建的 requires_grad=True 的张量。它位于整个计算图的开始位置，比如下面这个例子： 程序输出...
我们一直使用 PyTorch 进行模型训练，有时会出现显存不足的情况。除了找到对应的解决办法，比如：累加梯度、使用自动混合精度，还应该了解训练时，显存究竟在哪些环节被大量占用。主要有以下四个环节： CUDA 运行内存 模...
在分类问题中，会碰到样本类别不均衡的情况。此时，模型为了能够降低损失，会去尽量学习多数样本，导致对少数类别样本的学习减弱。 举个不太恰当的例子，我们有数学和语文两个科目，其中数学的学习资料特别多，而语文的学习资料特别少。...
协同过滤推荐（Collaborative Filtering Recommendation）：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。 基于用户的协同过滤：找到和...
Unigram 算法通常用于 SentencePiece，这是 AlBERT、T5、mBART、Big Bird 和 XLNet 等模型使用的分词算法。 它从一个较大的词汇表开始，然后逐步删除其中的 token，直到达到...
Pegasus（Pre-training with Extracted Gap-sentences for Abstractive Summarization）是一个用于文本摘要的预训练模型，最初由 Google Res...
RoBERTa（Robustly Optimized BERT Pretraining Approach）是 Meta AI（Facebook AI）在 2019 年提出的一种优化版 BERT。它的核心目标是改进 BER...
冀公网安备13050302001966号
最新评论