ANNOY（Approximate Nearest Neighbors Oh Yeah）算法能够帮助我们高效的查找近邻的 N 个向量。其基本原理：就是将所有向量按照空间进行划分，直到子空间小于等于 K...
Sentence Transformers 是由 Hugging Face 维护的开源 Python 库，通过深度学习模型捕捉文本的语义信息，转换为数值向量表示。基于这些向量可以实现语义相似度计算、文...
RoBERTa（Robustly Optimized BERT Pretraining Approach）是 Meta AI（Facebook AI）在 2019 年提出的一种优化版 BERT。它的核...
Pegasus（Pre-training with Extracted Gap-sentences for Abstractive Summarization）是一个用于文本摘要的预训练模型，最初由 ...
Unigram 算法通常用于 SentencePiece，这是 AlBERT、T5、mBART、Big Bird 和 XLNet 等模型使用的分词算法。 它从一个较大的词汇表开始，然后逐步删除其中的 ...
协同过滤推荐（Collaborative Filtering Recommendation）：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。 基于用...
在分类问题中，会碰到样本类别不均衡的情况。此时，模型为了能够降低损失，会去尽量学习多数样本，导致对少数类别样本的学习减弱。 举个不太恰当的例子，我们有数学和语文两个科目，其中数学的学习资料特别多，而语...
我们一直使用 PyTorch 进行模型训练，有时会出现显存不足的情况。除了找到对应的解决办法，比如：累加梯度、使用自动混合精度，还应该了解训练时，显存究竟在哪些环节被大量占用。主要有以下四个环节： C...
叶子张量是 PyTorch 计算图中的一个重要概念，叶子张量指的就是我们的模型参数，而模型参数一般都是我们自己创建的 requires_grad=True 的张量。它位于整个计算图的开始位置，比如下面...
PyTorch 算子是 PyTorch 框架的核心组成部分，用于构建神经网络模型、执行计算任务以及进行张量操作。它们提供了丰富的功能、高效的性能和灵活的开发方式，是深度学习开发中不可或缺的工具。 什么...
Longformer（Long Document Transformer）是由 Allen Institute for AI（AI2）在 2020 年提出的一种 Transformer 变体，旨在高效...
我们通常用模型包含的参数量和计算量来衡量一个模型的复杂度。参数量指的是模型学习参数数量，它决定了模型的大小，以及内存资源的占用，当然，在训练过程中，模型的实际内存使用量并不仅仅由参数量来决定 模型的计...
PaddleNLP 提供多个开源的预训练词向量模型，使用非常便捷。接下来结合官方给出的详细文档总结下主要的内容。 https://paddlenlp.readthedocs.io/zh/latest/...
PaddleNLP 中封装了一些 Encoder，可以帮助我们 sequence 中的多 token 向量转换为 sequence vector，主要方法有： BoWEncoder CNNEncode...
冀公网安备13050302001966号