一亩三分地Unigram 算法通常用于 SentencePiece，这是 AlBERT、T5、mBART、Big Bird 和 XLNet 等模型使用的分词算法。 它从一个较大的词汇表开始，然后逐步删除其中的 token，直到达到...
Pegasus（Pre-training with Extracted Gap-sentences for Abstractive Summarization）是一个用于文本摘要的预训练模型，最初由 Google Res...
RoBERTa（Robustly Optimized BERT Pretraining Approach）是 Meta AI（Facebook AI）在 2019 年提出的一种优化版 BERT。它的核心目标是改进 BER...
Sentence Transformers 是由 Hugging Face 维护的开源 Python 库，通过深度学习模型捕捉文本的语义信息，转换为数值向量表示。基于这些向量可以实现语义相似度计算、文本聚类、信息检索、情...
ANNOY（Approximate Nearest Neighbors Oh Yeah）算法能够帮助我们高效的查找近邻的 N 个向量。其基本原理：就是将所有向量按照空间进行划分，直到子空间小于等于 K 个向量位置。如下图...
对模型进行剪枝，使得模型参数稀疏化可以降低模型的复杂度，也能够一定程度上加快模型的计算速度。我们知道决策树通过剪枝能够起到正则化，防止过拟合。在深度学习模型中，裁剪也能够起到相应的作用。 模型的裁剪本质上是将部分的模型参...
我们使用的是 TNEWS 数据集，该数据集来自今日头条的新闻版块，共提取了15个类别的新闻，包括旅游，教育，金融，军事等。数据量：训练集(53,360)，验证集(10,000)，测试集(10,000)，例子： {R...
冀公网安备13050302001966号
最新评论