孟宝亮的文章

有着15年的开发和教学经验，专注于分享 Python、机器学习、深度学习、大模型、以及 Linux C/C++ 等方面的技术课程！

机器学习 XLNet
孟宝亮2022-10-16141002
Bert 在预训练时，会将输入中一部分的 Token 随机替换为 MASK 标记，即：在预训练阶段输入中存在 MASK 标记，但在微调时，输入的文本中是不包括 MASK 标记。这就是 Bert 预训练和微调时不匹配，会...
机器学习 Unigram Tokenization
孟宝亮2022-10-1515000
Unigram 算法通常用于 SentencePiece，这是 AlBERT、T5、mBART、Big Bird 和 XLNet 等模型使用的分词算法。它从一个较大的词汇表开始，然后逐步删除其中的 token，直到达到...
机器学习 Pegasus
孟宝亮2022-10-1493803
文本摘要的目标是从输入中生成准确、简洁的内容。做摘要时，我们知道有两种方法，一种是抽取式文本摘要，一种是生成式文本摘要。抽取式就是从输入文本中抽取出一些文本片段来组成文本摘要，而生成式则是根据输入文本来生一个一个的 wo...
机器学习 RoBERTa
孟宝亮2022-10-1480902
RoBERTa 对 Bert 模型做了一些简单的修改：使用更多的数据，更大的 batch size，训练更长时间；移除了 Bert 的 NSP 预训练任务；在更长的序列上进行训练；使用动态掩码的策略。 In su...
机器学习 Sentence Transformer
孟宝亮2022-10-13188902
SentenceTransformers is a Python framework for state-of-the-art sentence, text and image embeddings. You...
数据结构近似近邻算法（ANNOY）
孟宝亮2022-10-12111703
ANNOY（Approximate Nearest Neighbors Oh Yeah）算法能够帮助我们高效的查找近邻的 N 个向量。其基本原理：就是将所有向量按照空间进行划分，直到子空间小于等于 K 个向量位置。如下图...
机器学习模型剪枝（Model Pruning）
孟宝亮2022-10-1188602
对模型进行剪枝，使得模型参数稀疏化可以降低模型的复杂度，也能够一定程度上加快模型的计算速度。我们知道决策树通过剪枝能够起到正则化，防止过拟合。在深度学习模型中，裁剪也能够起到相应的作用。模型的裁剪本质上是将部分的模型参...
机器学习从 Bert 到 BiLSTM 知识蒸馏
孟宝亮2022-10-0681003
我们使用的是 TNEWS 数据集，该数据集来自今日头条的新闻版块，共提取了15个类别的新闻，包括旅游，教育，金融，军事等。数据量：训练集(53,360)，验证集(10,000)，测试集(10,000)，例子： {R...
机器学习 Ernie 中文情感分类任务
孟宝亮2022-10-04114300
情感分析本质是一个文本分类任务。PaddleNLP 内置了 ERNIE、BERT、RoBERTa、Electra 等丰富的预训练模型，并且内置了各种预训练模型对于不同下游任务的Fine-tune网络。用户可以使用 Pad...
机器学习增量学习（Incremental Learning）
孟宝亮2022-10-01154200
我们使用的算法模型中大都是批量学习（Batch Learning）模式，即：假设在训练之前所有训练样本一次都可以得到，学习这些样本之后，学习过程就终止了，不再学习新的知识。在有些场景下，训练样本通常不可能一次全部得到，...
机器学习 DBSCAN 算法
孟宝亮2022-09-3092502
DBSCAN （Density-Based Spatial Clustering of Applications with Noise）算法是一种基于密度的聚类算法，相比 Kmeans 算法，DBSCAN 可以有效处理噪...
机器学习因子分解机（Factorization Machine）
孟宝亮2022-09-29139102
线性回归在建模的时候，只考虑到了单个特征的影响。但是有些场景下，添加组合特征（交叉特征）会给模型带来非常好的效果。 POLY2 算法（二阶多项式）在线性回归基础上添加组合特征，并为每个组合特征配备了一个学习参数，如下...
机器学习基于 Doc2vec 训练 sentence 向量
孟宝亮2022-09-2796602
如何将一个句子、段落、或者文档用一个向量表示？词袋模型，该模型将每个文档转换为固定长度的整数向量。例如，给定以下句子：模型输出向量：每个向量有 10 个元素，其中每个元素计算特定单词在文档中出现的次数。元素的顺序是任...
数据结构最长公共子序列（LCS）
孟宝亮2022-09-24117702
最长公共子序列是一个非常实用的问题，它可以描述两段文本之间的 “相似程度”。所谓的子序列就是从原来的序列中取出一部分做成新的序列，新的序列并不要求是连续的。这和子串有些区别，子串也是原始序列中的一...

1 … 17 18 19 … 41

孟宝亮的文章

机器学习 XLNet

机器学习 Unigram Tokenization

机器学习 Pegasus

机器学习 RoBERTa

机器学习 Sentence Transformer

数据结构 近似近邻算法（ANNOY）

机器学习 模型剪枝（Model Pruning）

机器学习 从 Bert 到 BiLSTM 知识蒸馏

机器学习 Ernie 中文情感分类任务

机器学习 增量学习（Incremental Learning）

机器学习 DBSCAN 算法

机器学习 因子分解机（Factorization Machine）

机器学习 基于 Doc2vec 训练 sentence 向量

数据结构 最长公共子序列（LCS）

孟宝亮 的文章

孟宝亮的文章