一亩三分地

机器学习 VGG 模型
孟宝亮2022-11-08556025
VGG 模型是 2014 年ILSVRC竞赛的第二名。从图像中提取 CNN 特征，VGG 模型是首选算法。它的缺点是参数量有 140M 之多，需要更大的存储空间。VGG 特点：小...
机器学习时序卷积网络（TCN）
孟宝亮2022-10-291002095
时序卷积网络（Temporal Convolutional Networks）是一种简单的卷积结构。它在许多任务中，性能比循环神经网络例（例如：LSTM）要表现的更好。因果卷积（...
机器学习文本卷积计算（Conv1D）
孟宝亮2022-10-29662010
Conv2D 主要用在图像特征提取，而对于文本数据我们一般用 Conv1D。怎么去理解 1D 和 2D？首先，我们可以把 Conv2D 中的 channel 理解为 Conv1D...
机器学习 PaddleNLP Sequence 2 Vector
孟宝亮2022-10-27563055
PaddleNLP 中封装了一些 Encoder，可以帮助我们 sequence 中的多 token 向量转换为 sequence vector，主要方法有： BoWEncoder...
机器学习 PaddleNLP Embedding
孟宝亮2022-10-27641055
PaddleNLP 提供多个开源的预训练词向量模型，使用非常便捷。接下来结合官方给出的详细文档总结下主要的内容。 https://paddlenlp.readthedocs.io/...
机器学习 Ernie-Doc
孟宝亮2022-10-26616013
Ernie-Doc 是一个 document level 的预训练模型。Paper 中主要提出了两种机制： Retrospective Feed Mechanism Enhance...
机器学习 Bert 模型复杂度
孟宝亮2022-10-241000096
我们通常用模型包含的参数量和计算量来衡量一个模型的复杂度。参数量指的是模型学习参数数量，它决定了模型的大小，以及内存资源的占用，当然，在训练过程中，模型的实际内存使用量并不仅仅由参...
机器学习 Longformer
孟宝亮2022-10-24557052
Tansformer-based 的模型都是基于自注意力机制，我们知道自注意力机制擅长捕捉输入 Token 内部相关性，并以此能够建立对 Token 的表征。但是自注意力机制随着输...
机器学习 PyTorch 自定义算子
孟宝亮2022-10-24527069
创建 autograd.Function 的子类，需要实现两个静态的方法 forward 和 backward。应用该 op 时，调用 apply 方法，不要直接调用 forwar...
机器学习 PyTorch 叶子张量
孟宝亮2022-10-23659094
叶子张量是 PyTorch 计算图中的一个重要概念，叶子张量指的就是我们的模型参数，而模型参数一般都是我们自己创建的 requires_grad=True 的张量。它位于整个计算图...
机器学习显存使用分析（PyTorch）
孟宝亮2022-10-2297200
我们一直使用 PyTorch 进行模型训练，有时会出现显存不足的情况。除了找到对应的解决办法，比如：累加梯度、使用自动混合精度，还应该了解训练时，显存究竟在哪些环节被大量占用。主要...
机器学习 Gradient Checkpoint
孟宝亮2022-10-22145300
Gradient Checkpoint 是一种能够节省内存的技术。什么时候需要节省内存呢？比如：模型太大，无法放到西有限的显存中训练。或者模型能够放到显存中，但是只能使用较小的 b...
机器学习焦点损失（focal loss）
孟宝亮2022-10-1971000
在分类问题中，会碰到样本类别不均衡的情况。此时，模型为了能够降低损失，会去尽量学习多数样本，导致对少数类别样本的学习减弱。举个不太恰当的例子，我们有数学和语文两个科目，其中数学的...
机器学习协同过滤（Collaborative Filtering）
孟宝亮2022-10-17678067
协同过滤推荐（Collaborative Filtering Recommendation）：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感...
机器学习 XLNet
孟宝亮2022-10-161127049
Bert 在预训练时，会将输入中一部分的 Token 随机替换为 MASK 标记，即：在预训练阶段输入中存在 MASK 标记，但在微调时，输入的文本中是不包括 MASK 标记。这...
机器学习 Pegasus
孟宝亮2022-10-14677010
文本摘要的目标是从输入中生成准确、简洁的内容。做摘要时，我们知道有两种方法，一种是抽取式文本摘要，一种是生成式文本摘要。抽取式就是从输入文本中抽取出一些文本片段来组成文本摘要，而生...
机器学习 RoBERTa
孟宝亮2022-10-14592075
RoBERTa 对 Bert 模型做了一些简单的修改：使用更多的数据，更大的 batch size，训练更长时间；移除了 Bert 的 NSP 预训练任务；在更长的序列上进行...
机器学习 Sentence Transformer
孟宝亮2022-10-131350040
SentenceTransformers is a Python framework for state-of-the-art sentence, text and image e...
数据结构与算法近似近邻算法（ANNOY）
孟宝亮2022-10-12826091
ANNOY（Approximate Nearest Neighbors Oh Yeah）算法能够帮助我们高效的查找近邻的 N 个向量。其基本原理：就是将所有向量按照空间进行划分，直...
机器学习模型剪枝（Model Pruning）
孟宝亮2022-10-11613072
对模型进行剪枝，使得模型参数稀疏化可以降低模型的复杂度，也能够一定程度上加快模型的计算速度。我们知道决策树通过剪枝能够起到正则化，防止过拟合。在深度学习模型中，裁剪也能够起到相应的...

1 … 5 6 7 … 21

机器学习 VGG 模型

机器学习 时序卷积网络（TCN）

机器学习 文本卷积计算（Conv1D）

机器学习 PaddleNLP Sequence 2 Vector

机器学习 PaddleNLP Embedding

机器学习 Ernie-Doc

机器学习 Bert 模型复杂度

机器学习 Longformer

机器学习 PyTorch 自定义算子

机器学习 PyTorch 叶子张量

机器学习 显存使用分析（PyTorch）

机器学习 Gradient Checkpoint

机器学习 焦点损失（focal loss）

机器学习 协同过滤（Collaborative Filtering）

机器学习 XLNet

机器学习 Pegasus

机器学习 RoBERTa

机器学习 Sentence Transformer

数据结构与算法 近似近邻算法（ANNOY）

机器学习 模型剪枝（Model Pruning）

孟宝亮

网站统计

置顶推荐

热门排行

我的课程