孟宝亮的文章

有着15年的开发和教学经验，专注于分享 Python、机器学习、深度学习、大模型、以及 Linux C/C++ 等方面的技术课程！

机器学习时序卷积网络（Temporal Convolutional Network）
孟宝亮2022-10-29180301
时序卷积网络（TCN）是一种用于处理时序数据的神经网络架构。它在许多任务（如时间序列预测、自然语言处理等）中被认为是替代循环神经网络（RNN）的一个强大模型。 Paper：https://arxiv.org/pdf/18...
机器学习 TextCNN（CNN for Sentence Classification）
孟宝亮2022-10-29123004
在文本处理中，Conv1D 可以处理序列数据。假设我们有一段文本序列，首先会通过词嵌入将每个单词转换成固定维度的向量，然后使用 Conv1D 对这些向量进行卷积操作，以捕获不同大小的上下文窗口中的特征。 1. 计算过程 ...
机器学习 PaddleNLP Sequence 2 Vector
孟宝亮2022-10-2787604
PaddleNLP 中封装了一些 Encoder，可以帮助我们 sequence 中的多 token 向量转换为 sequence vector，主要方法有： BoWEncoder CNNEncoder GRUEncod...
机器学习 PaddleNLP Embedding
孟宝亮2022-10-27108101
PaddleNLP 提供多个开源的预训练词向量模型，使用非常便捷。接下来结合官方给出的详细文档总结下主要的内容。 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/...
机器学习 Bert 模型复杂度
孟宝亮2022-10-24162503
我们通常用模型包含的参数量和计算量来衡量一个模型的复杂度。参数量指的是模型学习参数数量，它决定了模型的大小，以及内存资源的占用，当然，在训练过程中，模型的实际内存使用量并不仅仅由参数量来决定模型的计算量指的是浮点数运算...
机器学习 Longformer（Long Document Transformer）
孟宝亮2022-10-2486301
Longformer（Long Document Transformer）是由 Allen Institute for AI（AI2）在 2020 年提出的一种 Transformer 变体，旨在高效处理长文本。它的设计...
机器学习 PyTorch 自定义算子（operator）
孟宝亮2022-10-2493301
PyTorch 算子是 PyTorch 框架的核心组成部分，用于构建神经网络模型、执行计算任务以及进行张量操作。它们提供了丰富的功能、高效的性能和灵活的开发方式，是深度学习开发中不可或缺的工具。什么是 PyTorch ...
机器学习 PyTorch 叶子张量
孟宝亮2022-10-23119904
叶子张量是 PyTorch 计算图中的一个重要概念，叶子张量指的就是我们的模型参数，而模型参数一般都是我们自己创建的 requires_grad=True 的张量。它位于整个计算图的开始位置，比如下面这个例子：程序输出...
机器学习显存使用分析（PyTorch）
孟宝亮2022-10-22173200
我们一直使用 PyTorch 进行模型训练，有时会出现显存不足的情况。除了找到对应的解决办法，比如：累加梯度、使用自动混合精度，还应该了解训练时，显存究竟在哪些环节被大量占用。主要有以下四个环节： CUDA 运行内存模...
机器学习焦点损失（focal loss）
孟宝亮2022-10-19113400
在分类问题中，会碰到样本类别不均衡的情况。此时，模型为了能够降低损失，会去尽量学习多数样本，导致对少数类别样本的学习减弱。举个不太恰当的例子，我们有数学和语文两个科目，其中数学的学习资料特别多，而语文的学习资料特别少。...
机器学习协同过滤（Collaborative Filtering）
孟宝亮2022-10-17105404
协同过滤推荐（Collaborative Filtering Recommendation）：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。基于用户的协同过滤：找到和...
机器学习 XLNet
孟宝亮2022-10-16152602
XLNet 是 Google Brain 和 CMU（卡内基梅隆大学）联合提出的一种自回归语言模型，它结合了 Transformer-XL 结构，并在双向上下文建模方面优于 BERT。XLNet 主要用于自然语言处理...
机器学习 Unigram Tokenization
孟宝亮2022-10-1527200
Unigram 算法通常用于 SentencePiece，这是 AlBERT、T5、mBART、Big Bird 和 XLNet 等模型使用的分词算法。它从一个较大的词汇表开始，然后逐步删除其中的 token，直到达到...
机器学习用于文本摘要 Pegasus 预训练模型
孟宝亮2022-10-14102103
Pegasus（Pre-training with Extracted Gap-sentences for Abstractive Summarization）是一个用于文本摘要的预训练模型，最初由 Google Res...
机器学习更加鲁棒的 RoBERTa 模型
孟宝亮2022-10-1491002
RoBERTa（Robustly Optimized BERT Pretraining Approach）是 Meta AI（Facebook AI）在 2019 年提出的一种优化版 BERT。它的核心目标是改进 BER...

1 … 17 18 19 … 39

孟宝亮的文章

机器学习 时序卷积网络（Temporal Convolutional Network）

机器学习 TextCNN（CNN for Sentence Classification）

机器学习 PaddleNLP Sequence 2 Vector

机器学习 PaddleNLP Embedding

机器学习 Bert 模型复杂度

机器学习 Longformer（Long Document Transformer）

机器学习 PyTorch 自定义算子（operator）

机器学习 PyTorch 叶子张量

机器学习 显存使用分析（PyTorch）

机器学习 焦点损失（focal loss）

机器学习 协同过滤（Collaborative Filtering）

机器学习 XLNet

机器学习 Unigram Tokenization

机器学习 用于文本摘要 Pegasus 预训练模型

机器学习 更加鲁棒的 RoBERTa 模型

孟宝亮 的文章

孟宝亮的文章