孟宝亮的文章

有着15年的开发和教学经验，专注于分享 Python、机器学习、深度学习、大模型、以及 Linux C/C++ 等方面的技术课程！

我的文章 BERT
孟宝亮2025-07-28363703
Bert（Pre-training of Deep Bidirectional Transformers for Language Understanding）...
我的文章 HuggingFace Tokenizers
孟宝亮2025-07-28132400
HuggingFace Tokenizers 是一个高效的文本分词库，用于将自然语言文本分割成单个的标记（tokens），以便用于自然语言处理任务中，如文本分类...
我的文章 Using Transformers – Models
孟宝亮2025-07-28100303
我们将会研究下创建和使用模型，我们以 BERT 架构模型为例。 1. 创建模型如果我们打算创建一个新的模型，即: 从头开始训练一个 BERT 模型，我们可以按...
我的文章 Using Transformers – pipeline
孟宝亮2025-07-28119402
Transformer 通常有数树百万、甚至数百亿的参数，训练和部署这些模型是一项复杂的工作。此外，由于几乎每天都会发布新模型并且每个模型都有自己的实现，使用它...
我的文章 C++ Type Traits
孟宝亮2025-07-2831800
Type Traits 是 C++11 中的一种模板元编程技术，它提供了一系列的模板类和函数，用于在编译时查询和操作类型信息。这些类型特征可以用于泛型编程中，帮...
我的文章直接训练 Llama 生成对联
孟宝亮2025-07-28105803
对联生成作为一种文本生成任务，通常要求生成内容具有对称性和韵律。过去，我们多采用基于预训练模型的微调方法来完成这一任务。这一次，我们尝试使用较小尺寸的 Llam...
我的文章 GPT2 （Generative Pre-trained Transformer）
孟宝亮2025-07-28250201
GPT-2 是 OpenAI 于 2019 年推出的一个基于 Transformer 的解码器（Decoder）架构的自然语言处理模型。它通过无监督学习大规模...
我的文章微调 Bert 实现评论分类
孟宝亮2025-07-28141102
数据集是中文的酒店评论，共有 50216 + 12555 条评论，前者是训练集，后者是验证集。clean_data 函数是对评论做的一些简单的处理。train_...
我的文章 Using Transformers – Dataset
孟宝亮2025-07-2897002
我们了解下如何使用 Datasets 库来加载、处理数据集。安装命令如下： 1. 加载数据集 Datasets 库可以加载在线数据集：https://huggi...
我的文章 BERT MLM
孟宝亮2025-07-28181201
在学习 BERT 模型时，我们大家肯定知道其 MLM 的预训练任务，它会对输入中的 15% 的 Token 进行如下操作： 15% 中的 80% Token 使...
我的文章 BiLSTM + CRF 核心概念理解
孟宝亮2025-07-28188903
对于命名实体识别任务，基于神经网络的方法应用非常常见。其中的 CRF 层对于刚刚接触学习的同学可能不是特别容易理解，下联链接的文章的作者对 CRF 做了非常好的...
我的文章一个轻量级的 Albert 模型
孟宝亮2025-07-28125000
Albert（A Lite Bert For Self-Supervised Learning Of Language Representations）是对 B...
我的文章 BPE Tokenization
孟宝亮2025-07-28212903
字节对编码（Byte-Pair Encoding，BPE）最初被开发为一种文本压缩算法，后来被 OpenAI 用于 GPT 模型预训练时的分词。许多 Trans...
我的文章 Tokenization Pipeline
孟宝亮2025-07-28154301
我们在使用 transformers 时，需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库，该库可以帮我们更加轻松的构建不同类...
我的文章 Transformer-XL
孟宝亮2025-07-28137004
在 Character-Level Language Modeling with Deeper Self-Attention 中，作者提到 LSTM 和 RNN...

1 … 11 12 13 … 37

孟宝亮的文章

我的文章 BERT

我的文章 HuggingFace Tokenizers

我的文章 Using Transformers – Models

我的文章 Using Transformers – pipeline

我的文章 C++ Type Traits

我的文章 直接训练 Llama 生成对联

我的文章 GPT2 （Generative Pre-trained Transformer）

我的文章 微调 Bert 实现评论分类

我的文章 Using Transformers – Dataset

我的文章 BERT MLM

我的文章 BiLSTM + CRF 核心概念理解

我的文章 一个轻量级的 Albert 模型

我的文章 BPE Tokenization

我的文章 Tokenization Pipeline

我的文章 Transformer-XL

孟宝亮 的文章

孟宝亮的文章