一亩三分地

机器学习基于 Bert 实现 NER 任务 – 模型评估
孟宝亮2022-05-25673094
模型评估主要做的事情，提取测试集所有的实体名称，并划分为 ORG、PER、LOC 类别。分别统计每个类别的精度、召回率，以及准确率。 1. 提取实体名称我编写了 extract_...
机器学习基于 Bert 实现 NER 任务 – 模型训练
孟宝亮2022-05-251077064
我们使用 Bert 的 bert-base-chinese 为基础模型，在我们自己的数据集上进行微调来实现 NER 任务。我们这里使用的是 transformers 库中提供的 B...
机器学习 BERT 长度限制
孟宝亮2022-05-241321035
Bert 模型对输入有 512 的长度限制，有时我们的输入会超过 512，此时就需要一些方法来解决，这里总结了一些方法。修改模型的长度限制对输入进行长度截断通过滑动窗口重构输...
机器学习基于 Bert 实现 NER 任务 – 数据处理
孟宝亮2022-05-24751082
我们使用的是 MSRA 中文 NER 数据集，该数据集共包含三个目录：test、valid、train，分别对应了测试集、验证集、训练集。训练集有：42000 条数据，验证集有 3...
机器学习 CRF 层详细实现
孟宝亮2022-05-19939013
BiLSTM + CRF 中的 CRF 层重要的是两个函数的实现，一个是损失的计算，一个是维特比解码算法的实现。前者用于模型在训练过程中学习网络参数，后者用于预测最优的解码输出。 ...
机器学习 BiLSTM + CRF 核心概念理解
孟宝亮2022-05-171268014
对于命名实体识别任务，基于神经网络的方法应用非常常见。其中的 CRF 层对于刚刚接触学习的同学可能不是特别容易理解，下联链接的文章的作者对 CRF 做了非常好的讲解。我认真学习了作...
机器学习 Albert
孟宝亮2022-05-16830034
Albert（A Lite Bert For Self-Supervised Learning Of Language Representations）是对 Bert 的改进，其主...
机器学习 BERT MLM
孟宝亮2022-05-151221028
在学习 BERT 模型时，我们大家肯定知道其 MLM 的预训练任务，它会对输入中的 15% 的 Token 进行如下操作： 15% 中的 80% Token 使用 [MASK] T...
机器学习 Byte Pair Encoding (BPE)
孟宝亮2022-05-151239041
分词算法的目的就是将输入的整个序列分割为 token 序列。对于英文来说，最简单的分词方法就是以空格来分割出每一个单词(token)。对于中文而言，虽然没有像英文那样天然的分隔符，...
机器学习 Tokenization Pipeline
孟宝亮2022-05-15889023
我们在使用 transformers 时，需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库，该库可以帮我们更加轻松的构建不同类型的 Tokeniz...
机器学习 Transformer-XL
孟宝亮2022-05-11864090
在 Character-Level Language Modeling with Deeper Self-Attention 中，作者提到 LSTM 和 RNN 变体能够在对字符级...
机器学习基于 GPT 训练对联模型 – 模型预测
孟宝亮2022-05-11709091
我们主要实现了两个预测函数，一个用于给定第一个字，来预测上联和下联，另外一个可以输入整个上联来预测下联，这俩函数其实很类似。 1. 预测上下联 2. 只预测下联 3. 调用示例程...
机器学习基于 GPT 训练对联模型 – 模型训练
孟宝亮2022-05-11594086
这部分主要包含两部分: 对联模型类编写训练函数的实现 1. 对联模型首先，我们将加载数据处理时得到的 tokenizer-encode-tokenizer，主要用于获得词表大...
机器学习基于 GPT 训练对联模型 – 数据处理
孟宝亮2022-05-10629063
GPT 非常适合生成类任务，下面使用对联语料从零训练一个用于对联生成的模型。该模型：输入一个字，自动生成上联和下联输入上联，自动生成下联语料文件结构如下：语料部分截图：导...
Linux C/C++C++ Type Traits
孟宝亮2022-05-088200
Type Traits 是 C++11 中的一种模板元编程技术，它提供了一系列的模板类和函数，用于在编译时查询和操作类型信息。这些类型特征可以用于泛型编程中，帮助我们编写更加灵活、...
机器学习 GPT2 模型
孟宝亮2022-05-081398058
GPT（Generative Pre-Training）模型相对于 Bert 模型更擅长解决生成任务（NLG），Bert 使用 MLM 和 NSP 语言模型进行训练，而 GPT 则...
机器学习微调 Bert 实现酒店评论分类 – 模型评估
孟宝亮2022-05-08632050
我们在前面的训练过程中，共产生多个 checkpoint, 分别如下：我们接下来，使用测试集分别在不同的 checkpoint 下去评估下模型的准确率、精度、召回率，还有 f1-...
机器学习微调 Bert 实现酒店评论分类 – 模型训练
孟宝亮2022-05-07104202
我们在 bert-base-chinese 中文预训练模型的基础上进行微调，以适应在新的数据集-中文酒店评论上进行文本分类。在这里我们使用 Train 类来完成中文评论分类模型的训...
机器学习微调 Bert 实现酒店评论分类 – 数据处理
孟宝亮2022-05-07903094
数据集是中文的酒店评论，共有 50216 + 12555 条评论，前者是训练集，后者是验证集。clean_data 函数是对评论做的一些简单的处理。train_data 的数据对象...
Linux C/C++C++ 智能指针 auto ptr
孟宝亮2022-05-0629100
auto_ptr 是 C++98 中引入的智能指针，用于自动管理动态分配的对象的生命周期。然而，它在 C++11 中已被标记为已废弃，并且在 C++17 中已被移除，因为它存在一些...
《C++ 智能指针》

1 … 9 10 11 … 21

机器学习 基于 Bert 实现 NER 任务 – 模型评估

机器学习 基于 Bert 实现 NER 任务 – 模型训练

机器学习 BERT 长度限制

机器学习 基于 Bert 实现 NER 任务 – 数据处理

机器学习 CRF 层详细实现

机器学习 BiLSTM + CRF 核心概念理解

机器学习 Albert

机器学习 BERT MLM

机器学习 Byte Pair Encoding (BPE)

机器学习 Tokenization Pipeline

机器学习 Transformer-XL

机器学习 基于 GPT 训练对联模型 – 模型预测

机器学习 基于 GPT 训练对联模型 – 模型训练

机器学习 基于 GPT 训练对联模型 – 数据处理

Linux C/C++C++ Type Traits

机器学习 GPT2 模型

机器学习 微调 Bert 实现酒店评论分类 – 模型评估

机器学习 微调 Bert 实现酒店评论分类 – 模型训练

机器学习 微调 Bert 实现酒店评论分类 – 数据处理

Linux C/C++C++ 智能指针 auto ptr

孟宝亮

网站统计

置顶推荐

热门排行

我的课程