孟宝亮的文章

有着15年的开发和教学经验，专注于分享 Python、机器学习、深度学习、大模型、以及 Linux C/C++ 等方面的技术课程！

机器学习 SGD 优化器原理
孟宝亮2022-05-26109204
我们先回顾下梯度下降法参数更新的公式：从公式，可以很清楚的看到，参数能否学习就看学习率 LR 和梯度 G 了。如果某一点的梯度是 0 的话，那么参数就无法更新。什么时候会出现梯度为 0 的情况？比如局部极小值，另外就是...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 训练预测
孟宝亮2022-05-25102002
我们接下来编写训练函数、评估函数、预测函数。 1. 训练函数由于我们希望批次输入训练数据，在使用 RNN、GRU、LSTM 时，可以使用 pad_sequence、packed_pad_sequence、pad_pac...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 模型构建
孟宝亮2022-05-25110200
模型构建主要包括了 CRF 层的实现，以及 BiLSTM 层的实现。其中 CRF 层相对复杂一些，主要有两个较难的难点：一、要计算所有路径的损失，二、要根据发射矩阵回溯最优路径。 1. CRF 层实现 CRF 层实现时计...
机器学习基于 BiLSTM+CRF 实现 NER 任务 – 数据处理
孟宝亮2022-05-2591300
数据处理主要是加在语料、构建词典、以及将数据集转换为索引表示。我们这里会删除句子长度超过 505 的句子。由于构建词典时，是根据训练集数据构建的，所以在对测试集进行编码时，可能会出现 oov 问题，我们直接用 UNK 来...
机器学习基于 Bert 实现 NER 任务 – 模型评估
孟宝亮2022-05-2594101
模型评估主要做的事情，提取测试集所有的实体名称，并划分为 ORG、PER、LOC 类别。分别统计每个类别的精度、召回率，以及准确率。 1. 提取实体名称我编写了 extract_decode 函数，该函数接收一个句子，...
机器学习基于 Bert 实现 NER 任务 – 模型训练
孟宝亮2022-05-25147803
我们使用 Bert 的 bert-base-chinese 为基础模型，在我们自己的数据集上进行微调来实现 NER 任务。我们这里使用的是 transformers 库中提供的 BertForTokenClassific...
机器学习 BERT 长度限制
孟宝亮2022-05-24187704
Bert 模型对输入有 512 的长度限制，有时我们的输入会超过 512，此时就需要一些方法来解决，这里总结了一些方法。修改模型的长度限制对输入进行长度截断通过滑动窗口重构输入通过提取关键部分重构输入使用支持长...
机器学习基于 Bert 实现 NER 任务 – 数据处理
孟宝亮2022-05-24111503
我们使用的是 MSRA 中文 NER 数据集，该数据集共包含三个目录：test、valid、train，分别对应了测试集、验证集、训练集。训练集有：42000 条数据，验证集有 3000 条数据，测试集有 3442 条数...
机器学习 CRF 层详细实现
孟宝亮2022-05-19132302
BiLSTM + CRF 中的 CRF 层重要的是两个函数的实现，一个是损失的计算，一个是维特比解码算法的实现。前者用于模型在训练过程中学习网络参数，后者用于预测最优的解码输出。 1. 矩阵扩展 CRF 层无论是计算损失...
机器学习 BiLSTM + CRF 核心概念理解
孟宝亮2022-05-17166503
对于命名实体识别任务，基于神经网络的方法应用非常常见。其中的 CRF 层对于刚刚接触学习的同学可能不是特别容易理解，下联链接的文章的作者对 CRF 做了非常好的讲解。我认真学习了作者的相关文章，把自己的理解总结下来，想看...
机器学习 Albert
孟宝亮2022-05-16109600
Albert（A Lite Bert For Self-Supervised Learning Of Language Representations）是对 Bert 的改进，其主要思想就是用更少的参数，取得更好的效果。...
机器学习 BERT MLM
孟宝亮2022-05-15157601
在学习 BERT 模型时，我们大家肯定知道其 MLM 的预训练任务，它会对输入中的 15% 的 Token 进行如下操作： 15% 中的 80% Token 使用 [MASK] Token 来替换； 15% 中的 10%...
机器学习 BPE Tokenization
孟宝亮2022-05-15180303
字节对编码（Byte-Pair Encoding，BPE）最初被开发为一种文本压缩算法，后来被 OpenAI 用于 GPT 模型预训练时的分词。许多 Transformer 模型都使用了该方法，包括 GPT、GPT-2、...
机器学习 Tokenization Pipeline
孟宝亮2022-05-15129001
我们在使用 transformers 时，需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库，该库可以帮我们更加轻松的构建不同类型的 Tokenizer。安装命令如下：训练一个分词器，我...

1 … 21 22 23 … 41

孟宝亮的文章

机器学习 SGD 优化器原理

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 训练预测

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 模型构建

机器学习 基于 BiLSTM+CRF 实现 NER 任务 – 数据处理

机器学习 基于 Bert 实现 NER 任务 – 模型评估

机器学习 基于 Bert 实现 NER 任务 – 模型训练

机器学习 BERT 长度限制

机器学习 基于 Bert 实现 NER 任务 – 数据处理

机器学习 CRF 层详细实现

机器学习 BiLSTM + CRF 核心概念理解

机器学习 Albert

机器学习 BERT MLM

机器学习 BPE Tokenization

机器学习 Tokenization Pipeline

孟宝亮 的文章

孟宝亮的文章