机器学习

机器学习基于 Bert 实现 NER 任务 – 模型训练
孟宝亮2022-05-25147603
我们使用 Bert 的 bert-base-chinese 为基础模型，在我们自己的数据集上进行微调来实现 NER 任务。我们这里使用的是 transformers 库中提供的 BertForTokenClassific...
机器学习 BERT 长度限制
孟宝亮2022-05-24187204
Bert 模型对输入有 512 的长度限制，有时我们的输入会超过 512，此时就需要一些方法来解决，这里总结了一些方法。修改模型的长度限制对输入进行长度截断通过滑动窗口重构输入通过提取关键部分重构输入使用支持长...
机器学习基于 Bert 实现 NER 任务 – 数据处理
孟宝亮2022-05-24111403
我们使用的是 MSRA 中文 NER 数据集，该数据集共包含三个目录：test、valid、train，分别对应了测试集、验证集、训练集。训练集有：42000 条数据，验证集有 3000 条数据，测试集有 3442 条数...
机器学习 CRF 层详细实现
孟宝亮2022-05-19132202
BiLSTM + CRF 中的 CRF 层重要的是两个函数的实现，一个是损失的计算，一个是维特比解码算法的实现。前者用于模型在训练过程中学习网络参数，后者用于预测最优的解码输出。 1. 矩阵扩展 CRF 层无论是计算损失...
机器学习 BiLSTM + CRF 核心概念理解
孟宝亮2022-05-17166303
对于命名实体识别任务，基于神经网络的方法应用非常常见。其中的 CRF 层对于刚刚接触学习的同学可能不是特别容易理解，下联链接的文章的作者对 CRF 做了非常好的讲解。我认真学习了作者的相关文章，把自己的理解总结下来，想看...
机器学习 Albert
孟宝亮2022-05-16109500
Albert（A Lite Bert For Self-Supervised Learning Of Language Representations）是对 Bert 的改进，其主要思想就是用更少的参数，取得更好的效果。...
机器学习 BERT MLM
孟宝亮2022-05-15157201
在学习 BERT 模型时，我们大家肯定知道其 MLM 的预训练任务，它会对输入中的 15% 的 Token 进行如下操作： 15% 中的 80% Token 使用 [MASK] Token 来替换； 15% 中的 10%...
机器学习 BPE Tokenization
孟宝亮2022-05-15179603
字节对编码（Byte-Pair Encoding，BPE）最初被开发为一种文本压缩算法，后来被 OpenAI 用于 GPT 模型预训练时的分词。许多 Transformer 模型都使用了该方法，包括 GPT、GPT-2、...
机器学习 Tokenization Pipeline
孟宝亮2022-05-15128501
我们在使用 transformers 时，需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库，该库可以帮我们更加轻松的构建不同类型的 Tokenizer。安装命令如下：训练一个分词器，我...
机器学习 Transformer-XL
孟宝亮2022-05-11123804
在 Character-Level Language Modeling with Deeper Self-Attention 中，作者提到 LSTM 和 RNN 变体能够在对字符级语言建模有着非常优秀的表现，这得益于它能...
机器学习基于 GPT 训练对联模型 – 模型预测
孟宝亮2022-05-1197703
我们主要实现了两个预测函数，一个用于给定第一个字，来预测上联和下联，另外一个可以输入整个上联来预测下联，这俩函数其实很类似。 1. 预测上下联 2. 只预测下联 3. 调用示例程序预测输出：看着挺工整，懂对联的同学可...
机器学习基于 GPT 训练对联模型 – 模型训练
孟宝亮2022-05-1183504
这部分主要包含两部分: 对联模型类编写训练函数的实现 1. 对联模型首先，我们将加载数据处理时得到的 tokenizer-encode-tokenizer，主要用于获得词表大小，当然，我们在前面处理时，可以单独将词...
机器学习基于 GPT 训练对联模型 – 数据处理
孟宝亮2022-05-1091703
GPT 非常适合生成类任务，下面使用对联语料从零训练一个用于对联生成的模型。该模型：输入一个字，自动生成上联和下联输入上联，自动生成下联语料文件结构如下：语料部分截图：导入需要的模块： 1. 语料清洗对语料进...
机器学习 GPT2 模型
孟宝亮2022-05-08201201
GPT（Generative Pre-Training）模型相对于 Bert 模型更擅长解决生成任务（NLG），Bert 使用 MLM 和 NSP 语言模型进行训练，而 GPT 则是使用上文来预测单词，例如 “...

1 … 9 10 11 … 18

机器学习

机器学习 基于 Bert 实现 NER 任务 – 模型训练

机器学习 BERT 长度限制

机器学习 基于 Bert 实现 NER 任务 – 数据处理

机器学习 CRF 层详细实现

机器学习 BiLSTM + CRF 核心概念理解

机器学习 Albert

机器学习 BERT MLM

机器学习 BPE Tokenization

机器学习 Tokenization Pipeline

机器学习 Transformer-XL

机器学习 基于 GPT 训练对联模型 – 模型预测

机器学习 基于 GPT 训练对联模型 – 模型训练

机器学习 基于 GPT 训练对联模型 – 数据处理

机器学习 GPT2 模型

相关课程