我的文章

我的文章Transformer Models

谷歌团队在 2017年6月提出了 Transformer 架构，目标是翻译任务。接着又出现了一些有影响力的模型： 2018 年 6 月：GPT 模型，第一个预训...

我的文章Docker 常用命令

Docker 是一个开源的应用容器引擎，使用 Docker 可以将我们的应用程序和其依赖环境打包到一起进行移植、发布，我们就不需要在一台新的机器上为应用程序去安...

我的文章Dockerfile 使用

Dockerfile 是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。例如：我们现在有 ubuntu 18.04 这个基础的 doc...

我的文章BiLSTM 情感分析（2）

我的文章OneClassSVM 使用方法

我的文章Using Transformers – pipeline

Transformer 通常有数树百万、甚至数百亿的参数，训练和部署这些模型是一项复杂的工作。此外，由于几乎每天都会发布新模型并且每个模型都有自己的实现，使用它...

我的文章Using Transformers – Models

我们将会研究下创建和使用模型，我们以 BERT 架构模型为例。 1. 创建模型 如果我们打算创建一个新的模型，即: 从头开始训练一个 BERT 模型，我们可以按...

我的文章HuggingFace Tokenizers

HuggingFace Tokenizers 是一个高效的文本分词库，用于将自然语言文本分割成单个的标记（tokens），以便用于自然语言处理任务中，如文本分类...

我的文章BERT

Bert（Pre-training of Deep Bidirectional Transformers for Language Understanding）...

我的文章Using Transformers – Dataset

我们了解下如何使用 Datasets 库来加载、处理数据集。安装命令如下： 1. 加载数据集 Datasets 库可以加载在线数据集：https://huggi...

我的文章微调 Bert 实现评论分类

数据集是中文的酒店评论，共有 50216 + 12555 条评论，前者是训练集，后者是验证集。clean_data 函数是对评论做的一些简单的处理。train_...

我的文章GPT2 （Generative Pre-trained Transformer）

GPT-2 是 OpenAI 于 2019 年推出的一个基于 Transformer 的 解码器（Decoder）架构的自然语言处理模型。它通过无监督学习大规模...

我的文章直接训练 Llama 生成对联

对联生成作为一种文本生成任务，通常要求生成内容具有对称性和韵律。过去，我们多采用基于预训练模型的微调方法来完成这一任务。这一次，我们尝试使用较小尺寸的 Llam...

我的文章C++ Type Traits

Type Traits 是 C++11 中的一种模板元编程技术，它提供了一系列的模板类和函数，用于在编译时查询和操作类型信息。这些类型特征可以用于泛型编程中，帮...

我的文章Transformer-XL

在 Character-Level Language Modeling with Deeper Self-Attention 中，作者提到 LSTM 和 RNN...