我们在使用 Bert 模型时,对每一个 token 的表征计算都是通过其内部的自注意力机制来完成的,具体就是由 Bert 模型的 BertAttention 来负责自注意力计算,分...
WordPiece 也是一种子词构建算法,我们在中文语料中使用的 BertTokenizer 就是使用这种分词算法,从这一点来看,WordPiece 算法要比 BPE 算法更加适合...
SBert 模型基于孪生网络来训练 sentence 向量,这篇文章参考了其实现,在 tiny albert 中文预训练模型基础上进行微调,使之能够生成 sentence 向量。S...
SKEP 通过情感知识增强型而得到的预训练的 transformer 模型,能够更好的用于情感分类场景。该模型如下图所示: SKEP 模型掩码策略称为 Hybrid Sentime...
目标是构建一个基于向量的问答检索系统,即:问题和答案是固定的数据集,通过将用户输入的问题编码为向量,在向量数据库中匹配最相似的问题,并返回问题对应的答案。 实现时,希望能够对输入的...
图像对比度越高,我们的眼睛对图像细节就更容易识别,此时,图像直方图则在整个像素值范围内(0-255)分布比较均匀,也表明了图像使用了更多的灰度级别,图像的细节表现的更好。对比度较低...
face_recognition 是一个基于 dlib 库的人脸识别工具包。主要包括: 标注人脸位置 计算人脸特征 人脸信息编码 人脸信息匹配 该 Python 工具包使用起来也比...
图像形态学是根据图像的形状进行的操作,它可以从图像中提取出用于表示图像形状最基本的信息,使得计算机能够更好的理解和识别图像信息。 形态学操作一般针对的是二值图像进行操作。这里简单说...
我们在做图像分类任务时,会输入想通尺寸的图像到 backbone 网络中提取图像特征,然后接一个全连接层来得到输出分数。那么,如果输入图像尺寸不同,那么输入就无法输入到后续的全连接...
时序卷积网络(Temporal Convolutional Networks)是一种简单的卷积结构。它在许多任务中,性能比循环神经网络例(例如:LSTM)要表现的更好。 因果卷积(...
Conv2D 主要用在图像特征提取,而对于文本数据我们一般用 Conv1D。怎么去理解 1D 和 2D? 首先,我们可以把 Conv2D 中的 channel 理解为 Conv1D...
PaddleNLP 中封装了一些 Encoder,可以帮助我们 sequence 中的多 token 向量转换为 sequence vector,主要方法有: BoWEncoder...
PaddleNLP 提供多个开源的预训练词向量模型,使用非常便捷。接下来结合官方给出的详细文档总结下主要的内容。 https://paddlenlp.readthedocs.io/...
我们通常用模型包含的参数量和计算量来衡量一个模型的复杂度。参数量指的是模型学习参数数量,它决定了模型的大小,以及内存资源的占用,当然,在训练过程中,模型的实际内存使用量并不仅仅由参...