我的文章

我的文章C++ std::function 泛化函数对象

std::function 是 C++11 标准库中的一个类模板，用于封装可调用对象（函数、函数指针、成员函数指针、Lambda 表达式等），并提供一种统一的方...

我的文章PyTorch Tensor 索引操作

我们在操作张量时，经常需要去进行获取或者修改操作，掌握张量的花式索引操作是必须的一项能力。

我的文章PyTorch Tensor 类型转换

我的文章PyTorch Tensor 数值计算

PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算. 基本运算 阿达玛积...

我的文章浮点数向量距离（Similarity）度量方法

在很多领域需要进行向量相似度的计算。本篇文章主要介绍一些常见的方法： 曼哈顿距离 欧几里得距离 切比雪夫距离 闵可夫斯基距离 标准欧式距离 余弦相似度 点积相似...

我的文章PyTorch Tensor 创建方法

PyTorch 是一个 Python 包，用于将数据封装成张量（Tensor）来进行运算。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。 基本创建...

我的文章PyTorch Tensor 运算函数

PyTorch 为每个张量封装很多实用的计算函数，例如计算均值、平方根、求和等等。 mean 函数用于计算张量均值 sum 函数用于计算张量和 pow 函数用于...

我的文章PyTorch 自动微分模块

自动微分（Autograd）模块对张量做了进一步的封装，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，在神经网络的反向传播过程中，Autograd...

我的文章Sigmoid 和 LogSigmoid 激活函数

激活函数主要用来向神经网络中加入非线性因素，以解决线性模型表达能力不足的问题，它对神经网络有着极其重要的作用。我们的网络参数在更新时，使用的反向传播算法（BP）...

我的文章ReLU、SoftPlus、LeakyReLU、ELU 激活函数

ReLU（Linear rectification function，修正线性单元）在图像处理任务中使用最广泛的激活函数，它虽然具有一定的优势，但是也存在一些不...

我的文章HardSwish 和 Mish 激活函数

目前业界公认的最好的激活函数是 swish 和 mish 函数，在保持原结构不变的基础上，直接将模型的激活函数换成 HardSwish 或 Mish 函数，都会...

我的文章Tanh 激活函数

Tanh 叫做双曲正切函数，其公式如下： Tanh 的函数图像、导数图像如下： 由上面的函数图像可以看到，Tanh 函数将输入映射到 (-1, 1) 之间，图像...

我的文章GELU 激活函数

GELU（Gaussian Error Linear Unit，高斯误差线性单元）激活函数在 NLP 任务中被广泛使用，例如：BERT、ALBERT、GPT 等...

我的文章STL 函数对象适配器

函数对象适配器主要用于对函数、函数对象进行适配（转换），使得原本不符合接口需求的函数、函数对象变得符合要求。比如：我们有一个 2 个参数的函数对象，但是我们需要...

我的文章STL forward_list 单向链表

什么是链表？链表是由一些列节点组成的，每一个阶段包含数据域、指针域，每个节点的内存都是独立，使用的是非连续的内存。 链表分为：单向链表、双向链表、循环链表单向链...