一亩三分地ReLU（Linear rectification function，修正线性单元）在图像处理任务中使用最广泛的激活函数，它虽然具有一定的优势，但是也存在一些不足，由此出现了一些变种函数，例如：SoftPlus、Leak...
激活函数主要用来向神经网络中加入非线性因素，以解决线性模型表达能力不足的问题，它对神经网络有着极其重要的作用。我们的网络参数在更新时，使用的反向传播算法（BP），这就要求我们的激活函数必须可微。sigmoid 激活函数在...
激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。此时, 神经网络具备逼近任意函数的能力。 如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于一种线性模型，如下公式所示: 上述简单网...
我们通过手动实现线性回归的假设函数、平方损失、SGD优化方法、以及训练函数来实现对 sklearn make_regression 函数产生的数据集进行拟合，最后通过拟合直线、训练损失变化进行可视化。 输出结果：
自动微分（Autograd）模块对张量做了进一步的封装，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，在神经网络的反向传播过程中，Autograd 模块基于正向计算的结果对当前的参数进行微分计算，从而实现网...
PyTorch 为每个张量封装很多实用的计算函数，例如计算均值、平方根、求和等等。 mean 函数用于计算张量均值 sum 函数用于计算张量和 pow 函数用于计算张量平方 sqrt 函数用于计算张量平方根 exp 函数...
PyTorch 是一个 Python 包，用于将数据封装成张量（Tensor）来进行运算。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。 基本创建方式 创建线性和随机张量 创建01张量 张量元素类型转换 ...
在很多领域需要进行向量相似度的计算。本篇文章主要介绍一些常见的方法： 曼哈顿距离 欧几里得距离 切比雪夫距离 闵可夫斯基距离 标准欧式距离 余弦相似度 点积相似度 1. 曼哈顿距离 曼哈顿距离指的是两个向量在各个维度上的...
编写词典构建代码 编写数据加载器代码 编写模型定义代码 编写训练代码 编写测试代码 1. 编写词典构建代码 在开始训练词向量之前，需要先根据语料库构建出自己的词典，方便将文本语料内容转换为索引表示。在下面代码中，buil...
PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算. 基本运算 阿达玛积 点积运算 指定运算设备 1. 基本运算 基本运算中，包括 ...
张量的拼接操作在神经网络搭建过程中是非常常用的方法，例如: 在残差网络、注意力机制中都使用到了张量拼接。 torch.cat 函数的使用 torch.stack 函数的使用 1. torch.cat 函数的使用 torc...
我们在使用 PyTorch 建网络模型时，网络层与层之间很多都是使用不同的 shape 进行运算，我们需要掌握对张量形状的操作，以便能够更好处理网络各层之间的数据连接。 reshape 函数 transpose 和 pe...
冀公网安备13050302001966号
最新评论