一亩三分地

机器学习 HardSwish 和 Mish 激活函数
孟宝亮2022-01-2191709
目前业界公认的最好的激活函数是 swish 和 mish 函数，在保持原结构不变的基础上，直接将模型的激活函数换成 HardSwish 或 Mish 函数，都会使得模型的性能有所提...
机器学习 ReLU、SoftPlus、LeakyReLU、ELU 激活函数
孟宝亮2022-01-21625076
ReLU（Linear rectification function，修正线性单元）在图像处理任务中使用最广泛的激活函数，它虽然具有一定的优势，但是也存在一些不足，由此出现了一些变...
机器学习 Sigmoid 和 LogSigmoid 激活函数
孟宝亮2022-01-211145065
激活函数主要用来向神经网络中加入非线性因素，以解决线性模型表达能力不足的问题，它对神经网络有着极其重要的作用。我们的网络参数在更新时，使用的反向传播算法（BP），这就要求我们的激活...
机器学习神经网络非线性因素解释
孟宝亮2022-01-2169400
激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。此时, 神经网络具备逼近任意函数的能力。如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于...
机器学习 PyTorch 实现线性回归
孟宝亮2022-01-20640094
我们通过手动实现线性回归的假设函数、平方损失、SGD优化方法、以及训练函数来实现对 sklearn make_regression 函数产生的数据集进行拟合，最后通过拟合直线、训练...
机器学习 PyTorch 自动微分模块
孟宝亮2022-01-20582085
自动微分（Autograd）模块对张量做了进一步的封装，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，在神经网络的反向传播过程中，Autograd 模块基于正向计算的...
Python PyTorch Tensor 运算函数
孟宝亮2022-01-20564046
PyTorch 为每个张量封装很多实用的计算函数，例如计算均值、平方根、求和等等。 mean 函数用于计算张量均值 sum 函数用于计算张量和 pow 函数用于计算张量平方 sqr...
Python PyTorch Tensor 创建方法
孟宝亮2022-01-19656073
PyTorch 是一个 Python 包，用于将数据封装成张量（Tensor）来进行运算。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。基本创建方式创建线性和随机...
机器学习浮点数向量距离（Similarity）度量方法
孟宝亮2022-01-19661034
在很多领域需要进行向量相似度的计算。本篇文章主要介绍一些常见的方法：曼哈顿距离欧几里得距离切比雪夫距离闵可夫斯基距离标准欧式距离余弦相似度点积相似度 1. 曼哈顿距离...
机器学习基于 Skip-Gram 训练词向量
孟宝亮2022-01-19751048
编写词典构建代码编写数据加载器代码编写模型定义代码编写训练代码编写测试代码 1. 编写词典构建代码在开始训练词向量之前，需要先根据语料库构建出自己的词典，方便将文本语料内...
Python PyTorch Tensor 数值计算
孟宝亮2022-01-19651074
PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算. 基本运算阿达玛积点积运算指定运算...
Python PyTorch Tensor 类型转换
孟宝亮2022-01-18615040
Python PyTorch Tensor 索引操作
孟宝亮2022-01-18510057
我们在操作张量时，经常需要去进行获取或者修改操作，掌握张量的花式索引操作是必须的一项能力。
Python PyTorch Tensor 拼接操作
孟宝亮2022-01-18701070
张量的拼接操作在神经网络搭建过程中是非常常用的方法，例如: 在残差网络、注意力机制中都使用到了张量拼接。 torch.cat 函数的使用 torch.stack 函数的使用 1. ...
Python PyTorch Tensor 形状操作
孟宝亮2022-01-18530083
我们在使用 PyTorch 建网络模型时，网络层与层之间很多都是使用不同的 shape 进行运算，我们需要掌握对张量形状的操作，以便能够更好处理网络各层之间的数据连接。 resha...
机器学习感知机算法（Perceptron）
孟宝亮2022-01-17629021
在 20 世纪 50 年代，弗兰克·罗森布莱特（Frank Rosenblatt）提出了感知机算法，其最初的目的是教会计算机识别图像。感知机的基本思路是简单模型神经元细胞的的运行原...
机器学习 MultiHead Attention
孟宝亮2022-01-11731010
本篇文章主要简单介绍下自注意力机制。 1. Self Attention 机制图示计算过程如下：先将输入 Token 进行词嵌入计算；为每个输入 Token 分别初始化注意力...
机器学习 Kmeans++ 初始质心优化算法
孟宝亮2022-01-10722094
下一个质心选取概率计算公式：由计算结果，可以看到当以 6 为第一个质心时，1、2、3、4 被选择为下一个质心的概率更高，而 5、7、8 被选择为下一个质心的概率很低。简言之：k...
机器学习 TF-IDF （词频-逆文档词频）
孟宝亮2022-01-101336017
TF-IDF（Term Frequency – Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用技术。通过 TF-IDF 我们...
机器学习梯度消失（Vanishing Gradient Problem）
孟宝亮2022-01-10754053
梯度消失问题是深度神经网络训练中的一个常见问题，梯度消失会使得梯度值过小，甚至为 0，使得网络参数无法得到有效的更新。大白话理解的话，一个参数对应了一个特征，参数如果无法得到有效的...

1 … 14 15 16 … 21

机器学习 HardSwish 和 Mish 激活函数

机器学习 ReLU、SoftPlus、LeakyReLU、ELU 激活函数

机器学习 Sigmoid 和 LogSigmoid 激活函数

机器学习 神经网络非线性因素解释

机器学习 PyTorch 实现线性回归

机器学习 PyTorch 自动微分模块

Python PyTorch Tensor 运算函数

Python PyTorch Tensor 创建方法

机器学习 浮点数向量距离（Similarity）度量方法

机器学习 基于 Skip-Gram 训练词向量

Python PyTorch Tensor 数值计算

Python PyTorch Tensor 类型转换

Python PyTorch Tensor 索引操作

Python PyTorch Tensor 拼接操作

Python PyTorch Tensor 形状操作

机器学习 感知机算法（Perceptron）

机器学习 MultiHead Attention

机器学习 Kmeans++ 初始质心优化算法

机器学习 TF-IDF （词频-逆文档词频）

机器学习 梯度消失（Vanishing Gradient Problem）

孟宝亮

网站统计

置顶推荐

热门排行

我的课程