自动混合精度是一种能够提升训练效率的方法。它通过减少训练过程中的显存使用,从而提高 batch_size 大小,加快模型训练。在 PyTorch 中张量默认使用的是 float32...
门控循环单元(Gated Recurrent Unit, GRU)是一种改进的循环神经网络(RNN)架构,旨在解决传统 RNN 在处理长序列时面临的梯度消失问题。GRU 由 Kyu...
长短期记忆网络(Long Short-Term Memory,LSTM)是一种特殊的循环神经网络(RNN),与传统的 RNN 相比,在处理涉及较长距离时间依赖的任务中表现出更强的能...
循环神经网络(Recurrent Neural Network, RNN)是一类用于处理序列数据的神经网络。 什么是序列数据?序列数据是指按照一定顺序排列的数据集合,其中的每个元素...
AUC(Area Under the Curve)是一种常用二分类评估方法,它指的是 ROC 曲线(Receiver Operating Characteristic Curve)...
回归决策树(Decision Tree Regression)是一种使用决策树进行回归分析的方法。与分类决策树不同,回归决策树用于预测连续型的目标变量,而不是离散的类别。 1. 构...
基尼指数是决策树算法中用于评估特征分裂质量的一个关键指标,分裂后子节点的基尼指数越低,表示子节点的纯净度越高。 1. 基尼不纯度 基尼不纯度(Gini impurity)是衡量变量...
在 scikit-learn 的决策树实现中,使用 CCP(Cost-Complexity Pruning)代价复杂度剪枝,用于避免过拟合并提高决策树的泛化能力。 1. 剪枝原理 ...
信息增益是决策树算法中用于特征选择的一个重要指标。在构建决策树时,我们需要确定哪个特征最能有效地分割数据,使得子节点的纯度最高。信息增益就是衡量这种分割能力的指标。 信息增益的计算...
Word2Vec 是 Google 在 2013 年推出的一种用于生成词向量的模型,它通过无监督学习的方式从大量文本数据中学习单词的语义关系。即:通过训练一个浅层的神经网络模型来学...
SoftMax 函数是深度学习和机器学习中一个非常重要的概念,主要用于处理多分类问题。Softmax 函数能够将一个实数向量映射为一个概率分布,使得输出向量的所有元素都在 0 到 ...
聚类(Clustering)指的是将一组数据点按照某种规则或者方法分成多个组或簇,使得同一组内的数据点在某种意义上更相似,而不同组之间的数据点相对较不相似。 聚类时,可以基于数据分...
这篇文章我想讲解的是 scikit-learn 中 SVC 的二分类、多分类场景下 ovo、ovr 决策函数的计算过程,以了解 SVC 进行推理时的逻辑。从而加深对 SVC 的理解...
软间隔支持向量机在处理线性不可分问题时引入,允许一些训练样本出现在间隔内部的概念。这是通过引入松弛变量(slack variables)来实现的,它们允许一些样本出现在错误的一侧,...
1. SVM 目标函数 支持向量机的求解目标是:训练时,在能够将所有样本正确分类的前提下,追求间隔最大化。 如何表示最大间隔?我们把两条边界的直线用如下公式表示: 那我们要求解的支...
核函数是一种在机器学习和统计学中广泛应用的数学函数,它用于将数据从原始特征空间映射到更高维度的特征空间,以便更容易地解决一些问题,尤其是在支持向量机(SVM)等算法中。核函数的主要...
Sobel 算子是一种常用的图像处理工具,它描述了图像中每个像素点处的亮度或颜色值变化方向和强度。它通常用于分析图像的边缘、纹理、形状和其他特征。 在二维图像中,梯度通常是两个分量...
Qdrant 是一个用于向量相似性搜索的 Python 库和引擎,它的主要目的是帮助用户高效地存储、搜索和管理向量数据。它支持多种语言,例如:Python、Rust、Go、Type...
在 scikit-learn 机器学习框架中,sklearn.naive_bayes.MultinomialNB 是对多项式朴素贝叶斯算法的工程实现。接下来,通过一个例子能够理解:...
转置卷积核(Transpose Convolution Kernel)是深度学习中用于进行反卷积操作的核心组件之一。虽然有时也被称为 “逆卷积”,但实际上它...